Langfuse

Обзор

Langfuse — открытая платформа (MIT) для наблюдаемости и оценки ИИ-агентов, охватывающая полный цикл разработки от прототипа до продакшена. Интегрируется с любым стеком через OpenTelemetry и более чем 100 фреймворков, обрабатывает свыше 90 млрд наблюдений в месяц. Позволяет трассировать вызовы LLM, управлять промптами, проводить экcперименты и получать обратную связь в едином интерфейсе.

Ключевые сценарии использования

Трассировка и отладка производственных агентных систем

Иерархические трейсы захватывают каждый вызов LLM, инструмента и шаг retrieval, позволяя фильтровать по пользователю, сессии, стоимости, задержке или произвольным метаданным. Это помогает быстро находить ошибки, анализировать долгие цепочки и понимать поведение агентов в реальных условиях.

Оценка качества агентов и тестирование гипотез

Поддерживаются LLM-as-a-Judge, эвристические функции и человеческое аннотирование. Можно создавать датасеты для регрессионного тестирования, запускать эксперименты со сравнением моделей и скорингом на реальных производственных входах. Онлайн-оценка позволяет автоматически скорить часть продового трафика и отслеживать метрики качества.

Управление промптами и версионирование

Промпты отделены от кода и управляются через UI или API с поддержкой версий и откатов. Это делает улучшение промптов командным спортом — изменения можно тестировать и развертывать без пересборки приложения.

Мониторинг стоимости, задержек и качества с оповещениями

Встроенные дашборды и автоматические алерты отслеживают токены, стоимость и время ответа. API и экспорт в S3 позволяют интегрировать данные Langfuse в существующие хранилища и BI-системы для корреляции с бизнес-метриками.

Особенности платформы

• Полностью открытый исход (MIT), можно самостоятельно хостить и аудировать код.
• Нативный OpenTelemetry: SDK для Python, JS/TS, а также совместимость с Go, Java, .NET.
• Более 100 интеграций с фреймворками (LangChain, Vercel AI SDK, LiteLLM и др.) и провайдерами моделей.
• Масштабируется до миллиардов событий в месяц благодаря ClickHouse и асинхронному пайплайну.
• Соответствие SOC 2 Type II и ISO 27001, доступность в EU и US дата-центрах.
• Инструменты для IDE-агентов: Halo-ассистент, CLI, MCP-сервер и навыки для кодинговых ассистентов.

Для кого предназначен

Платформа рассчитана на ML-инженеров, разработчиков LLM-приложений и платформенные команды, которым нужна прозрачность, контроль над данными и возможность быстро итерироваться при создании продовых ИИ-агентов.

Ограничения

• Требует инструментации кода: без встраивания SDK трассировка не работает.
• Не заменяет традиционный APM для инфраструктуры, а фокусируется исключительно на LLM-цепочках.
• При масштабировании самостоятельного хостинга необходимо обеспечить обслуживание ClickHouse и Redis.