Langfuse vs LangSmith vs MLflow: два є інструментами спостережності, один є ML-платформою (2026)

Langfuse vs LangSmith vs MLflow: два є інструментами спостережності, один є ML-платформою (2026)

Лише два з трьох інструментів у порівнянні langfuse vs langsmith vs mlflow створювалися саме для спостереження за LLM. MLflow з'явився 2018 року в Databricks як засіб відстеження експериментів для scikit-learn і XGBoost; GenAI-трейсинг прийшов поверх цієї бази лише роки по тому. Langfuse це LLM-нативний інструмент під ліцензією MIT, LangSmith це пропрієтарний і нативний для LangChain інструмент, MLflow на Apache-2.0 і старший за обидва. Це рішення визначає походження, а не список функцій. Вердикт: Langfuse, щоб володіти своїми даними, LangSmith для команд на LangGraph, MLflow, якщо класичні моделі ділять вашу платформу з LLM.

Ключові висновки

• Langfuse, якщо вам потрібен MIT-ядро, яке можна розгорнути на власному сервері й повністю володіти даними трейсів. Зверніть увагу, що його папки ee/ йдуть на окремих комерційних умовах, тому GitHub позначає репозиторій як NOASSERTION, а не MIT.
• LangSmith, якщо ваш застосунок на LangChain або LangGraph і ви готові платити за місце за найтіснішу інтеграцію.
• MLflow, якщо ви також розгортаєте класичні ML-моделі й хочете тримати експерименти, реєстр моделей і трейсинг в одному місці.
• Усі три тепер розмовляють OpenTelemetry, тож запуск двох одразу цілком реальний варіант.

Langfuse vs LangSmith vs MLflow на перший погляд

Langfuse це вибір з відкритим кодом, LangSmith це нативний для LangChain вибір, а MLflow це вибір, коли ваша команда поряд із LLM-функціями розгортає класичний ML. Два з них це інструменти LLM-спостережності. Третій це ML-платформа, яка навчилася трейсити LLM, і саме ця різниця визначає більшість таких оцінювань.

Уперше тут? Спершу прочитайте наш вступ до AI-спостережності.

Цифри зберігання взяті від вендорів: рівні Langfuse 30/90 днів/3 роки згідно з її сторінкою цін, базові 14 днів і розширені 400 днів для трейсів LangSmith згідно з цінами LangChain (розширені це окремий тип трейсів із додатковою платою, а не перемикач зберігання), а MLflow зберігає дані, доки живе ваше сховище.

Три іменовані вибори:

• Обирайте Langfuse, якщо вам потрібен код на MIT, селф-хостинг із першого дня й дані трейсів у власних Postgres і ClickHouse.
• Обирайте LangSmith, якщо ваш стек це LangChain або LangGraph і ціна за місце вигідніша за ціну за трейс.
• Обирайте MLflow, якщо поряд із LLM-функціями працюють моделі sklearn та XGBoost. Детальний розбір двох інструментів у нашому повному порівнянні Langfuse vs LangSmith.

Вам потрібен LLM-нативний інструмент чи ML-платформа?

Половина цього запиту «langfuse vs mlflow» це насправді питання походження. MLflow починався як відстеження експериментів і реєстр моделей для класичного ML, а потім додав LLM-трейсинг. Langfuse починався з LLM-трейсингу і не додавав нічого іншого. Якщо ви не розгортаєте класичні моделі, механізми життєвого циклу MLflow це площа поверхні, яку ви обслуговуєте задарма, і спеціалізований інструмент AI-спостережності буде коротшим шляхом.

MLflow найстарший із трьох із великим відривом: ліцензія Apache-2.0, керування Linux Foundation, понад 27 000 зірок на GitHub станом на 5 серпня 2026 року, створений відповідати на питання «які гіперпараметри дали який артефакт?». Його GenAI-трейсинг з'явився поверх цієї бази. Для команди, яка розгортає і XGBoost-модель відтоку клієнтів, і агента підтримки на GPT-4o, це означає єдину систему обліку: експерименти, записи реєстру та LLM-трейси в одній базі даних.

Противага: якщо класичних моделей немає, нічого з цього не приносить користі. LLM-нативний UX у MLflow молодший, ніж у Langfuse: менше швидких шляхів, грубіші вигляди трейсів.

Одне уточнення, бо автодоповнення показує, що люди шукають kubeflow vs mlflow vs airflow: MLflow не оркестратор робочих процесів. Він не розкладає DAG; він записує, що зробили ваші запуски. Airflow і Kubeflow виконують задачі, MLflow відстежує їхній результат. Щодо питання шарів (mlflow vs tensorflow): TensorFlow це фреймворк моделювання, а MLflow стоїть над будь-яким фреймворком, у якому ви навчаєте. Порівняння від Leanware, єдиний невендорський редакційний результат у цій видачі, робить такий самий поділ.

Якщо ваша команда ніколи не відкриває Jupyter-ноутбук, найбільша перевага MLflow це мертвий вантаж. Цей один тест виключає його для більшості читачів цієї сторінки.

Скільки коду насправді потребує ваш перший трейс?

Приблизно два рядки Python для всіх трьох, але тертя виникає в різних місцях. Langfuse і LangSmith вимагають ключі облікового запису до того, як приземлиться перший трейс; MLflow вимагає запущений сервер відстеження. Найменше рядків коду і найменше роботи не одне й те саме.

Ми взяли ту саму задачу, один чат-виклик OpenAI плюс одна допоміжна функція, й інструментували її трьома способами за швидким стартом кожного вендора, перечитаним 5 серпня 2026 року.

Langfuse через декоратор @observe:

# pip install langfuse
import os
from langfuse import observe
from langfuse.openai import openai  # drop-in wrapper

os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-..."
os.environ["LANGFUSE_SECRET_KEY"] = "sk-lf-..."
os.environ["LANGFUSE_BASE_URL"] = "https://cloud.langfuse.com"

@observe()
def answer(question: str, context: str) -> str:
    r = openai.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

LangSmith через @traceable:

# pip install langsmith
import os
from langsmith import traceable
from openai import OpenAI

os.environ["LANGSMITH_TRACING"] = "true"
os.environ["LANGSMITH_API_KEY"] = "lsv2-..."
client = OpenAI()

@traceable
def answer(question: str, context: str) -> str:
    r = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

MLflow через mlflow.openai.autolog():

# pip install mlflow
import mlflow
from openai import OpenAI

mlflow.set_tracking_uri("http://localhost:5000")  # server must be running
mlflow.openai.autolog()

def answer(question: str, context: str) -> str:
    r = OpenAI().chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

Кількості, які ми вивели з цих трьох швидких стартів:

Пораховано зі швидкого старту кожного вендора, перечитаного 5 серпня 2026 року: документація Langfuse SDK, швидкий старт спостережності LangSmith, швидкий старт трейсингу MLflow. openai це власна залежність застосунку, не рахується. Перерахуйте самі.

Наша інтерпретація, позначена як така: код майже ідентичний у всіх трьох, тож рішення приймається не тут. Langfuse і LangSmith концентрують тертя у п'яти хвилинах створення облікового запису. MLflow концентрує його в інфраструктурі: цей однорядковий приклад передбачає сервер відстеження, базу даних за ним і когось, хто підтримує обидва. Його компактний SDK mlflow-tracing, який, за словами MLflow, приблизно на 95% менший за повний пакет, скорочує встановлення, а не сервер.

LLM-as-a-judge: однаковий метод, три різні домівки

Усі три запускають оцінювачі LLM-as-a-judge на датасетах, але рушій оцінювання LangSmith найбільш продуктний, Langfuse поєднує кероровані судді з чергами анотацій і GitHub Action для контролю в CI, а MLflow прив'язує суддів до свого інструментарію експериментів і оптимізації промптів. Методологія ідентична; різниця в тому, де живуть результати.

Згідно з документацією оцінювання MLflow, його судді працюють у тій самій системі відстеження експериментів, що й метрики класичного ML, і це віддача від аргументу про походження вище: одна панель для моделі відтоку й агента підтримки. Згідно з документацією Langfuse, оцінювачі прикріплюються до трейсів і наповнюють черги анотацій, які ваша команда опрацьовує в інтерфейсі.

Про метод читайте в як правильно оцінювати вивід LLM; про ширший ландшафт у інструментах оцінювання LLM, які ми ранжували. Агентні конвеєри потребують уваги понад оцінювання виводу, про це в оцінюванні агентів у продакшені.

Керування промптами: лише один версіонує промпти поряд із моделями

Навмисно коротко, бо детальний розбір двох інструментів належить нашій сестринській статті. Форма кожного: Langfuse пропонує керування промптами з версіонуванням, мітками та пісочницею; LangSmith пропонує хаб промптів із commit-подібним версіонуванням; MLflow пропонує реєстр промптів, який зберігає промпти як першокласні сутності поряд із вашими моделями.

Єдина важлива для рішення різниця: MLflow версіонує промпти поряд із записами реєстру моделей, тож промпт і модель, під яку він налаштований, ділять одну систему обліку. Langfuse і LangSmith тримають промпти окремо від того, що обслуговує ваші моделі. Якщо ви просуваєте модель і промпт разом і хочете аудитний слід, який доводить, яка пара пішла в реліз, такий зв'язок цінніший за будь-яку пісочницю. Детальний розбір двох інструментів у нашому повному порівнянні Langfuse vs LangSmith.

Селф-хостинг, володіння даними та ціна виходу

Langfuse розгортається на власному сервері як багатосервісний стек, який ви повністю контролюєте, MLflow як сервер відстеження плюс база даних, яку можна запитувати SQL напряму, LangSmith лише на ентерпрайз-умовах. Питання виходу важливіше за питання входу: який би інструмент ви не обрали, історія трейсів це та частина, яку неможливо відтворити.

Реальність розгортання по інструментах. Langfuse працює як web, worker, Postgres, ClickHouse і шар кешу/blob-сховища після редизайну ери ClickHouse, згідно з постом Langfuse про інженерію масштабу. Контекст, який варто тримати в голові: ClickHouse придбав Langfuse 16 січня 2026 року разом із раундом Series D на $400 млн, і обидві компанії пообіцяли, що ліцензія MIT, першокласний селф-хостинг і дорожня карта залишаться незмінними (заява Langfuse). Селф-хостинг LangSmith це питання ентерпрайз-плану, згідно з їхньою документацією. MLflow це сервер відстеження, Postgres-сумісна база даних і об'єктне сховище.

Шляхи виходу, розділ, який ніхто інший не пише. Langfuse експортує у blob-сховище як JSONL або Parquet через задокументований S3-експорт, плюс повний API. Бекенд MLflow це відкрита база даних, яку можна запитувати напряму. Масовий експорт LangSmith сидить за платними планами. Вердикт: прив'язка MLflow найлегше оборотна, Langfuse одразу за ним, а LangSmith нижче ентерпрайзу це місце, де помилковий вибір коштує вам історії.

SSO і RBAC доступні в ентерпрайз-рівні Langfuse ($2 499/міс.) та ентерпрайз-плані LangSmith; з MLflow ви налаштовуєте автентифікацію самостійно, свобода і робота в рівних пропорціях.

Скільки коштує кожен на 100 тис., 1 млн і 10 млн трейсів?

Langfuse тарифікує одиниці, MLflow не тарифікує нічого, а LangSmith більше не публікує зіставної ціни за одиницю взагалі. Одиниці та трейси це не той самий об'єкт: один запит користувача може бути одним трейсом, що містить багато подій, які тарифікуються. Лише дві з трьох колонок нижче можна побудувати на основі прайсових цін.

Цей останній момент не прогалина в нашому дослідженні, а висновок. Станом на 5 серпня 2026 року сторінка цін LangChain вказує план Plus за $39 за місце із 10 тис. базових трейсів у комплекті, а далі тарифікує використання за $1.50 за LCU (обчислення) і $1.00 за LSU (зберігання). На сторінці більше немає ціни за 1 тис. трейсів, і жодна інша сторінка її не містить. Тому рахунок LangSmith при заданому обсязі трейсів неможливо вивести з прайсових цін, і ми не будемо вигадувати конверсію.

Цифри Langfuse це прайсові ціни з її сторінки цін, прочитаної 5 серпня 2026 року, помножені на показаний обсяг. Ціна за місце й рівні зберігання LangSmith узяті з того самого читання цін LangChain того ж дня: базові трейси зберігаються 14 днів, розширені 400 днів за додаткову плату, яку сторінка не деталізує. Колонка MLflow це наша оцінка, а не пропозиція вендора: керований Postgres ($15–25/міс.), об'єктне сховище й один завжди увімкнений контейнер ($10–20/міс.), зростає зі збереженою історією.

Перевірте нашу математику там, де є що перевіряти. Langfuse публікує градуйовану шкалу понадлімітної тарифікації: $8.00 за 100 тис. одиниць від 100 тис. до 1 млн, $7.00 від 1 млн до 10 млн, $6.50 від 10 млн до 50 млн, $6.00 понад це. На 1 млн: $29 плюс 900 тис. одиниць по $8 за 100 тис. = $101. На 10 млн: $29, плюс 900 тис. по $8 ($72), плюс 9 000 тис. по $7 ($630) = $731.

Зверніть увагу на різницю у формі: LangSmith тарифікує людей плюс тарифіковане споживання, інші два ні. Якщо ваша справжня проблема це витрати на токени, проксі LiteLLM перед вашими моделями ріже рахунок до того, як будь-який із цих інструментів почне його міряти.

Чи можна запустити два з них разом?

Так. Langfuse і MLflow обидва побудовані на OpenTelemetry, тож один колектор може роздавати ті самі GenAI-спани на два бекенди. Реалістична пара: MLflow як система обліку життєвого циклу моделей, Langfuse як LLM-нативний UX для трейсів. Технічно просто; організаційно хтось має володіти колектором.

Механіка: OTel-колектор із двома OTLP-експортерами, який використовує семантичні конвенції GenAI, щоб обидві сторони однаково розбирали спани.

# Illustrative sketch, not a copy-paste-complete collector config
exporters:
  otlp/langfuse:
    endpoint: https://cloud.langfuse.com/api/public/otel:443
    headers:
      Authorization: "Basic <base64 public_key:secret_key>"
  otlp/mlflow:
    endpoint: http://localhost:5000/otel  # your MLflow tracking server

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [otlp/langfuse, otlp/mlflow]  # same spans, two backends

Позначимо чітко: схема вище це наша архітектурна інтерпретація, а не підтримувана вендором конфігурація. Leanware єдина інша сторінка у цій видачі, яка взагалі згадує запуск двох інструментів, в одному абзаці. Подвійне відвантаження означає дві системи, два рахунки, дубльоване сховище і колектор, який будить когось о третій ночі.

Подвійне відвантаження трейсів технічно просте й організаційно дороге. Другий бекенд безкоштовний, доки комусь не доведеться тримати його живим.

Langfuse vs LangSmith vs MLflow: кому що обирати?

Плюси та мінуси langfuse vs langsmith vs mlflow зводяться до шести профілів. Кожен рядок називає один інструмент, бо «залежить від обставин» без конкретного вибору марне.

Якщо ваша чесна відповідь «жоден із цих трьох», інші сім інструментів у десятці платформ, які ми ранжували включають хмарні та суто ентерпрайз-варіанти, які ми залишили за межами цієї сторінки.

Часті запитання

Навіщо використовувати MLflow для LLM-трейсингу?

Використовуйте MLflow для LLM-трейсингу, коли ваша команда вже розгортає класичні ML-моделі й хоче єдину систему обліку: відстеження експериментів, реєстр моделей і GenAI-трейсинг в одній платформі на Apache-2.0, без плати за трейс. Якщо ви розгортаєте лише LLM-функції, Langfuse або LangSmith дадуть молодший, LLM-спершу досвід.

Чи можна використовувати LangSmith і MLflow разом?

Так. Обидва приймають OpenTelemetry-сумісні дані трейсів, тож OTel-колектор може експортувати ті самі спани на LangSmith і сервер відстеження MLflow водночас. Ціна операційна: два бекенди, два рахунки, дубльоване сховище. Більшість команд, із якими ми говоримо, обирають одну систему обліку і пропускають другу.

Чи LangSmith має відкритий код?

Ні. LangSmith це пропрієтарне ПЗ із закритим кодом від LangChain Inc. Клієнтський SDK LangSmith відкритий, але платформа, інтерфейс і бекенд ні. Якщо вам важлива ліцензія з відкритим кодом, Langfuse (MIT) і MLflow (Apache 2.0) це два варіанти в цьому порівнянні, які можна вільно хостити самостійно.

Чи MLflow лише для класичного машинного навчання?

Ні. MLflow додав першокласну підтримку GenAI: mlflow.openai.autolog() автоматично трейсить виклики OpenAI, @mlflow.trace покриває власні функції, а вбудовані судді оцінюють вивід LLM. Спадщина класичного ML помітна в UX, який менш LLM-нативний, ніж у Langfuse, але сам трейсинг продакшн-рівня.

Чи MLflow це оркестратор робочих процесів, як Airflow або Kubeflow?

Ні. MLflow не розкладає DAG і не запускає конвеєри; він записує, що зробили ваші запуски: параметри, метрики, артефакти та трейси. Airflow і Kubeflow оркеструють задачі, MLflow відстежує їхні результати. Люди плутають ці три, бо вони співіснують у MLOps-стеках, але вони лежать на різних шарах і часто працюють разом.

Які є альтернативи LangSmith і MLflow з відкритим кодом?

Langfuse (MIT) найближча альтернатива LangSmith з відкритим кодом, із селф-хостингом і OTel-нативним трейсингом, а сам MLflow має відкритий код під Apache 2.0. За межами цього порівняння: Lunary, Arize Phoenix і OpenLIT це варіанти LLM-спостережності з відкритим кодом, на які варто глянути, перш ніж зобов'язуватись перед пропрієтарною платформою.

Хто з трьох найдешевший на 10 мільйонах трейсів на місяць?

MLflow, якщо рахувати лише інфраструктуру: наша оцінка $150–400 на місяць за Postgres, об'єктне сховище і контейнер. Langfuse Cloud виходить на $731 за 10 млн одиниць на Core плюс градуйоване перевищення ліміту. LangSmith неможливо оцінити за його сторінкою цін: із середини 2026 року LangChain публікує ставки за місце та LCU/LSU, а не прайсову ціну за трейс.

Чи Langfuse замінює MLflow, чи навпаки?

Жоден не замінює іншого чисто. Langfuse замінює шари трейсингу й оцінювання MLflow для команд лише з LLM і відкидає механізми відстеження експериментів і реєстру моделей. MLflow замінює Langfuse, коли класичні ML-моделі ділять вашу платформу і одна система обліку краща за дві. Вони перетинаються в трейсингу; вони розходяться в усьому навколо нього.

Чи Langfuse досі має відкритий код, тепер коли ClickHouse придбав його?

Так, станом на анонс від 16 січня 2026 року. ClickHouse придбав Langfuse разом із раундом Series D на $400 млн, і обидві компанії публічно зобов'язалися зберегти ліцензію MIT, першокласний селф-хостинг і незмінну дорожню карту. Це публічна обіцянка, а не постійна юридична гарантія, але сьогодні нічого в історії про селф-хостинг не змінилося.

Джерела

Кожне джерело нижче редакційне та dofollow; жодне не оплачене й не обміняне.

Якщо запам'ятати лише три речі

• Два з трьох створювалися для LLM. MLflow з'явився 2018 року для класичного ML і освоїв трейсинг пізніше.
• Langfuse, якщо вам потрібні дані трейсів під ліцензією MIT на власному сервері, якими ви володієте повністю. LangSmith, якщо ваш застосунок на LangChain або LangGraph. MLflow, якщо класичні ML-моделі ділять вашу платформу.
• Спершу поставте питання виходу: Langfuse експортує в S3, база даних MLflow ваша для запитів, масовий експорт LangSmith сидить за платними планами.
• На 10 млн подій на місяць: $731 за прайсовою ціною Langfuse Cloud і $150–400 інфраструктури на MLflow (наша оцінка). У LangSmith немає зіставної цифри, оскільки він перестав публікувати ставку за трейс.

Вердикт, переказаний: обирайте за походженням, а не за функціями. Хочете другу думку, що підійде вашому стеку, або допомогу з налаштуванням? Зверніться до Techsy. Ми обираємо ці інструменти для розгортань агентів у клієнтів і охоче скажемо, який саме і чому.