Langfuse vs LangSmith vs MLflow: Dva jsou observability nástroje, jeden je ML platforma (2026)

Langfuse vs LangSmith vs MLflow: Dva jsou observability nástroje, jeden je ML platforma (2026)

Jen dva ze tří nástrojů v porovnání langfuse vs langsmith vs mlflow byly od začátku stavěné na sledování LLM. MLflow vzniklo v roce 2018 v Databricks jako sledování experimentů pro scikit-learn a XGBoost; GenAI tracing na tento základ přibyl až o roky později. Langfuse má licenci MIT a je nativní pro LLM, LangSmith je proprietární a nativní pro LangChain, MLflow má licenci Apache 2.0 a je starší než oba zbylé nástroje. O volbě rozhoduje původ, ne seznam funkcí. Verdikt: Langfuse, pokud chcete vlastnit svá data; LangSmith pro týmy na LangGraph; MLflow, pokud vaše platforma sdílí i klasické modely.

Hlavní závěry

• Langfuse, pokud chcete jádro s licencí MIT, které si můžete sami hostovat a trace data vlastnit naplno. Všimněte si, že jeho složky ee/ mají oddělené komerční podmínky, a proto GitHub uvádí repozitář jako NOASSERTION, ne jako MIT.
• LangSmith, pokud je vaše aplikace na LangChain nebo LangGraph a jste ochotni platit za seat kvůli nejtěsnější integraci.
• MLflow, pokud nasazujete i klasické ML modely a chcete experimenty, model registry a tracing na jednom místě.
• Všechny tři dnes mluví OpenTelemetry, takže provozovat dva z nich zároveň je reálná možnost.

Langfuse vs LangSmith vs MLflow na první pohled

Langfuse je open-source volba, LangSmith je volba nativní pro LangChain a MLflow je volba pro případ, kdy váš tým vedle LLM funkcí nasazuje i klasické ML. Dva z nich jsou LLM observability nástroje. Třetí je ML platforma, která se naučila trasovat LLM, a právě tento rozdíl rozhoduje většinu těchto hodnocení.

Jste tu noví? Přečtěte si nejprve náš úvod do AI observability.

Čísla o retenci pocházejí od prodejců: 30/90denní a tříleté úrovně Langfuse dle jeho ceníku, 14denní základ a 400denní rozšířené tracy LangSmith dle ceníku LangChain (rozšířené jsou samostatný typ tracu za dodatečný poplatek, ne přepínač retence) a MLflow si data drží tak dlouho, jak dlouho je drží vaše úložiště.

Tři pojmenované volby:

• Zvolte Langfuse, pokud chcete kód s licencí MIT, self-hosting od prvního dne a trace data ve vlastním Postgres a ClickHouse.
• Zvolte LangSmith, pokud je váš stack LangChain nebo LangGraph a cena za seat vám vyhovuje víc než cena za trace.
• Zvolte MLflow, pokud vedle vašich LLM funkcí běží modely sklearn a XGBoost. Na detailní srovnání dvou nástrojů viz náš úplný souboj Langfuse vs LangSmith.

Potřebujete nástroj nativní pro LLM, nebo ML platformu?

Polovina tohoto dotazu langfuse vs mlflow je ve skutečnosti otázkou původu. MLflow začalo jako sledování experimentů a model registry pro klasické ML a teprve pak přidalo LLM tracing. Langfuse začalo s LLM tracingem a nepřidalo nic dalšího. Pokud klasické modely nenasazujete, je životní cyklus MLflow zbytečná plocha, kterou udržujete bez užitku, a dedikovaný nástroj pro AI observability je kratší cestou.

MLflow je z té trojice s velkým náskokem nejstarší: licence Apache 2.0, správa pod Linux Foundation, přes 27 000 hvězdiček na GitHubu k 5. srpnu 2026, postavené tak, aby odpovědělo na otázku „které hyperparametry vyprodukovaly který artefakt?". Jeho GenAI tracing přišel na tento základ. Pro tým, který nasazuje jak XGBoost model pro predikci odchodu zákazníků, tak GPT-4o support agenta, to znamená jediný systém záznamu: experimenty, položky registry a LLM tracy ve stejné databázi.

Protiváha: pokud klasické modely nenasazujete, nic z toho se nevyplatí. LLM-nativní UX MLflow je mladší než u Langfuse, má méně zkratek a hrubší zobrazení traců.

Jedno vyjasnění, protože našeptávač ukazuje, že lidé hledají kubeflow vs mlflow vs airflow: MLflow není orchestrátor workflow. Neplánuje DAGy; zaznamenává, co vaše běhy provedly. Airflow a Kubeflow spouštějí úlohy, MLflow sleduje jejich výstup. K otázce vrstev (mlflow vs tensorflow): TensorFlow je modelovací framework, MLflow sedí nad jakýmkoli frameworkem, kterým trénujete. Srovnání od Leanware, jediný ne-prodejní editorský výsledek na této SERP, dělá stejné rozdělení.

Pokud váš tým nikdy neotevře Jupyter notebook, je největší výhoda MLflow mrtvou zátěží. Tento jediný test ho vyřazuje pro většinu čtenářů této stránky.

Kolik kódu vlastně zabere váš první trace?

U všech tří zhruba dva řádky Pythonu, ale tření se objevuje na různých místech. Langfuse a LangSmith vyžadují klíče k účtu dřív, než dorazí váš první trace; MLflow vyžaduje běžící tracking server. Nejméně řádků kódu a nejméně práce není totéž.

Vzali jsme stejný úkol, jedno volání OpenAI chatu plus jednu pomocnou funkci, a instrumentovali ho třemi způsoby podle quickstartu každého prodejce, načteno 5. srpna 2026.

Langfuse přes dekorátor @observe:

# pip install langfuse
import os
from langfuse import observe
from langfuse.openai import openai  # drop-in wrapper

os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-..."
os.environ["LANGFUSE_SECRET_KEY"] = "sk-lf-..."
os.environ["LANGFUSE_BASE_URL"] = "https://cloud.langfuse.com"

@observe()
def answer(question: str, context: str) -> str:
    r = openai.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

LangSmith přes @traceable:

# pip install langsmith
import os
from langsmith import traceable
from openai import OpenAI

os.environ["LANGSMITH_TRACING"] = "true"
os.environ["LANGSMITH_API_KEY"] = "lsv2-..."
client = OpenAI()

@traceable
def answer(question: str, context: str) -> str:
    r = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

MLflow přes mlflow.openai.autolog():

# pip install mlflow
import mlflow
from openai import OpenAI

mlflow.set_tracking_uri("http://localhost:5000")  # server must be running
mlflow.openai.autolog()

def answer(question: str, context: str) -> str:
    r = OpenAI().chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

Počty, které jsme z těchto tří quickstartů odvodili:

Sečteno z quickstartu každého prodejce, načteno 5. srpna 2026: dokumentace Langfuse SDK, quickstart observability LangSmith, quickstart MLflow tracingu. openai je vlastní závislost aplikace, nepočítáme ji. Přepočítejte si to sami.

Naše interpretace, označená jako taková: kód je u všech tří téměř totožný, takže rozhodnutí se nerozhoduje tady. Langfuse a LangSmith přesouvají tření do pěti minut zakládání účtu. MLflow ho přesouvá do infrastruktury: ten jednořádek předpokládá tracking server, databázi za ním a někoho, kdo obojí udrží při životě. Jeho štíhlé SDK mlflow-tracing, které je podle MLflow asi o 95 % menší než plný balíček, zmenšuje instalaci, ne server.

LLM-as-a-Judge: Stejná metoda, tři různé domovy

Všechny tři spouštějí nad datasety evaluátory LLM-as-a-judge, ale eval engine LangSmith je nejvíce produktizovaný, Langfuse páruje spravované judges s anotačními frontami a GitHub Action pro CI gating a MLflow napojuje judges na své nástroje pro experimenty a optimalizaci promptů. Metodika je totožná; rozdíl je v tom, kde výsledky žijí.

Podle dokumentace evaluace MLflow běží jeho judges ve stejném systému pro sledování experimentů jako vaše klasické ML metriky, což je přínos argumentu o původu výše: jeden dashboard pro model odchodu zákazníků i pro support agenta. Podle dokumentace Langfuse se evaluátory připojují k tracům a plní anotační fronty, které váš tým zpracovává v UI.

K metodě si přečtěte jak správně evaluovat výstupy LLM; k širšímu přehledu námi hodnocené evaluační nástroje. Agentské pipeline vyžadují péči přesahující bodování výstupu, což pokrýváme v evaluaci agentů v produkci.

Správa promptů: Jen jeden verzuje prompty vedle modelů

Záměrně krátce, protože detail dvou nástrojů patří do našeho sesterského článku. Podoba každého z nich: Langfuse nabízí správu promptů s verzováním, štítky a playgroundem; LangSmith nabízí prompt hub s verzováním ve stylu commitů; MLflow nabízí prompt registry, která ukládá prompty jako prvotřídní entity vedle vašich modelů.

Jediný rozdílný bod relevantní pro rozhodnutí: MLflow verzuje prompty vedle položek model registry, takže prompt a model, na který byl laděn, sdílejí jeden systém záznamu. Langfuse a LangSmith drží prompty odděleně od toho, co servíruje vaše modely. Pokud povyšujete model a prompt společně a chcete auditní stopu dokládající, která dvojice se nasadila, tato vazba poráží jakýkoli playground. Na hloubkový detail dvou nástrojů viz náš úplný souboj Langfuse vs LangSmith.

Self-hosting, vlastnictví dat a cena za odchod

Langfuse se self-hostuje jako víceservisový stack, který plně ovládáte, MLflow jako tracking server plus databáze, na kterou se můžete ptát přímo SQL dotazy, LangSmith pouze za enterprise podmínek. Otázka odchodu je důležitější než otázka vstupu: ať zvolíte jakýkoli nástroj, historie traců je ta část, kterou nedokážete znovu vytvořit.

Realita nasazení po nástrojích. Langfuse od svého redesignu v éře ClickHouse běží jako web, worker, Postgres, ClickHouse a vrstva cache/blob, podle příspěvku Langfuse o škálování. Kontext, který byste měli mít jasný: ClickHouse akvírovalo Langfuse 16. 1. 2026 spolu s rundou Series D za 400 milionů dolarů a obě strany se zavázaly, že licence MIT, prvotřídní self-hosting ani roadmap se nezmění (prohlášení Langfuse). Self-hosting LangSmith je záležitost enterprise plánu, podle jeho dokumentace. MLflow je tracking server, databáze kompatibilní s Postgres a objektové úložiště.

Cesty ven, sekce, kterou nikdo jiný nepíše. Langfuse exportuje do blob úložiště jako JSONL nebo Parquet přes zdokumentovaný S3 export, plus plné API. Backend MLflow je otevřená databáze, na kterou se můžete ptát přímo. Hromadný export LangSmith sedí za placenými plány. Verdikt: lock-in MLflow je nejvíce obnovitelný, Langfuse těsně za ním, LangSmith pod úrovní enterprise je místo, kde vás špatná volba stojí vaši historii.

SSO a RBAC jsou bránou do Enterprise úrovně Langfuse (2 499 $/měs.) a Enterprise plánu LangSmith; u MLflow si vlastní autentizaci zapojujete sami, svoboda a práce v rovné míře.

Kolik každý stojí při 100K, 1M a 10M tracích?

Langfuse měří jednotky, MLflow neměří nic a LangSmith už vůbec nezveřejňuje srovnatelnou cenu za jednotku. Jednotky a tracy nejsou tentýž objekt; jeden požadavek uživatele může být jediný trace obsahující mnoho účtovatelných událostí. Jen dva ze tří sloupců níže lze sestavit z ceníkových cen.

Ten poslední bod je zjištění, ne mezera v našem výzkumu. K 5. srpnu 2026 ceník LangChain uvádí Plus za 39 $ za seat včetně 10K základních traců, dál se měří spotřeba za 1,50 $ za LCU (výpočet) a 1,00 $ za LSU (úložiště). Na stránce už žádná cena za 1K traců není a žádná druhá stránka ji nemá. Účet LangSmith při udaném objemu traců proto nelze odvodit z ceníkových cen a nebudeme si žádný přepočet vymýšlet.

Čísla Langfuse jsou ceníkové ceny z jeho ceníku, načteno 5. srpna 2026, vynásobené uvedeným objemem. Cena za seat a úrovně retence LangSmith pocházejí ze stejného čtení ceníku LangChain: základní tracy s 14denní retencí, rozšířené tracy s 400denní retencí za dodatečný poplatek, který stránka nekvantifikuje. Sloupec MLflow je náš odhad, ne nabídka prodejce: spravovaný Postgres (15–25 $/měs.), objektové úložiště a jeden stále běžící kontejner (10–20 $/měs.), rostoucí s uloženou historií.

Zkontrolujte si naše počty tam, kde je vůbec co počítat. Langfuse zveřejňuje odstupňovaný ceník nadlimitu: 8,00 $ za 100K jednotek od 100K do 1M, 7,00 $ od 1M do 10M, 6,50 $ od 10M do 50M, 6,00 $ nad tuto hranici. Při 1M: 29 $ plus 900K jednotek po 8 $ za 100K = 101 $. Při 10M: 29 $, plus 900K po 8 $ (72 $), plus 9 000K po 7 $ (630 $) = 731 $.

Všimněte si rozdílu v podobě: LangSmith účtuje lidi plus měřenou spotřebu, ty další dva ne. Pokud je vaším skutečným problémem útrata za tokeny, LiteLLM proxy před vašimi modely srazí účet dřív, než ho některý z těchto nástrojů změří.

Můžete spustit dva z nich zároveň?

Ano. Langfuse i MLflow staví na OpenTelemetry, takže jeden collector může stejné GenAI spans rozvést do dvou backendů. Realistická dvojice: MLflow jako systém záznamu pro životní cyklus modelů, Langfuse jako LLM-nativní UX pro tracy. Technicky snadné; organizačně musí někdo collector vlastnit.

Mechanismus: OTel collector se dvěma OTLP exportéry, používající GenAI sémantické konvence, aby obě strany parsovaly spans stejně.

# Illustrative sketch, not a copy-paste-complete collector config
exporters:
  otlp/langfuse:
    endpoint: https://cloud.langfuse.com/api/public/otel:443
    headers:
      Authorization: "Basic <base64 public_key:secret_key>"
  otlp/mlflow:
    endpoint: http://localhost:5000/otel  # your MLflow tracking server

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [otlp/langfuse, otlp/mlflow]  # same spans, two backends

Označme to jasně: uspořádání výše je naše architektonická interpretace, ne prodejcem podporovaná konfigurace. Leanware je jediná další stránka na této SERP, která se vůbec zmiňuje o provozu dvou nástrojů, a to v jednom odstavci. Dual-shipping znamená dva systémy, dva účty, zdvojené úložiště a collector, který někoho vzbudí ve tři ráno.

Dual-shipping traců je technicky snadný a organizačně drahý. Druhý backend je zdarma, dokud ho někdo nemusí udržovat při životě.

Langfuse vs LangSmith vs MLflow: Kdo by měl vybrat který?

Výhody a nevýhody langfuse vs langsmith vs mlflow se smrsknou do šesti profilů. Každý řádek jmenuje jeden nástroj, protože „záleží na situaci" bez konkrétní volby je nepoužitelné.

Pokud je vaše upřímná odpověď „žádný z těchto tří", dalších sedm nástrojů v deseti platformách, které jsme seřadili, zahrnuje hostované a čistě enterprise možnosti, které jsme na této stránce vynechali.

Často kladené otázky

Proč používat MLflow pro LLM tracing?

MLflow pro LLM tracing používejte tehdy, když váš tým už nasazuje klasické ML modely a chce jeden systém záznamu: sledování experimentů, model registry a GenAI tracing v jediné platformě s licencí Apache 2.0, bez poplatku za trace. Pokud nasazujete pouze LLM funkce, Langfuse nebo LangSmith vám poskytnou mladší, LLM-first prostředí.

Dají se LangSmith a MLflow používat společně?

Ano. Oba přijímají trace data kompatibilní s OpenTelemetry, takže OTel collector může exportovat stejné spans do LangSmith i na tracking server MLflow najednou. Cena je provozní: dva backendy, dva účty, zdvojené úložiště. Většina týmů, se kterými mluvíme, vybere jeden systém záznamu a druhý vynechá.

Je LangSmith open source?

Ne. LangSmith je proprietární software s uzavřeným zdrojovým kódem od LangChain Inc. Klientské SDK LangSmith je otevřené, ale platforma, UI a backend ne. Pokud vám na open-source licenci záleží, Langfuse (MIT) a MLflow (Apache 2.0) jsou dvě možnosti z tohoto srovnání, které můžete svobodně self-hostovat.

Je MLflow jen pro klasické strojové učení?

Ne. MLflow přidalo prvotřídní podporu GenAI: mlflow.openai.autolog() trasuje volání OpenAI automaticky, @mlflow.trace pokrývá vlastní funkce a vestavěné judges evaluují výstupy LLM. Dědictví klasického ML je znát na UX, které je méně LLM-nativní než u Langfuse, ale samotný tracing je produkční kvality.

Je MLflow orchestrátor workflow jako Airflow nebo Kubeflow?

Ne. MLflow neplánuje DAGy ani nespouští pipeline; zaznamenává, co vaše běhy provedly: parametry, metriky, artefakty a tracy. Airflow a Kubeflow orchestrují úlohy, MLflow sleduje jejich výsledky. Lidé si tyto tři pletou, protože se v MLOps stacích vyskytují společně, ale sedí v různých vrstvách a často běží vedle sebe.

Jaké jsou open-source alternativy k LangSmith a MLflow?

Langfuse (MIT) je nejbližší open-source alternativa k LangSmith, se self-hostingem a OTel-nativním tracingem, a MLflow samotné je open source pod licencí Apache 2.0. Nad rámec tohoto srovnání jsou Lunary, Arize Phoenix a OpenLIT open-source LLM observability možnosti, které stojí za prohlídku dřív, než se upíšete proprietární platformě.

Který z té trojice je nejlevnější při 10 milionech traců měsíčně?

MLflow, počítáme-li pouze infrastrukturu: náš odhad je 150–400 $ měsíčně za Postgres, objektové úložiště a kontejner. Langfuse Cloud se při 10M jednotkách na Core plus odstupňovaný nadlimit dostává k 731 $. LangSmith se z jeho stránky ocenit nedá: od poloviny roku 2026 LangChain zveřejňuje sazby za seat a LCU/LSU, ne ceníkovou cenu za trace.

Nahrazuje Langfuse MLflow, nebo naopak?

Žádný z nich nenahrazuje ten druhý čistě. Langfuse nahrazuje tracingovou a evaluační vrstvu MLflow pro týmy s pouze LLM a vypouští mechanismus sledování experimentů a model registry. MLflow nahrazuje Langfuse, když klasické ML modely sdílejí vaši platformu a jeden systém záznamu je lepší než dva. Překrývají se v tracingu; liší se ve všem kolem něj.

Je Langfuse stále open source, i když ho akvírovalo ClickHouse?

Ano, podle oznámení z 16. 1. 2026. ClickHouse akvírovalo Langfuse spolu s rundou Series D za 400 milionů dolarů a obě společnosti se veřejně zavázaly zachovat licenci MIT, prvotřídní self-hosting a nezměněnou roadmap. To je veřejný závazek, ne trvalá právní záruka, ale dnes se na self-hostovaném příběhu nic nezměnilo.

Zdroje

Každý zdroj níže je editorský a dofollow; žádný není placený ani vyměněný.

Pokud si máte zapamatovat jen tři věci

• Dva ze tří nástrojů byly stavěné pro LLM. MLflow vzniklo v roce 2018 pro klasické ML a tracing se naučilo až později.
• Langfuse, pokud chcete self-hostovaná trace data s licencí MIT, která naplno vlastníte. LangSmith, pokud je vaše aplikace LangChain nebo LangGraph. MLflow, pokud klasické ML modely sdílejí vaši platformu.
• Nejprve si položte otázku odchodu: Langfuse exportuje do S3, databáze MLflow je vaše k dotazování, hromadný export LangSmith sedí za placenými plány.
• Při 10M událostech měsíčně: 731 $ ceníkové ceny na Langfuse Cloud a 150–400 $ infrastruktury na MLflow (náš odhad). LangSmith nemá srovnatelné číslo, protože přestal zveřejňovat cenu za trace.

Verdikt zopakovaný: vybírejte podle původu, ne podle funkcí. Chcete druhý názor na to, co sedí vašemu stacku, nebo pomoc se zapojením? Ozvěte se Techsy. Tyto nástroje vybíráme pro nasazení klientských agentů a rádi vám poradíme, který a proč.