Langfuse vs LangSmith vs MLflow: To er observability-værktøjer, ét er en ML-platform (2026)

Langfuse vs LangSmith vs MLflow: To er observability-værktøjer, ét er en ML-platform (2026)

Kun to af de tre værktøjer i langfuse vs langsmith vs mlflow blev bygget til at overvåge LLM'er. MLflow udkom i 2018 fra Databricks som eksperimenttracking til scikit-learn og XGBoost; GenAI-tracing kom oveni den base år senere. Langfuse er MIT-licenseret og LLM-native, LangSmith er proprietært og LangChain-native, MLflow er Apache-2.0 og ældre end begge. Ophav, ikke funktionslister, afgør denne sammenligning. Dommen: Langfuse for at eje dine data, LangSmith til LangGraph-miljøer, MLflow hvis klassiske modeller deler din platform.

Vigtigste pointer

• Langfuse hvis du vil have en MIT-kerne, du kan hoste selv og eje trace-dataene fuldt ud. Bemærk at dets ee/-mapper hører under separate kommercielle vilkår, hvorfor GitHub viser repoet som NOASSERTION frem for MIT.
• LangSmith hvis din app er LangChain eller LangGraph, og du betaler per sæde for den tætteste integration.
• MLflow hvis du også kører klassiske ML-modeller og vil have eksperimenter, modelregistrering og tracing ét sted.
• Alle tre taler OpenTelemetry nu, så det er en reel mulighed at køre to af dem samtidig.

Langfuse vs LangSmith vs MLflow ved første øjekast

Langfuse er open source-valget, LangSmith er det LangChain-native valg, og MLflow er valget, når dit team kører klassisk ML ved siden af LLM-funktionerne. To af disse er LLM-observability-værktøjer. Den tredje er en ML-platform, der lærte at trace LLM'er, og den forskel afgør de fleste af disse evalueringer.

Ny her? Læs først vores introduktion til AI-observability.

Opbevaringstallene kommer fra leverandørerne: Langfuses 30/90-dages/3-års niveauer ifølge prissiden, LangSmiths 14-dages basis og 400-dages udvidede traces ifølge LangChains priser (udvidet er en separat tracetype med et ekstra gebyr, ikke en opbevaringskontakt), og MLflow beholder data, så længe dit storage gør.

Tre navngivne valg:

• Vælg Langfuse hvis du vil have MIT-licenseret kode, self-hosting fra dag ét og trace-data i din egen Postgres og ClickHouse.
• Vælg LangSmith hvis din stack er LangChain eller LangGraph, og prissætning per sæde slår prissætning per trace.
• Vælg MLflow hvis sklearn- og XGBoost-modeller kører ved siden af dine LLM-funktioner. For detaljerne om to-værktøjsopsætningen, se vores fulde Langfuse vs LangSmith-sammenligning.

Har du brug for et LLM-native-værktøj eller en ML-platform?

Langfuse-vs-mlflow-delen af denne søgning er i virkeligheden et spørgsmål om ophav. MLflow startede som eksperimenttracking og en modelregistrering for klassisk ML og tilføjede så LLM-tracing. Langfuse startede med LLM-tracing og tilføjede ikke andet. Kører du ingen klassiske modeller, er MLflows livscyklusmaskineri overflade, du vedligeholder for ingenting, og et dedikeret AI-observability-værktøj er den kortere vej.

MLflow er det ældste af de tre med god margen: Apache-2.0-licenseret, styret af Linux Foundation, over 27.000 GitHub-stjerner per 5. august 2026, bygget til at besvare "hvilke hyperparametre producerede hvilket artifact?" Deres GenAI-tracing kom ovenpå den base. For et team, der kører både en XGBoost-churnmodel og en GPT-4o-supportagent, giver det ét system of record: eksperimenter, registreringsposter og LLM-traces i samme database.

Modvægten: kører du ingen klassiske modeller, betaler intet af det husleje. MLflows LLM-native UX er yngre end Langfuses, færre genveje, råere trace-visninger.

En afklaring, for autofuldførelse viser folk, der søger på kubeflow vs mlflow vs airflow: MLflow er ikke en workflow-orkestrator. Det planlægger ikke DAG'er; det registrerer, hvad dine kørsler gjorde. Airflow og Kubeflow afvikler jobs, MLflow tracker deres output. Om lag-spørgsmålet (mlflow vs tensorflow): TensorFlow er et modelleringsframework, MLflow ligger ovenpå det framework, du træner med. Leanwares sammenligning, det eneste ikke-leverandørredaktionelle resultat på denne SERP, laver samme opdeling.

Åbner dit team aldrig en Jupyter-notebook, er MLflows største fordel dødvægt. Den ene test alene eliminerer det for de fleste læsere af denne side.

Hvor meget kode kræver din første trace egentlig?

Cirka to linjer Python for alle tre, men friktionen bor forskellige steder. Langfuse og LangSmith beder om kontonøgler, før din første trace lander; MLflow beder om en kørende trackingserver. Færrest linjer kode og mindst arbejde er ikke det samme.

Vi tog den samme opgave, ét OpenAI-chatkald plus én hjælper, og instrumenterede den på tre måder fra hver leverandørs quickstart, genlæst 5. august 2026.

Langfuse, via @observe-dekoratoren:

# pip install langfuse
import os
from langfuse import observe
from langfuse.openai import openai  # drop-in wrapper

os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-..."
os.environ["LANGFUSE_SECRET_KEY"] = "sk-lf-..."
os.environ["LANGFUSE_BASE_URL"] = "https://cloud.langfuse.com"

@observe()
def answer(question: str, context: str) -> str:
    r = openai.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

LangSmith, via @traceable:

# pip install langsmith
import os
from langsmith import traceable
from openai import OpenAI

os.environ["LANGSMITH_TRACING"] = "true"
os.environ["LANGSMITH_API_KEY"] = "lsv2-..."
client = OpenAI()

@traceable
def answer(question: str, context: str) -> str:
    r = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

MLflow, via mlflow.openai.autolog():

# pip install mlflow
import mlflow
from openai import OpenAI

mlflow.set_tracking_uri("http://localhost:5000")  # server must be running
mlflow.openai.autolog()

def answer(question: str, context: str) -> str:
    r = OpenAI().chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

Tallene, vi nåede frem til fra de tre quickstarts:

Talt fra hver leverandørs quickstart, genlæst 5. august 2026: Langfuse SDK-dokumentation, LangSmith observability-quickstart, MLflow tracing-quickstart. openai er appens egen afhængighed, ikke medregnet. Tæl selv efter.

Vores tolkning, markeret som sådan: koden er næsten identisk på tværs af alle tre, så det er ikke dér, beslutningen ligger. Langfuse og LangSmith lægger friktionen ud i fem minutters kontooprettelse. MLflow lægger den i infrastruktur: dén one-liner forudsætter en trackingserver, en database bagved og nogen til at holde begge i live. Deres slanke mlflow-tracing-SDK, som MLflow siger er cirka 95 % mindre end den fulde pakke, barberer installationen, ikke serveren.

LLM-as-a-judge: Samme metode, tre forskellige hjem

Alle tre kører LLM-as-a-judge-evaluatorer på datasæt, men LangSmiths evalueringsmotor er den mest produktificerede, Langfuse parer managed dommere med annotationskøer og en GitHub Action til CI-gating, og MLflow binder dommere til sit eksperiment- og promptoptimeringsværktøj. Metodikken er identisk; forskellen er, hvor resultaterne bor.

Ifølge MLflows evalueringsdokumentation kører dets dommere i samme eksperimenttracking-system som dine klassiske ML-metrics, gevinsten ved ophavsargumentet ovenfor: ét dashboard for en churnmodel og en supportagent. Ifølge Langfuses dokumentation hæfter evaluatorer sig på traces og fylder annotationskøer, dit team arbejder igennem i UI'en.

For metoden, læs sådan evaluerer du LLM-outputs ordentligt; for det bredere landskab, evalueringsværktøjerne, vi rangerer. Agent-pipelines kræver omsorg ud over outputscoring, dækket i evaluering af agenter, når de er i drift.

Promptstyring: Kun én versionerer prompts ved siden af modeller

Holdt kort med vilje, for detaljerne om to-værktøjsopsætningen hører til i vores søsterindlæg. Formen for hvert værktøj: Langfuse tilbyder promptstyring med versionering, labels og en playground; LangSmith tilbyder en prompt-hub med commit-lignende versionering; MLflow tilbyder en promptregistrering, der gemmer prompts som første klasses enheder ved siden af dine modeller.

Den ene beslutningsrelevante forskel: MLflow versionerer prompts sammen med modelregistreringsposter, så en prompt og den model, den er tunet mod, deler ét system of record. Langfuse og LangSmith holder prompts adskilt fra det, der serverer dine modeller. Promoverer du model og prompt sammen og vil have et revisionsspor, der beviser, hvilken sammensætning der blev sendt afsted, slår den kobling enhver playground. For de dybe to-værktøjsdetaljer, se vores fulde Langfuse vs LangSmith-sammenligning.

Self-hosting, dataejerskab og hvad det koster at forlade

Langfuse selvhostes som en multi-service stack, du fuldt ud kontrollerer, MLflow som en trackingserver plus en database, du kan stille SQL-forespørgsler direkte mod, LangSmith kun på enterprise-vilkår. Exit-spørgsmålet betyder mere end indgangsspørgsmålet: uanset hvilket værktøj du vælger, er trace-historikken den del, du ikke kan genskabe.

Udrulningsvirkeligheden per værktøj. Langfuse kører som web, worker, Postgres, ClickHouse og et cache/blob-lag siden dets ClickHouse-æra-redesign, ifølge Langfuses scale-engineering-indlæg. Kontekst, du bør have på plads: ClickHouse opkøbte Langfuse den 16. januar 2026 sammen med en $400M Series D, og begge forpligtede sig til, at MIT-licensen, førsteklasses self-hosting og roadmap forbliver uændrede (Langfuses udmelding). LangSmith-self-hosting er en enterprise-plan-sag, ifølge deres dokumentation. MLflow er en trackingserver, en Postgres-kompatibel database og objektstorage.

Exit-veje, den sektion ingen andre skriver. Langfuse eksporterer til blob-storage som JSONL eller Parquet via en dokumenteret S3-eksport plus et fuldt API. MLflows backend er en åben database, du kan forespørge direkte. LangSmiths bulk-eksport ligger bag betalte planer. Dommen: MLflows lock-in er den mest genoprettelige, Langfuse tæt efter, LangSmith under enterprise er dér, hvor et forkert valg koster dig din historik.

SSO og RBAC styrer Langfuses Enterprise-niveau ($2.499/måned) og LangSmiths Enterprise-plan; med MLflow kobler du selv din auth, frihed og arbejde i lige mål.

Hvad koster hver især ved 100K, 1M og 10M traces?

Langfuse måler enheder, MLflow måler ingenting, og LangSmith udgiver ikke længere en sammenlignelig pris per enhed overhovedet. Enheder og traces er ikke det samme objekt; én brugerforespørgsel kan være én trace, der indeholder mange fakturerbare hændelser. Kun to af de tre kolonner nedenfor kan bygges ud fra listepriser.

Den sidste pointe er et fund, ikke et hul i vores research. Per 5. august 2026 sætter LangChains prisside Plus til $39 per sæde med 10K basis-traces inkluderet, og måler derefter forbrug til $1.50 per LCU (compute) og $1.00 per LSU (storage). Der er ikke længere en pris per 1K traces på siden, og ingen anden side med én. En LangSmith-regning ved en angivet tracevolumen kan derfor ikke udledes af listepriser, og vi opfinder ikke en omregning.

Langfuse-tallene er listepriser fra dets prisside, læst 5. august 2026, ganget med den viste volumen. LangSmiths sædepris og opbevaringsniveauer kommer fra samme-dags-læsning af LangChains priser: basis-traces til 14-dages opbevaring, udvidede traces til 400 dage for et ekstra gebyr, siden ikke sætter tal på. MLflow-kolonnen er vores estimat, ikke et leverandørtilbud: managed Postgres ($15-25/måned), objektstorage og én altid-tændt container ($10-20/måned), voksende med gemt historik.

Efterprøv vores regnestykke, hvor der er regnestykker at efterprøve. Langfuse udgiver en trappetrinsvis merforbrugsskala: $8.00 per 100K enheder fra 100K til 1M, $7.00 fra 1M til 10M, $6.50 fra 10M til 50M, $6.00 derover. Ved 1M: $29 plus 900K enheder til $8 per 100K = $101. Ved 10M: $29, plus 900K til $8 ($72), plus 9.000K til $7 ($630) = $731.

Bemærk formforskellen: LangSmith fakturerer folk plus målt forbrug, det gør de to andre ikke. Er dit reelle problem tokenforbrug, skærer en LiteLLM-proxy foran dine modeller regningen, før noget af disse værktøjer måler den.

Kan du køre to af dem sammen?

Ja. Langfuse og MLflow bygger begge på OpenTelemetry, så én kollektor kan fordele de samme GenAI-spans til to backends. Det realistiske par: MLflow som model-livscyklussens system of record, Langfuse som den LLM-native trace-UX. Teknisk let; organisatorisk skal nogen eje kollektoren.

Mekanismen: en OTel-kollektor med to OTLP-eksportører, der bruger GenAI-semantikkonventionerne, så begge sider parser spans ens.

# Illustrative sketch, not a copy-paste-complete collector config
exporters:
  otlp/langfuse:
    endpoint: https://cloud.langfuse.com/api/public/otel:443
    headers:
      Authorization: "Basic <base64 public_key:secret_key>"
  otlp/mlflow:
    endpoint: http://localhost:5000/otel  # your MLflow tracking server

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [otlp/langfuse, otlp/mlflow]  # same spans, two backends

Marker dette tydeligt: opsætningen ovenfor er vores arkitekturtolkning, ikke en leverandørunderstøttet konfiguration. Leanware er den eneste anden side på denne SERP, der overhovedet nævner at køre to værktøjer, i ét afsnit. Dual-shipping betyder to systemer, to regninger, duplikeret storage og en kollektor, der vækker nogen klokken 3 om natten.

Dual-shipping af traces er teknisk let og organisatorisk dyrt. Den anden backend er gratis, indtil nogen skal holde den i live.

Langfuse vs LangSmith vs MLflow: Hvem skal vælge hvad?

Langfuse-vs-langsmith-vs-mlflow-fordele-og-ulemper koges ned til seks profiler. Hver række nævner ét værktøj, for "det kommer an på" uden et valg er ubrugeligt.

Er dit ærlige svar "ingen af disse tre", inkluderer de syv andre værktøjer i de ti platforme, vi rangerede hostede og enterprise-only muligheder, vi holdt ude af denne side.

Ofte stillede spørgsmål

Hvorfor bruge MLflow til LLM-tracing?

Brug MLflow til LLM-tracing, når dit team allerede kører klassiske ML-modeller og vil have ét system of record: eksperimenttracking, en modelregistrering og GenAI-tracing i én Apache-2.0-platform, uden gebyr per trace. Kører du kun LLM-funktioner, giver Langfuse eller LangSmith dig en yngre, LLM-først-oplevelse.

Kan man bruge LangSmith og MLflow sammen?

Ja. Begge accepterer OpenTelemetry-kompatible trace-data, så en OTel-kollektor kan eksportere de samme spans til LangSmith og en MLflow-trackingserver på én gang. Prisen er driftsmæssig: to backends, to regninger, duplikeret storage. De fleste teams, vi taler med, vælger ét system of record og springer det andet over.

Er LangSmith open source?

Nej. LangSmith er proprietær, lukket software fra LangChain Inc. LangSmith-klient-SDK'en er åben, men platformen, UI'en og backend er det ikke. Betyder en open source-licens noget for dig, er Langfuse (MIT) og MLflow (Apache 2.0) de to muligheder i denne sammenligning, du frit kan selvhoste.

Er MLflow kun til klassisk machine learning?

Nej. MLflow tilføjede førsteklasses GenAI-understøttelse: mlflow.openai.autolog() tracer OpenAI-kald automatisk, @mlflow.trace dækker egne funktioner, og indbyggede dommere evaluerer LLM-outputs. Den klassiske ML-arv viser sig i UX'en, som er mindre LLM-native end Langfuses, men selve tracingen er produktionsklar.

Er MLflow en workflow-orkestrator som Airflow eller Kubeflow?

Nej. MLflow planlægger ikke DAG'er eller afvikler pipelines; det registrerer, hvad dine kørsler gjorde: parametre, metrics, artifacts og traces. Airflow og Kubeflow orkestrerer jobs, MLflow tracker deres resultater. Folk forveksler de tre, fordi de optræder sammen i MLOps-stacks, men de ligger i forskellige lag og kører ofte sideløbende.

Hvad er open source-alternativerne til LangSmith og MLflow?

Langfuse (MIT) er det tætteste open source-alternativ til LangSmith, med self-hosting og OTel-native tracing, og MLflow er selv open source under Apache 2.0. Ud over denne sammenligning er Lunary, Arize Phoenix og OpenLIT open source LLM-observability-muligheder, der er værd at se på, før du binder dig til en proprietær platform.

Hvem af de tre er billigst ved 10 millioner traces om måneden?

MLflow, hvis man kun regner infrastruktur: vores estimat er $150-400 om måneden for Postgres, objektstorage og en container. Langfuse Cloud lander på $731 for 10M enheder på Core plus dets trappetrinsvise merforbrug. LangSmith kan ikke prissættes ud fra siden: siden midten af 2026 udgiver LangChain sæde- og LCU/LSU-satser, ikke en listepris per trace.

Erstatter Langfuse MLflow, eller omvendt?

Ingen erstatter den anden rent. Langfuse erstatter MLflows tracing- og evalueringslag for rene LLM-teams og dropper eksperimenttracking- og modelregistreringsmaskineriet. MLflow erstatter Langfuse, når klassiske ML-modeller deler din platform, og ét system of record slår to. De overlapper på tracing; de skiller på alt udenom.

Er Langfuse stadig open source, nu hvor ClickHouse har opkøbt det?

Ja, per meddelelsen af 16. januar 2026. ClickHouse opkøbte Langfuse sammen med en $400M Series D, og begge selskaber forpligtede sig offentligt til at beholde MIT-licensen, førsteklasses self-hosting og et uændret roadmap. Det er en offentlig forpligtelse, ikke en permanent juridisk garanti, men i dag er intet ændret i selvhosting-historien.

Kilder

Alle kilder nedenfor er redaktionelle og dofollow; ingen er betalte eller udvekslede.

Hvis du kun husker tre ting

• To af de tre blev bygget til LLM'er. MLflow blev bygget i 2018 til klassisk ML og lærte tracing senere.
• Langfuse hvis du vil have MIT-licenserede, selvhostede trace-data, du ejer fuldt ud. LangSmith hvis din app er LangChain eller LangGraph. MLflow hvis klassiske ML-modeller deler din platform.
• Stil exit-spørgsmålet først: Langfuse eksporterer til S3, MLflows database er din at forespørge, LangSmiths bulk-eksport ligger bag betalte planer.
• Ved 10M hændelser om måneden: $731 på Langfuse Clouds listepris og $150-400 infrastruktur på MLflow (vores estimat). LangSmith har ikke et sammenligneligt tal, siden det stoppede med at udgive en pris per trace.

Dommen, gentaget: vælg efter ophav, ikke funktioner. Vil du have en second opinion om, hvad der passer til din stack, eller hjælp til at koble det sammen? Tal med Techsy. Vi vælger disse værktøjer til kunders agent-udrulninger og fortæller gerne hvilket og hvorfor.