Langfuse vs LangSmith vs MLflow: To er observabilitetsverktøy, ett er en ML-plattform (2026)

Langfuse vs LangSmith vs MLflow: To er observabilitetsverktøy, ett er en ML-plattform (2026)

Bare to av de tre verktøyene i langfuse vs langsmith vs mlflow ble bygget for å overvåke LLM-er. MLflow ble lansert i 2018 hos Databricks som eksperimentsporing for scikit-learn og XGBoost; GenAI-sporing kom oppå den grunnmuren år senere. Langfuse er MIT-lisensiert og LLM-native, LangSmith er proprietært og LangChain-native, MLflow er Apache-2.0 og eldre enn begge. Opphav, ikke funksjonslister, avgjør denne. Dommen: Langfuse for å eie dataene dine, LangSmith for LangGraph-miljøer, MLflow hvis klassiske modeller deler plattformen din.

Hovedpoeng

• Langfuse hvis du vil ha et MIT-kjerne du kan egenhoste og eie sporingsdataene helt og fullt. Merk at ee/-mappene har egne kommersielle vilkår, som er grunnen til at GitHub rapporterer repoet som NOASSERTION i stedet for MIT.
• LangSmith hvis appen din er LangChain eller LangGraph og du betaler per sete for den tetteste integrasjonen.
• MLflow hvis du også leverer klassiske ML-modeller og vil ha eksperimenter, modellregister og sporing på ett sted.
• Alle tre snakker OpenTelemetry nå, så det å kjøre to av dem samtidig er et reelt alternativ.

Langfuse vs LangSmith vs MLflow ved første øyekast

Langfuse er åpen kildekode-valget, LangSmith er det LangChain-native valget, og MLflow er valget når teamet ditt leverer klassisk ML ved siden av LLM-funksjonene. To av disse er LLM-observabilitetsverktøy. Den tredje er en ML-plattform som lærte seg å spore LLM-er, og den forskjellen avgjør de fleste av disse evalueringene.

Ny her? Les AI-observabilitet-introduksjonen vår først.

Lagringstallene kommer fra leverandørene: Langfuses 30/90-dagers/3-års nivåer per prissiden, LangSmiths 14-dagers basis og 400-dagers utvidede spor per LangChains priser (utvidet er en egen sportype med et tilleggsgebyr, ikke en lagringsbryter), og MLflow beholder data så lenge lagringen din gjør det.

Tre navngitte valg:

• Velg Langfuse hvis du vil ha MIT-lisensiert kode, egenhosting fra dag én og sporingsdata i din egen Postgres og ClickHouse.
• Velg LangSmith hvis stacken din er LangChain eller LangGraph og prising per sete slår prising per spor.
• Velg MLflow hvis sklearn- og XGBoost-modeller kjører ved siden av LLM-funksjonene dine. For detaljene om to-verktøy-oppsettet, se vår fulle Langfuse vs LangSmith-sammenligning.

Trenger du et LLM-native-verktøy eller en ML-plattform?

Langfuse vs mlflow-delen av dette søket er egentlig et spørsmål om opphav. MLflow startet som eksperimentsporing og et modellregister for klassisk ML, og la deretter til LLM-sporing. Langfuse startet med LLM-sporing og la ikke til noe annet. Hvis du ikke leverer klassiske modeller, er MLflows livssyklusmaskineri en vedlikeholdsflate du har uten nytte, og et dedikert AI-observabilitet-verktøy er den kortere veien.

MLflow er den eldste av de tre med god margin: Apache-2.0-lisensiert, styrt av Linux Foundation, over 27 000 GitHub-stjerner per 5. august 2026, bygget for å svare på «hvilke hyperparametere produserte hvilket artifact?» GenAI-sporingen kom oppå den grunnmuren. For et team som leverer både en XGBoost churn-modell og en GPT-4o kundestøtteagent, gir det ett kildesystem: eksperimenter, registeroppføringer og LLM-spor i samme database.

Motvekten: leverer du ingen klassiske modeller, betaler ingenting av det for seg. MLflows LLM-native UX er yngre enn Langfuses, færre snarveier, råere sporingsvisninger.

En avklaring, fordi autofullføring viser at folk søker på kubeflow vs mlflow vs airflow: MLflow er ikke en orkestrator for arbeidsflyter. Den planlegger ikke DAG-er; den registrerer hva kjøringene dine gjorde. Airflow og Kubeflow kjører jobber, MLflow sporer resultatene deres. På lag-spørsmålet (mlflow vs tensorflow): TensorFlow er et modelleringsrammeverk, MLflow sitter over det rammeverket du trener med. Leanwares sammenligning, det eneste ikke-leverandør-redaksjonelle resultatet på denne SERP-en, gjør det samme skillet.

Hvis teamet ditt aldri åpner en Jupyter-notebook, er MLflows største fordel død vekt. Den ene testen alene luker det bort for de fleste leserne av denne siden.

Hvor mye kode tar den første sporingen din egentlig?

Omtrent to linjer Python for alle tre, men friksjonen bor forskjellige steder. Langfuse og LangSmith ber om kontonøkler før den første sporingen din lander; MLflow ber om en kjørende sporingsserver. Færrest linjer kode og minst jobb er ikke det samme.

Vi tok den samme oppgaven, ett OpenAI chat-kall pluss én hjelper, og instrumenterte den på tre måter fra hurtigstartguidene til hver leverandør, lest 5. august 2026.

Langfuse, via @observe-dekoratøren:

# pip install langfuse
import os
from langfuse import observe
from langfuse.openai import openai  # drop-in wrapper

os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-..."
os.environ["LANGFUSE_SECRET_KEY"] = "sk-lf-..."
os.environ["LANGFUSE_BASE_URL"] = "https://cloud.langfuse.com"

@observe()
def answer(question: str, context: str) -> str:
    r = openai.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

LangSmith, via @traceable:

# pip install langsmith
import os
from langsmith import traceable
from openai import OpenAI

os.environ["LANGSMITH_TRACING"] = "true"
os.environ["LANGSMITH_API_KEY"] = "lsv2-..."
client = OpenAI()

@traceable
def answer(question: str, context: str) -> str:
    r = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

MLflow, via mlflow.openai.autolog():

# pip install mlflow
import mlflow
from openai import OpenAI

mlflow.set_tracking_uri("http://localhost:5000")  # server must be running
mlflow.openai.autolog()

def answer(question: str, context: str) -> str:
    r = OpenAI().chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

Antallene vi utledet fra disse tre hurtigstartene:

Talt fra hurtigstarten til hver leverandør, lest 5. august 2026: Langfuse SDK-dokumentasjon, LangSmith observability-hurtigstart, MLflow hurtigstart for sporing. openai er appens egen avhengighet, ikke medregnet. Tell etter selv.

Tolkningen vår, merket som sådan: koden er nesten identisk på tvers av alle tre, så det er ikke der beslutningen bor. Langfuse og LangSmith frontlaster friksjonen inn i fem minutter med kontooppretting. MLflow frontlaster den inn i infrastruktur: den énlinjeren forutsetter en sporingsserver, en database bak den og noen som holder begge i live. Den slanke mlflow-tracing-SDK-en, som MLflow sier er omtrent 95 % mindre enn fullpakken, kutter installasjonen, ikke serveren.

LLM-as-a-Judge: Samme metode, tre forskjellige hjem

Alle tre kjører LLM-as-a-judge-evaluatorer mot datasett, men evalueringsmotoren til LangSmith er den mest produktifiserte, Langfuse kobler administrerte dommere med annoteringskøer og en GitHub Action for CI-gating, og MLflow binder dommere til eksperiment- og promptoptimaliseringsverktøyene sine. Metodikken er identisk; forskjellen er hvor resultatene bor.

Per MLflows evalueringsdokumentasjon kjører dommerne dens inne i det samme eksperimentsporingssystemet som de klassiske ML-metrikker dine, gevinsten av opphavsargumentet over: ett dashbord for en churn-modell og en kundestøtteagent. Per Langfuses dokumentasjon fester evaluatorer seg til sporinger og mater annoteringskøer som teamet ditt jobber gjennom i UI-et.

For metoden, les hvordan du evaluerer LLM-utdata riktig; for det bredere bildet, evalueringsverktøyene vi rangerer. Agent-pipelines trenger omsorg utover skåring av utdata, dekket i evaluering av agenter i produksjon.

Promptadministrasjon: Bare én versjonerer prompter ved siden av modeller

Bevisst kort holdt, fordi detaljene om to-verktøy-oppsettet hører til i søsterinnlegget vårt. Formen på hver: Langfuse tilbyr promptadministrasjon med versjonering, etiketter og en playground; LangSmith tilbyr en prompt-hub med commit-lignende versjonering; MLflow tilbyr et promptregister som lagrer prompter som førsteklasses enheter ved siden av modellene dine.

Den ene beslutningsrelevante forskjellen: MLflow versjonerer prompter sammen med modellregisteroppføringer, så en prompt og modellen den ble finjustert mot deler ett kildesystem. Langfuse og LangSmith holder prompter atskilt fra det som serverer modellene dine. Hvis du promoterer modell og prompt sammen og vil ha et revisjonsspor som beviser hvilken paring som ble lansert, slår den koblingen enhver playground. For de dype to-verktøy-detaljene, se vår fulle Langfuse vs LangSmith-sammenligning.

Egenhosting, dataeierskap og hva det koster å gå

Langfuse egenhostes som en multitjeneste-stack du kontrollerer fullt ut, MLflow som en sporingsserver pluss en database du kan SQL-spørre direkte, LangSmith kun på enterprise-vilkår. Utgangsspørsmålet betyr mer enn inngangsspørsmålet: uansett hvilket verktøy du velger, er sporingshistorikken delen du ikke kan gjenskape.

Distribusjonsrealitet per verktøy. Langfuse kjører som web, worker, Postgres, ClickHouse og et cache/blob-lag siden ClickHouse-æraens ombygging, per Langfuses scale-engineering-innlegg. Kontekst du bør ha klar: ClickHouse kjøpte Langfuse 16. januar 2026 sammen med en $400M Series D, og begge forpliktet seg til at MIT-lisensen, førsteklasses egenhosting og veikartet forblir uendret (Langfuses uttalelse). LangSmith-egenhosting er et enterprise-plan-anliggende, per dokumentasjonen deres. MLflow er en sporingsserver, en Postgres-kompatibel database og objektlagring.

Utgangsveier, seksjonen ingen andre skriver. Langfuse eksporterer til blob-lagring som JSONL eller Parquet via en dokumentert S3-eksport, pluss et fullt API. MLflows backend er en åpen database du kan spørre direkte. LangSmiths bulk-eksport sitter bak betalte planer. Dommen: MLflows leverandørlåsing er den mest gjenopprettbare, Langfuse tett bak, LangSmith under enterprise er der et feil valg koster deg historikken din.

SSO og RBAC porter Langfuses Enterprise-nivå ($2,499/mnd) og LangSmiths Enterprise-plan; med MLflow kobler du din egen autentisering, frihet og jobb i like mål.

Hva koster hver av dem på 100K, 1M og 10M spor?

Langfuse måler enheter, MLflow måler ingenting, og LangSmith publiserer ikke lenger en sammenlignbar enhetspris i det hele tatt. Enheter og spor er ikke det samme objektet; én brukerforespørsel kan være ett enkelt spor som inneholder mange fakturerbare hendelser. Bare to av de tre kolonnene nedenfor kan bygges fra listpriser.

Det siste punktet er et funn, ikke et hull i researchen vår. Per 5. august 2026 setter LangChains prisside Plus til $39 per sete med 10K basisspor inkludert, og måler deretter bruk til $1.50 per LCU (beregning) og $1.00 per LSU (lagring). Det finnes ikke lenger noen per-1K-spor-pris på siden, og ingen annen side med én. En LangSmith-regning ved et oppgitt sporvolum kan derfor ikke utledes fra listpriser, og vi kommer ikke til å finne opp en omregning.

Langfuse-tallene er listpriser fra prissiden, lest 5. august 2026, ganget med volumet som vises. LangSmiths seteprisen og lagringsnivåene kommer fra samme dags lesning av LangChains priser: basisspor med 14-dagers lagringstid, utvidede spor ved 400 dager for et tilleggsgebyr siden ikke tallfester. MLflow-kolonnen er vårt estimat, ikke et leverandørtilbud: administrert Postgres ($15-25/mnd), objektlagring og én alltid-på container ($10-20/mnd), voksende med lagret historikk.

Sjekk regnestykket vårt der det finnes regnestykke å sjekke. Langfuse publiserer en gradert merforbrukstabell: $8.00 per 100K enheter fra 100K til 1M, $7.00 fra 1M til 10M, $6.50 fra 10M til 50M, $6.00 over det. Ved 1M: $29 pluss 900K enheter til $8 per 100K = $101. Ved 10M: $29, pluss 900K til $8 ($72), pluss 9 000K til $7 ($630) = $731.

Merk formforskjellen: LangSmith fakturerer folk pluss målt forbruk, de to andre gjør ikke det. Hvis det reelle problemet ditt er tokenforbruk, kutter en LiteLLM-proxy foran modellene dine regningen før noen av disse verktøyene måler den.

Kan du kjøre to av dem samtidig?

Ja. Langfuse og MLflow bygger begge på OpenTelemetry, så én innsamler kan sende de samme GenAI-spennene til to backender. Den realistiske paringen: MLflow som kildesystem for modellivssyklusen, Langfuse som den LLM-native sporings-UX-en. Teknisk lett; organisatorisk må noen eie innsamleren.

Mekanismen: en OTel-collector med to OTLP-eksportører, som bruker GenAI-semantikkonvensjonene så begge sider parser spennene likt.

# Illustrative sketch, not a copy-paste-complete collector config
exporters:
  otlp/langfuse:
    endpoint: https://cloud.langfuse.com/api/public/otel:443
    headers:
      Authorization: "Basic <base64 public_key:secret_key>"
  otlp/mlflow:
    endpoint: http://localhost:5000/otel  # your MLflow tracking server

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [otlp/langfuse, otlp/mlflow]  # same spans, two backends

Merk dette tydelig: oppsettet over er vår arkitekturtolkning, ikke en leverandørstøttet konfigurasjon. Leanware er den eneste andre siden på denne SERP-en som i det hele tatt nevner å kjøre to verktøy, i ett avsnitt. Dobbeltsporing betyr to systemer, to regninger, duplisert lagring og en innsamler som vekker noen klokka 3 på natta.

Å dobbeltspore er teknisk lett og organisatorisk dyrt. Den andre backenden er gratis til noen må holde den i live.

Langfuse vs LangSmith vs MLflow: Hvem bør velge hva?

Fordeler og ulemper ved langfuse vs langsmith vs mlflow koker ned til seks profiler. Hver rad navngir ett verktøy, fordi «det kommer an på» uten et valg er ubrukelig.

Hvis det ærlige svaret ditt er «ingen av disse tre», inkluderer de syv andre verktøyene i de ti plattformene vi rangerte hostede og enterprise-bare alternativer som vi holdt av denne siden.

Ofte stilte spørsmål

Hvorfor bruke MLflow til LLM-sporing?

Bruk MLflow til LLM-sporing når teamet ditt allerede leverer klassiske ML-modeller og vil ha ett kildesystem: eksperimentsporing, et modellregister og GenAI-sporing i én enkelt Apache-2.0-plattform, uten noen sporavgift. Hvis du bare leverer LLM-funksjoner, gir Langfuse eller LangSmith deg en yngre, LLM-først-opplevelse.

Kan du bruke LangSmith og MLflow sammen?

Ja. Begge godtar OpenTelemetry-kompatible sporingsdata, så en OTel-collector kan eksportere de samme spennene til LangSmith og en MLflow-sporingsserver samtidig. Kostnaden er driftsmessig: to backender, to regninger, duplisert lagring. De fleste teamene vi snakker med velger ett kildesystem og hopper over det andre.

Er LangSmith åpen kildekode?

Nei. LangSmith er proprietær, lukket kildekode-programvare fra LangChain Inc. LangSmith-klient-SDK-en er åpen, men plattformen, UI-et og backenden er det ikke. Hvis en åpen kildekode-lisens betyr noe for deg, er Langfuse (MIT) og MLflow (Apache 2.0) de to alternativene i denne sammenligningen som du kan egenhoste fritt.

Er MLflow bare for klassisk maskinlæring?

Nei. MLflow la til førsteklasses GenAI-støtte: mlflow.openai.autolog() sporer OpenAI-kall automatisk, @mlflow.trace dekker egne funksjoner, og innebygde dommere evaluerer LLM-utdata. Den klassiske ML-arven vises i UX-en, som er mindre LLM-native enn Langfuses, men sporingen i seg selv er produksjonsklar.

Er MLflow en orkestrator for arbeidsflyter som Airflow eller Kubeflow?

Nei. MLflow planlegger ikke DAG-er eller kjører pipelines; den registrerer hva kjøringene dine gjorde: parametere, metrikker, artifacts og spor. Airflow og Kubeflow orkestrerer jobber, MLflow sporer resultatene deres. Folk forveksler de tre fordi de opptrer sammen i MLOps-stacker, men de sitter på forskjellige lag og kjører ofte sammen.

Hva er alternativene med åpen kildekode til LangSmith og MLflow?

Langfuse (MIT) er det nærmeste åpen kildekode-alternativet til LangSmith, med egenhosting og OTel-native sporing, og MLflow selv er åpen kildekode under Apache 2.0. Utenfor denne sammenligningen er Lunary, Arize Phoenix og OpenLIT åpen kildekode-LLM-observabilitetsalternativer som er verdt en titt før du forplikter deg til en proprietær plattform.

Hvem av de tre er billigst på 10 millioner spor i måneden?

MLflow, hvis man bare teller infrastruktur: estimatet vårt er $150-400 i måneden for Postgres, objektlagring og en container. Langfuse Cloud lander på $731 for 10M enheter på Core pluss gradert merforbruk. LangSmith kan ikke prises fra siden sin: siden midten av 2026 publiserer LangChain sete- og LCU/LSU-satser, ikke en per-spor-listpris.

Erstatter Langfuse MLflow, eller omvendt?

Ingen av dem erstatter den andre rent. Langfuse erstatter sporings- og evalueringslagene til MLflow for rene LLM-team og dropper eksperimentsporings- og modellregistermaskineriet. MLflow erstatter Langfuse når klassiske ML-modeller deler plattformen din og ett kildesystem slår to. De overlapper på sporing; de skiller lag på alt rundt.

Er Langfuse fortsatt åpen kildekode nå som ClickHouse har kjøpt dem?

Ja, per kunngjøringen 16. januar 2026. ClickHouse kjøpte Langfuse sammen med en $400M Series D, og begge selskapene forpliktet seg offentlig til å beholde MIT-lisensen, førsteklasses egenhosting og et uendret veikart. Det er en offentlig forpliktelse, ikke en permanent juridisk garanti, men i dag er ingenting ved egenhostingshistorien endret.

Kilder

Hver kilde nedenfor er redaksjonell og dofollow; ingen er betalt eller byttet.

Hvis du bare husker tre ting

• To av de tre ble bygget for LLM-er. MLflow ble bygget i 2018 for klassisk ML og lærte seg sporing senere.
• Langfuse hvis du vil ha MIT-lisensierte, egenhostede sporingsdata du eier helt og fullt. LangSmith hvis appen din er LangChain eller LangGraph. MLflow hvis klassiske ML-modeller deler plattformen din.
• Still utgangsspørsmålet først: Langfuse eksporterer til S3, MLflows database er din å spørre, LangSmiths bulk-eksport sitter bak betalte planer.
• På 10M hendelser i måneden: $731 på Langfuse Cloud listpris og $150-400 i infrastruktur på MLflow (vårt estimat). LangSmith har ingen sammenlignbar figur siden de sluttet å publisere en per-spor-pris.

Dommen, gjentatt: velg etter opphav, ikke funksjoner. Vil du ha en second opinion om hva som passer stacken din, eller hjelp til å koble det opp? Snakk med Techsy. Vi velger disse verktøyene for kundeagent-distribusjoner, og forteller deg gjerne hvilket og hvorfor.