Langfuse vs LangSmith vs MLflow: Twee Zijn Observability-tools, Eén Is een ML-platform (2026)

Langfuse vs LangSmith vs MLflow: Twee Zijn Observability-tools, Eén Is een ML-platform (2026)

Slechts twee van de drie tools in langfuse vs langsmith vs mlflow zijn gebouwd om LLM's te bewaken. MLflow verscheen in 2018 vanuit Databricks als experiment-tracking voor scikit-learn en XGBoost; GenAI-tracing kwam er jaren later bovenop. Langfuse is MIT-gelicentieerd en LLM-native, LangSmith is proprietary en LangChain-native, MLflow is Apache-2.0 en ouder dan beide andere. Herkomst, niet een lijstje features, beslist dit keer. Verdict: Langfuse om je data zelf te bezitten, LangSmith voor LangGraph-teams, MLflow als klassieke modellen je platform delen.

Belangrijkste punten

• Langfuse als je een MIT-core wilt die je zelf kunt hosten en waarbij je de tracedata volledig zelf bezit. Let op: de ee/-mappen vallen onder aparte commerciële voorwaarden, en dat is waarom GitHub de repo als NOASSERTION rapporteert in plaats van MIT.
• LangSmith als je app LangChain of LangGraph is en je per seat betaalt voor de strakste integratie.
• MLflow als je ook klassieke ML-modellen draait en experiments, model registry en tracing op één plek wilt.
• Alle drie spreken ze inmiddels OpenTelemetry, dus twee tegelijk draaien is een reële optie.

Langfuse vs LangSmith vs MLflow in één overzicht

Langfuse is de open-source-keuze, LangSmith is de LangChain-native-keuze en MLflow is de keuze wanneer je team naast LLM-features ook klassieke ML draait. Twee daarvan zijn LLM-observabilitytools. De derde is een ML-platform dat LLM's leerde tracen, en dat verschil beslist de meeste van deze evaluaties.

Nieuw hier? Lees dan eerst onze AI-observability-basisgids.

De retentiecijfers komen van de vendors: Langfuse' 30/90-dagen/3-jaar-tiers volgens zijn prijspagina, LangSmiths 14-dagen-basis en 400-dagen-extended-traces volgens LangChains prijzen (extended is een apart tracetype met een aanvullende vergoeding, geen retentieschakelaar) en MLflow bewaart data zo lang als je opslag meegaat.

Drie concrete keuzes:

• Kies Langfuse als je MIT-gelicentieerde code wilt, self-hosting vanaf dag één en tracedata in je eigen Postgres en ClickHouse.
• Kies LangSmith als je stack LangChain of LangGraph is en prijzen per seat voordeliger uitpakken dan prijzen per trace.
• Kies MLflow als er sklearn- en XGBoost-modellen naast je LLM-features draaien. Voor de details over twee tools, zie onze volledige Langfuse vs LangSmith-vergelijking.

Heb je een LLM-native tool nodig of een ML-platform?

Het langfuse-vs-mlflow-deel van deze zoekopdracht is eigenlijk een herkomstvraag. MLflow begon als experiment-tracking en model registry voor klassieke ML en voegde daarna LLM-tracing toe. Langfuse begon met LLM-tracing en voegde niets anders toe. Draai je geen klassieke modellen, dan is MLflow's levenscyclusmachinery een onderhoudsoppervlak dat je voor niets in stand houdt, en is een dedicated AI-observabilitytool de kortere weg.

MLflow is met afstand de oudste van de drie: Apache-2.0-gelicentieerd, beheerd door de Linux Foundation, met meer dan 27.000 GitHub-sterren per 5 augustus 2026, gebouwd om de vraag "welke hyperparameters produceerden welk artifact?" te beantwoorden. De GenAI-tracing kwam bovenop die basis. Voor een team dat zowel een XGBoost-churnmodel als een GPT-4o-supportagent draait, levert dat één system of record op: experiments, registry-items en LLM-traces in dezelfde database.

De tegenpool: draai je geen klassieke modellen, dan levert niets daarvan iets op. De LLM-native UX van MLflow is jonger dan die van Langfuse, met minder snelkoppelingen en ruwere trace-weergaven.

Eén verduidelijking, want autocomplete laat zien dat mensen zoeken op kubeflow vs mlflow vs airflow: MLflow is geen workflow-orchestrator. Het plant geen DAG's in; het legt vast wat je runs deden. Airflow en Kubeflow draaien jobs, MLflow trackt hun output. Over de lagen-vraag (mlflow vs tensorflow): TensorFlow is een modelling-framework, MLflow zit bovenop welk framework je ook mee traint. De vergelijking van Leanware, het enige niet-vendor redactionele resultaat op deze SERP, maakt dezelfde scheiding.

Opent je team nooit een Jupyter-notebook, dan is MLflow's grootste voordeel dood gewicht. Die ene test elimineert het voor de meeste lezers van deze pagina.

Hoeveel code kost je eerste trace eigenlijk?

Voor alle drie ongeveer twee regels Python, maar de wrijving zit op verschillende plekken. Langfuse en LangSmith vragen om accountsleutels voordat je eerste trace binnenkomt; MLflow vraagt om een draaiende trackingserver. Minste regels code en minste werk zijn niet hetzelfde.

We pakten dezelfde taak, één OpenAI-chat-call plus één helper, en instrumenteerden die op drie manieren vanuit de quickstart van elke vendor, herlezen op 5 augustus 2026.

Langfuse, via de @observe-decorator:

# pip install langfuse
import os
from langfuse import observe
from langfuse.openai import openai  # drop-in wrapper

os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-..."
os.environ["LANGFUSE_SECRET_KEY"] = "sk-lf-..."
os.environ["LANGFUSE_BASE_URL"] = "https://cloud.langfuse.com"

@observe()
def answer(question: str, context: str) -> str:
    r = openai.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

LangSmith, via @traceable:

# pip install langsmith
import os
from langsmith import traceable
from openai import OpenAI

os.environ["LANGSMITH_TRACING"] = "true"
os.environ["LANGSMITH_API_KEY"] = "lsv2-..."
client = OpenAI()

@traceable
def answer(question: str, context: str) -> str:
    r = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

MLflow, via mlflow.openai.autolog():

# pip install mlflow
import mlflow
from openai import OpenAI

mlflow.set_tracking_uri("http://localhost:5000")  # server must be running
mlflow.openai.autolog()

def answer(question: str, context: str) -> str:
    r = OpenAI().chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

De aantallen die we uit die drie quickstarts afleidden:

Geteld vanuit de quickstart van elke vendor, herlezen op 5 augustus 2026: Langfuse SDK-docs, LangSmith observability-quickstart, MLflow-tracing-quickstart. openai is een eigen dependency van de app, niet meegeteld. Tel ze zelf na.

Onze interpretatie, uitdrukkelijk als zodanig gelabeld: de code is bij alle drie vrijwel identiek, dus daar zit de beslissing niet. Langfuse en LangSmith laden de wrijving vooraf in vijf minuten accountaanmaak. MLflow laadt hem vooraf in infrastructuur: die one-liner veronderstelt een trackingserver, een database erachter en iemand die beide in leven houdt. De slanke mlflow-tracing-SDK, volgens MLflow zo'n 95% kleiner dan het volledige package, verkleint de installatie, niet de server.

LLM-as-a-Judge: Dezelfde Methode, Drie Verschillende Thuisbases

Alle drie draaien ze LLM-as-a-judge-evaluators over datasets, maar LangSmiths eval-engine is het meest tot product uitgekristalliseerd, Langfuse koppelt managed judges aan annotatiewachtrijen en een GitHub Action voor CI-gating, en MLflow verbindt judges met zijn experiment- en promptoptimalisatie-tooling. De methodologie is identiek; het verschil zit in waar de resultaten leven.

Volgens MLflow's evaluatiedocs draaien zijn judges in hetzelfde experiment-trackingsysteem als je klassieke ML-metrieken, de opbrengst van het herkomstargument hierboven: één dashboard voor een churnmodel en een supportagent. Volgens Langfuse' docs koppelen evaluators aan traces en vullen ze annotatiewachtrijen die je team in de UI afwerkt.

Voor de methode, lees LLM-outputs goed evalueren; voor het bredere landschap, de evaluatietools die wij waarderen. Agent-pipelines vragen om meer dan output-scoren, behandeld in agents evalueren in productie.

Promptbeheer: Slechts Eén Versioneert Prompts Naast Modellen

Bewust kort gehouden, want de details over twee tools horen bij ons zusterartikel. De vorm van elk: Langfuse biedt promptbeheer met versiebeheer, labels en een playground; LangSmith biedt een prompt hub met commit-stijl versiebeheer; MLflow biedt een prompt registry die prompts opslaat als first-class entiteiten naast je modellen.

Het ene beslissingsrelevante verschil: MLflow versioneert prompts naast model-registry-items, zodat een prompt en het model waartegen hij is afgestemd één system of record delen. Langfuse en LangSmith houden prompts gescheiden van wat je modellen ook serveert. Promoot je model en prompt samen en wil je een audit trail die bewijst welke combinatie live ging, dan wint die koppeling van welke playground dan ook. Voor de diepgaande details over twee tools, zie onze volledige Langfuse vs LangSmith-vergelijking.

Zelf hosten, databezit en wat het kost om te vertrekken

Langfuse self-host als een multi-service stack die je volledig beheerst, MLflow als een trackingserver plus een database die je direct via SQL kunt bevragen, LangSmith alleen onder enterprise-voorwaarden. De exitvraag is belangrijker dan de instapvraag: welke tool je ook kiest, de tracegeschiedenis is het deel dat je niet opnieuw kunt maken.

De deploymentrealiteit per tool. Langfuse draait sinds het ClickHouse-herontwerp als web, worker, Postgres, ClickHouse en een cache/blob-laag, volgens Langfuse' scale-engineering-post. Context die je op een rij moet hebben: ClickHouse nam Langfuse over op 2026-01-16, tegelijk met een Series D van $400M, en beide beloofden dat de MIT-licentie, first-class self-hosting en de roadmap ongewijzigd blijven (Langfuse' verklaring). LangSmith self-hosting is een enterprise-abonnementszaak, volgens de docs. MLflow is een trackingserver, een Postgres-compatibele database en objectopslag.

Exitpaden, de sectie die niemand anders schrijft. Langfuse exporteert naar blob-opslag als JSONL of Parquet via een gedocumenteerde S3-export, plus een volledige API. MLflow's backend is een open database die je direct kunt bevragen. LangSmiths bulk-export zit achter betaalde abonnementen. Het verdict: MLflow's lock-in is het makkelijkst te herstellen, Langfuse volgt kort erachter, LangSmith onder enterprise is waar een verkeerde keuze je je geschiedenis kost.

SSO en RBAC zitten achter Langfuse' Enterprise-tier ($2.499/mnd) en LangSmiths Enterprise-abonnement; bij MLflow regel je je eigen auth, met evenveel vrijheid als werk.

Wat kost elk bij 100K, 1M en 10M traces?

Langfuse meet units, MLflow meet niets, en LangSmith publiceert geen vergelijkbare eenheidsprijs meer. Units en traces zijn niet hetzelfde object; één gebruikersverzoek kan één trace zijn met veel factureerbare events. Slechts twee van de drie kolommen hieronder zijn op te bouwen uit catalogusprijzen.

Dat laatste punt is een bevinding, geen gat in ons onderzoek. Per 5 augustus 2026 zet LangChains prijspagina Plus op $39 per seat met 10K basis-traces inbegrepen, en meet daarna verbruik tegen $1.50 per LCU (compute) en $1.00 per LSU (opslag). Er staat geen prijs per 1K traces meer op de pagina, en geen tweede pagina heeft er nog een. Een LangSmith-rekening bij een genoemd tracevolume is dus niet af te leiden uit catalogusprijzen, en wij gaan geen conversie verzinnen.

De Langfuse-cijfers zijn catalogusprijzen van zijn prijspagina, gelezen op 5 augustus 2026, maal het getoonde volume. LangSmiths seatprijs en retentietiers komen uit dezelfde dag gelezen bij LangChains prijzen: basis-traces bij 14 dagen retentie, extended traces bij 400 dagen tegen een aanvullende vergoeding die de pagina niet cijfermatig maakt. De MLflow-kolom is onze schatting, geen vendorofferte: managed Postgres ($15-25/mnd), objectopslag en één always-on container ($10-20/mnd), groeiend met de opgeslagen geschiedenis.

Reken zelf mee waar er iets te rekenen valt. Langfuse publiceert een gestaffeld meerverbruikschema: $8.00 per 100K units van 100K tot 1M, $7.00 van 1M tot 10M, $6.50 van 10M tot 50M, $6.00 daarboven. Bij 1M: $29 plus 900K units à $8 per 100K = $101. Bij 10M: $29, plus 900K à $8 ($72), plus 9.000K à $7 ($630) = $731.

Let op het vormverschil: LangSmith factureert mensen plus metered verbruik, de andere twee niet. Is je echte probleem token-uitgaven, dan verlaagt een LiteLLM-proxy voor je modellen de rekening voordat welke tool dan ook hem meet.

Kun je er twee tegelijk draaien?

Ja. Langfuse en MLflow bouwen beide op OpenTelemetry, dus één collector kan dezelfde GenAI-spans naar twee backends sturen. De realistische combinatie: MLflow als system of record voor de modellevenscyclus, Langfuse als LLM-native trace-UX. Technisch makkelijk; organisatorisch moet iemand eigenaar zijn van de collector.

Het mechanisme: een OTel-collector met twee OTLP-exporters, die de GenAI-semantische conventies gebruikt zodat beide kanten spans op dezelfde manier parsen.

# Illustrative sketch, not a copy-paste-complete collector config
exporters:
  otlp/langfuse:
    endpoint: https://cloud.langfuse.com/api/public/otel:443
    headers:
      Authorization: "Basic <base64 public_key:secret_key>"
  otlp/mlflow:
    endpoint: http://localhost:5000/otel  # your MLflow tracking server

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [otlp/langfuse, otlp/mlflow]  # same spans, two backends

Label dit duidelijk: de opstelling hierboven is onze architectuurinterpretatie, geen door vendors ondersteunde configuratie. Leanware is de enige andere pagina op deze SERP die het überhaupt over twee tools tegelijk draaien heeft, in één alinea. Dual-shipping betekent twee systemen, twee rekeningen, dubbele opslag en een collector die iemand om 3 uur 's nachts oppiept.

Traces dual-shippend is technisch makkelijk en organisatorisch duur. De tweede backend is gratis totdat iemand hem in leven moet houden.

Langfuse vs LangSmith vs MLflow: Wie Kiest Wat?

De voor- en nadelen van langfuse vs langsmith vs mlflow vallen samen in zes profielen. Elke rij noemt één tool, want "het hangt ervan af" zonder keuze is nutteloos.

Is je eerlijke antwoord "geen van deze drie", dan bevatten de andere zeven tools in de tien platforms die wij rangschikten gehoste en enterprise-only opties die we van deze pagina hebben gehouden.

Veelgestelde vragen

Waarom MLflow gebruiken voor LLM-tracing?

Gebruik MLflow voor LLM-tracing wanneer je team al klassieke ML-modellen draait en één system of record wil: experiment-tracking, een model registry en GenAI-tracing in één Apache-2.0-platform, zonder kosten per trace. Draai je alleen LLM-features, dan geven Langfuse of LangSmith je een jongere, LLM-first ervaring.

Kun je LangSmith en MLflow samen gebruiken?

Ja. Beide accepteren OpenTelemetry-compatibele tracedata, dus een OTel-collector kan dezelfde spans tegelijk naar LangSmith en een MLflow-trackingserver exporteren. De kosten zijn operationeel: twee backends, twee rekeningen, dubbele opslag. De meeste teams die we spreken kiezen één system of record en laten de tweede achterwege.

Is LangSmith open source?

Nee. LangSmith is proprietary, closed-source software van LangChain Inc. De LangSmith-client-SDK is open, maar het platform, de UI en de backend niet. Als een open-sourcelicentie ertoe doet, zijn Langfuse (MIT) en MLflow (Apache 2.0) de twee opties in deze vergelijking die je vrij kunt self-hosten.

Is MLflow alleen voor klassieke machine learning?

Nee. MLflow voegde first-class GenAI-ondersteuning toe: mlflow.openai.autolog() tracet OpenAI-calls automatisch, @mlflow.trace dekt eigen functies af en ingebouwde judges evalueren LLM-outputs. De klassieke-ML-herkomst zie je in de UX, die minder LLM-native is dan die van Langfuse, maar de tracing zelf is production-grade.

Is MLflow een workflow-orchestrator zoals Airflow of Kubeflow?

Nee. MLflow plant geen DAG's in en draait geen pipelines; het legt vast wat je runs deden: parameters, metrieken, artifacts en traces. Airflow en Kubeflow orkestreren jobs, MLflow trackt hun resultaten. Mensen halen de drie door elkaar omdat ze samen voorkomen in MLOps-stacks, maar ze zitten op verschillende lagen en draaien vaak samen.

Wat zijn de open-source-alternatieven voor LangSmith en MLflow?

Langfuse (MIT) is het dichtstbijzijnde open-source LangSmith-alternatief, met self-hosting en OTel-native tracing, en MLflow zelf is open source onder Apache 2.0. Buiten deze vergelijking zijn Lunary, Arize Phoenix en OpenLIT open-source LLM-observabilityopties die een blik waard zijn voordat je aan een proprietary platform vastzit.

Welke van de drie is het goedkoopst bij 10 miljoen traces per maand?

MLflow, als je alleen infrastructuur meetelt: onze schatting is $150-400 per maand voor Postgres, objectopslag en een container. Langfuse Cloud komt uit op $731 voor 10M units op Core plus zijn gestaffelde meerverbruik. LangSmith is niet te prijzen vanuit zijn pagina: sinds medio 2026 publiceert LangChain seat- en LCU/LSU-tarieven, geen catalogusprijs per trace.

Vervangt Langfuse MLflow, of andersom?

Geen van beide vervangt de ander volledig. Langfuse vervangt voor LLM-only teams de tracing- en eval-lagen van MLflow en laat de experiment-tracking- en model-registry-machinery vallen. MLflow vervangt Langfuse wanneer klassieke ML-modellen je platform delen en één system of record beter is dan twee. Ze overlappen bij tracing; ze verschillen bij alles eromheen.

Is Langfuse nog open source nu ClickHouse het heeft overgenomen?

Ja, per de aankondiging van 2026-01-16. ClickHouse nam Langfuse over tegelijk met een Series D van $400M, en beide bedrijven beloofden publiekelijk de MIT-licentie, first-class self-hosting en een ongewijzigde roadmap te handhaven. Dat is een publieke belofte, geen permanente juridische garantie, maar vandaag is er niets aan het self-hosted verhaal veranderd.

Bronnen

Elke bron hieronder is redactioneel en dofollow; geen enkele is betaald of geruild.

Als je maar drie dingen onthoudt

• Twee van de drie zijn gebouwd voor LLM's. MLflow is in 2018 gebouwd voor klassieke ML en leerde tracing later.
• Langfuse als je MIT-gelicentieerde, self-hosted tracedata wilt die volledig van jou zijn. LangSmith als je app LangChain of LangGraph is. MLflow als klassieke ML-modellen je platform delen.
• Stel eerst de exitvraag: Langfuse exporteert naar S3, MLflow's database is van jou om te bevragen, LangSmiths bulk-export zit achter betaalde abonnementen.
• Bij 10M events per maand: $731 tegen Langfuse Cloud-catalogusprijs en $150-400 aan infrastructuur op MLflow (onze schatting). LangSmith heeft geen vergelijkbaar cijfer sinds het stopte met het publiceren van een prijs per trace.

Het verdict, herhaald: kies op herkomst, niet op features. Wil je een second opinion over welke bij je stack past, of hulp bij het aansluiten? Neem contact op met Techsy. Wij kiezen deze tools voor agent-deployments bij klanten, en vertellen je graag welke en waarom.