Langfuse vs LangSmith vs MLflow: Två är observabilitetsverktyg, ett är en ML-plattform (2026)

Langfuse vs LangSmith vs MLflow: Två är observabilitetsverktyg, ett är en ML-plattform (2026)

Bara två av de tre verktygen i langfuse vs langsmith vs mlflow byggdes för att övervaka LLM:er. MLflow lanserades 2018 hos Databricks som experimentspårning för scikit-learn och XGBoost; GenAI-tracing kom ovanpå den basen först år senare. Langfuse är MIT-licensierat och LLM-nativt, LangSmith är proprietärt och LangChain-nativt, MLflow är Apache-2.0 och äldre än båda de andra. Ursprunget, inte funktionslistor, avgör den här jämförelsen. Slutsats: Langfuse för att äga din data, LangSmith för LangGraph-team, MLflow om klassiska modeller delar din plattform.

Sammanfattning

• Langfuse om du vill ha en MIT-kärna du kan självhosta och äga trace-datan rakt av. Notera att dess ee/-mappar har separata kommersiella villkor, vilket är varför GitHub rapporterar repot som NOASSERTION snarare än MIT.
• LangSmith om din app är LangChain eller LangGraph och du betalar per plats för den tajtaste integrationen.
• MLflow om du också levererar klassiska ML-modeller och vill ha experiment, modellregister och tracing på ett ställe.
• Alla tre pratar OpenTelemetry idag, så att köra två av dem samtidigt är ett reellt alternativ.

Langfuse vs LangSmith vs MLflow i korthet

Langfuse är valet med öppen källkod, LangSmith är det LangChain-nativa valet och MLflow är valet när teamet levererar klassisk ML vid sidan av sina LLM-funktioner. Två av dem är observabilitetsverktyg för LLM. Den tredje är en ML-plattform som har lärt sig traca LLM:er, och den skillnaden avgör de flesta av dessa utvärderingar.

Ny här? Läs vår AI-observabilitetsguide först.

Lagringstiderna kommer från leverantörerna: Langfuses 30/90-dagars/3-årsnivåer enligt prissidan, LangSmiths 14-dagars bas och 400-dagars utökade traces enligt LangChains prissättning (utökad är en separat trace-typ som bär en extra avgift, inte en lagringsomkopplare), och MLflow behåller datan så länge din lagring gör det.

Tre namngivna val:

• Välj Langfuse om du vill ha MIT-licensierad kod, självhostning från dag ett och trace-data i din egen Postgres och ClickHouse.
• Välj LangSmith om din stack är LangChain eller LangGraph och prissättning per plats slår prissättning per trace.
• Välj MLflow om sklearn- och XGBoost-modeller kör vid sidan av dina LLM-funktioner. För detaljerna om tvåverktygsfallet, se vår fullständiga Langfuse vs LangSmith-jämförelse.

Behöver du ett LLM-nativt verktyg eller en ML-plattform?

Langfuse vs mlflow-halvan av denna sökterm är egentligen en fråga om ursprung. MLflow började som experiment-spårning och ett modellregister för klassisk ML och lade sedan till LLM-tracing. Langfuse började med LLM-tracing och lade inte till något annat. Om du inte levererar några klassiska modeller är MLflows livscykelmaskineri en yta du underhåller utan nytta, och ett dedikerat AI-observabilitetsverktyg är den kortare vägen.

MLflow är äldst av de tre med bred marginal: Apache-2.0-licensierat, styrt av Linux Foundation, över 27 000 GitHub-stjärnor per 5 augusti 2026, byggt för att besvara "vilka hyperparametrar producerade vilken artefakt?" Dess GenAI-tracing kom ovanpå den basen. För ett team som levererar både en XGBoost-churnmodell och en GPT-4o-supportagent ger det ett enda system of record: experiment, registerposter och LLM-traces i samma databas.

Motvikten: levererar du inga klassiska modeller betalar inget av detta hyra. MLflows LLM-nativa UX är yngre än Langfuses, färre genvägar, råare trace-vyer.

Ett förtydligande, eftersom autoslutförandet visar att folk söker på kubeflow vs mlflow vs airflow: MLflow är ingen arbetsflödesorkestrator. Det schemalägger inga DAG:er; det registrerar vad dina körningar gjorde. Airflow och Kubeflow kör jobb, MLflow spårar deras output. På lagerfrågan (mlflow vs tensorflow): TensorFlow är ett modelleringsramverk, MLflow sitter ovanpå det ramverk du tränar med. Leanwares jämförelse, det enda icke-leverantörsbundna redaktionella resultatet på denna SERP, gör samma uppdelning.

Om ditt team aldrig öppnar en Jupyter-notebook är MLflows största fördel död vikt. Det enda testet eliminerar det för de flesta läsare av denna sida.

Hur mycket kod krävs egentligen för din första trace?

Ungefär två rader Python för alla tre, men friktionen sitter på olika ställen. Langfuse och LangSmith begär kontonycklar innan din första trace landar; MLflow begär en körande tracking-server. Färst rader kod och minst arbete är inte samma sak.

Vi tog samma uppgift, ett OpenAI-chattanrop plus en hjälpfunktion, och instrumenterade den på tre sätt från varje leverantörs quickstart, omläst 5 augusti 2026.

Langfuse, via @observe-dekoratören:

# pip install langfuse
import os
from langfuse import observe
from langfuse.openai import openai  # drop-in wrapper

os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-..."
os.environ["LANGFUSE_SECRET_KEY"] = "sk-lf-..."
os.environ["LANGFUSE_BASE_URL"] = "https://cloud.langfuse.com"

@observe()
def answer(question: str, context: str) -> str:
    r = openai.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

LangSmith, via @traceable:

# pip install langsmith
import os
from langsmith import traceable
from openai import OpenAI

os.environ["LANGSMITH_TRACING"] = "true"
os.environ["LANGSMITH_API_KEY"] = "lsv2-..."
client = OpenAI()

@traceable
def answer(question: str, context: str) -> str:
    r = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

MLflow, via mlflow.openai.autolog():

# pip install mlflow
import mlflow
from openai import OpenAI

mlflow.set_tracking_uri("http://localhost:5000")  # server must be running
mlflow.openai.autolog()

def answer(question: str, context: str) -> str:
    r = OpenAI().chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

Siffrorna vi härledde från dessa tre quickstarter:

Räknat från varje leverantörs quickstart, omläst 5 augusti 2026: Langfuse SDK-dokumentation, LangSmith observability-quickstart, MLflow tracing-quickstart. openai är appens eget beroende, inte medräknat. Räkna själv.

Vår tolkning, markerad som sådan: koden är nästan identisk hos alla tre, så det är inte där beslutet ligger. Langfuse och LangSmith lägger friktionen i början, i form av fem minuters kontoskapande. MLflow lägger den i infrastrukturen: den där onelinern förutsätter en tracking-server, en databas bakom den och någon som håller båda vid liv. Dess smala mlflow-tracing-SDK, som MLflow säger är ungefär 95 % mindre än hela paketet, bantar installationen, inte servern.

LLM-as-a-judge: Samma metod, tre olika hem

Alla tre kör LLM-as-a-judge-evaluatorer på dataset, men LangSmiths eval-motor är mest produktiserad, Langfuse parar managed judges med annoteringsköer och en GitHub Action för CI-gating, och MLflow kopplar judges till sina experiment- och promptoptimeringsverktyg. Metoden är identisk; skillnaden är var resultaten hamnar.

Enligt MLflows utvärderingsdokumentation kör dess judges i samma experiment-spårningssystem som dina klassiska ML-mått, vinsten med ursprungsargumentet ovan: en dashboard för en churnmodell och en supportagent. Enligt Langfuses dokumentation fästs evaluatorer på traces och matar annoteringsköer som teamet arbetar igenom i UI:t.

För metoden, läs så utvärderar du LLM-svar på rätt sätt; för det bredare landskapet, utvärderingsverktygen vi rankar. Agent-pipelines behöver omsorg utöver poängsättning av output, vilket täcks i utvärdering av agenter i produktion.

Prompt-hantering: Bara en versionshanterar prompts vid sidan av modeller

Medvetet kort, eftersom detaljerna för tvåverktygsfallet hör till vår syskonartikel. Formen för varje: Langfuse erbjuder prompt-hantering med versionering, etiketter och en playground; LangSmith erbjuder en prompt hub med commit-liknande versionering; MLflow erbjuder ett prompt-registry som lagrar prompts som första klassens enheter vid sidan av dina modeller.

Den enda beslutsrelevanta skillnaden: MLflow versionshanterar prompts tillsammans med modellregisterposter, så en prompt och modellen den trimmats mot delar ett system of record. Langfuse och LangSmith håller prompts separerade från det som serverar dina modeller. Om du befordrar modell och prompt tillsammans och vill ha en revisionskedja som bevisar vilken parning som levererades slår den kopplingen vilken playground som helst. För de djupa tvåverktygsdetaljerna, se vår fullständiga Langfuse vs LangSmith-jämförelse.

Självhostning, dataägande och vad det kostar att lämna

Langfuse självhostas som en multi-service-stack du fullt ut kontrollerar, MLflow som en tracking-server plus en databas du kan SQL-fråga direkt, LangSmith bara på enterprise-villkor. Exit-frågan betyder mer än inträdesfrågan: oavsett vilket verktyg du väljer är trace-historiken den del du inte kan återskapa.

Driftsverklighet per verktyg. Langfuse kör som web, worker, Postgres, ClickHouse och ett cache/blob-lager sedan ClickHouse-erans omritning, enligt Langfuses scale engineering-inlägg. Kontext du bör ha klar: ClickHouse förvärvade Langfuse 2026-01-16 i samband med en $400M Series D, och båda lovade att MIT-licensen, förstklassig självhostning och roadmap förblir oförändrade (Langfuses uttalande). LangSmith-självhostning är en enterprise-planfråga, enligt dess dokumentation. MLflow är en tracking-server, en Postgres-kompatibel databas och objektlagring.

Exit-vägar, avsnittet ingen annan skriver. Langfuse exporterar till blob-lagring som JSONL eller Parquet via en dokumenterad S3-export, plus ett fullt API. MLflows backend är en öppen databas du kan fråga direkt. LangSmiths bulk-export ligger bakom betalplaner. Domen: MLflows inlåsning är mest återhämtningsbar, Langfuse tätt därefter, LangSmith under enterprise-nivå är där ett felval kostar dig din historik.

SSO och RBAC styr Langfuses Enterprise-nivå ($2 499/mån) och LangSmiths Enterprise-plan; med MLflow bygger du egen auth, frihet och arbete i lika mått.

Vad kostar varje verktyg vid 100K, 1M och 10M traces?

Langfuse mäter enheter, MLflow mäter ingenting, och LangSmith publicerar inte längre ett jämförbart enhetspris alls. Enheter och traces är inte samma objekt; en användarförfrågan kan vara en enda trace som innehåller många debiterbara händelser. Bara två av de tre kolumnerna nedan kan byggas från listpriser.

Den sista punkten är ett fynd, inte en lucka i vår research. Per 5 augusti 2026 anger LangChains prissida att Plus kostar $39 per plats med 10K bas-traces inkluderade, och mäter sedan användning till $1.50 per LCU (beräkning) och $1.00 per LSU (lagring). Det finns inte längre någon pris-per-1K-trace-nivå på sidan, och ingen annan sida bär en heller. En LangSmith-faktura vid en angiven trace-volym går därför inte att härleda från listpriser, och vi tänker inte hitta på en omräkning.

Langfuse-siffrorna är listpriser från dess prissida, lästa 5 augusti 2026, gånger visad volym. LangSmiths platspris och lagringsnivåer kommer från samma dags läsning av LangChains prissättning: bas-traces vid 14 dagars lagring, utökade traces vid 400 dagar mot en extra avgift som sidan inte kvantifierar. MLflow-kolumnen är vår uppskattning, inte en leverantörs offert: managed Postgres ($15-25/mån), objektlagring och en alltid-på-container ($10-20/mån), växande med lagrad historik.

Kontrollera vår matte där det finns matte att kontrollera. Langfuse publicerar ett graderat överdragsschema: $8.00 per 100K enheter från 100K till 1M, $7.00 från 1M till 10M, $6.50 från 10M till 50M, $6.00 därutöver. Vid 1M: $29 plus 900K enheter till $8 per 100K = $101. Vid 10M: $29, plus 900K till $8 ($72), plus 9 000K till $7 ($630) = $731.

Notera formskillnaden: LangSmith debiterar plats plus mätt förbrukning, de andra två gör det inte. Om ditt verkliga problem är token-kostnader kapar en LiteLLM-proxy framför modellerna fakturan innan något av dessa verktyg mäter den.

Kan du köra två av dem tillsammans?

Ja. Langfuse och MLflow bygger båda på OpenTelemetry, så en collector kan fläkta samma GenAI-spans till två backends. Den realistiska parningen: MLflow som system of record för modellivscykeln, Langfuse som LLM-nativt trace-UX. Tekniskt enkelt; organisatoriskt måste någon äga collectorn.

Mekanismen: en OTel-collector med två OTLP-exporters, som använder GenAI-semantikkonventionerna så att båda sidor parsar spans på samma sätt.

# Illustrative sketch, not a copy-paste-complete collector config
exporters:
  otlp/langfuse:
    endpoint: https://cloud.langfuse.com/api/public/otel:443
    headers:
      Authorization: "Basic <base64 public_key:secret_key>"
  otlp/mlflow:
    endpoint: http://localhost:5000/otel  # your MLflow tracking server

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [otlp/langfuse, otlp/mlflow]  # same spans, two backends

Markera detta tydligt: upplägget ovan är vår arkitekturtolkning, inte en leverantörsstödd konfiguration. Leanware är den enda andra sidan på denna SERP som nämner att köra två verktyg alls, i ett stycke. Dubbelleverans betyder två system, två fakturor, duplicerad lagring och en collector som väcker någon klockan 3 på natten.

Att dubbelleverera traces är tekniskt enkelt och organisatoriskt dyrt. Den andra backenden är gratis tills någon måste hålla den vid liv.

Langfuse vs LangSmith vs MLflow: Vem ska välja vad?

För- och nackdelarna med langfuse vs langsmith vs mlflow kokar ner till sex profiler. Varje rad utser ett verktyg, eftersom "det beror på" utan ett val är värdelöst.

Om ditt ärliga svar är "inget av dessa tre" inkluderar de andra sju verktygen i de tio plattformarna vi rankat hostade och enterprise-only alternativ som vi höll utanför denna sida.

Vanliga frågor

Varför använda MLflow för LLM-tracing?

Använd MLflow för LLM-tracing när ditt team redan levererar klassiska ML-modeller och vill ha ett enda system of record: experiment-spårning, ett modellregister och GenAI-tracing i en enda Apache-2.0-plattform, utan avgift per trace. Om du bara levererar LLM-funktioner ger Langfuse eller LangSmith dig en yngre, LLM-först-upplevelse.

Kan du använda LangSmith och MLflow tillsammans?

Ja. Båda accepterar OpenTelemetry-kompatibel trace-data, så en OTel-collector kan exportera samma spans till LangSmith och en MLflow tracking-server samtidigt. Kostnaden är driftsmässig: två backends, två fakturor, duplicerad lagring. De flesta team vi pratar med väljer ett system of record och hoppar över det andra.

Är LangSmith öppen källkod?

Nej. LangSmith är proprietär, stängd mjukvara från LangChain Inc. LangSmiths klient-SDK är öppet, men plattformen, UI:t och backend är det inte. Om en öppen källkodslicens är viktig för dig är Langfuse (MIT) och MLflow (Apache 2.0) de två alternativen i denna jämförelse som du kan självhosta fritt.

Är MLflow bara för klassisk maskininlärning?

Nej. MLflow lade till förstklassigt GenAI-stöd: mlflow.openai.autolog() tracar OpenAI-anrop automatiskt, @mlflow.trace täcker egna funktioner och inbyggda judges utvärderar LLM-svar. Arvet från klassisk ML syns i UX:t, som är mindre LLM-nativt än Langfuses, men själva tracingen är produktionsklass.

Är MLflow en arbetsflödesorkestrator som Airflow eller Kubeflow?

Nej. MLflow schemalägger inga DAG:er och kör inga pipelines; det registrerar vad dina körningar gjorde: parametrar, mått, artefakter och traces. Airflow och Kubeflow orkestrerar jobb, MLflow spårar deras resultat. Folk blandar ihop de tre eftersom de samexisterar i MLOps-stackar, men de sitter på olika lager och körs ofta tillsammans.

Vilka öppna källkods-alternativ finns till LangSmith och MLflow?

Langfuse (MIT) är det närmaste öppna LangSmith-alternativet, med självhostning och OTel-nativ tracing, och MLflow självt är öppen källkod under Apache 2.0. Utöver denna jämförelse är Lunary, Arize Phoenix och OpenLIT öppna LLM-observabilitetsalternativ värda en titt innan du binder dig till en proprietär plattform.

Vilket av de tre är billigast vid 10 miljoner traces i månaden?

MLflow, om man bara räknar infrastruktur: vår uppskattning är $150-400 i månaden för Postgres, objektlagring och en container. Langfuse Cloud landar på $731 för 10M enheter på Core plus dess graderade överdrag. LangSmith kan inte prissättas från sin sida: sedan mitten av 2026 publicerar LangChain plats- och LCU/LSU-taxor, inte ett listpris per trace.

Ersätter Langfuse MLflow, eller tvärtom?

Inget ersätter det andra rent. Langfuse ersätter MLflows tracing- och eval-lager för LLM-only-team och tar bort experiment-spårningen och modellregistret. MLflow ersätter Langfuse när klassiska ML-modeller delar din plattform och ett system of record slår två. De överlappar i tracing; de skiljer sig åt på allt runt omkring.

Är Langfuse fortfarande öppen källkod nu när ClickHouse har förvärvat det?

Ja, enligt beskedet 2026-01-16. ClickHouse förvärvade Langfuse i samband med en $400M Series D, och båda företagen lovade offentligt att behålla MIT-licensen, förstklassig självhostning och en oförändrad roadmap. Det är ett offentligt åtagande, inte en permanent juridisk garanti, men idag har inget i självhostningsberättelsen ändrats.

Källor

Varje källa nedan är redaktionell och dofollow; ingen är betald eller utbytt.

Om du bara minns tre saker

• Två av de tre byggdes för LLM:er. MLflow byggdes 2018 för klassisk ML och lärde sig tracing senare.
• Langfuse om du vill ha MIT-licensierad, självhostad trace-data som du äger rakt av. LangSmith om din app är LangChain eller LangGraph. MLflow om klassiska ML-modeller delar din plattform.
• Ställ exit-frågan först: Langfuse exporterar till S3, MLflows databas är din att fråga, LangSmiths bulk-export ligger bakom betalplaner.
• Vid 10M händelser i månaden: $731 till Langfuse Clouds listpris och $150-400 i infrastruktur på MLflow (vår uppskattning). LangSmith har ingen jämförbar siffra sedan de slutade publicera ett pris per trace.

Domen, igen: välj efter ursprung, inte funktioner. Vill du ha en second opinion om vilket som passar din stack, eller hjälp att koppla ihop det? Prata med Techsy. Vi väljer dessa verktyg för klienters agent-driftsättningar, och berättar gärna vilket och varför.