Langfuse vs LangSmith vs MLflow: due sono strumenti di osservabilità, uno è una piattaforma ML (2026)

Langfuse vs LangSmith vs MLflow: due sono strumenti di osservabilità, uno è una piattaforma ML (2026)

Solo due dei tre strumenti in langfuse vs langsmith vs mlflow sono nati per osservare gli LLM. MLflow è uscito nel 2018 da Databricks come experiment tracking per scikit-learn e XGBoost; il tracing GenAI è arrivato sopra quella base solo anni dopo. Langfuse ha licenza MIT ed è nativo per gli LLM, LangSmith è proprietario e nativo di LangChain, MLflow ha licenza Apache-2.0 ed è più vecchio di entrambi. È il lignaggio, non l'elenco delle funzionalità, a decidere questo confronto. Verdetto: Langfuse per possedere i tuoi dati, LangSmith per i team LangGraph, MLflow se rilasci anche modelli classici.

Punti chiave

• Langfuse se vuoi un core MIT che puoi fare in self-host e possedere del tutto i dati di trace. Nota che le sue cartelle ee/ hanno termini commerciali separati, ed è per questo che GitHub segnala il repo come NOASSERTION invece che MIT.
• LangSmith se la tua app è LangChain o LangGraph e sei disposto a pagare per seat per avere l'integrazione più stretta.
• MLflow se rilasci anche modelli ML classici e vuoi esperimenti, model registry e tracing in un unico posto.
• Ormai tutti e tre parlano OpenTelemetry, quindi usarne due insieme è un'opzione concreta.

Langfuse vs LangSmith vs MLflow a colpo d'occhio

Langfuse è la scelta open source, LangSmith è la scelta nativa LangChain e MLflow è la scelta quando il tuo team rilascia ML classico accanto alle funzionalità LLM. Due di questi sono strumenti di osservabilità LLM. Il terzo è una piattaforma ML che ha imparato a tracciare gli LLM, ed è questa differenza a decidere gran parte di queste valutazioni.

Sei nuovo qui? Leggi prima la nostra guida all'osservabilità AI.

I numeri di retention arrivano dai vendor: i livelli 30/90 giorni/3 anni di Langfuse secondo la sua pagina prezzi, i 14 giorni base e i 400 giorni dei trace estesi di LangSmith secondo i prezzi di LangChain (l'estesa è un tipo di trace separato con un costo aggiuntivo, non un interruttore di retention), e MLflow conserva i dati finché lo fa il tuo storage.

Tre scelte dichiarate:

• Scegli Langfuse se vuoi codice con licenza MIT, self-hosting dal primo giorno e dati di trace nel tuo Postgres e ClickHouse.
• Scegli LangSmith se il tuo stack è LangChain o LangGraph e il prezzo per seat batte il prezzo per trace.
• Scegli MLflow se modelli sklearn e XGBoost girano accanto alle tue funzionalità LLM. Per il dettaglio a due strumenti, vedi il nostro confronto diretto Langfuse vs LangSmith.

Ti serve uno strumento LLM-nativo o una piattaforma ML?

La metà langfuse vs mlflow di questa query è in realtà una domanda di lignaggio. MLflow è nato come experiment tracking e model registry per il ML classico, poi ha aggiunto il tracing LLM. Langfuse è nato con il tracing LLM e non ha aggiunto altro. Se non rilasci modelli classici, il machinery del ciclo di vita di MLflow è superficie che mantieni per nulla, e uno strumento dedicato di osservabilità AI è la strada più breve.

MLflow è il più vecchio dei tre, con ampio margine: licenza Apache-2.0, governance della Linux Foundation, oltre 27.000 stelle su GitHub al 5 agosto 2026, costruito per rispondere a "quali iperparametri hanno prodotto quale artefatto?". Il suo tracing GenAI è arrivato sopra quella base. Per un team che rilascia sia un modello di churn XGBoost sia un agente di supporto GPT-4o, questo compra un unico sistema di riferimento: esperimenti, voci di registry e trace LLM nello stesso database.

Il contrappeso: se non rilasci modelli classici, niente di tutto questo paga l'affitto. L'UX LLM-nativa di MLflow è più giovane di quella di Langfuse, con meno scorciatoie e viste dei trace più grezze.

Una precisazione, perché l'autocompletamento mostra persone che cercano kubeflow vs mlflow vs airflow: MLflow non è un orchestratore di workflow. Non schedula DAG; registra ciò che le tue esecuzioni hanno fatto. Airflow e Kubeflow eseguono job, MLflow traccia il loro output. Sulla domanda di livello (mlflow vs tensorflow): TensorFlow è un framework di modellazione, MLflow sta sopra qualsiasi framework con cui addestri. Il confronto di Leanware, l'unico risultato editoriale non-vendor in questa SERP, fa la stessa distinzione.

Se il tuo team non apre mai un notebook Jupyter, il vantaggio più grande di MLflow è zavorra. Questo singolo test lo elimina per la maggior parte dei lettori di questa pagina.

Quanto codice richiede davvero il tuo primo trace?

Circa due righe di Python per tutti e tre, ma l'attrito vive in posti diversi. Langfuse e LangSmith chiedono le chiavi dell'account prima che il primo trace arrivi; MLflow chiede un tracking server in esecuzione. Il minor numero di righe di codice e il minor lavoro non sono la stessa cosa.

Abbiamo preso lo stesso compito, una chiamata chat di OpenAI più un helper, e lo abbiamo strumentato in tre modi a partire dal quickstart di ciascun vendor, riletto il 5 agosto 2026.

Langfuse, tramite il decoratore @observe:

# pip install langfuse
import os
from langfuse import observe
from langfuse.openai import openai  # drop-in wrapper

os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-..."
os.environ["LANGFUSE_SECRET_KEY"] = "sk-lf-..."
os.environ["LANGFUSE_BASE_URL"] = "https://cloud.langfuse.com"

@observe()
def answer(question: str, context: str) -> str:
    r = openai.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

LangSmith, tramite @traceable:

# pip install langsmith
import os
from langsmith import traceable
from openai import OpenAI

os.environ["LANGSMITH_TRACING"] = "true"
os.environ["LANGSMITH_API_KEY"] = "lsv2-..."
client = OpenAI()

@traceable
def answer(question: str, context: str) -> str:
    r = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

MLflow, tramite mlflow.openai.autolog():

# pip install mlflow
import mlflow
from openai import OpenAI

mlflow.set_tracking_uri("http://localhost:5000")  # server must be running
mlflow.openai.autolog()

def answer(question: str, context: str) -> str:
    r = OpenAI().chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

I conteggi che abbiamo ricavato da quei tre quickstart:

Contati dal quickstart di ciascun vendor, riletti il 5 agosto 2026: documentazione SDK di Langfuse, quickstart di osservabilità di LangSmith, quickstart del tracing di MLflow. openai è una dipendenza dell'app stessa, non contata. Ricontali tu stesso.

La nostra interpretazione, etichettata come tale: il codice è quasi identico tra tutti e tre, quindi non è lì che vive la decisione. Langfuse e LangSmith concentrano l'attrito in cinque minuti di creazione account. MLflow lo concentra nell'infrastruttura: quel one-liner presuppone un tracking server, un database dietro e qualcuno che tenga in vita entrambi. Il suo SDK snello mlflow-tracing, che secondo MLflow è circa il 95% più piccolo del pacchetto completo, riduce l'installazione, non il server.

LLM-as-a-Judge: stesso metodo, tre destinazioni diverse

Tutti e tre eseguono valutatori LLM-as-a-judge sui dataset, ma il motore di valutazione di LangSmith è il più prodotto, Langfuse affianca judge gestiti a code di annotazione e una GitHub Action per il gating in CI, e MLflow lega i judge ai suoi strumenti di sperimentazione e ottimizzazione dei prompt. La metodologia è identica; la differenza è dove vivono i risultati.

Secondo la documentazione di valutazione di MLflow, i suoi judge girano dentro lo stesso sistema di experiment tracking delle tue metriche ML classiche, il ritorno dell'argomento di lignaggio di cui sopra: un unico cruscotto per un modello di churn e un agente di supporto. Secondo la documentazione di Langfuse, i valutatori si agganciano ai trace e alimentano code di annotazione che il tuo team smaltisce nella UI.

Per il metodo, leggi come valutare correttamente gli output LLM; per il panorama più ampio, gli strumenti di valutazione che classifichiamo. Le pipeline ad agenti richiedono attenzione oltre il punteggio dell'output, trattata in valutare gli agenti una volta in produzione.

Gestione dei prompt: solo uno versiona i prompt insieme ai modelli

Tenuta corta di proposito, perché il dettaglio a due strumenti spetta al nostro post gemello. La forma di ciascuno: Langfuse offre gestione dei prompt con versioning, etichette e playground; LangSmith offre un prompt hub con versioning in stile commit; MLflow offre un prompt registry che conserva i prompt come entità di prima classe accanto ai tuoi modelli.

L'unica differenza rilevante per la decisione: MLflow versiona i prompt insieme alle voci del model registry, così un prompt e il modello su cui è stato messo a punto condividono un unico sistema di riferimento. Langfuse e LangSmith tengono i prompt separati da qualunque cosa serva i tuoi modelli. Se promuovi modello e prompt insieme e vuoi una traccia di audit che provi quale accoppiamento è stato rilasciato, quell'accoppiamento batte qualsiasi playground. Per il dettaglio approfondito a due strumenti, vedi il nostro confronto diretto Langfuse vs LangSmith.

Self-hosting, proprietà dei dati e quanto costa andarsene

Langfuse si fa in self-host come stack multi-servizio che controlli completamente, MLflow come tracking server più un database che puoi interrogare direttamente in SQL, LangSmith solo a condizioni enterprise. La domanda di uscita conta più della domanda di ingresso: qualunque strumento tu scelga, lo storico dei trace è la parte che non puoi ricreare.

Realtà del deployment per strumento. Langfuse gira come web, worker, Postgres, ClickHouse e un livello cache/blob dal suo redesign dell'era ClickHouse, secondo il post di scale engineering di Langfuse. Contesto da avere chiaro: ClickHouse ha acquisito Langfuse il 16 gennaio 2026 insieme a un round Series D da $400M, ed entrambe si sono impegnate a lasciare invariati licenza MIT, self-hosting di prima classe e roadmap (la dichiarazione di Langfuse). Il self-hosting di LangSmith è una questione da piano Enterprise, secondo la sua documentazione. MLflow è un tracking server, un database compatibile con Postgres e object storage.

Vie di uscita, la sezione che nessun altro scrive. Langfuse esporta verso blob storage come JSONL o Parquet tramite un export S3 documentato, più una API completa. Il backend di MLflow è un database aperto che puoi interrogare direttamente. L'export massivo di LangSmith sta dietro i piani a pagamento. Il verdetto: il lock-in di MLflow è il più recuperabile, Langfuse subito dietro, LangSmith sotto l'Enterprise è dove una scelta sbagliata ti costa lo storico.

SSO e RBAC presidiano il livello Enterprise di Langfuse ($2.499/mese) e il piano Enterprise di LangSmith; con MLflow cabli la tua autenticazione, libertà e lavoro in pari misura.

Quanto costa ciascuno a 100K, 1M e 10M di trace?

Langfuse misura unità, MLflow non misura nulla, e LangSmith non pubblica più un prezzo unitario paragonabile. Unità e trace non sono lo stesso oggetto; una singola richiesta utente può essere un unico trace che contiene molti eventi fatturabili. Solo due delle tre colonne qui sotto si possono costruire dai prezzi di listino.

Quest'ultimo punto è un risultato, non una lacuna della nostra ricerca. Al 5 agosto 2026, la pagina prezzi di LangChain mette il piano Plus a $39 per seat con 10K trace base inclusi, poi misura l'uso a $1.50 per LCU (compute) e $1.00 per LSU (storage). Sulla pagina non c'è più una tariffa per 1K trace, e nessun'altra pagina la riporta. Una fattura LangSmith a un volume di trace dichiarato non è quindi derivabile dai prezzi di listino, e non ci inventiamo una conversione.

Le cifre di Langfuse sono prezzi di listino dalla sua pagina prezzi, lette il 5 agosto 2026, per il volume mostrato. Il prezzo seat e le soglie di retention di LangSmith arrivano dalla stessa lettura, in pari data, dei prezzi di LangChain: trace base con retention di 14 giorni, trace estesi a 400 giorni per un costo aggiuntivo che la pagina non quantifica. La colonna MLflow è una nostra stima, non un preventivo del vendor: Postgres gestito ($15-25/mese), object storage e un container sempre acceso ($10-20/mese), in crescita con lo storico accumulato.

Controlla i nostri conti dove c'è qualcosa da controllare. Langfuse pubblica una tabella di extra graduata: $8.00 ogni 100K unità da 100K a 1M, $7.00 da 1M a 10M, $6.50 da 10M a 50M, $6.00 sopra quella soglia. A 1M: $29 più 900K unità a $8 ogni 100K = $101. A 10M: $29, più 900K a $8 ($72), più 9.000K a $7 ($630) = $731.

Nota la differenza di forma: LangSmith fattura persone più consumo misurato, gli altri due no. Se il tuo vero problema è la spesa in token, un proxy LiteLLM davanti ai tuoi modelli taglia il conto prima che uno qualsiasi di questi strumenti lo misuri.

Puoi usarne due insieme?

Sì. Langfuse e MLflow sono entrambi costruiti su OpenTelemetry, quindi un collector può distribuire gli stessi span GenAI a due backend. L'accoppiamento realistico: MLflow come sistema di riferimento per il ciclo di vita dei modelli, Langfuse come UX di trace LLM-nativa. Tecnicamente facile; organizzativamente, qualcuno deve possedere il collector.

Il meccanismo: un collector OTel con due exporter OTLP, che usa le convenzioni semantiche GenAI perché entrambi i lati leggano gli span allo stesso modo.

# Illustrative sketch, not a copy-paste-complete collector config
exporters:
  otlp/langfuse:
    endpoint: https://cloud.langfuse.com/api/public/otel:443
    headers:
      Authorization: "Basic <base64 public_key:secret_key>"
  otlp/mlflow:
    endpoint: http://localhost:5000/otel  # your MLflow tracking server

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [otlp/langfuse, otlp/mlflow]  # same spans, two backends

Etichettiamolo chiaramente: l'architettura qui sopra è una nostra interpretazione, non una configurazione supportata dai vendor. Leanware è l'unica altra pagina in questa SERP a menzionare l'uso di due strumenti insieme, in un paragrafo. Il doppio invio significa due sistemi, due fatture, storage duplicato e un collector che sveglia qualcuno alle 3 di notte.

Inviare i trace in doppio è tecnicamente facile e organizzativamente costoso. Il secondo backend è gratis finché qualcuno non deve tenerlo in vita.

Langfuse vs LangSmith vs MLflow: chi dovrebbe scegliere cosa?

I pro e i contro di langfuse vs langsmith vs mlflow si comprimono in sei profili. Ogni riga nomina uno strumento, perché "dipende" senza una scelta non serve a niente.

Se la tua risposta onesta è "nessuno di questi tre", gli altri sette strumenti tra le dieci piattaforme che abbiamo classificato includono opzioni hosted e solo enterprise che abbiamo tenuto fuori da questa pagina.

Domande frequenti

Perché usare MLflow per il tracing LLM?

Usa MLflow per il tracing LLM quando il tuo team rilascia già modelli ML classici e vuole un unico sistema di riferimento: experiment tracking, model registry e tracing GenAI in una sola piattaforma Apache-2.0, senza costi per trace. Se rilasci solo funzionalità LLM, Langfuse o LangSmith ti danno un'esperienza più giovane e LLM-first.

Si possono usare LangSmith e MLflow insieme?

Sì. Entrambi accettano dati di trace compatibili con OpenTelemetry, quindi un collector OTel può esportare gli stessi span verso LangSmith e un tracking server MLflow contemporaneamente. Il costo è operativo: due backend, due fatture, storage duplicato. La maggior parte dei team con cui parliamo sceglie un unico sistema di riferimento e salta il secondo.

LangSmith è open source?

No. LangSmith è software proprietario e closed-source di LangChain Inc. L'SDK client di LangSmith è aperto, ma piattaforma, UI e backend non lo sono. Se una licenza open source conta per te, Langfuse (MIT) e MLflow (Apache 2.0) sono le due opzioni di questo confronto che puoi fare in self-host liberamente.

MLflow serve solo per il machine learning classico?

No. MLflow ha aggiunto supporto GenAI di prima classe: mlflow.openai.autolog() traccia automaticamente le chiamate OpenAI, @mlflow.trace copre funzioni custom e judge integrati valutano gli output LLM. L'eredità del ML classico si vede nella UX, meno LLM-nativa di quella di Langfuse, ma il tracing in sé è di livello production.

MLflow è un orchestratore di workflow come Airflow o Kubeflow?

No. MLflow non schedula DAG né esegue pipeline; registra ciò che le tue esecuzioni hanno fatto: parametri, metriche, artefatti e trace. Airflow e Kubeflow orchestrano job, MLflow traccia i loro risultati. Si confondono i tre perché compaiono insieme negli stack MLOps, ma stanno su livelli diversi e spesso girano insieme.

Quali sono le alternative open source a LangSmith e MLflow?

Langfuse (MIT) è l'alternativa open source più vicina a LangSmith, con self-hosting e tracing nativo OTel, e MLflow stesso è open source sotto Apache 2.0. Oltre questo confronto, Lunary, Arize Phoenix e OpenLIT sono opzioni di osservabilità LLM open source che vale la pena guardare prima di impegnarti con una piattaforma proprietaria.

Qual è il più economico dei tre a 10 milioni di trace al mese?

MLflow, contando solo l'infrastruttura: la nostra stima è $150-400 al mese per Postgres, object storage e un container. Langfuse Cloud atterra a $731 per 10M di unità su Core più il suo extra graduato. LangSmith non è quantificabile dalla sua pagina: da metà 2026 LangChain pubblica tariffe seat e LCU/LSU, non un prezzo di listino per trace.

Langfuse sostituisce MLflow, o viceversa?

Nessuno dei due sostituisce l'altro in modo pulito. Langfuse sostituisce i livelli di tracing e valutazione di MLflow per i team solo LLM e lascia perdere il machinery di experiment tracking e model registry. MLflow sostituisce Langfuse quando modelli ML classici condividono la tua piattaforma e un solo sistema di riferimento batte due. Si sovrappongono sul tracing; divergono su tutto ciò che gli sta intorno.

Langfuse è ancora open source ora che ClickHouse lo ha acquisito?

Sì, all'annuncio del 16 gennaio 2026. ClickHouse ha acquisito Langfuse insieme a un round Series D da $400M, ed entrambe le aziende si sono impegnate pubblicamente a mantenere la licenza MIT, il self-hosting di prima classe e una roadmap invariata. È un impegno pubblico, non una garanzia legale permanente, ma oggi nulla della storia del self-host è cambiato.

Fonti

Ogni fonte qui sotto è editoriale e dofollow; nessuna è pagata o scambiata.

Se devi ricordare solo tre cose

• Due dei tre sono stati costruiti per gli LLM. MLflow è nato nel 2018 per il ML classico e ha imparato il tracing solo dopo.
• Langfuse se vuoi dati di trace con licenza MIT, in self-host, di tua proprietà totale. LangSmith se la tua app è LangChain o LangGraph. MLflow se modelli ML classici condividono la tua piattaforma.
• Fai prima la domanda di uscita: Langfuse esporta su S3, il database di MLflow è tuo da interrogare, l'export massivo di LangSmith sta dietro i piani a pagamento.
• A 10M di eventi al mese: $731 a prezzo di listino su Langfuse Cloud e $150-400 di infrastruttura su MLflow (nostra stima). LangSmith non ha una cifra paragonabile da quando ha smesso di pubblicare una tariffa per trace.

Il verdetto, ripetuto: scegli in base al lignaggio, non alle funzionalità. Vuoi una seconda opinione su quale si adatta al tuo stack, o aiuto per cablarlo? Parla con Techsy. Scegliamo questi strumenti per i deployment di agenti dei clienti e siamo felici di dirti quale e perché.