
Langfuse vs LangSmith vs MLflow: Δύο είναι Εργαλεία Παρατηρησιμότητας, Ένα είναι Πλατφόρμα ML (2026)
Μόνο δύο από τα τρία εργαλεία στη σύγκριση langfuse vs langsmith vs mlflow χτίστηκαν για να παρακολουθούν LLM. Το MLflow κυκλοφόρησε το 2018 από τη Databricks ως experiment tracking για scikit-learn και XGBoost· το GenAI tracing ήρθε πάνω σε αυτή τη βάση χρόνια αργότερα. Η Langfuse είναι MIT-licensed και LLM-native, η LangSmith είναι ιδιόκτητη και LangChain-native, το MLflow είναι Apache-2.0 και παλαιότερο και από τα δύο. Η καταγωγή, όχι η λίστα λειτουργιών, κρίνει αυτή τη σύγκριση. Ετυμηγορία: Langfuse για να κατέχετε τα δεδομένα σας, LangSmith για ομάδες LangGraph, MLflow αν κλασικά μοντέλα μοιράζονται την πλατφόρμα σας.
Βασικά Συμπεράσματα
- Langfuse αν θέλετε έναν πυρήνα MIT που μπορείτε να φιλοξενήσετε μόνοι σας και να κατέχετε πλήρως τα δεδομένα trace. Σημειώστε ότι οι φάκελοι
ee/της διέπονται από ξεχωριστούς εμπορικούς όρους, γι' αυτό και το GitHub αναφέρει το repo ωςNOASSERTIONκαι όχι ως MIT. - LangSmith αν η εφαρμογή σας είναι LangChain ή LangGraph και θα πληρώσετε ανά seat για την πιο σφιχτή ενσωμάτωση.
- MLflow αν τρέχετε και κλασικά ML μοντέλα και θέλετε experiments, model registry και tracing σε ένα μέρος.
- Και τα τρία μιλούν πλέον OpenTelemetry, άρα η ταυτόχρονη χρήση δύο από αυτά είναι πραγματική επιλογή.
Langfuse vs LangSmith vs MLflow με μια Ματιά
Η Langfuse είναι η επιλογή ανοικτού κώδικα, η LangSmith είναι η LangChain-native επιλογή και το MLflow είναι η επιλογή όταν η ομάδα σας τρέχει κλασικό ML δίπλα στις LLM λειτουργίες της. Δύο από αυτά είναι εργαλεία LLM παρατηρησιμότητας. Το τρίτο είναι μια ML πλατφόρμα που έμαθε να κάνει trace σε LLM, και αυτή η διαφορά κρίνει τις περισσότερες από αυτές τις αξιολογήσεις.
Καινούργιοι εδώ; Διαβάστε πρώτα τον εισαγωγικό μας οδηγό για την παρατηρησιμότητα AI.
| Διάσταση | Langfuse | LangSmith | MLflow |
|---|---|---|---|
| Άδεια | MIT core, ee/ υπό εμπορικούς όρους | Ιδιόκτητο | Apache 2.0, ανοικτός κώδικας |
| Self-hosting | Ναι, δωρεάν | Μόνο Enterprise πλάνο | Ναι, δωρεάν |
| LLM tracing | @observe, OTel-native | @traceable, αυτόματο LangChain | autolog, @mlflow.trace |
| Αξιολόγηση / LLM-as-a-judge | Managed + custom evaluators | Ενσωματωμένη eval engine | Judges + βελτιστοποίηση prompt |
| Διαχείριση prompt | Versioning, labels, playground | Prompt hub | Prompt registry |
| Κύκλος ζωής κλασικού ML | Όχι | Όχι | Experiments + model registry |
| Υποστήριξη OpenTelemetry | Native | OTel-compatible ingestion | Native, GenAI conventions |
| Δωρεάν επίπεδο | 50k units/μήνα, 30 ημέρες | 5k traces/μήνα, 1 seat | Απεριόριστο, η υποδομή σας |
| Τιμή εισόδου επί πληρωμή | $29/μήνα (Core) | $39/seat/μήνα (Plus) | $0, μόνο η υποδομή |
| Διατήρηση δεδομένων | 30 ημ. / 90 ημ. / 3 έτη ανά πλάνο | 14 ημ. βάση, 400 ημ. extended | Απεριόριστη, η αποθήκευσή σας |
| Ιδανικό για | Κατοχή δεδομένων trace | Ομάδες LangGraph-native | Μικτές ML + LLM πλατφόρμες |
Τα νούμερα διατήρησης προέρχονται από τους παρόχους: τα επίπεδα 30/90 ημερών/3 ετών της Langfuse σύμφωνα με τη σελίδα τιμών της, η βάση 14 ημερών και τα extended traces 400 ημερών της LangSmith σύμφωνα με τις τιμές της LangChain (το extended είναι ξεχωριστός τύπος trace με επιπλέον χρέωση, όχι διακόπτης διατήρησης), και το MLflow κρατάει τα δεδομένα όσο τα κρατάει η αποθήκευσή σας.
Τρεις ονομαστικές επιλογές:
- Επιλέξτε Langfuse αν θέλετε MIT-licensed κώδικα, self-hosting από την πρώτη μέρα και δεδομένα trace στη δική σας Postgres και ClickHouse.
- Επιλέξτε LangSmith αν το stack σας είναι LangChain ή LangGraph και η τιμολόγηση ανά seat νικάει την τιμολόγηση ανά trace.
- Επιλέξτε MLflow αν μοντέλα sklearn και XGBoost τρέχουν δίπλα στις LLM λειτουργίες σας. Για τη λεπτομέρεια των δύο εργαλείων, δείτε την πλήρη αναμέτρηση Langfuse vs LangSmith.
Χρειάζεστε LLM-Native Εργαλείο ή ML Πλατφόρμα;
Το μισό langfuse vs mlflow αυτού του ερωτήματος είναι στην ουσία θέμα καταγωγής. Το MLflow ξεκίνησε ως experiment tracking και model registry για κλασικό ML και μετά πρόσθεσε LLM tracing. Η Langfuse ξεκίνησε με LLM tracing και δεν πρόσθεσε τίποτα άλλο. Αν δεν τρέχετε κλασικά μοντέλα, ο μηχανισμός κύκλου ζωής του MLflow είναι επιφάνεια που συντηρείτε για τίποτα, και ένα ειδικό εργαλείο παρατηρησιμότητας AI είναι ο συντομότερος δρόμος.
Το MLflow είναι το παλαιότερο από τα τρία με μεγάλη διαφορά: Apache-2.0 licensed, υπό τη διακυβέρνηση του Linux Foundation, πάνω από 27,000 GitHub stars στις 5 Αυγούστου 2026, φτιαγμένο για να απαντά στο "ποια υπερπαράμετροι παρήγαγαν ποιο artifact;" Το GenAI tracing του ήρθε πάνω σε αυτή τη βάση. Για μια ομάδα που τρέχει τόσο ένα XGBoost μοντέλο churn όσο και έναν GPT-4o support agent, αυτό αγοράζει ένα ενιαίο system of record: experiments, εγγραφές registry και LLM traces στην ίδια βάση δεδομένων.
Το αντίβαρο: αν δεν τρέχετε κλασικά μοντέλα, τίποτα από αυτά δεν αποδίδει. Το LLM-native UX του MLflow είναι νεότερο από της Langfuse, με λιγότερες συντομεύσεις και πιο τραχιές προβολές trace.
Μια διευκρίνιση, επειδή η αυτόματη συμπλήρωση δείχνει ανθρώπους να ψάχνουν kubeflow vs mlflow vs airflow: το MLflow δεν είναι workflow orchestrator. Δεν προγραμματίζει DAGs, καταγράφει τι έκαναν οι εκτελέσεις σας. Το Airflow και το Kubeflow τρέχουν εργασίες, το MLflow παρακολουθεί την έξοδό τους. Στο ερώτημα επιπέδων (mlflow vs tensorflow): το TensorFlow είναι framework μοντελοποίησης, το MLflow κάθεται πάνω από όποιο framework χρησιμοποιείτε για εκπαίδευση. Η σύγκριση της Leanware, το μοναδικό μη-πάροχος συντακτικό αποτέλεσμα σε αυτό το SERP, κάνει τον ίδιο διαχωρισμό.
| Εργαλείο | Καταγωγή | Φτιαγμένο πρώτα για | Προστέθηκε αργότερα | Σε ποιον ταιριάζει |
|---|---|---|---|---|
| Langfuse | 2023, LLM-native startup | LLM tracing και evals | Διαχείριση prompt, OTel export | Ομάδες προϊόντος μόνο με LLM |
| LangSmith | 2023, από τη LangChain Inc. | Αποσφαλμάτωση LangChain | Eval engine, prompt hub | Ομάδες LangChain/LangGraph |
| MLflow | 2018, Databricks, πλέον Linux Foundation | Experiment tracking, model registry | GenAI tracing, judges, prompt registry | Ομάδες με κλασικό ML και LLM |
Αν η ομάδα σας δεν ανοίγει ποτέ Jupyter notebook, το μεγαλύτερο πλεονέκτημα του MLflow είναι νεκρό βάρος. Αυτό και μόνο το τεστ το αποκλείει για τους περισσότερους αναγνώστες αυτής της σελίδας.
Πόσο Κώδικα Χρειάζεται Πραγματικά το Πρώτο σας Trace;
Περίπου δύο γραμμές Python και για τα τρία, αλλά η τριβή βρίσκεται σε διαφορετικά σημεία. Η Langfuse και η LangSmith ζητούν κλειδιά λογαριασμού πριν προσγειωθεί το πρώτο σας trace, το MLflow ζητά έναν tracking server σε λειτουργία. Οι λιγότερες γραμμές κώδικα και η λιγότερη δουλειά δεν είναι το ίδιο πράγμα.
Πήραμε την ίδια εργασία, μία κλήση OpenAI chat συν μία βοηθητική συνάρτηση, και την ενσωματώσαμε με τρεις τρόπους από το quickstart κάθε παρόχου, όπως διαβάστηκε στις 5 Αυγούστου 2026.
Η Langfuse, μέσω του @observe decorator:
# pip install langfuse
import os
from langfuse import observe
from langfuse.openai import openai # drop-in wrapper
os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-..."
os.environ["LANGFUSE_SECRET_KEY"] = "sk-lf-..."
os.environ["LANGFUSE_BASE_URL"] = "https://cloud.langfuse.com"
@observe()
def answer(question: str, context: str) -> str:
r = openai.chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
)
return r.choices[0].message.contentΗ LangSmith, μέσω @traceable:
# pip install langsmith
import os
from langsmith import traceable
from openai import OpenAI
os.environ["LANGSMITH_TRACING"] = "true"
os.environ["LANGSMITH_API_KEY"] = "lsv2-..."
client = OpenAI()
@traceable
def answer(question: str, context: str) -> str:
r = client.chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
)
return r.choices[0].message.contentΤο MLflow, μέσω mlflow.openai.autolog():
# pip install mlflow
import mlflow
from openai import OpenAI
mlflow.set_tracking_uri("http://localhost:5000") # server must be running
mlflow.openai.autolog()
def answer(question: str, context: str) -> str:
r = OpenAI().chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
)
return r.choices[0].message.contentΤα νούμερα που εξάγαμε από αυτά τα τρία quickstart:
| Εργαλείο | pip packages | Env vars πριν το πρώτο trace | Επιπλέον γραμμές Python | Πού προσγειώνεται το trace |
|---|---|---|---|---|
| Langfuse | 1 (langfuse) | 3 (public key, secret, base URL) | 2 (αλλαγή import, @observe) | Langfuse Cloud ή το stack σας |
| LangSmith | 1 (langsmith) | 2 (API key, tracing flag) | 2 (import, @traceable) | Cloud project της LangSmith |
| MLflow | 1 (mlflow) | 0 (δεν χρειάζεται λογαριασμός) | 2 (tracking URI, autolog) | Η βάση του tracking server σας |
Μετρημένα από το quickstart κάθε παρόχου, όπως διαβάστηκαν στις 5 Αυγούστου 2026: Langfuse SDK docs, LangSmith observability quickstart, MLflow tracing quickstart. Το openai είναι δική σας εξάρτηση της εφαρμογής, δεν μετράει. Ξαναμετρήστε τα μόνοι σας.
Η ερμηνεία μας, επισημασμένη ως τέτοια: ο κώδικας είναι σχεδόν πανομοιότυπος και στα τρία, άρα δεν είναι εκεί που κρίνεται η απόφαση. Η Langfuse και η LangSmith φορτώνουν την τριβή μπροστά, σε πέντε λεπτά δημιουργίας λογαριασμού. Το MLflow τη φορτώνει μπροστά στην υποδομή: εκείνη η μία γραμμή προϋποθέτει έναν tracking server, μια βάση από πίσω του και κάποιον να κρατάει και τα δύο ζωντανά. Το λιτό mlflow-tracing SDK του, που η MLflow λέει ότι είναι περίπου 95% μικρότερο από το πλήρες πακέτο, μειώνει την εγκατάσταση, όχι τον server.
LLM-as-a-Judge: Ίδια Μέθοδος, Τρία Διαφορετικά Σπίτια
Και τα τρία τρέχουν LLM-as-a-judge evaluators πάνω σε datasets, αλλά η eval engine της LangSmith είναι η πιο προϊόντοποιημένη, η Langfuse ζευγαρώνει managed judges με annotation queues και ένα GitHub Action για CI gating, και το MLflow δένει τους judges με τα εργαλεία experiment και prompt-optimization. Η μεθοδολογία είναι ταυτόσημη, η διαφορά είναι πού κατοικούν τα αποτελέσματα.
| Δυνατότητα | Langfuse | LangSmith | MLflow |
|---|---|---|---|
| Managed LLM-as-a-judge | Ναι | Ναι, η μεγαλύτερη βιβλιοθήκη | Ναι, ενσωματωμένοι judges |
| Δικοί σας evaluators | Python/TS SDK | Custom κώδικας + ευρετικές | Code evaluators |
| Datasets και experiments | Ναι | Ναι, βασική λειτουργία | Ναι, μέσω experiments |
| Human annotation queue | Ναι | Ναι | Περιορισμένο |
| CI gating | GitHub Action | Eval engine + API | API-driven |
| Βελτιστοποίηση prompt | Όχι | Όχι | Ναι, βάσει GEPA |
Σύμφωνα με τα docs αξιολόγησης του MLflow, οι judges του τρέχουν μέσα στο ίδιο σύστημα experiment-tracking με τις μετρικές του κλασικού ML σας, το κέρδος του επιχειρήματος καταγωγής παραπάνω: ένα dashboard για ένα μοντέλο churn και έναν support agent. Σύμφωνα με τα docs της Langfuse, οι evaluators attachάρουν στα traces και τροφοδοτούν annotation queues που η ομάδα σας δουλεύει μέσα από το UI.
Για τη μέθοδο, διαβάστε πώς να αξιολογείτε σωστά τα outputs των LLM. Για το ευρύτερο τοπίο, τα εργαλεία αξιολόγησης που βαθμολογούμε. Τα agent pipelines χρειάζονται προσοχή πέρα από τη βαθμολόγηση εξόδου, κάτι που καλύπτεται στο αξιολόγηση agents όταν είναι σε παραγωγή.
Διαχείριση Prompt: Μόνο Ένα Κάνει Versioning Prompts Δίπλα στα Μοντέλα
Κρατήθηκε σύντομο επίτηδες, επειδή η λεπτομέρεια των δύο εργαλείων ανήκει στο αδελφό μας άρθρο. Το σχήμα του καθενός: η Langfuse προσφέρει διαχείριση prompt με versioning, labels και playground, η LangSmith προσφέρει ένα prompt hub με commit-style versioning, το MLflow προσφέρει ένα prompt registry που αποθηκεύει τα prompts ως πρώτης τάξης οντότητες δίπλα στα μοντέλα σας.
Η μία διαφορά που αφορά την απόφαση: το MLflow versionάρει τα prompts δίπλα στις εγγραφές του model registry, ώστε ένα prompt και το μοντέλο απέναντι στο οποίο συντονίστηκε να μοιράζονται ένα system of record. Η Langfuse και η LangSmith κρατούν τα prompts ξεχωριστά από ό,τι σερβίρει τα μοντέλα σας. Αν προάγετε μοντέλο και prompt μαζί και θέλετε ένα audit trail που αποδεικνύει ποιος συνδυασμός κυκλοφόρησε, αυτή η σύζευξη νικάει οποιοδήποτε playground. Για τη βαθιά λεπτομέρεια των δύο εργαλείων, δείτε την πλήρη αναμέτρηση Langfuse vs LangSmith.
Self-Hosting, Κατοχή Δεδομένων και Πόσο Κοστίζει η Αποχώρηση
Η Langfuse αυτο-φιλοξενείται ως multi-service stack που ελέγχετε πλήρως, το MLflow ως tracking server συν μια βάση που μπορείτε να κάνετε SQL-query απευθείας, η LangSmith μόνο με enterprise όρους. Η ερώτηση εξόδου μετράει περισσότερο από την ερώτηση εισόδου: όποιο εργαλείο κι αν επιλέξετε, το ιστορικό trace είναι το κομμάτι που δεν μπορείτε να ξαναδημιουργήσετε.
Η πραγματικότητα deployment ανά εργαλείο. Η Langfuse τρέχει ως web, worker, Postgres, ClickHouse και ένα επίπεδο cache/blob από τον επανασχεδιασμό της εποχής ClickHouse, σύμφωνα με το scale-engineering post της Langfuse. Πλαίσιο που πρέπει να έχετε καθαρό: η ClickHouse εξαγόρασε τη Langfuse στις 2026-01-16 μαζί με έναν Series D $400M, και οι δύο δεσμεύτηκαν ότι η MIT άδεια, το πρώτης τάξης self-hosting και ο χάρτης πορείας μένουν αμετάβλητα (η δήλωση της Langfuse). Το self-hosting της LangSmith είναι θέμα Enterprise πλάνου, σύμφωνα με τα docs της. Το MLflow είναι ένας tracking server, μια Postgres-compatible βάση και object storage.
Οι δίοδοι εξόδου, η ενότητα που κανείς άλλος δεν γράφει. Η Langfuse εξάγει σε blob storage ως JSONL ή Parquet μέσω μιας τεκμηριωμένης S3 export, συν ένα πλήρες API. Το backend του MLflow είναι μια ανοικτή βάση που μπορείτε να κάνετε query απευθείας. Η μαζική εξαγωγή της LangSmith κάθεται πίσω από πληρωμένα πλάνα. Η ετυμηγορία: το lock-in του MLflow είναι το πιο ανακτήσιμο, η Langfuse κοντά πίσω, η LangSmith κάτω από το Enterprise είναι εκεί που μια λάθος επιλογή σας κοστίζει το ιστορικό σας.
Το SSO και το RBAC κλειδώνουν το Enterprise επίπεδο της Langfuse ($2,499/μήνα) και το Enterprise πλάνο της LangSmith. Με το MLflow στήνετε μόνοι σας το auth, ελευθερία και δουλειά σε ίση δόση.
| Εργαλείο | Άδεια self-host | Υπηρεσίες που λειτουργείτε | Προεπιλογή διατήρησης | Δίοδος εξαγωγής | Ανακτήσιμο; |
|---|---|---|---|---|---|
| Langfuse | MIT | Web, worker, Postgres, ClickHouse, cache/blob | 30 ημ. έως 3 έτη ανά πλάνο | S3 blob export, JSONL/Parquet | Ναι |
| LangSmith | Ιδιόκτητο | Μόνο Enterprise deployment | 14 ημ. βάση, 400 ημ. extended | Μαζική εξαγωγή, πληρωμένα πλάνα | Μερικώς |
| MLflow | Apache 2.0 | Tracking server, DB, object storage | Απεριόριστη | SQL-query στην backend DB | Ναι, πλήρως |
Πόσο Κοστίζει το Καθένα στα 100K, 1M και 10M Traces;
Η Langfuse μετράει units, το MLflow δεν μετράει τίποτα, και η LangSmith δεν δημοσιεύει πλέον καμία συγκρίσιμη τιμή ανά μονάδα. Τα units και τα traces δεν είναι το ίδιο αντικείμενο· ένα αίτημα χρήστη μπορεί να είναι ένα μοναδικό trace που περιέχει πολλά χρεώσιμα γεγονότα. Μόνο δύο από τις τρεις παρακάτω στήλες μπορούν να χτιστούν από τιμές καταλόγου.
Αυτό το τελευταίο σημείο είναι εύρημα, όχι κενό στην έρευνά μας. Από τις 5 Αυγούστου 2026, η σελίδα τιμών της LangChain τοποθετεί το Plus στα $39 ανά seat με 10K βασικά traces συμπεριλαμβανομένα, και στη συνέχεια χρεώνει τη χρήση στα $1.50 ανά LCU (compute) και $1.00 ανά LSU (storage). Δεν υπάρχει πλέον τιμή ανά 1K trace στη σελίδα, ούτε δεύτερη σελίδα που να την αναφέρει. Ένας λογαριασμός LangSmith σε συγκεκριμένο όγκο traces επομένως δεν μπορεί να προκύψει από τιμές καταλόγου, και δεν πρόκειται να επινοήσουμε μια μετατροπή.
| Μηνιαίος όγκος | Langfuse Cloud | LangSmith | MLflow (self-hosted, η εκτίμησή μας) |
|---|---|---|---|
| 100K | $29 (Core, συμπεριλαμβάνεται) | $39 seat + 90K μετρημένα, χωρίς τιμή καταλόγου | $30-50 |
| 1M | $101 (Core + 900K υπέρβαση) | $39 seat + 990K μετρημένα, χωρίς τιμή καταλόγου | $60-120 |
| 10M | $731 (Core + 9.9M υπέρβαση) | $39 seat + 9.99M μετρημένα, χωρίς τιμή καταλόγου | $150-400 |
Τα νούμερα της Langfuse είναι τιμές καταλόγου από τη σελίδα τιμών της, όπως διαβάστηκαν στις 5 Αυγούστου 2026, επί τον όγκο που φαίνεται. Η τιμή seat και τα επίπεδα διατήρησης της LangSmith προέρχονται από την ίδια ανάγνωση των τιμών της LangChain: base traces με διατήρηση 14 ημερών, extended traces στις 400 ημέρες έναντι επιπλέον χρέωσης που η σελίδα δεν προσδιορίζει. Η στήλη MLflow είναι δική μας εκτίμηση, όχι προσφορά παρόχου: managed Postgres ($15-25/μήνα), object storage και ένα πάντα ενεργό container ($10-20/μήνα), που μεγαλώνει με το αποθηκευμένο ιστορικό.
Ελέγξτε τα μαθηματικά μας εκεί όπου υπάρχουν μαθηματικά να ελέγξετε. Η Langfuse δημοσιεύει έναν διαβαθμισμένο πίνακα υπέρβασης: $8.00 ανά 100K units από 100K έως 1M, $7.00 από 1M έως 10M, $6.50 από 10M έως 50M, $6.00 πάνω από αυτό. Στο 1M: $29 συν 900K units στα $8 ανά 100K = $101. Στο 10M: $29, συν 900K στα $8 ($72), συν 9,000K στα $7 ($630) = $731.
Προσέξτε τη διαφορά σχήματος: η LangSmith χρεώνει ανθρώπους συν μετρημένη κατανάλωση, τα άλλα δύο όχι. Αν το πραγματικό σας πρόβλημα είναι η δαπάνη token, ένας LiteLLM proxy μπροστά από τα μοντέλα σας κόβει τον λογαριασμό πριν οποιοδήποτε από αυτά τα εργαλεία τον μετρήσει.
Μπορείτε να Τρέξετε Δύο από Αυτά Μαζί;
Ναι. Η Langfuse και το MLflow χτίζουν και τα δύο πάνω στο OpenTelemetry, άρα ένας collector μπορεί να μοιράσει τα ίδια GenAI spans σε δύο backends. Ο ρεαλιστικός συνδυασμός: MLflow ως system of record κύκλου ζωής μοντέλου, Langfuse ως LLM-native trace UX. Τεχνικά εύκολο, οργανωτικά κάποιος πρέπει να κατέχει τον collector.
Ο μηχανισμός: ένας OTel collector με δύο OTLP exporters, που χρησιμοποιεί τα GenAI semantic conventions ώστε και οι δύο πλευρές να αναλύουν τα spans με τον ίδιο τρόπο.
# Illustrative sketch, not a copy-paste-complete collector config
exporters:
otlp/langfuse:
endpoint: https://cloud.langfuse.com/api/public/otel:443
headers:
Authorization: "Basic <base64 public_key:secret_key>"
otlp/mlflow:
endpoint: http://localhost:5000/otel # your MLflow tracking server
service:
pipelines:
traces:
receivers: [otlp]
processors: [batch]
exporters: [otlp/langfuse, otlp/mlflow] # same spans, two backendsΕπισημάνετέ το καθαρά: η παραπάνω διάταξη είναι η αρχιτεκτονική μας ερμηνεία, όχι configuration που υποστηρίζει πάροχος. Η Leanware είναι η μόνη άλλη σελίδα σε αυτό το SERP που αναφέρει καθόλου τη χρήση δύο εργαλείων, σε μία παράγραφο. Η διπλή αποστολή σημαίνει δύο συστήματα, δύο λογαριασμοί, διπλή αποθήκευση και ένας collector που ξυπνάει κάποιον στις 3 τα ξημερώματα.
Η διπλή αποστολή traces είναι τεχνικά εύκολη και οργανωτικά ακριβή. Το δεύτερο backend είναι δωρεάν μέχρι κάποιος να πρέπει να το κρατήσει ζωντανό.
Langfuse vs LangSmith vs MLflow: Ποιος Πρέπει να Επιλέξει Ποιο;
Τα πλεονεκτήματα και τα μειονεκτήματα του langfuse vs langsmith vs mlflow συμπυκνώνονται σε έξι προφίλ. Κάθε γραμμή ονομάζει ένα εργαλείο, επειδή το «εξαρτάται» χωρίς επιλογή είναι άχρηστο.
| Η κατάστασή σας | Επιλογή | Γιατί | Τι θυσιάζετε |
|---|---|---|---|
| Μεμονωμένος dev ή μικρή ομάδα, μία LLM εφαρμογή | Langfuse | Δωρεάν 50K units, MIT, self-host όποτε θέλετε | Την αίγλη του LangChain auto-tracing |
| Ομάδα LangChain- ή LangGraph-native | LangSmith | Tracing μηδενικής ρύθμισης, καλύτερο LangGraph UX | Κόστος ανά seat, lock-in |
| Ομάδα πλατφόρμας που τρέχει κλασικό ML και LLM | MLflow | Experiments, registry και tracing σε ένα | Νεότερο LLM-native UX |
| Enterprise με βαριά συμμόρφωση (residency, SSO) | Langfuse self-hosted | Τα δεδομένα δεν φεύγουν ποτέ από το VPC σας | Λειτουργείτε πέντε υπηρεσίες |
| Υπάρχουσα ομάδα Databricks ή MLflow | MLflow | Ήδη εγκατεστημένο, κανένας νέος πάροχος | Οι LLM λειτουργίες ωριμάζουν πιο αργά |
| Ομάδα που θέλει μηδενική υποδομή | LangSmith | Hosted από το πρώτο λεπτό | Βάση διατήρησης 14 ημερών, seat συν μετρημένες χρεώσεις |
Αν η ειλικρινής σας απάντηση είναι "κανένα από αυτά τα τρία", τα άλλα επτά εργαλεία στις δέκα πλατφόρμες που κατατάξαμε περιλαμβάνουν hosted και enterprise-only επιλογές που κρατήσαμε έξω από αυτή τη σελίδα.
Συχνές Ερωτήσεις
Γιατί να χρησιμοποιήσω MLflow για LLM tracing;
Χρησιμοποιήστε το MLflow για LLM tracing όταν η ομάδα σας τρέχει ήδη κλασικά ML μοντέλα και θέλει ένα system of record: experiment tracking, model registry και GenAI tracing σε μία Apache-2.0 πλατφόρμα, χωρίς τέλος ανά trace. Αν τρέχετε μόνο LLM λειτουργίες, η Langfuse ή η LangSmith σάς δίνουν μια νεότερη, LLM-first εμπειρία.
Μπορείτε να χρησιμοποιήσετε LangSmith και MLflow μαζί;
Ναι. Και τα δύο δέχονται OpenTelemetry-compatible δεδομένα trace, άρα ένας OTel collector μπορεί να εξάγει τα ίδια spans στη LangSmith και σε έναν MLflow tracking server ταυτόχρονα. Το κόστος είναι λειτουργικό: δύο backends, δύο λογαριασμοί, διπλή αποθήκευση. Οι περισσότερες ομάδες με τις οποίες μιλάμε επιλέγουν ένα system of record και παραλείπουν το δεύτερο.
Είναι η LangSmith ανοικτού κώδικα;
Όχι. Η LangSmith είναι ιδιόκτητο λογισμικό κλειστού κώδικα από τη LangChain Inc. Το client SDK της LangSmith είναι ανοικτό, αλλά η πλατφόρμα, το UI και το backend δεν είναι. Αν η άδεια ανοικτού κώδικα έχει σημασία για εσάς, η Langfuse (MIT) και το MLflow (Apache 2.0) είναι οι δύο επιλογές σε αυτή τη σύγκριση που μπορείτε να φιλοξενήσετε ελεύθερα.
Είναι το MLflow μόνο για κλασική μηχανική μάθηση;
Όχι. Το MLflow πρόσθεσε πρώτης τάξης GenAI υποστήριξη: το mlflow.openai.autolog() κάνει trace σε κλήσεις OpenAI αυτόματα, το @mlflow.trace καλύπτει custom συναρτήσεις και ενσωματωμένοι judges αξιολογούν τα outputs των LLM. Η κληρονομιά του κλασικού ML φαίνεται στο UX, που είναι λιγότερο LLM-native από της Langfuse, αλλά το ίδιο το tracing είναι επιπέδου παραγωγής.
Είναι το MLflow workflow orchestrator όπως το Airflow ή το Kubeflow;
Όχι. Το MLflow δεν προγραμματίζει DAGs ούτε τρέχει pipelines. Καταγράφει τι έκαναν οι εκτελέσεις σας: παραμέτρους, μετρικές, artifacts και traces. Το Airflow και το Kubeflow συντονίζουν εργασίες, το MLflow παρακολουθεί τα αποτελέσματά τους. Ο κόσμος μπερδεύει τα τρία επειδή συνυπάρχουν σε MLOps stacks, αλλά κάθονται σε διαφορετικά επίπεδα και συχνά τρέχουν μαζί.
Ποιες είναι οι ανοικτού κώδικα εναλλακτικές σε LangSmith και MLflow;
Η Langfuse (MIT) είναι η πλησιέστερη ανοικτού κώδικα εναλλακτική της LangSmith, με self-hosting και OTel-native tracing, και το ίδιο το MLflow είναι ανοικτού κώδικα υπό Apache 2.0. Πέρα από αυτή τη σύγκριση, τα Lunary, Arize Phoenix και OpenLIT είναι ανοικτού κώδικα επιλογές LLM παρατηρησιμότητας που αξίζουν μια ματιά πριν δεσμευτείτε σε μια ιδιόκτητη πλατφόρμα.
Ποιο από τα τρία είναι φθηνότερο στα 10 εκατομμύρια traces τον μήνα;
Το MLflow, μετρώντας μόνο την υποδομή: η εκτίμησή μας είναι $150-400 τον μήνα για Postgres, object storage και ένα container. Το Langfuse Cloud προσγειώνεται στα $731 για 10M units στο Core συν τη διαβαθμισμένη υπέρβασή του. Η LangSmith δεν μπορεί να τιμολογηθεί από τη σελίδα της: από τα μέσα του 2026 η LangChain δημοσιεύει τιμές seat και LCU/LSU, όχι τιμή καταλόγου ανά trace.
Η Langfuse αντικαθιστά το MLflow, ή το αντίστροφο;
Κανένα δεν αντικαθιστά καθαρά το άλλο. Η Langfuse αντικαθιστά τα επίπεδα tracing και eval του MLflow για ομάδες μόνο με LLM και αφήνει τον μηχανισμό experiment-tracking και model-registry. Το MLflow αντικαθιστά τη Langfuse όταν κλασικά ML μοντέλα μοιράζονται την πλατφόρμα σας και ένα system of record νικάει τα δύο. Επικαλύπτονται στο tracing, αποκλίνουν σε όλα γύρω από αυτό.
Παραμένει η Langfuse ανοικτού κώδικα τώρα που την εξαγόρασε η ClickHouse;
Ναι, σύμφωνα με την ανακοίνωση της 2026-01-16. Η ClickHouse εξαγόρασε τη Langfuse μαζί με έναν Series D $400M, και οι δύο εταιρείες δεσμεύτηκαν δημόσια να κρατήσουν την MIT άδεια, το πρώτης τάξης self-hosting και έναν αμετάβλητο χάρτη πορείας. Αυτή είναι μια δημόσια δέσμευση, όχι μόνιμη νομική εγγύηση, αλλά σήμερα τίποτα στην ιστορία του self-hosted δεν έχει αλλάξει.
Πηγές
Κάθε πηγή παρακάτω είναι συντακτική και dofollow. Καμία δεν είναι πληρωμένη ή ανταλλακτική.
| Πηγή | Τι υποστηρίζει |
|---|---|
| MLflow Tracing docs | OTel tracing, autolog, @mlflow.trace, λιτό SDK |
| MLflow tracing quickstart | Βήματα που μετρήθηκαν στον πίνακα ρύθμισης |
| MLflow eval and monitoring docs | Judges και η ροή eval |
| MLflow prompt registry docs | Versioning prompt |
| Langfuse Python SDK docs | @observe και απαιτούμενα env vars |
| Langfuse blob-export docs | S3 export, JSONL/Parquet |
| Langfuse pricing | Δωρεάν units, ελάχιστα πλάνων, τιμή ανά 100K |
| LangChain pricing | Συμπεριλαμβανόμενα base traces, τιμή seat Plus, μέτρηση LCU/LSU |
| LangSmith docs | @traceable, env vars, self-host επίπεδο |
| OpenTelemetry και GenAI semantic conventions | Το πρότυπο πίσω από τη διπλή εξαγωγή |
| Langfuse scale-engineering blog | Επανασχεδιασμός data-model της ClickHouse |
| ClickHouse acquires Langfuse | Εξαγορά, 2026-01-16 |
| Langfuse: joining ClickHouse | Δεσμεύσεις MIT και self-hosting |
| Leanware: LangSmith vs MLflow | Μοναδικό μη-πάροχος συντακτικό αποτέλεσμα SERP |
| MLflow GitHub, Langfuse GitHub | Άδειες Apache 2.0 / MIT, stars |
| MLflow: Top 5 Observability Tools | Σελίδα παρόχου, παρατίθεται ως ισχυρισμοί της MLflow |
Αν Θυμάστε Μόνο Τρία Πράγματα
- Δύο από τα τρία φτιάχτηκαν για LLM. Το MLflow φτιάχτηκε το 2018 για κλασικό ML και έμαθε το tracing αργότερα.
- Langfuse αν θέλετε MIT-licensed, self-hosted δεδομένα trace που κατέχετε πλήρως. LangSmith αν η εφαρμογή σας είναι LangChain ή LangGraph. MLflow αν κλασικά ML μοντέλα μοιράζονται την πλατφόρμα σας.
- Κάντε πρώτα την ερώτηση εξόδου: η Langfuse εξάγει σε S3, η βάση του MLflow είναι δική σας για query, η μαζική εξαγωγή της LangSmith κάθεται πίσω από πληρωμένα πλάνα.
- Στα 10M γεγονότα τον μήνα: $731 στην τιμή καταλόγου του Langfuse Cloud και $150-400 υποδομής στο MLflow (η εκτίμησή μας). Η LangSmith δεν έχει συγκρίσιμο νούμερο αφού σταμάτησε να δημοσιεύει τιμή ανά trace.
Η ετυμηγορία, ξαναδιατυπωμένη: επιλέξτε με βάση την καταγωγή, όχι τις λειτουργίες. Θέλετε μια δεύτερη γνώμη για το ποιο ταιριάζει στο stack σας ή βοήθεια να το στήσετε; Μιλήστε με τη Techsy. Επιλέγουμε αυτά τα εργαλεία για αναπτύξεις agent πελατών, χαρούμενοι να σας πούμε ποιο και γιατί.