Langfuse vs LangSmith vs MLflow: İkisi Gözlemlenebilirlik Aracı, Biri ML Platformu (2026)

Langfuse vs LangSmith vs MLflow: İkisi Gözlemlenebilirlik Aracı, Biri ML Platformu (2026)

langfuse vs langsmith vs mlflow karşılaştırmasındaki üç araçtan yalnızca ikisi LLM'leri izlemek için tasarlandı. MLflow, 2018'de Databricks'ten scikit-learn ve XGBoost için deney takibi olarak çıktı; GenAI izleme yıllar sonra bu temelin üzerine geldi. Langfuse MIT lisanslı ve LLM-odaklı, LangSmith tescilli ve LangChain-odaklı, MLflow ise Apache-2.0 lisanslı ve ikisinden de eski. Bu kararı özellik listeleri değil, köken belirliyor. Sonuç: verinize sahip olmak için Langfuse, LangGraph ekipleri için LangSmith, klasik modeller platformunuzu paylaşıyorsa MLflow.

Öne Çıkanlar

• Trace verisine tamamen sahip olacağınız, self-host edebileceğiniz açık kaynak (MIT) istiyorsanız Langfuse. ee/ klasörlerinin ayrı ticari şartlar taşıdığını unutmayın; GitHub'ın repoyu MIT değil NOASSERTION olarak göstermesinin sebebi bu.
• Uygulamanız LangChain veya LangGraph ise ve en sıkı entegrasyon için koltuk başına ücret ödemeye razıysanız LangSmith.
• Klasik ML modelleri de dağıtıyor ve deneyleri, model kayıt defterini ve izlemeyi tek yerde istiyorsanız MLflow.
• Üçü de artık OpenTelemetry konuşuyor, bu yüzden ikisini aynı anda çalıştırmak gerçek bir seçenek.

Bir Bakışta Langfuse vs LangSmith vs MLflow

Langfuse açık kaynak tercihi, LangSmith LangChain-odaklı tercih ve MLflow, ekibiniz LLM özelliklerinin yanında klasik ML de dağıtıyorsa geçerli tercih. Bunlardan ikisi LLM gözlemlenebilirlik aracı. Üçüncüsü, LLM izlemeyi sonradan öğrenmiş bir ML platformu ve bu fark, bu değerlendirmelerin çoğunu baştan belirliyor.

Burada yeni misiniz? Önce yapay zeka gözlemlenebilirlik başlangıç yazımızı okuyun.

Saklama süreleri sağlayıcılardan alındı: Langfuse'un 30/90 gün/3 yıl kademeleri kendi fiyatlandırma sayfasından, LangSmith'in 14 günlük temeli ve 400 günlük genişletilmiş trace'leri LangChain fiyatlandırmasından (genişletilmiş, ek ücretli ayrı bir trace türüdür, bir saklama açma-kapama ayarı değil) ve MLflow veriyi, depolamanız ne kadar tutarsa o kadar saklıyor.

Üç isimli tercih:

• Langfuse seçin, eğer MIT lisanslı kod, ilk günden self-hosting ve trace verinizin kendi Postgres'inizde ve ClickHouse'unuzda durmasını istiyorsanız.
• LangSmith seçin, eğer yığınınız LangChain veya LangGraph ise ve koltuk başı fiyatlandırma, trace başı fiyatlandırmadan daha mantıklıysa.
• MLflow seçin, eğer sklearn ve XGBoost modelleri LLM özelliklerinizin yanında çalışıyorsa. İki araçlık ayrıntı için Langfuse vs LangSmith karşılaştırma yazımıza bakın.

LLM-Odaklı Bir Araç mı, ML Platformu mu Lazım?

Bu sorgunun langfuse vs mlflow yarısı aslında bir köken sorusu. MLflow, klasik ML için deney takibi ve model kayıt defteri olarak başladı, sonra LLM izleme ekledi. Langfuse LLM izleme ile başladı ve başka hiçbir şey eklemedi. Klasik model dağıtmıyorsanız, MLflow'un yaşam döngüsü mekanizması boşuna bakımını yaptığınız bir yüzey alanıdır ve özel bir yapay zeka gözlemlenebilirlik aracı daha kısa yoldur.

MLflow üçünün açık ara en eskisi: Apache-2.0 lisanslı, Linux Foundation yönetiminde, 5 Ağustos 2026 itibarıyla 27.000'in üzerinde GitHub yıldızı ve "hangi hiperparametreler hangi artifact'i üretti?" sorusunu yanıtlamak için tasarlanmış. GenAI izleme bu temel üzerine geldi. Hem XGBoost churn modeli hem GPT-4o destek ajanı dağıtan bir ekip için bu, tek kayıt sistemi demek: deneyler, kayıt defteri girdileri ve LLM trace'leri aynı veritabanında.

Karşı ağırlık: klasik model dağıtmıyorsanız bunların hiçbiri kira ödemiyor. MLflow'un LLM-odaklı UX'i Langfuse'unkinden genç; daha az kısayol, daha ham trace görünümleri.

Bir açıklama, çünkü otomatik tamamlama insanların kubeflow vs mlflow vs airflow aradığını gösteriyor: MLflow bir iş akışı orkestratörü değil. DAG zamanlamaz; çalışmalarınızın ne yaptığını kaydeder. Airflow ve Kubeflow işleri çalıştırır, MLflow çıktılarını izler. Katman sorusuna gelince (mlflow vs tensorflow): TensorFlow bir modelleme çerçevesidir, MLflow hangi çerçeveyle eğitirseniz onun üzerinde durur. Bu SERP'teki sağlayıcı olmayan tek editoryal sonuç olan Leanware'ın karşılaştırması da aynı ayrımı yapıyor.

Ekibiniz hiç Jupyter notebook açmıyorsa, MLflow'un en büyük avantajı ölü ağırlıktır. Bu tek test, bu sayfanın okurlarının çoğu için onu eler.

İlk Trace'iniz Gerçekte Ne Kadar Kod Gerektiriyor?

Üçü için de yaklaşık iki satır Python, ama sürtünme farklı yerlerde duruyor. Langfuse ve LangSmith ilk trace'iniz düşmeden önce hesap anahtarları ister; MLflow çalışan bir tracking sunucusu ister. En az satır kod ile en az iş aynı şey değil.

Aynı görevi aldık, bir OpenAI chat çağrısı artı bir yardımcı fonksiyon, ve her sağlayıcının 5 Ağustos 2026'da okuduğumuz quickstart'ından üç şekilde enstrümante ettik.

Langfuse, @observe dekoratörü ile:

# pip install langfuse
import os
from langfuse import observe
from langfuse.openai import openai  # drop-in wrapper

os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-..."
os.environ["LANGFUSE_SECRET_KEY"] = "sk-lf-..."
os.environ["LANGFUSE_BASE_URL"] = "https://cloud.langfuse.com"

@observe()
def answer(question: str, context: str) -> str:
    r = openai.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

LangSmith, @traceable ile:

# pip install langsmith
import os
from langsmith import traceable
from openai import OpenAI

os.environ["LANGSMITH_TRACING"] = "true"
os.environ["LANGSMITH_API_KEY"] = "lsv2-..."
client = OpenAI()

@traceable
def answer(question: str, context: str) -> str:
    r = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

MLflow, mlflow.openai.autolog() ile:

# pip install mlflow
import mlflow
from openai import OpenAI

mlflow.set_tracking_uri("http://localhost:5000")  # server must be running
mlflow.openai.autolog()

def answer(question: str, context: str) -> str:
    r = OpenAI().chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

Bu üç quickstart'tan çıkardığımız sayılar:

Her sağlayıcının quickstart'ından sayıldı, 5 Ağustos 2026'da okundu: Langfuse SDK dokümanı, LangSmith gözlemlenebilirlik quickstart'ı, MLflow tracing quickstart. openai uygulamanın kendi bağımlılığı, sayılmadı. Kendiniz de sayın.

Bizim yorumumuz, bu etiketle: kod üçünde de neredeyse aynı, dolayısıyla karar burada yatmıyor. Langfuse ve LangSmith sürtünmeyi beş dakikalık hesap oluşturmaya yüklüyor. MLflow altyapıya yüklüyor: o tek satır, arkada bir tracking sunucusu, onun arkasında bir veritabanı ve ikisini ayakta tutacak birini varsayıyor. MLflow'un, tam paketten yaklaşık %95 daha küçük olduğunu söylediği ince mlflow-tracing SDK'si kurulumu hafifletiyor, sunucuyu değil.

LLM-as-a-Judge: Aynı Yöntem, Üç Farklı Yuva

Üçü de veri kümeleri üzerinde LLM-as-a-judge değerlendiriciler çalıştırıyor, ama LangSmith'in eval motoru en ürüne dönüşmüş olanı; Langfuse yönetilen judge'ları anotasyon kuyrukları ve CI kapısı için bir GitHub Action ile eşleştiriyor, MLflow ise judge'ları deney ve prompt optimizasyonu araçlarına bağlıyor. Metodoloji aynı; fark, sonuçların nerede durduğu.

MLflow'un değerlendirme dokümanına göre judge'ları, klasik ML metriklerinizle aynı deney takibi sisteminde çalışıyor; yukarıdaki köken argümanının getirisi tam bu: churn modeli ve destek ajanı için tek pano. Langfuse dokümanına göre değerlendiriciler trace'lere bağlanıyor ve ekibinizin arayüzde çalıştığı anotasyon kuyruklarını besliyor.

Yöntem için LLM çıktılarını düzgün değerlendirme rehberini okuyun; daha geniş manzara için puanladığımız değerlendirme araçlarına bakın. Ajan işlem hatları çıktı puanlamanın ötesinde özen ister; bu da canlıdaki ajanları değerlendirme yazımızda.

Prompt Yönetimi: Sadece Biri Prompt'ları Modellerle Birlikte Sürümlüyor

Bilerek kısa tuttuk, çünkü iki araçlık ayrıntı kardeş yazımıza ait. Her birinin şekli: Langfuse sürümleme, etiketler ve playground ile prompt yönetimi sunar; LangSmith commit tarzı sürümleme ile bir prompt hub sunar; MLflow prompt'ları modellerinizin yanında birinci sınıf varlıklar olarak saklayan bir prompt kayıt defteri sunar.

Kararla ilgili tek fark: MLflow prompt'ları model kayıt defteri girdilerinin yanında sürümler, böylece bir prompt ile ayarlandığı model tek kayıt sistemini paylaşır. Langfuse ve LangSmith prompt'ları, modellerinizi sunan şeyden ayrı tutar. Model ve prompt'u birlikte terfi ettiriyor ve hangi eşleşmenin dağıtıldığını kanıtlayan bir denetim izi istiyorsanız, bu bağlanma her playground'dan daha değerlidir. İki araçlık derin ayrıntı için Langfuse vs LangSmith karşılaştırma yazımıza bakın.

Self-Hosting, Veri Sahipliği ve Ayrılmanın Maliyeti

Langfuse tamamen kontrol ettiğiniz çok servisli bir yığın olarak self-host edilir, MLflow doğrudan SQL sorgulayabileceğiniz bir tracking sunucusu artı veritabanı olarak, LangSmith yalnızca enterprise koşullarında. Çıkış sorusu giriş sorusundan daha önemli: hangi aracı seçerseniz seçin, trace geçmişi yeniden oluşturamayacağınız kısımdır.

Araç başına dağıtım gerçeği. Langfuse, ClickHouse dönemi yeniden tasarımından bu yana web, worker, Postgres, ClickHouse ve bir cache/blob katmanı olarak çalışıyor, Langfuse'un ölçek mühendisliği yazısına göre. Net olmanız gereken bağlam: ClickHouse Langfuse'u satın aldı, 2026-01-16'da, 400 milyon dolarlık bir Series D ile birlikte ve ikisi de MIT lisansının, birinci sınıf self-hosting'in ve yol haritasının değişmeden kalacağına söz verdi (Langfuse'un açıklaması). LangSmith self-hosting bir enterprise planı konusu, dokümanına göre. MLflow bir tracking sunucusu, Postgres uyumlu bir veritabanı ve nesne depolama.

Çıkış yolları, kimsenin yazmadığı bölüm. Langfuse, dokümante edilmiş S3 dışa aktarımı ile JSONL veya Parquet olarak blob depolamaya aktarıyor, artı tam bir API. MLflow'un backend'i doğrudan sorgulayabileceğiniz açık bir veritabanı. LangSmith'in toplu dışa aktarımı ücretli planların arkasında. Hüküm: MLflow'un kilitlenmesi en kurtarılabilir olanı, Langfuse hemen arkasında, LangSmith'in enterprise altı ise yanlış tercihin size geçmişinize mal olduğu yer.

SSO ve RBAC, Langfuse'un Enterprise katmanını ($2.499/ay) ve LangSmith'in Enterprise planını kapılıyor; MLflow ile kendi auth'unuzu kendiniz bağlarsınız, özgürlük ve iş eşit ölçüde.

100 Bin, 1 Milyon ve 10 Milyon Trace'te Her Biri Ne Kadar?

Langfuse birim ölçer, MLflow hiçbir şey ölçmez, ve LangSmith artık karşılaştırılabilir bir trace başı fiyat yayınlamıyor. Birim ve trace aynı nesne değil; tek bir kullanıcı isteği, faturalandırılabilir birçok olay içeren tek bir trace olabilir. Aşağıdaki üç sütundan yalnızca ikisi liste fiyatlarından kurulabilir.

Bu son nokta bizim araştırmamızdaki bir boşluk değil, kendi başına bir bulgu. 5 Ağustos 2026 itibarıyla LangChain'in fiyatlandırma sayfası, Plus planını 10K dahil temel trace ile koltuk başına $39 olarak veriyor, sonra kullanımı LCU başına $1.50 (compute) ve LSU başına $1.00 (depolama) ile ölçüyor. Sayfada artık 1K trace başına bir oran yok, taşıyan ikinci bir sayfa da yok. Belirtilen bir trace hacminde LangSmith faturası bu yüzden liste fiyatlarından türetilemiyor ve biz bir dönüşüm uydurmayacağız.

Langfuse rakamları, 5 Ağustos 2026'da okunan kendi fiyatlandırma sayfasından liste fiyatları çarpı gösterilen hacim. LangSmith'in koltuk fiyatı ve saklama kademeleri aynı gün okunan LangChain fiyatlandırmasından geliyor: temel trace'ler 14 günlük saklamayla, genişletilmiş trace'ler ise sayfanın rakamla belirtmediği ek bir ücretle 400 gün saklanıyor. MLflow sütunu bizim tahminimiz, bir sağlayıcı teklifi değil: yönetilen Postgres ($15-25/ay), nesne depolama ve hep açık bir konteyner ($10-20/ay), saklanan geçmişle büyür.

Hesabımızı denetlenebilecek yerde denetleyin. Langfuse kademeli bir aşım tarifesi yayınlıyor: 100 binden 1 milyona kadar 100 bin birim başına $8.00, 1 milyondan 10 milyona kadar $7.00, 10 milyondan 50 milyona kadar $6.50, üzerinde $6.00. 1 milyonda: $29 artı 100 bin başına $8'den 900 bin birim = $101. 10 milyonda: $29, artı 100 bin başına $8'den 900 bin birim ($72), artı 100 bin başına $7'den 9.000 bin birim ($630) = $731.

Şekil farkına dikkat: LangSmith insan ve ölçülen tüketimi birlikte faturalandırır, diğer ikisi öyle yapmaz. Gerçek sorununuz token harcamasıysa, modellerinizin önüne koyacağınız bir LiteLLM proxy'si faturayı bu araçlardan herhangi biri ölçmeden önce keser.

İkisini Birlikte Çalıştırabilir misiniz?

Evet. Langfuse da MLflow da OpenTelemetry üzerine kurulu, bu yüzden tek bir collector aynı GenAI span'lerini iki backend'e dağıtabilir. Gerçekçi eşleşme: model yaşam döngüsü kayıt sistemi olarak MLflow, LLM-odaklı trace UX'i olarak Langfuse. Teknik olarak kolay; organizasyonel olarak, collector'ın sahibi biri olmalı.

Mekanizma: iki OTLP exporter'ı olan bir OTel collector, GenAI semantik sözleşmelerini kullanır ki iki taraf da span'leri aynı şekilde ayrıştırsın.

# Illustrative sketch, not a copy-paste-complete collector config
exporters:
  otlp/langfuse:
    endpoint: https://cloud.langfuse.com/api/public/otel:443
    headers:
      Authorization: "Basic <base64 public_key:secret_key>"
  otlp/mlflow:
    endpoint: http://localhost:5000/otel  # your MLflow tracking server

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [otlp/langfuse, otlp/mlflow]  # same spans, two backends

Bunu açıkça etiketleyin: yukarıdaki düzen bizim mimari yorumumuz, sağlayıcı destekli bir yapılandırma değil. Leanware bu SERP'te iki aracı birlikte çalıştırmaktan söz eden tek diğer sayfa, tek bir paragrafta. Çift gönderim iki sistem, iki fatura, yinelenen depolama ve gece 3'te birini uyandıran bir collector demek.

Trace'leri çift göndermek teknik olarak kolay, organizasyonel olarak pahalı. İkinci backend, biri onu ayakta tutmak zorunda kalana kadar ücretsiz.

Langfuse vs LangSmith vs MLflow: Hangisini Kim Seçmeli?

langfuse vs langsmith vs mlflow artıları ve eksileri altı profile indirgeniyor. Her satır bir araç isimlendiriyor, çünkü tercihsiz "duruma göre" cevabı işe yaramaz.

Dürüst cevabınız "bu üçü de değil" ise, sıraladığımız on platformun diğer yedisi, bu sayfada tutmadığımız barındırılan ve yalnızca kurumsal seçenekleri içeriyor.

Sıkça Sorulan Sorular

LLM izleme için neden MLflow kullanılır?

Ekibiniz zaten klasik ML modelleri dağıtıyor ve tek kayıt sistemi istiyorsa LLM izleme için MLflow kullanın: deney takibi, model kayıt defteri ve GenAI izleme tek bir Apache-2.0 platformunda, trace başı ücret olmadan. Yalnızca LLM özellikleri dağıtıyorsanız, Langfuse veya LangSmith size daha genç, LLM-öncelikli bir deneyim sunar.

LangSmith ve MLflow birlikte kullanılabilir mi?

Evet. İkisi de OpenTelemetry uyumlu trace verisi kabul eder, bu yüzden bir OTel collector aynı span'leri aynı anda LangSmith'e ve bir MLflow tracking sunucusuna aktarabilir. Bedeli operasyoneldir: iki backend, iki fatura, yinelenen depolama. Konuştuğumuz çoğu ekip tek kayıt sistemi seçip ikinciyi atlıyor.

LangSmith açık kaynak mı?

Hayır. LangSmith, LangChain Inc.'in tescilli, kapalı kaynaklı yazılımı. LangSmith istemci SDK'si açık, ama platform, arayüz ve backend değil. Açık kaynak lisansı sizin için önemliyse, Langfuse (MIT) ve MLflow (Apache 2.0) bu karşılaştırmada özgürce self-host edebileceğiniz iki seçenek.

MLflow yalnızca klasik makine öğrenmesi için mi?

Hayır. MLflow birinci sınıf GenAI desteği ekledi: mlflow.openai.autolog() OpenAI çağrılarını otomatik izler, @mlflow.trace özel fonksiyonları kapsar ve yerleşik judge'lar LLM çıktılarını değerlendirir. Klasik ML mirası, Langfuse'unkinden daha az LLM-odaklı olan UX'te görünüyor, ama izlemenin kendisi üretim sınıfı.

MLflow, Airflow veya Kubeflow gibi bir iş akışı orkestratörü mü?

Hayır. MLflow DAG zamanlamaz veya işlem hattı çalıştırmaz; çalışmalarınızın ne yaptığını kaydeder: parametreler, metrikler, artifact'ler ve trace'ler. Airflow ve Kubeflow işleri orkestra eder, MLflow sonuçlarını izler. İnsanların üçünü karıştırması, MLOps yığınlarında birlikte görünmelerinden; ama farklı katmanlarda dururlar ve çoğu zaman birlikte çalışırlar.

LangSmith ve MLflow'un açık kaynak alternatifleri neler?

Langfuse (MIT), self-hosting ve OTel-odaklı izleme ile en yakın açık kaynak LangSmith alternatifi ve MLflow'un kendisi de Apache 2.0 altında açık kaynak. Bu karşılaştırmanın ötesinde Lunary, Arize Phoenix ve OpenLIT, tescilli bir platforma bağlanmadan önce bakılmayı hak eden açık kaynak LLM gözlemlenebilirlik seçenekleri.

Ayda 10 milyon trace'te üçünden hangisi en ucuz?

Yalnızca altyapı sayıldığında MLflow: tahminimiz Postgres, nesne depolama ve bir konteyner için ayda $150-400. Langfuse Cloud, Core artı kademeli aşımla 10 milyon birimde $731'e oturuyor. LangSmith kendi sayfasından fiyatlandırılamıyor: 2026 yılının ortasından bu yana LangChain, trace başına liste fiyatı değil koltuk ve LCU/LSU oranları yayınlıyor.

Langfuse MLflow'un yerini alır mı, yoksa tersi mi?

Hiçbiri diğerinin yerini temiz biçimde almaz. Langfuse, yalnızca LLM kullanan ekipler için MLflow'un izleme ve eval katmanlarının yerini alır ve deney takibi ile model kayıt defteri mekanizmasını bırakır. MLflow, klasik ML modelleri platformunuzu paylaştığında ve tek kayıt sistemi iki tanesinden daha mantıklı olduğunda Langfuse'un yerini alır. İzlemede örtüşürler; etraflarındaki her şeyde ayrışırlar.

ClickHouse satın aldıktan sonra Langfuse hâlâ açık kaynak mı?

Evet, 2026-01-16 duyurusu itibarıyla. ClickHouse, Langfuse'u 400 milyon dolarlık bir Series D ile birlikte satın aldı ve iki şirket de MIT lisansını, birinci sınıf self-hosting'i ve değişmeyen bir yol haritasını korumaya alenen söz verdi. Bu aleni bir taahhüt, kalıcı bir yasal garanti değil; ama bugün self-host hikayesinde değişmiş hiçbir şey yok.

Kaynaklar

Aşağıdaki her kaynak editoryal ve dofollow; hiçbiri ücretli ya da takas değil.

Yalnızca Üç Şey Hatırlayacaksanız

• Üçünden ikisi LLM'ler için inşa edildi. MLflow 2018'de klasik ML için inşa edildi ve izlemeyi sonradan öğrendi.
• MIT lisanslı, tamamen size ait self-host trace verisi istiyorsanız Langfuse. Uygulamanız LangChain veya LangGraph ise LangSmith. Klasik ML modelleri platformunuzu paylaşıyorsa MLflow.
• Önce çıkış sorun: Langfuse S3'e aktarır, MLflow'un veritabanını siz sorgularsınız, LangSmith'in toplu dışa aktarımı ücretli planların arkasında.
• Ayda 10 milyon olayda: Langfuse Cloud liste fiyatında $731, MLflow'ta $150-400 altyapı (tahminimiz). LangSmith'te karşılaştırılabilir bir rakam yok, çünkü trace başı bir oran yayınlamayı bıraktı.

Karar, tekrar: özelliklere göre değil, kökene göre seçin. Yığınınıza hangisinin uyduğu ya da kurulum yardımı için ikinci bir görüş ister misiniz? Techsy ile konuşun. Bu araçları müşteri ajan dağıtımları için biz seçiyoruz, hangisini ve neden seçtiğimizi anlatmaktan memnuniyet duyarız.