Langfuse vs LangSmith vs MLflow:兩個是觀測工具,一個是機器學習平台(2026)

Langfuse vs LangSmith vs MLflow:兩個是觀測工具,一個是機器學習平台(2026)

langfuse vs langsmith vs mlflow 這三者裡,只有兩個是從一開始就為了觀測 LLM 而生。MLflow 在 2018 年誕生於 Databricks,原本是給 scikit-learn 和 XGBoost 用的實驗追蹤工具;GenAI 追蹤是好幾年後才加到這個底座上的。Langfuse 是 MIT 授權、LLM 原生;LangSmith 是專有軟體、LangChain 原生;MLflow 是 Apache 2.0 授權,年紀比另外兩個都大。決定這場比較結果的是出身,不是功能清單。結論:想擁有自己的資料選 Langfuse,LangGraph 團隊選 LangSmith,傳統模型與平台共存選 MLflow。

重點摘要

• 想要開源(MIT)、可自行託管,並徹底擁有追蹤資料,選 Langfuse。注意其 ee/ 資料夾採獨立商業條款,這正是 GitHub 把整個倉庫標記為 NOASSERTION 而非單純 MIT 的原因。
• 應用程式建立在 LangChain 或 LangGraph 上,願意按席位付費換取最緊密的整合,選 LangSmith。
• 團隊同時部署傳統機器學習模型,想要實驗、模型登錄與追蹤合而為一,選 MLflow。
• 三者如今都支援 OpenTelemetry,因此同時運行其中兩個是可行的選項。

Langfuse vs LangSmith vs MLflow 快速總覽

Langfuse 是開源首選,LangSmith 是 LangChain 原生首選,而當團隊在 LLM 功能旁也部署傳統機器學習時,MLflow 是首選。其中兩個是 LLM 觀測工具。第三個是學會追蹤 LLM 的機器學習平台,而這個差異決定了大多數評估的結果。

第一次接觸這個主題?先讀我們的 AI 可觀測性入門。

保留天數來自廠商:Langfuse 的 30 天 / 90 天 / 3 年分級見其定價頁,LangSmith 的 14 天基本與 400 天延長追蹤見 LangChain 定價頁(延長追蹤是另收費用的獨立追蹤類型,不是保留天數的開關),MLflow 的資料則與您的儲存同壽。

三個指名選擇:

• 選 Langfuse,如果您想要 MIT 授權程式碼、第一天就能自行託管,追蹤資料放在自己的 Postgres 和 ClickHouse 裡。
• 選 LangSmith,如果您的技術棧是 LangChain 或 LangGraph,且按席位計價優於按追蹤計價。
• 選 MLflow,如果 sklearn 和 XGBoost 模型與您的 LLM 功能並行運行。兩工具的詳細比較見我們的 Langfuse vs LangSmith 完整對決。

您需要 LLM 原生工具,還是機器學習平台?

這個查詢中 langfuse vs mlflow 的部分,本質上是血統問題。MLflow 從實驗追蹤和傳統 ML 的模型登錄起家,後來加入了 LLM 追蹤。Langfuse 從 LLM 追蹤起家,沒有加入其他東西。如果您不部署傳統模型,MLflow 的生命週期機制就是您白白維護的負擔面,專用的 AI 可觀測性工具才是較短的路徑。

MLflow 是三者中年紀最長的,而且領先幅度很大:Apache 2.0 授權、Linux 基金會治理,截至 2026 年 8 月 5 日 GitHub 星星超過 27,000 顆,為解答「哪組超參數產出了哪個產物?」而生。它的 GenAI 追蹤是在這個基礎上後加的。對於同時部署 XGBoost 流失預測模型和 GPT-4o 客服代理的團隊,這等於買到一套統一的記錄系統:實驗、登錄條目和 LLM 追蹤都在同一個資料庫裡。

反過來說:不部署傳統模型,這些就統統沒有回報。MLflow 的 LLM 原生使用體驗比 Langfuse 年輕,快捷較少,追蹤檢視也較粗糙。

澄清一點,因為自動完成顯示有人在搜 kubeflow vs mlflow vs airflow:MLflow 不是工作流編排器。它不排程 DAG;它記錄您的運行做了什麼。Airflow 和 Kubeflow 執行作業,MLflow 追蹤其輸出。關於層級的問題(mlflow vs tensorflow):TensorFlow 是建模框架,MLflow 位於任何您用來訓練的框架之上。Leanware 的比較是這個 SERP 上唯一一個非廠商的編輯類結果,也做了同樣的切分。

如果您的團隊從不打開 Jupyter notebook,MLflow 最大的優勢就是死重。單憑這一項測試,就足以為本頁大多數讀者淘汰它。

第一筆追蹤實際上需要多少程式碼?

三者都大約兩行 Python,但摩擦點位於不同的地方。Langfuse 和 LangSmith 在第一筆追蹤落地前要求帳號金鑰;MLflow 要求一台運行中的追蹤伺服器。最少的程式碼行數與最少的工作量不是同一回事。

我們拿了同一個任務,一次 OpenAI 對話呼叫加一個輔助函式,依照各廠商的快速入門分別以三種方式加上檢測,文件讀取日期為 2026 年 8 月 5 日。

Langfuse,透過 @observe 裝飾器:

# pip install langfuse
import os
from langfuse import observe
from langfuse.openai import openai  # drop-in wrapper

os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-..."
os.environ["LANGFUSE_SECRET_KEY"] = "sk-lf-..."
os.environ["LANGFUSE_BASE_URL"] = "https://cloud.langfuse.com"

@observe()
def answer(question: str, context: str) -> str:
    r = openai.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

LangSmith,透過 @traceable:

# pip install langsmith
import os
from langsmith import traceable
from openai import OpenAI

os.environ["LANGSMITH_TRACING"] = "true"
os.environ["LANGSMITH_API_KEY"] = "lsv2-..."
client = OpenAI()

@traceable
def answer(question: str, context: str) -> str:
    r = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

MLflow,透過 mlflow.openai.autolog():

# pip install mlflow
import mlflow
from openai import OpenAI

mlflow.set_tracking_uri("http://localhost:5000")  # server must be running
mlflow.openai.autolog()

def answer(question: str, context: str) -> str:
    r = OpenAI().chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": f"{context}\n\nQ: {question}"}],
    )
    return r.choices[0].message.content

我們從這三份快速入門推算出的數字:

以上計數取自各廠商的快速入門,讀取日期 2026 年 8 月 5 日:Langfuse SDK 文件、LangSmith 觀測快速入門、MLflow 追蹤快速入門。openai 是應用程式自身的相依,不計入。歡迎您自己重數一遍。

我們的解讀,明確標示為解讀:三者的程式碼幾乎相同,所以決策點不在這裡。Langfuse 和 LangSmith 把摩擦點前置到五分鐘的帳號建立。MLflow 把摩擦點前置到基礎設施:那一行程式碼預設了一台追蹤伺服器、背後一個資料庫,以及負責讓兩者活著的人。其精簡版 mlflow-tracing SDK,據 MLflow 表示比完整套件小約 95%,削減的是安裝量,不是伺服器。

LLM-as-a-Judge:同一種方法,三個不同的落腳處

三者都能在資料集上運行 LLM-as-a-judge 評估器,但 LangSmith 的評估引擎產品化程度最高,Langfuse 將託管式 judge 與標註佇列及用於 CI 閘控的 GitHub Action 搭配,MLflow 則把 judge 與其實驗及提示詞最佳化工具綁在一起。方法論相同;差別在結果落在哪裡。

根據 MLflow 的評估文件,其 judge 運行在與傳統 ML 指標相同的實驗追蹤系統內,這正是上述血統論的回報:一個儀表板同時涵蓋流失模型和客服代理。根據 Langfuse 的文件,評估器附著於追蹤,並饋入您團隊在 UI 中處理的標註佇列。

方法本身,請讀如何正確評估 LLM 輸出;更廣的生態,見我們評級的評估工具。代理管線需要的關注不止於輸出評分,詳見評估上線後的 AI 代理。

提示詞管理:只有一家把提示詞和模型放在一起版本化

刻意寫得短,因為兩工具的細節屬於我們的姊妹文。各自的形態:Langfuse 提供帶版本控制、標籤和 playground 的提示詞管理;LangSmith 提供帶 commit 風格版本控制的 prompt hub;MLflow 提供一個 prompt registry,將提示詞作為一等實體與模型並存。

唯一與決策相關的差異:MLflow 將提示詞與模型登錄條目一起版本化,因此提示詞與它所調校的模型共享一套記錄系統。Langfuse 和 LangSmith 則把提示詞與服務模型的部分分開。如果您同時部署模型與提示詞,並想要一條稽核軌跡證明哪種組合上了線,這種耦合比任何 playground 都值。兩工具的深入細節見我們的 Langfuse vs LangSmith 完整對決。

自行託管、資料所有權,以及離開的成本

Langfuse 以您完全掌控的多服務棧自行託管,MLflow 是一台追蹤伺服器加一個可直接用 SQL 查詢的資料庫,LangSmith 僅提供企業條款。離開的問題比進入的問題更重要:無論選哪個工具,追蹤歷史都是您無法重新創造的那部分。

各工具的部署現實。Langfuse 自其 ClickHouse 時代重新設計起,以 web、worker、Postgres、ClickHouse 及快取/blob 層運行,見 Langfuse 的規模工程文章。您應該釐清的背景:ClickHouse 於 2026-01-16 收購了 Langfuse,同時帶來 4 億美元的 D 輪融資,雙方都承諾 MIT 授權、一等公民的自行託管與路線圖維持不變(Langfuse 的聲明)。LangSmith 的自行託管是企業方案的事,見其文件。MLflow 是一台追蹤伺服器、一個與 Postgres 相容的資料庫和物件儲存。

離開路徑,沒有人願意寫的章節。Langfuse 透過有文件的 S3 匯出將資料以 JSONL 或 Parquet 匯出至 blob 儲存,另有完整 API。MLflow 的後端是一個可直接查詢的開放資料庫。LangSmith 的批次匯出位於付費方案之後。結論:MLflow 的鎖定最容易恢復,Langfuse 緊隨其後,LangSmith 在企業方案以下,就是選錯會讓您失去歷史的地方。

SSO 和 RBAC 守在 Langfuse 的 Enterprise 方案(每月 $2,499)和 LangSmith 的企業方案門口;用 MLflow,您得自己接上身份驗證,自由與辛勞各半。

十萬、一百萬、一千萬筆追蹤,各自花多少?

Langfuse 計量單位,MLflow 什麼都不計量,而 LangSmith 已不再公布一個可比的單一追蹤價格。單位和追蹤不是同一種東西;一次使用者請求可以是一筆追蹤,其中包含許多可計費事件。下表三欄裡,只有兩欄能由清單價算出。

這最後一點是一項發現,不是我們研究上的缺口。截至 2026 年 8 月 5 日,LangChain 的定價頁顯示 Plus 方案為每席位 $39,內含 10K 筆基本追蹤,超過後按 每 LCU(算力)$1.50 及 每 LSU(儲存)$1.00 計量收費。頁面上已不再有每千筆追蹤的費率,也沒有第二個頁面提供這個費率。因此,某個指定追蹤量的 LangSmith 帳單無法從清單價推算,我們也不打算自己編一個換算方式出來。

Langfuse 的數字是其定價頁的清單價,讀取日期 2026 年 8 月 5 日,乘以所示數量。LangSmith 的席位價格與保留分級來自同一天讀取的 LangChain 定價頁:基本追蹤保留 14 天,延長追蹤保留 400 天,但頁面沒有量化那筆額外費用。MLflow 那一欄是我們的估算,不是廠商報價:託管式 Postgres(每月 $15-25)、物件儲存,加上一個永不關機的容器(每月 $10-20),隨儲存的歷史成長。

歡迎驗算。Langfuse 公布了一套逐級遞減的超額費率表:10 萬到 100 萬單位每 10 萬 $8.00,100 萬到 1000 萬每 10 萬 $7.00,1000 萬到 5000 萬每 10 萬 $6.50,再往上每 10 萬 $6.00。100 萬筆時:$29 加 90 萬單位、每 10 萬 $8 = $101。1000 萬筆時:$29,加 90 萬單位以 $8 計($72),再加 900 萬單位以 $7 計($630)= $731。

注意形態差異:LangSmith 同時對人和用量計費,另外兩家都不這麼做。如果您真正的問題是 token 支出,在模型前放一個 LiteLLM 代理會在這些工具計量之前就把帳單砍下來。

能同時運行其中兩個嗎?

可以。Langfuse 和 MLflow 都建立在 OpenTelemetry 上,因此一個 collector 可以把相同的 GenAI span 分送給兩個後端。現實的搭配:MLflow 作為模型生命週期的記錄系統,Langfuse 作為 LLM 原生的追蹤使用體驗。技術上容易;組織上,得有人擁有那個 collector。

機制:一個帶兩個 OTLP exporter 的 OTel collector,使用 GenAI 語意慣例,讓雙方以相同方式解析 span。

# Illustrative sketch, not a copy-paste-complete collector config
exporters:
  otlp/langfuse:
    endpoint: https://cloud.langfuse.com/api/public/otel:443
    headers:
      Authorization: "Basic <base64 public_key:secret_key>"
  otlp/mlflow:
    endpoint: http://localhost:5000/otel  # your MLflow tracking server

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [otlp/langfuse, otlp/mlflow]  # same spans, two backends

明確標示:上述配置是我們的架構解讀,不是廠商支援的組態。Leanware 是這個 SERP 上唯一另一個提到同時運行兩個工具的頁面,只有一段。雙送意味著兩套系統、兩張帳單、重複的儲存,以及一個凌晨三點會呼叫某個人的 collector。

雙送追蹤在技術上便宜,在組織上昂貴。第二個後端免費,直到有人必須讓它活著。

Langfuse vs LangSmith vs MLflow:誰該選哪個?

langfuse vs langsmith vs mlflow 的優劣可以收斂為六種團隊画像。每一列都指名一個工具,因為沒有選擇的「看情況」是沒有用的。

如果您誠實的答案是「三個都不是」,我們排名的十個平台中另外七個工具,包含我們沒放在本頁的託管與純企業選項。

常見問題

為什麼要用 MLflow 做 LLM 追蹤?

當您的團隊已經在部署傳統 ML 模型,並想要一套統一的記錄系統時,用 MLflow 做 LLM 追蹤:實驗追蹤、模型登錄和 GenAI 追蹤合在一個 Apache 2.0 平台裡,而且沒有按追蹤計費。如果您只部署 LLM 功能,Langfuse 或 LangSmith 給您更年輕、LLM 優先的體驗。

LangSmith 和 MLflow 能一起用嗎?

可以。兩者都接受與 OpenTelemetry 相容的追蹤資料,因此一個 OTel collector 可以同時把相同的 span 匯出給 LangSmith 和一台 MLflow 追蹤伺服器。代價在維運:兩個後端、兩張帳單、重複的儲存。我們交談過的大多數團隊選擇一套記錄系統,跳過第二個。

LangSmith 是開源的嗎?

不是。LangSmith 是 LangChain Inc. 的專有閉源軟體。LangSmith 用戶端 SDK 是開放的,但平台、UI 和後端不是。如果您在意開源授權,Langfuse(MIT)和 MLflow(Apache 2.0)是本比較中兩個可以自由自託的選項。

MLflow 只能用於傳統機器學習嗎?

不是。MLflow 加入了一等公民的 GenAI 支援:mlflow.openai.autolog() 自動追蹤 OpenAI 呼叫,@mlflow.trace 涵蓋自訂函式,內建 judges 評估 LLM 輸出。傳統 ML 的傳承顯現在使用體驗上,它不如 Langfuse 那麼 LLM 原生,但追蹤本身是生產級的。

MLflow 是像 Airflow 或 Kubeflow 那樣的工作流編排器嗎?

不是。MLflow 不排程 DAG,也不運行管線;它記錄您的運行做了什麼:參數、指標、產物和追蹤。Airflow 和 Kubeflow 編排作業,MLflow 追蹤其結果。人們混淆三者,是因為它們在 MLOps 技術棧中經常同時出現,但它們位於不同層級,而且常常一起運行。

LangSmith 和 MLflow 有哪些開源替代方案?

Langfuse(MIT)是最接近 LangSmith 的開源替代方案,具備自託和 OTel 原生追蹤,而 MLflow 本身就是在 Apache 2.0 下的開源。除了本比較,Lunary、Arize Phoenix 和 OpenLIT 也是值得在投入專有平台之前一看的開源 LLM 觀測選項。

三者中,每月一千萬筆追蹤哪個最便宜?

MLflow,只算基礎設施:我們的估算是每月 $150-400,涵蓋 Postgres、物件儲存和一個容器。Langfuse Cloud 在 Core 加超額的一千萬單位時落在 $731。LangSmith 無法從其定價頁算出:自 2026 年年中起,LangChain 公布的是席位費與 LCU/LSU 費率,而非每筆追蹤的清單價。

Langfuse 能取代 MLflow,還是反過來?

兩者都無法乾淨地取代對方。對純 LLM 團隊,Langfuse 取代 MLflow 的追蹤和評估層,同時丟掉實驗追蹤和模型登錄機制。當傳統 ML 模型與您共享平台,而一套記錄系統優於兩套時,MLflow 取代 Langfuse。它們在追蹤上重疊;在追蹤周圍的一切上分道揚鑣。

ClickHouse 收購之後,Langfuse 還是開源的嗎?

是的,截至 2026-01-16 的公告。ClickHouse 收購 Langfuse,同時帶來 4 億美元的 D 輪融資,兩家公司公開承諾維持 MIT 授權、一等公民的自行託管和不變的路線圖。那是公開承諾,不是永久的法律保證,但到今天為止,自託的故事沒有任何改變。

來源

以下每個來源都是編輯性質且 dofollow;沒有任何一個是付費或交換來的。

如果只記得三件事

• 三者中有兩個是為 LLM 而建。MLflow 是 2018 年為傳統 ML 而建,後來才學會追蹤。
• 想要 MIT 授權、自託、徹底擁有的追蹤資料,選 Langfuse。應用程式是 LangChain 或 LangGraph,選 LangSmith。傳統 ML 模型與平台共享,選 MLflow。
• 先問離開的問題:Langfuse 匯出到 S3,MLflow 的資料庫供您查詢,LangSmith 的批次匯出位於付費方案之後。
• 每月一千萬事件:Langfuse Cloud 清單價 $731,MLflow 基礎設施估算 $150-400。LangSmith 沒有可比的數字,因為它已不再公布每筆追蹤的費率。

結論,再說一次:依血統選擇,不要依功能選擇。想要第二意見,判斷哪個適合您的技術棧,或需要協助接上?與 Techsy 聊聊。我們為客戶的代理部署挑選這些工具,而且一個都不賣。