Langfuse 與 LangSmith：一份獨立的評測報告

Langfuse 與 LangSmith：一份獨立的評測報告

選擇 Langfuse 還是 LangSmith 歸結為一個哲學上的分歧：開源且框架無關（framework-agnostic）對比 專有且 LangChain 原生。這個決定將影響從數據存放位置到擴展規模後費用的方方面面。

讓這次比較與眾不同的是：我們不銷售可觀測性工具。如果你查看此搜尋的其他熱門結果，十篇中有六篇是由具有財務利害關係的廠商撰寫的，例如 Langfuse 將其自身與 LangSmith 進行比較，或是 Lunary 和 Mirascope 等競爭對手暗中推銷自己的產品。我們是獨立的。這兩種工具都有其真正的優勢，我們將誠實地指出每一方的勝出之處。

一個重要的背景資訊：Langfuse v3 已於 2025 年中發布，採用了完整的 OpenTelemetry 原生架構，這顯著改變了此次比較的格局。搜尋引擎結果頁面（SERP）上的大多數文章都是在 v3 之前撰寫的。而這篇文章不是。如果你在深入探討工具之前想先了解 LLM 可觀測性的真正含義，請從那裡開始。

快速總結：Langfuse 與 LangSmith 一覽

結論： Langfuse 在 5 個類別中勝出，LangSmith 在 3 個類別中勝出，另有 4 個平手。但「正確」的選擇很大程度上取決於你的框架、數據需求和預算。繼續閱讀以了解詳細資訊。

追蹤與可觀測性

這兩個平台的存在都是為了回答同一個問題：「我的 LLM 呼叫內部發生了什麼事？」你希望看到應用程式中每次 LLM 互動的每個輸入、輸出、延遲、token 數量和成本。它們達成目標的方式有所不同。

Langfuse 追蹤設定

# pip install langfuse openai
import os
from langfuse.openai import openai  # Drop-in replacement

os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-..."
os.environ["LANGFUSE_SECRET_KEY"] = "sk-..."
os.environ["LANGFUSE_HOST"] = "https://cloud.langfuse.com"  # or your self-hosted URL

# That's it -- all OpenAI calls are now traced automatically
response = openai.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Explain quantum computing simply"}]
)

若要獲得更多控制權，請使用 @observe 裝飾器：

from langfuse.decorators import observe

@observe()
def analyze_document(doc: str) -> str:
    # This entire function becomes a trace span
    summary = openai.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": f"Summarize: {doc}"}]
    )
    return summary.choices[0].message.content

LangSmith 追蹤設定

# pip install langsmith openai
import os
os.environ["LANGSMITH_API_KEY"] = "lsv2-..."
os.environ["LANGSMITH_TRACING"] = "true"

# If using LangChain, tracing is automatic -- zero config
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="gpt-4o")
response = llm.invoke("Explain quantum computing simply")

# If NOT using LangChain, use the @traceable decorator
from langsmith import traceable

@traceable
def analyze_document(doc: str) -> str:
    response = openai.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": f"Summarize: {doc}"}]
    )
    return response.choices[0].message.content

在各個儀表板中看到的內容

兩個儀表板都顯示追蹤層級結構、輸入/輸出配對、延遲細分和 token 數量。LangSmith 的儀表板 在視覺上更加精緻，追蹤樹更易於導航，過濾功能也更直觀。Langfuse 的儀表板實用且隨每次發布不斷改進，但 LangSmith 在 UI 精緻度方面領先一步。

關鍵的技術差異在於：Langfuse v3 的追蹤底層是 OpenTelemetry spans。如果你的團隊已經使用 OTEL进行後端可觀測性（Jaeger, Grafana Tempo, Honeycomb），Langfuse 追蹤可以直接融入你現有的技術堆疊。LangSmith 則使用其專有的追蹤格式。

結論：對於框架無關的專案，Langfuse 勝出。如果你全心投入 LangChain，LangSmith 勝出。 如果你使用 LangChain 並希望零設定追蹤，LangSmith 確實更容易。對於其他所有情況，如 OpenAI SDK、Pydantic AI、Vercel AI SDK 或自訂設定，Langfuse 更具彈性。

評估與 Evals

LLM 評估回答的問題是：「我的 LLM 輸出真的好嗎？」這是兩個平台分歧最明顯的地方。

LangSmith 的評估系統確實更加成熟。你可以建立一個數據集，針對該數據集運行你的 agent，並在幾行程式碼內獲得準確性/相關性分數。evaluate() 函式與 CI/CD 管道整合，因此當評估分數下降時，你可以阻止部署。若要更深入地了解評估方法，請參閱 LLM 評估的工作原理。

Langfuse 的方法更偏向 DIY，你可以透過 UI 或 API 對追蹤進行評分，為人工審查設定註記工作流程，並整合外部評估框架。這可行，但需要更多的膠水程式碼（glue code）。

結論：LangSmith 在內建評估工具方面具有真正的優勢。 如果評估是你的首要任務，LangSmith 開箱即用更為容易。Langfuse 也能達到目標，但你需要編寫更多自訂程式碼。

Prompt 管理

兩個平台都允許你對 prompt 進行版本控制，在 playground 中測試它們，並在不進行程式碼部署的情況下部署變更。

Langfuse 提供帶有 playground 的 prompt 版本控制，適用於任何供應商。你將 prompts 儲存在 Langfuse 中，在運行時透過 SDK 提取它們，如果新版本表現不佳則進行回滾。這很直接且與框架無關。

LangSmith 擁有用於分享和版本控制 prompts 的 LangChain Hub，以及一個具有模型切換功能的 playground（可以並排嘗試針對 GPT-4o 和 Claude 使用相同的 prompt）。Playground 稍微更加精緻，擁有更好的自動完成和格式化功能。

對於大多數團隊來說，兩者都能勝任。這裡的選擇通常遵循更廣泛的平台決策。

結論：兩者都能勝任。LangSmith 的 playground 稍微更加精緻；Langfuse 的在非 LangChain 設定中更具彈性。

框架整合，超越 LangChain

對於不使用 LangChain 的團隊來說，這是 Langfuse 決定性領先的地方。

如果你在 2026 年在這些框架之間進行選擇，許多團隊直接使用 Pydantic AI、Vercel AI SDK 或 OpenAI SDK，而不是 LangChain。對於這些團隊，Langfuse 是唯一擁有原生整合的平台。LangSmith 的 @traceable 裝飾器適用於任何事物，但需要手動插樁（instrumentation）。關於為何框架選擇在此至關重要，請參閱我們的 LangGraph 與 CrewAI 比較。

結論：對於非 LangChain 專案，Langfuse 決定性勝出。 如果你使用 LangChain，兩者效果都很好。如果你不使用，Langfuse 是明確的選擇。

自託管與數據主權

如果你在一家有合規要求的公司工作，這可能是最重要的部分。

Langfuse 採用 MIT 授權且完全可自託管。你可以在約 30 分鐘內使用 Docker Compose 運行它。你的 LLM 輸入和輸出（通常包含敏感的客戶數據、個人識別資訊 PII 或專有業務邏輯）永遠不會離開你的基礎設施。小型團隊的基礎設施成本極低：單台具有 2 vCPU、4GB RAM 的虛擬機器和一个受管理的 PostgreSQL 實例。

LangSmith 以雲端為優先。自託管僅在企業方案中可用，這意味著自訂定價（譯註：昂貴）。對於大多數團隊來說，使用 LangSmith 意味著你的追蹤數據（包括每個 prompt 和回應）都存放在 LangChain 的伺服器上。

這在實踐中的意義：

• GDPR 合規： 如果你透過 LLM 處理歐盟用戶數據，自託管的 Langfuse 可以將該數據保留在你的歐盟區域。除非你使用企業方案，否則 LangSmith 雲端會通過美國伺服器路由。
• HIPAA： 使用 LLM 的醫療保健公司通常無法將與患者相關的數據發送到第三方雲端。自託管的 Langfuse 解決了這個問題。
• IP 保護： 如果你的 prompts 包含專有業務邏輯，自託管意味著它們永遠不會離開你的網路。

關於預估基礎設施成本：一個供 10 人團隊使用的自託管 Langfuse 實例，其雲端基礎設施成本約為每月 50-100 美元（小型 VM + 受管理的 Postgres）。請與下方的雲端定價進行比較。

結論：在自託管方面，Langfuse 大幅勝出。如果數據主權很重要，則沒有真正的替代方案。

定價深入分析：三種規模下的實際成本

讓我們談談實際數字。兩個平台都有免費層級，但隨著規模擴大，成本會迅速分化。

定價模式解釋

Langfuse 按「observation」（每個 trace、span 或 score = 1 unit）收費。雲端定價：免費層級每月最多 50K units。Core 方案每月 29 美元。Pro 方案每月 199 美元。超額費用：每 100K units 8 美元。

LangSmith 按 trace 收費，並採用分級保留策略。雲端定價：免費 Developer 層級每月最多 5K traces。Plus 方案每個席位每月 39 美元，包含 10K 基本 traces。超額費用：每 1K traces 2.50 美元（14 天保留）或每 1K traces 5.00 美元（400 天保留）。

三種規模下的成本

定價驗證於 2026 年 4 月。LangSmith 成本假設為 14 天保留；400 天保留大約使 trace 成本加倍。Langfuse 自託管成本僅為基礎設施（VM + 受管理的 PostgreSQL）。

隨著規模擴大，差距急劇擴大。在 1M traces 時，Langfuse Cloud 的成本大約是 LangSmith 的三分之一，而自託管的 Langfuse 成本則遠低於兩者。

自託管的成本優勢

自託管 Langfuse 是經濟效益變得有趣的地方。一旦基礎設施運行起來，軟體本身是免費的（MIT 授權）。你唯一的持續成本是 VM 和資料庫。對於擁有 1M+ traces 的團隊來說，與任何雲端選項相比，自託管每月可節省數千美元。

結論：Langfuse 在每個規模下都更便宜，而自託管使其在基礎設施成本之外幾乎免費。 LangSmith 的每個席位定價對於團隊來說累積迅速。

Langfuse v3 與 OpenTelemetry：發生了什麼變化

網路上的大多數 Langfuse 與 LangSmith 比較都是在 Langfuse v3 之前撰寫的。以下是發生的變化及其重要性。

Langfuse v3 圍繞 OpenTelemetry（CNCF 支持的分散式追蹤開放標準）重建了 SDK。在實踐中，這意味著：

• 如果你的團隊已經使用 OTEL（Jaeger, Grafana, Datadog）進行後端可觀測性，Langfuse 追蹤會出現在相同的工具中。無需為 LLM 追蹤設置單獨的儀表板。
• 更好的效能： OTEL 的批次匯出器比 v2 SDK 的自訂傳輸更高效。
• 更廣泛的整合表面： 任何產生 OTEL spans 的框架都可以輸入 Langfuse，而不僅僅是擁有專用 Langfuse 整合的框架。
• 從 v2 遷移： @observe 裝飾器 API 沒有改變。在底層，它現在產生 OTEL spans。大多數 v2 程式碼无需更改即可工作。

LangSmith 對 OTEL 的支持有限，你可以將一些數據匯出到兼容 OTEL 的後端，但这並非原生支持。其追蹤格式是專有的。

對於擁有成熟可觀測性實踐的團隊來說，這是一個顯著的架構優勢。在單一工具中結合 LLM 追蹤與後端請求追蹤，消除了上下文切換，並使調試端到端延遲問題變得更容易。

結論：對於擁有現有可觀測性堆疊的團隊來說，Langfuse v3 的 OTEL 架構是一個顯著優勢。

誰應該選擇哪一個？決策框架

值得一提的是：Helicone、Braintrust 和 Arize Phoenix 也是這個領域的其他參與者。Helicone 是希望採用基於代理（proxy-based）方法進行可觀測性的團隊的有力替代方案。Braintrust 專注於評估。Arize 帶來了 ML 可觀測性專業知識。查看 我們對 AI 可觀測性平台的完整排名 以獲得更廣泛的視角。

最終結論

總體而言：對於 2026 年的大多數團隊，Langfuse 是更好的預設選擇。 它是開源的、更便宜的、框架無關的且可自託管。LangSmith 明顯更好的唯一情境是：你深度嵌入 LangChain/LangGraph 生態系，並且需要 LangSmith 優越的評估工具，同時數據主權不是問題。

話雖如此，這兩種工具都在快速發展。Langfuse 的評估能力正在改進，LangSmith 的框架支持也在擴大。在承諾之前試用兩者的免費層級，Langfuse 每月提供 50K 免費 observations，LangSmith 提供 5K 免費 traces。透過兩者運行你的實際工作負載，並根據你的體驗而非僅僅是功能表來做出決定。

常見問題

Langfuse 是 LangSmith 的良好替代品嗎？

是的，對於大多數用例而言。Langfuse 是開源的，在規模擴大時更便宜，與框架無關，且可自託管。LangSmith 仍然領先的主要領域是內建評估工具。如果評估是你的主要關注點，請評估兩者。對於其他所有情況，Langfuse 是一個強大的替代品。

Langfuse 和 LangSmith 之間有什麼區別？

核心區別在於哲學：Langfuse 是 MIT 開源、與框架無關且可自託管。LangSmith 是專有的，針對 LangChain/LangGraph 進行了優化，且以雲端為優先。兩者都提供 LLM 追蹤、成本追蹤和 prompt 管理，但它們服務於不同的工程文化。

我可以自託管 Langfuse 而不是使用 LangSmith 嗎？

是的。Langfuse 採用 MIT 授權，並擁有只需約 30 分鐘即可完成的 Docker Compose 部署。你需要一台 VM 和一个 PostgreSQL 資料庫。自託管意味著你的 LLM 追蹤數據（prompts、回應、用戶數據）永遠不會離開你的基礎設施，這對於 GDPR、HIPAA 和 IP 保護至關重要。

Langfuse 的定價與 LangSmith 相比如何？

Langfuse 在每個規模下都更便宜。在每月 100K traces 時，Langfuse Cloud 的成本約為每月 69 美元，而 LangSmith 約為每月 420 美元（5 人團隊）。在 1M traces 時，差距進一步擴大。自託管的 Langfuse 無論 trace 數量多少，成本僅為基礎設施費用（約每月 150 美元）。

Langfuse 是否適用於 LangChain 以外的框架？

是的，這是其最大優勢之一。Langfuse 擁有針對 OpenAI SDK、Pydantic AI、Vercel AI SDK、LlamaIndex、Anthropic SDK 等的原生整合。LangSmith 與 LangChain 配合最佳；其他框架需要手動 @traceable 插樁。

對於 LLM 評估，Langfuse 和 LangSmith 哪個更好？

LangSmith 佔據優勢。它提供內建評估器（準確性、相關性、忠實度）、LLM-as-judge 模板、原生實驗追蹤，以及透過 evaluate() 進行的 CI/CD 整合。Langfuse 的評估方法更手動，需要更多自訂程式碼的註記評分和外部評估整合。

LangSmith 是開源的嗎？

不是。LangSmith 是作為雲端服務提供的專有軟體，自託管僅在企業方案（自訂定價）中可用。Langfuse 是 MIT 授權的開源軟體，你可以自由檢查、修改和自託管程式碼。

我可以從 LangSmith 遷移到 Langfuse 嗎？

是的。兩個平台使用相似的概念（traces、spans、評分），因此思維模式可以轉移。你需要交換 SDK 整合（從 @traceable 到 @observe）並重新配置環境變數。雖然沒有一鍵遷移工具，但對於典型專案來說，工作量通常只需幾個小時。

什麼是 Langfuse v3，發生了什麼變化？

Langfuse v3 圍繞 OpenTelemetry (OTEL)（CNCF 支持的追蹤標準）重建了 SDK。這意味著更好的效能、與現有 OTEL 工具（Grafana, Jaeger, Datadog）的原生整合，以及更廣泛的整合表面。@observe 裝飾器 API 保持不變，因此從 v2 遷移非常直接。

除了 Langfuse 和 LangSmith 之外還有其他替代方案嗎？

是的。Helicone 是一款基於代理的可觀測性工具，擁有強大的開發者體驗。Braintrust heavily 專注於評估和數據集。Arize Phoenix 將 ML 可觀測性專業知識帶入 LLM 領域。每個都有其不同的優勢，在選擇之前請檢查對你的團隊來說什麼最重要。

來源

• Langfuse 定價
• Langfuse 自託管部署，Docker Compose
• Langfuse Python SDK v3 -- OpenTelemetry GA
• LangSmith 定價與方案
• LangSmith 文件
• 什麼是 OpenTelemetry?, opentelemetry.io
• langfuse/langfuse, GitHub 儲存庫