OmniVoice 評測：我們實測了這款開源 ElevenLabs 競爭對手（支援 600+ 語言）

OmniVoice 評測：我們實測了這款開源 ElevenLabs 競爭對手（支援 600+ 語言）

上週，我們在 RTX 4090 顯卡上安裝了由 k2-fsa 開發的 OmniVoice v0.1.5，餵給它一段 6 秒鐘的英語語音片段，並要求它用三種不同的語言朗讀同一段落。冷啟動（包含模型載入）耗時約 14 秒。之後的暖機運行呢？即時因子（RTF）約為 0.03，接近實時速度的 30 倍。這篇評測的簡短結論是：是的，對於特定類型的用戶來說，這個開源專案確實是一個真正的 開源 ElevenLabs 替代方案；但不，它無法取代所有人所需的那些打磨精緻的雲端 API。讓我們來詳細看看誰該用、誰不該用。

重點摘要：

• OmniVoice 是由 k2-fsa 開發的免費 Apache-2.0 授權 TTS 模型，支援 600 多種語言，並具備零樣本（zero-shot）語音克隆功能。
• 在我們的測試中，它在 RTX 4090 上的 RTF 約為 0.03；大約 8 GB 的 VRAM 就足以運行它。
• 它在語言數量（646 對 ~32）、成本（0 美元對每月 5–330 美元）和隱私方面勝過 ElevenLabs，但在精緻度和實時串流方面則稍遜一籌。
• 最適合用於配音、本地部署工作以及低資源語言；若您需要低於 300 毫秒延遲的對話式代理，請跳過此工具。

什麼是 OmniVoice（以及為什麼它很重要）？

OmniVoice 是一個開源、採用 Apache-2.0 授權的文字轉語音（TTS）模型，由 k2-fsa 開發，這支團隊也是 Kaldi 和 k2 背後的語音研究團隊。這是一個擁有 0.6B 參數、基於擴散語言模型架構的 TTS，可在本地運行，涵蓋 600 多種語言，並支援零樣本語音克隆。它的重要性在於，這是第一次有一個真正免費的本地模型，其表現足夠接近付費雲端服務，使得兩者之間的取捨變得真實而非僅存於理論。

該專案倉庫 (github.com/k2-fsa/OmniVoice) 目前擁有約 7.1k 顆星，最新版本為 2026 年 4 月 28 日發布的 v0.1.5。底層技術上，它是基於 Qwen3-0.6B-Base 進行微調，並輸出 24 kHz 的音訊。如果您閱讀過我們關於 最佳 AI 語音工具 的汇总文章，可以將 OmniVoice 視為該光譜中「自行託管」的一端，當數據不能離開您的伺服器時，這就是您的首選方案。

k2-fsa 的血統是大多數評論文章忽略的部分。這不是某個匿名帳號週末隨便做的專案。它源自於塑造開源語音識別領域超過十年的同一脈絡，這也是其品質在早期階段就能達到如此水準的重要原因。

OmniVoice 功能概覽

OmniVoice 將您期望從付費平台獲得的功能打包進一個只需下載一次的模型中。根據其 HuggingFace 模型卡片 提供的關鍵數據：支援 646 種語言，僅需約 3 秒的參考片段即可進行零樣本克隆，且 RTF 低至 0.025，比實時速度快約 40 倍。

以下是您實際能獲得的功能：

• 語音克隆：透過短片段進行零樣本克隆，無需針對每個聲音進行訓練。
• 聲音設計：可透過屬性調整，如性別、年齡、音高、方言或口音，甚至包含耳語模式。
• 精細控制：支援非語言符號及針對棘手名稱的發音校正。
• 三種介面：Gradio 網頁 UI (omnivoice-demo)、具有三種生成模式的 Python API，以及命令列介面 CLI (omnivoice-infer)。
• 速度：批次處理 RTF 為 0.022，大約在 1.3 秒內生成 60 秒的音訊。

在品質方面，OmniVoice 在多語言測試中的說話人相似度（SIM-o）得分為 0.830，高於 ElevenLabs 的 0.655；而在 Seed-TTS 中文數據集上的詞錯誤率僅為 0.84%，在該基準測試中擊敗了 ElevenLabs v2 和 MiniMax。隨著 HuggingFace 上每月約 250 萬次的下載量，許多人正在壓力測試這些聲稱。

我們運行 OmniVoice 時的發現

我們想要的是真實數據，而非倉庫裡的宣傳說辭，因此我們親自進行了測試。我們在 2026 年 6 月於 RTX 4090 (24 GB) 上執行 pip install omnivoice，獲取了一段乾淨的 6 秒英語參考錄音，並使用這單一的參考來源，生成了跨越英語、土耳其語和阿拉伯語的 60 秒段落。

冷啟動（包含首次模型載入）耗時約 14 秒。此後，暖機批次運行的 RTF 穩定在 0.03 左右，因此在我們的設備上約為實時速度的 30 倍，雖比倉庫宣稱的 0.025 稍慢，但已非常接近，且對於批次配音工作來說已經足夠快。VRAM 使用量 comfortably 保持在 24 GB 顯卡的承載範圍內；模型卡片建議的 ~8 GB 也經得起考驗。

在品質方面，英語和土耳其語的結果清晰自然，從六秒樣的样本中克隆出的音色清晰可辨。阿拉伯語在短句上表現穩固，但在較長句子中韻律略顯平淡，雖然易懂，但表達力稍弱。值得注意的一個細節是：為了獲得最佳的克隆保真度，您需要傳遞 ref_text（參考片段的轉錄文本）。如果省略它，聲音匹配度會出現偏差。當我們嘗試加入轉錄文本時，相似度顯著提升。

這種結果讓 OmniVoice 值得多語言pipeline認真考慮，當然也要對其粗糙之處保持清醒認識。

OmniVoice 與 ElevenLabs：差異有多大？

OmniVoice 和 ElevenLabs 從兩個極端解決相同的問題。ElevenLabs 是一個打磨精緻的雲端 API，擁有龐大的預設聲音庫和低串流延遲；OmniVoice 則是一個免費的本地模型，語言覆蓋範圍是其 20 倍，且沒有按字計費的成本。正確的選擇取決於您是更看重控制權和隱私，還是便利性與精緻度。

如果您正在為 AI 語音代理 估算語音技術堆疊的成本，這張表格會迅速改變數學計算，特別是在規模化時，ElevenLabs 的按字計費會累積成高額費用（我們在 語音代理定價 指南中詳細分解了這一點）。誠實的結論是：ElevenLabs 更一致且更容易使用；OmniVoice 更便宜、更私密，且多語言支援遠遠更強。

OmniVoice 與其他開源 TTS 模型的比較

OmniVoice 並非唯一的開源競爭者，它也不是在所有類別中都獲勝。它在語言覆蓋範圍上遙遙領先，但 Chatterbox 在盲測英語測試中獲勝，Fish Audio 在獨立的 EmergentTTS-Eval 排行榜上名列前茅，而如果您不需要克隆功能，Kokoro 的速度更快。以下是真實的情況。

這些模型大多在 fp16 精度下運行於 4–8 GB VRAM，因此硬體並非決定性因素，使用場景才是。我們在 最佳 AI 語音工具 汇总文章中保持這份清單的最新狀態。

您究竟何時應該使用 OmniVoice？

當語言廣度、成本或數據控制權比對精緻雲端 API 的需求更重要時，OmniVoice 就能大放異彩。它是一匹批次處理的勞動力馬，而非實時對話引擎，因此請將其匹配到那些提前生成音訊或在自有硬體上運行的工作。

• 影片配音：從單一參考聲音生成數十種語言的配音，這是 AI 影片配音 的工作流程，若使用按字計費將會非常昂貴。
• 多語言 IVR 和語音代理 TTS：作為餵給 餐廳語音代理 或取代 客服中心語音代理 等系統的語音層。
• 有聲書：在長期批次運行中，RTF 比延遲更重要。
• 無障礙輔助：以及雲端供應商忽略的語言螢幕閱讀器敘述。
• 低資源語言：ElevenLabs 根本未涵蓋的語言。
• 本地部署和符合 HIPAA 敏感性的工作，其中音訊不能接觸第三方伺服器。

最後一點是安靜的殺手級功能。對於醫療保健或法律客戶來說，「音訊從未離開我們的機器」不是一個錦上添花的功能，而是排除雲端 TTS 的根本原因。

OmniVoice 的優缺點（包括它不適合的情況）

OmniVoice 實至名歸，但它並非適合每個團隊的 ElevenLabs 直接替代品。優點在於自由度和廣度；缺點則在於精緻度、延遲以及運行自有模型的營運負擔。

優點：

• 根據 Apache-2.0 授權免費使用，無按字計費，無上限。
• 支援 646 種語言，包括許多主要雲端供應商未觸及的語言。
• 完全本地運行，數據留在原地。
• 強大的多語言克隆品質（SIM-o 0.830），僅需 3 秒片段。
• 快速的批次吞吐量（在我們的測試中 RTF ~0.03）。

缺點，誠實的限制：

• 不適用於低於 300 毫秒的對話式、實時輪換場景。
• 不如 ElevenLabs 等頂級商業聲音那樣精緻和一致。
• 無託管支援或 SLA，您只能依賴 GitHub issues。
• 需要 GPU（~8 GB VRAM）；CPU 運行速度慢約 3 倍。
• 預製聲音庫小於 ElevenLabs 的目錄。
• 克隆聲音的同意書和許可證是 您 的法律責任，而非平台的責任。

如果您的產品需要在即時電話通話中提供即時、精緻的回答，OmniVoice 目前不是正確的工具。如果您是批次生成音訊，跨越 600 多種語言，且在自有硬體上運行，那麼以免費的價格來說，很難找到比它更好的選擇。

如何開始使用 OmniVoice

啟動 OmniVoice 只需一個安裝命令和幾行 Python 代碼，無需帳戶、無需 API 金鑰、無需設定帳單。這就是開源模型的實際回報：您可以在幾分鐘內從零開始獲得克隆聲音，且生成的任何內容都不會離開您的機器。

# Install (GPU build, CUDA 12.8)
# pip install omnivoice
# pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 \
#   --extra-index-url https://download.pytorch.org/whl/cu128

from omnivoice import OmniVoice

model = OmniVoice.from_pretrained("k2-fsa/OmniVoice", device_map="cuda:0")

audio = model.generate(
    text="Hello, this is a test of zero-shot voice cloning.",
    ref_audio="ref.wav",                       # ~3-6s reference clip
    ref_text="Transcription of the reference audio.",  # boosts clone fidelity
)
# audio -> np.ndarray at 24 kHz

模型會在首次運行時自動從 HuggingFace 拉取。不喜歡寫代碼？使用 omnivoice-demo 啟動 Gradio UI，或使用 omnivoice-infer-batch CLI 批次處理文件。完整的安裝說明位於 GitHub 倉庫。

關於作者

Mert Batur Gurbuz 是 Techsy.io 的聯合創始人，該團隊為 B2B 客戶交付 AI 代理、自動化系統以及語音/SDR 管道。他就讀於伯明翰大學，並撰寫關於 Techsy 團隊在生產環境中實際使用的 LLM 工具堆疊的文章。透過 LinkedIn 聯繫他。

常見問題

OmniVoice 可以免費商業使用嗎？

是的。OmniVoice 採用 Apache-2.0 授權發布，允許商業使用，無需訂閱、無按字費用，也無使用上限。您可以在自有硬體上為客戶工作或內部產品運行它。請記住，您克隆的任何聲音都帶有其自身的同意和許可義務，這與模型的授權是分開的。

OmniVoice 支援多少種語言？

OmniVoice 支援 600 多種語言，其模型卡片引用了 646 種，全部透過零樣本多語言合成實現。這大約是 ElevenLabs ~32 種語言的 20 倍。廣度是其單一最大優勢，涵蓋了目前主要商業雲端 TTS 供應商根本未提供的低資源語言。

OmniVoice 真的和 ElevenLabs 一樣好嗎？

這取決於您衡量什麼。OmniVoice 在語言數量（646 對 ~32）、成本（0 美元對每月 5–330 美元）、隱私和多語言說話人相似度（SIM-o 0.830 對 0.655）方面獲勝。ElevenLabs 在精緻度、一致性、實時串流延遲、大型預設聲音庫和商業支援方面獲勝。對於批次多語言工作，OmniVoice 確實具有競爭力；對於即時、精緻的聲音，ElevenLabs 仍然領先。

運行 OmniVoice 需要什麼樣的 GPU？

fp16 精度下大約 8 GB 的 VRAM 就足夠舒適使用，該模型在我們測試的 RTX 4090 等顯卡上運行良好。您可以僅使用 CPU 運行，但預計合成速度會慢約 3 倍。對於生產批次工作負載，k2-fsa 建議除了擁有 8 GB 或更多 VRAM 的 GPU 外，還配備 16 GB 的系統 RAM。

OmniVoice 可以克隆聲音嗎？

是的，OmniVoice 可以從短至 3 秒的參考片段進行零樣本語音克隆，無需針對每個聲音進行訓練。為了獲得最佳保真度，請Alongside 音訊傳遞片段的 ref_text 轉錄文本。在我們的測試中，添加轉錄文本顯著提高了輸出與原始說話人的匹配程度。

OmniVoice 足夠用於生產環境的語音代理嗎？

作為配音、IVR 提示或任何預生成音訊的 TTS 層，是的，它已準備好投入生產。作為需要低於 300 毫秒輪換的實時對話代理中的即時聲音，目前還不行，批次 RTF 很快，但串流延遲並非其強項。請在互動之前預先生成音訊时使用它。

OmniVoice 可以完全離線和本地運行嗎？

是的。從 HuggingFace 初始下載模型後，OmniVoice 完全在您的機器上運行，不會將任何數據發送到外部伺服器。這使其成為符合 HIPAA 敏感性、法律或氣隙環境的理想選擇，在這些環境中，合規要求會排除雲端 TTS API。

OmniVoice 與 Chatterbox 或 Fish Audio 相比如何？

每個模型都在不同的類別中領先。Chatterbox-Turbo (Resemble AI) 在盲測英語品質測試中獲勝，但僅限英語。Fish Audio S2 Pro 在獨立的 EmergentTTS-Eval 排行榜上名列前茅，在 80 多種語言中具有表達性輸出。OmniVoice 的優勢在於 646 種語言的純粹覆蓋範圍，加上零樣本克隆，使其成為當廣度和本地使用最重要時的選擇。

結論

OmniVoice 是我們測試過的最可信的 開源 ElevenLabs 替代方案，而且它是免費的。在親自運行 v0.1.5 之後，建議很簡單：如果您需要 廣泛的語言覆蓋、本地隱私或批次音訊工作的零成本，請選擇 OmniVoice；如果您今天需要 精緻、實時、對話式 的聲音，請堅持使用雲端 API。

• 免費且開源，採用 Apache-2.0 授權，無按字計費。
• 646 種語言 和零樣本克隆，遠遠超越 ElevenLabs。
• 本地且私密，理想適用於本地部署和受合規約束的工作。
• 不 適用於低於 300 毫秒的即時對話，那仍然是雲端的工作。

如果您正在建構多語言語音或配音管道，並需要幫助選擇正確的技術堆疊，獲取免費諮詢，這是我們每月為客戶設定的常見服務。