根據產品頁說明,NVIDIA 在2026年10月28日推出了 Nemotron 3.5 Transcribe,一款開放式語音大模型(Speech LLM),能夠實時轉錄40種語言,支持逐字或書面形式的轉錄,具備上下文理解、發話者標記及字詞級時間戳功能。Nemotron 3.5 不僅在英語及多語言的 Open ASR 排行榜中成為最佳開源權重模型,還能透過自然語言指令靈活調整轉錄方式,無需重新訓練。

Nemotron 3.5 的技術架構與功能亮點

Nemotron 3.5 Transcribe 採用融合語音編碼器和 Nemotron 3 分離模型的架構,並基於約43億活動參數的 Nemotron 3.5 Lightning 30B-A3B 混合 Mamba–Transformer 專家模型打造。這使得單一模型能完成包括逐字轉錄、書面轉錄、具上下文及發話者標註的豐富轉錄,支援長達一小時的錄音處理,並且提供按需的發話者歸屬字詞時間戳。轉錄風格可依使用者的自然語言指示彈性選擇,無需另行訓練。

此外,它在多說話者重疊語音的發話者標註準確度達業界領先,甚至超過現有專業級串接系統。根據測試,平均字詞錯誤率(WER)在英語公測集為4.71%,多語言則為4.62%。Nemotron 3.5 在命名實體識別(如人名、地點等)錯誤率上,藉助上下文清單支援,能降低多達六倍錯誤。

高效推論與訓練策略

為提升運算效率,Nemotron 3.5 採用多令牌預測(Multi-Token Prediction, MTP)的猜測解碼機制,並支援搭配 DFlash2 草稿模型,加速轉錄。官方指出,使用單張RTX PRO 6000 Blackwell GPU 時,NVFP4模式下可實現每秒轉錄約2238秒音訊的速度,展現高效率。

訓練方面,模型採用多樣化監督平衡訓練(supervision-balanced training),結合語音編碼和凍結的發話者分離模型輸出,透過一階段有監督微調加上短期強化學習優化轉錄準確性,涵蓋不同語言與多種任務指令設定。並提供實務層級的指令提示與微調方式,能於單張GPU內,通常耗時0.5至2.3小時,完成對新語言、領域或任務的快速適配。

編輯觀點:Nemotron 3.5 帶來的創業機會與驗證思路

Nemotron 3.5 Transcribe 的多語言、發話者標註和靈活指令定制能力,在語音識別與轉錄領域具突破性的整合優勢,適合想結合語音交互、會議記錄、客服或內容製作的創業團隊採用。開放權重與細緻調整工具也降低了入門門檻,提高開發客製化轉錄服務的可能性。

要驗證其適用性,創業者可從自有語音資料或目標市場的多語言錄音測試 Nemotron 3.5,評估其發話者標註準確率、時間戳細節及自然語言指令調整後的轉錄品質,並與現有方案比較速度與準確性,找出技術整合與應用切入點。此模型的效率優勢也允許在有限硬體資源下實施實時或半實時服務,創造商業價值。