【23 Daily 綜合報導】ashhart/TensorFold 是一款在 2026 年 11 月 12 日登上 GitHub Trending 的大型語言模型 (LLM) 推論引擎，支持 Metal（Apple Silicon）、CUDA（NVIDIA GPU）與 Vulkan 等多種硬體平台，無需 Python 或機器學習框架即可直接運行，有效提升跨平台的 AI 模型推論效能。根據專案說明，該引擎由 ashhart 開發，現擁有超過 1900 顆星，成為新興的跨平台 LLM 推論方案。
TensorFold 的技術架構與功能特色
TensorFold 能從 Zig 編譯的執行檔直接對 Apple Silicon 與 NVIDIA GPU 提供服務。它能讀取 LLM 檢查點，處理請求的分詞（tokenization），並直接運行 Metal 或 CUDA 核心程式。此過程中完全不依賴 Python 環境或機器學習外掛工具。
引擎支援在 macOS、Linux 與 Windows 平台上執行，並針對不同硬體自動調整串流請求上限，例如在 CUDA 上能同時處理最多 8 個串流請求。TensorFold 同時提供完整的 API 介面，涵蓋模型列表、完成度請求和訊息交換，方便整合到應用程式中。
此外，TensorFold 提供可執行檔、web 應用程式與桌面工作區，後者整合模型下載、硬體建議、產出監控與代碼協作等功能，方便開發者快速部署與調試。
專為團隊設計的 TensorFold Starlight 和 Living Weights 模組
除了核心推論引擎外，TensorFold 還擴展了企業與研究需求的模組。TensorFold Starlight 為組織提供統一管理的推論服務節點，支援 OpenID 或 SAML 身份驗證，並能在多臺 Mac、Linux GPU 或 Windows 機器上分派與監控模型，且全程可離線執行。
Living Weights 是一項實驗性功能，讓正在運行中的模型能即時學習新知識並更新自身權重，透過「Nemotron 3.5 Lightning」伺服器接收並驗證學習內容。這項功能目前仍在開發階段，存在相互干擾與召回下降等問題。
編輯觀點：跨平台 LLM 推論引擎的新選擇
TensorFold 以多平台支持及取消對 Python 依賴的設計，提供創業者與開發團隊一個靈活且效率高的 LLM 推論方案。其支援 Apple Silicon 這一迅速崛起的硬體生態，與現行 NVIDIA GPU 兼容，使得應用部署範圍更廣。
創業者可透過嘗試 TensorFold 的公開檢查點與桌面應用，驗證其在目標硬體上的效能與穩定度。此外，若需管理企業級多節點模型部署，TensorFold Starlight 提供的集中控管框架值得進一步評估。Livings Weights 的實驗特性則適合研發團隊探索在線學習的可能性。