【23 Daily 綜合報導】vercel-labs 在 2026 年 11 月推出的開源專案 agent-desktop，是一款用 Rust 開發的跨平台命令列介面（CLI），旨在讓使用者能透過 CLI 操控 AI 代理，進一步自動化桌面應用程式操作，並提升可及性。根據專案說明，agent-desktop 已在 GitHub Trending 榜獲得超過 9,236 顆星，突顯其在開發者社群的關注度。
聚焦以 CLI 語意操作桌面應用程式
agent-desktop 利用作業系統的無障礙樹（Accessibility Tree）來讀取並操作桌面應用程式，並非透過螢幕像素比對，而是返回包含每個 UI 元素參考（ref）的 JSON 快照，供 AI 代理分析及操作。這套系統支援 macOS、Windows 和 Linux 三大平台。
在 macOS 系統中，agent-desktop 會重複利用一個私有指令主機（command host）來維持原生的無障礙物件，確保 UI 更新時不會錯誤對應元素。此指令主機於 15 分鐘無操作後自動關閉。相較於傳統依靠視覺擷取的方式，agent-desktop 讓 CLI 代理可以在不切換視窗焦點且不移動滑鼠游標的情況下，完成點擊、輸入和視窗操作。
豐富指令集支持多種互動操作
agent-desktop 提供超過 60 種指令，包括獲取和檢視 UI 元素快照（snapshot）、點擊（click）、鍵入文字（type）、焦點切換（focus）、視窗管理（launch、close-app、resize-window 等）、通知操作及剪貼簿管理。這些指令都會以 JSON 格式輸出結果或錯誤，方便整合及自動化開發。用戶可用 "agent-desktop list-apps" 查詢當前可操作的應用程式，並透過快照更新及判斷 UI 元素狀態做精準操作。
跨平台安裝與授權現況
agent-desktop 可使用 npm、Bun、Yarn 或 pnpm 套件管理工具安裝，分別支援 x64 與 ARM64 架構。macOS 使用者需在系統偏好設定中允許以無障礙權限（Accessibility permission）存取，Windows 則不需額外權限，Linux 需要啟用「at-spi2-core」圖形化無障礙套件。案例如 macOS 的 Finder，是 agent-desktop 支持操作的範例之一。
編輯觀點：跨平台 CLI 提升 AI 代理桌面自動化的可行路徑
agent-desktop 透過架構無障礙樹及命令行介面，兼顧機器可理解的語意層級和多平台支援，突破了傳統以畫面像素比對控管的限制，為桌面 AI 代理開闢了新的互動方法。對於專注於桌面自動化、無障礙技術及 AI 應用的創業團隊而言，agent-desktop 提供了一個可結合多種平台與語言的基礎設施。
驗證該工具的實用性可從整合現有 AI 代理與日常工作流程的自動化任務開始，觀察其在 UI 變動後的適應能力與錯誤回報機制。開發者亦可利用其完整的 JSON 輸出與錯誤碼，建構穩健的錯誤處理和回饋迴路，優化代理決策流程。