【23 Daily】2026年11月にVercel-labsが公開したオープンソースのクロスプラットフォームCLIツール、agent-desktopはRustで開発されており、CLIを通じてAIエージェントによるデスクトップアプリの操作を可能にしている。プロジェクト説明によると、GitHub Trendingで9,236以上のスターを獲得している。
CLIによる意味論的なデスクトップ操作
agent-desktopはOSのアクセシビリティツリーを利用し、ピクセルマッチングではなく、操作可能なUI要素の参照を含むJSONスナップショットを返す。macOS、Windows、Linuxに対応。
macOSではプライベートなコマンドホストを再利用し、ネイティブのアクセシビリティオブジェクトを保持。UI要素が変わっても誤った要素に解決されることを防いでいる。マウスポインタやフォーカスを移動させずに、クリックや操作を可能にする。
多様な操作を支える豊富なコマンド群
60以上のコマンドがあり、UIスナップショット取得、クリック、文字入力、フォーカス切替、ウィンドウ管理（起動、終了、サイズ変更など）、通知やクリップボード操作を含む。コマンドはJSON形式で結果やエラーを出力し、自動化に適する。利用可能なアプリケーションは"agent-desktop list-apps"で一覧可能。
クロスプラットフォームの導入と権限設定
npm、Bun、Yarn、pnpmでx64およびARM64向けにインストール可能。macOSではアクセシビリティ権限が必要。Windowsは追加権限不要、Linuxは"at-spi2-core"を有効にしたグラフィカルセッションが必要。macOSのFinderは操作例の一つ。
編集部の視点：CLI主導のAIエージェントによるデスクトップ自動化の実現可能性
アクセシビリティツリーに基づくCLI操作を通じて、agent-desktopはピクセル依存から脱却し、意味論的・クロスプラットフォームなAIエージェントの新たな操作手法を示す。デスクトップ自動化やアクセシビリティ、AIを活用するスタートアップにとって基盤技術となる。
有用性の検証には、既存のAIエージェントを統合して日常タスクの自動化を試み、UI変化への適応性やエラー報告機能を評価するとよい。JSON出力とエラーコードを活用した堅牢なリトライやフィードバックループ構築も推奨される。