【23 Daily 綜合報導】根據 theverge.com 報導，OpenAI、Google、Microsoft 與 Anthropic 等多家 AI 大廠於 2026 年 10 月 30 日宣布，將共同採用一項全新標準，讓網站能透過 robots.txt 檔案設定統一拒絕被 AI 爬蟲擷取資料。此舉主要是回應網站經營者對 AI 訓練資料爬取過度的擔憂，並提供更簡便的管理途徑。

全新標準：在 robots.txt 中加入共享「政策令牌」

這個名為「政策令牌」(policy token) 的信號，由 Anthropic 技術標準負責人 Kevin Kelley 在網際網路工程任務組 (IETF) 推動，將嵌入在網站的 robots.txt 檔案中。這個檔案歷來用來指示搜索引擎等爬蟲程式哪些頁面允許擷取，哪些不允許，現在將擴展至 AI 訓練爬蟲。過去網站需要針對每個 AI 公司獨立設置信息，現在則能一次設定，提升管理效率。

業界態度與執行時程

目前 Anthropic 已經開始採用此共享令牌，而 Google 與 Microsoft 預計將於明年加入支援。OpenAI 表示預計在未來數月內實施。值得留意的是，Microsoft 所提供的控制權更細緻，允許網站選擇是否不讓其內容進入 AI 訓練或用於 AI 根據（grounding）——即讓 AI 模型依據經過驗證的資訊來源降低亂說機率。儘管如此，Microsoft 強調網站無論如何仍會出現在 Bing 搜索結果中。

編輯觀點：推動統一標準對創業者的啟示與檢驗方法

對於依賴網站流量與內容授權的創業者來說，這項標準提供了一個更明確且可控的方式，管理自家內容是否被大型 AI 模型用於訓練，可能影響其內容授權商業模式與品牌保護策略。相較以往需逐家管控，此舉大幅降低管理成本與法律風險。創業團隊可以透過觀察自家 robots.txt 設置的轉變，搭配網路流量及 AI 相關爬蟲活動的監控，來驗證此標準落地後的實際效益，並評估對自身業務的影響。