Google、Anthropic、OpenAI 同 Microsoft 共同承諾遵守新嘅 robots.txt 指令，讓網站出版商可以喺 generative AI 訓練方面，指定佢哋嘅偏好。呢個提案係 IETF 開放標準組織嘅討論範圍內，由 Anthropic 嘅技術主管 Kevin Kelley 編寫，意在以單一信號被多家 AI 公司承認同執行。
現時網站擁有者要逐個識別不同嘅爬蟲，為每個提供商設定單獨規則；而新指令將由多家 AI 公司共認同一個通用信號，從而簡化管理流程。網站管理者需要喺 robots.txt 入面新增一個專用於 AI 訓練嘅使用者代理（user agent），格式大致為某個特定字串，以此阻止用於 AI 訓練嘅抓取行為，喺某啲情況下仲可以允許對特定部分頁面嘅抓取，如有 press kit 等資料。
Google 同 OpenAI 已經解釋，呢個指令唔會影響現有嘅網頁收錄，亦唔會完全阻止網站內容印出，並唔會阻止 Google 搜尋結果顯示。舉例嚟講，Google 會把呢個新嘅 user agent 當作「停止標誌」，用喺「Google-Extended」使用者代理人，專為 Gemini 模型訓練而設。呢個變動唔會撤回過去已經採集嘅內容，只會阻止未來嘅抓取。
Anthropic 已經開始支持新嘅指令，而 Microsoft 表示將於 2027 年 2 月 1 日開始支援，Google 亦喺 2027 年初加入，OpenAI 則表示會喺未來幾個月內實施呢個信號。就目前公佈，呢啲公司嘅承諾同時照顧到現有資料嘅價值同未來數據訓練嘅合規性，為多方提供一條統一嘅通道，避免每個 provider 都要另起爐灶嘅繁瑣流程。
新指令嘅實施細節同影響範圍，可能改變 AI 訓練嘅資料來源格局
新嘅 robots.txt 指令係為咗解決「自行爬取與訓練資料」之間嘅平衡，讓出版商喺尊重內容產權同促進創新之間取得比較透明嘅界線。唯一需要注意嘅係，若過去某啲頁面已經被爬取，現時嘅新信號無法撤銷呢啲過往行為；未來嘅抓取才會按新規則執行。呢個設計意味住短期內可能唔會改寫已經形成嘅訓練資料庫，但長遠會提高對新內容嘅選擇性抓取。
對出版商嚟講，呢個改動提高咗可控性，特別係對於包含 press kit、品牌資源或提供者專用內容嘅頁面。喺實務操作上，管理者可以用單一嘅 signal 對多家 AI 公司發出指示，減少逐家冇效嘅規則設定，同時保留對特定內容嘅允許抓取權限。呢種平衡有助於保留創作方嘅版權控制力，同時減輕 AI 企業喺資料來源方面嘅不確定性。
喺技術層面，呢個新信號係以「專用使用者代理」形式加入 robots.txt，並由 Google、OpenAI、Microsoft 等主要玩家共同遵循。雖然呢個機制唔會影響現有嘅網頁搜尋、亦唔會限制網站被訪問嘅權利，但實際實施需要網站運營者自動化處理，確保正確嘅頁面被標註為可用於 AI 訓練或被阻止。隨住各家嘅落地時間表逐步推進，整體格局可能出現更加統一嘅資料來源管理策略。
同時，當侷限喺特定頁面嘅抓取時，出版商仍然有機會喺允許清單中註明例外，例如提供媒體資料包嘅部分內容。呢個設計嘅好處在於唔會全面封死網站內容喺訓練資料入面嘅可見性，反而透過精細化控制，讓創作者保留對核心資產嘅話語權。整體來講，呢項新規範可能促使 AI 訓練資料來源更加透明，亦有助於建立更可預測嘅商業模式。
如需參考官方動向，OpenAI、Google 同 Anthropic 等機構嘅公告同 IETF 提案文檔均可喺公開管道查閱，相關討論亦有機會喺未來幾個月內推進。對用戶而言，呢啲變化較偏向出版商同 AI 企業嘅互動規範，短期內唔會直接改變普通用戶喺網頁嘅日常使用體驗，但長遠有可能促使更多網站喺內容授權與數據使用方面建立清晰嘅自我規範。
