网站

OpenAI、谷歌、微软和Anthropic联手推行AI数据抓取退出标准2026年11月01日22:19IT之家IT之家11月1日消息，OpenAI、谷歌、微软以及Anthropic近日宣布将采用一项新标准，内容发布方可以借助该标准选择拒绝AI抓取自家网站内容。

txt文件用于告知网络爬虫哪些网站内容允许抓取、哪些禁止抓取，适用场景包含搜索索引、网页归档以及AI模型训练。

在此背景下，各类AI爬虫持续抓取网站内容、将网页素材输入AI模型训练，内容发布方正为此焦头烂额。