研究：网站更常屏蔽AI训练爬虫而非回答爬虫

Trakis Research 分析了 13,938 个可读取 robots.txt 的站点，发现整站屏蔽 AI 训练爬虫的比例约为屏蔽回答爬虫的三倍：GPTBot 被 11.4% 的站点屏蔽，OAI-SearchBot 为 3.5%。该研究读取的是 Common Crawl 于 2026 年 9 月抓取存档中的 robots.txt 副本。 研究同时指出，robots.txt 只是请求，并非强制锁；数据以 CC BY 4.0 发布，代码以 MIT 发布。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。