Hacker News· researchaiexe·· 3 小时前AI 评分58
Trakis 研究：13,938 个站点对 AI 爬虫的屏蔽差异
Block training, keep answers? What 13,938 sites ask of AI bots
AI 导读
Trakis Research 分析了 13,938 个可读取 robots.txt 的站点，发现训练爬虫被整站屏蔽的比例约为答案爬虫的三倍，GPTBot 为 11.4%，OAI-SearchBot 为 3.5%。
来源：Hacker News · trakis.io