Hacker News· alishaikha·· 3 小时前AI 评分58
Kavel 研究：945 个网站中 25.9% 在 robots.txt 屏蔽至少一个 AI 爬虫
Show HN: Which big sites block AI training crawlers but let AI search in
AI 导读
Kavel 检查了 945 个知名网站的 robots.txt，覆盖新闻、零售、SaaS、金融、政府等类别，针对 14 个 AI 爬虫，其中可读取的 746 个站点里有 25.9% 屏蔽了至少一个 AI 爬虫。
来源：Hacker News · getkavel.com