Kavel 研究：945 家网站中 25.9% 屏蔽 AI 爬虫
热点事件持续更新
Kavel 研究：945 家网站中 25.9% 屏蔽 AI 爬虫
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Kavel 检查了 945 个知名网站的 robots.txt，覆盖新闻、零售、SaaS、金融、政府等类别，针对 14 个 AI 爬虫；其中可读取的 746 个站点里有 25.9% 屏蔽了至少一个 AI 爬虫。检查于 2026 年 10 月完成。 Kavel 称，该网站名单由其自行整理，并非对全网的概率抽样；其测试请求来自 Cloudflare 网络而非 OpenAI 或 Anthropic，因此按爬虫真实来源校验的防火墙可能拒绝测试，却仍放行真实爬虫。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 21:18
Kavel 研究：945 个网站中 25.9% 在 robots.txt 屏蔽至少一个 AI 爬虫报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- Hacker NewsKavel 研究：945 个网站中 25.9% 在 robots.txt 屏蔽至少一个 AI 爬虫
Kavel 检查了 945 个知名网站的 robots.txt，覆盖新闻、零售、SaaS、金融、政府等类别，针对 14 个 AI 爬虫，其中可读取的 746 个站点里有 25.9% 屏蔽了至少一个 AI 爬虫。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。