研究：前1万站点近三成AI爬虫规则存绕过

HitMind 对 Tranco 排名前 1 万个域名的 robots.txt 做了一次抓取分析，发现其中 29.8% 的文件在“对所有爬虫封禁路径、同时点名 AI 爬虫”的情况下，至少让某个被点名的爬虫绕过了一条封锁（1105 份中 329 份）。 该结果来自 2026 年 10 月 12 日 07:35–09:34 UTC 的一次抓取，HitMind 称约五分之一域名拒绝其访问，并说明分析对象是规则而非爬虫实际行为，且仅为单一地点的一次快照。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。