Hacker News· mimimile·· 3 小时前AI 评分58
HitMind 研究：前 1 万个域名中 29.8% 的 robots.txt 让 AI 爬虫绕过封锁
AI crawlers in robots.txt: a study of the top 10k sites (2026)
AI 导读
HitMind 对 Tranco 前 1 万个域名的 robots.txt 做了一次抓取分析，在同时为所有爬虫封禁路径并点名 AI 爬虫的文件中，29.8%（1105 份中的 329 份）至少让某个被点名的爬虫绕过了一条封锁。
来源：Hacker News · hitmind.ai