Hacker News· soloviber·· 3 小时前AI 评分34
免费工具检测 robots.txt 是否屏蔽 AI 爬虫
Check if AI crawlers are blocked by your robots.txt – free tool
AI 导读
一款免费工具可检测 robots.txt 是否屏蔽 AI 爬虫。GPTBot（OpenAI）和 ClaudeBot（Anthropic）官方声称遵守 robots.txt，但这只是尽力而为的信号而非防火墙规则，基础设施层限流更可靠。
来源：Hacker News · crawl-check.user-sentry.com