Hacker News· crawlerpeek·· 2 小时前AI 评分58
Crawlerpeek 发布 CLI 与 MCP 服务，检查站点对 AI 爬虫的开放情况
Crawlerpeek – check which AI crawlers your site lets in (CLI, MCP)
AI 导读
Crawlerpeek 发布开源工具，可针对 GPTBot、ClaudeBot、PerplexityBot、Google-Extended、CCBot 等爬虫，同时检查 robots.txt 是否放行目标路径，以及用对应 user-agent 实际抓取时返回的状态码、重定向、内容类型和疑似拦截页。
来源：Hacker News · github.com