Crawlerpeek 发布 AI 爬虫访问检测工具

Crawlerpeek 发布开源工具，用于检查站点对 AI 爬虫的开放情况。它针对 GPTBot、ClaudeBot、PerplexityBot、Google-Extended、CCBot 等爬虫，同时检查 robots.txt 是否放行目标路径，以及用对应 user-agent 实际抓取时返回的状态码、重定向、内容类型和疑似拦截页。 工具提供库、CLI 与 MCP 服务器三种形式，要求 Node 20 或更高版本，无运行时依赖，支持 ESM 与 CommonJS，并附带 TypeScript 类型；每次调用的结果缓存 10 分钟。 默认拒绝私有、回环、链路本地和元数据地址（DNS 解析后及连接时各检查一次），也拒绝 80、443 以外的端口和带凭据的 URL；CLI 与 MCP 服务可通过 --allow-private 或 allowPrivate: true 在本地测试时解除这些限制。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。