AI Discovery Index：新网页被 AI 爬虫发现要多久

mojodojo.io 上线 AI Discovery Index，追踪新发布网页被搜索引擎和 AI 爬虫首次访问的时间。数据显示新页面被任意爬虫首次抓取的中位时间为 14 小时，Bingbot 在 51% 的页面上最先到达；首个 AI 爬虫的中位时间同样为 14 小时，ClaudeBot 在 49% 的页面上拔得头筹，77% 的新页面在 24 小时内被 AI 爬虫访问。