AI 爬虫分搜索、训练、替用户取页三类。我们解析 699 份 robots.txt:挡训练的站一半连 AI 搜索也挡了,新的共享训练令牌只有 6 个站在用。
AI 爬虫不都是一种流量:robots.txt 实测
calendar_today
November 9, 2026
domain
everyinfra-com
Need help?
Contact usAI 爬虫分搜索、训练、替用户取页三类。我们解析 699 份 robots.txt:挡训练的站一半连 AI 搜索也挡了,新的共享训练令牌只有 6 个站在用。