robots.txt

AI 引擎能不能引用你，取决于它能不能爬到你。本篇拆解 GPTBot、ClaudeBot、PerplexityBot 三类爬虫的通行规则、robots.txt 的分离式写法、Cloudflare 2026 年 9 月 15 日生效的新默认策略，以及用服务器日志核验爬虫真实身份与状态码的三步方法。