此工具的目的是什么?
此工具帮助您验证您的网站是否通过 robots.txt 允许或阻止 AI 网络爬虫(如 ChatGPT 和 Claude),并验证您的 sitemap 结构。
它检查哪些 AI 机器人?
目前我们检查 GPTBot (OpenAI)、CCBot (Common Crawl)、Google-Extended (Gemini/Bard)、AnthropicAI (Claude)、FacebookBot 和 Applebot-Extended。
为什么我应该阻止 AI 机器人?
您可能希望阻止 AI 机器人,以防止您的内容在未经许可的情况下用于训练 AI 模型,或为了节省服务器带宽。
为什么我应该允许 AI 机器人?
允许 AI 机器人有助于您的内容出现在 AI 生成的答案中(如 ChatGPT 搜索),这可能会带来新的流量来源。
如何阻止 GPTBot?
在您的 robots.txt 文件中添加 'User-agent: GPTBot',后跟 'Disallow: /'。
什么是 sitemap 验证器?
它检查您的 XML sitemap 是否遵循标准协议,确保搜索引擎可以正确发现和索引您的页面。
sitemap 检查器会发现什么错误?
它会检测无效的 XML 语法、错误的根元素(必须是 urlset 或 sitemapindex)和空的 sitemap。
我可以验证 sitemap 索引文件吗?
可以,该工具支持标准 sitemap (<urlset>) 和 sitemap 索引文件 (<sitemapindex>)。
此工具会保存我的数据吗?
不会,所有验证都在您的浏览器中进行。您的 robots.txt 和 sitemap 内容不会发送到任何服务器。