AI Robots.txt 和 Sitemap 验证器Beta

验证您的 robots.txt 以检查 GPTBot 和 CCBot 等 AI 爬虫的状态。检查 sitemap.xml 结构并查找错误。

如何使用

1

粘贴内容

将您的 robots.txt 或 sitemap.xml 内容粘贴到编辑器中。

2

选择模式

根据您要检查的内容,在 'Robots.txt' 和 'Sitemap' 标签之间切换。

3

分析

点击验证以查看哪些 AI 机器人被阻止,或检查您的 sitemap 是否有错误。

常见问题

此工具的目的是什么?

此工具帮助您验证您的网站是否通过 robots.txt 允许或阻止 AI 网络爬虫(如 ChatGPT 和 Claude),并验证您的 sitemap 结构。

它检查哪些 AI 机器人?

目前我们检查 GPTBot (OpenAI)、CCBot (Common Crawl)、Google-Extended (Gemini/Bard)、AnthropicAI (Claude)、FacebookBot 和 Applebot-Extended。

为什么我应该阻止 AI 机器人?

您可能希望阻止 AI 机器人,以防止您的内容在未经许可的情况下用于训练 AI 模型,或为了节省服务器带宽。

为什么我应该允许 AI 机器人?

允许 AI 机器人有助于您的内容出现在 AI 生成的答案中(如 ChatGPT 搜索),这可能会带来新的流量来源。

如何阻止 GPTBot?

在您的 robots.txt 文件中添加 'User-agent: GPTBot',后跟 'Disallow: /'。

什么是 sitemap 验证器?

它检查您的 XML sitemap 是否遵循标准协议,确保搜索引擎可以正确发现和索引您的页面。

sitemap 检查器会发现什么错误?

它会检测无效的 XML 语法、错误的根元素(必须是 urlset 或 sitemapindex)和空的 sitemap。

我可以验证 sitemap 索引文件吗?

可以,该工具支持标准 sitemap (<urlset>) 和 sitemap 索引文件 (<sitemapindex>)。

此工具会保存我的数据吗?

不会,所有验证都在您的浏览器中进行。您的 robots.txt 和 sitemap 内容不会发送到任何服务器。

此工具是免费的吗?

是的,此工具对所有用户 100% 免费且无限制。