Quel est le but de cet outil ?
Cet outil vous aide à vérifier si votre site web autorise ou bloque les crawlers IA (comme ChatGPT et Claude) via robots.txt, et valide la structure de votre sitemap.
Quels bots IA vérifie-t-il ?
Nous vérifions actuellement GPTBot (OpenAI), CCBot (Common Crawl), Google-Extended (Gemini/Bard), AnthropicAI (Claude), FacebookBot et Applebot-Extended.
Pourquoi devrais-je bloquer les bots IA ?
Vous pourriez vouloir bloquer les bots IA pour empêcher l'utilisation de votre contenu pour entraîner des modèles IA sans votre permission, ou pour économiser la bande passante.
Pourquoi devrais-je autoriser les bots IA ?
Autoriser les bots IA aide votre contenu à apparaître dans les réponses générées par IA (comme la recherche ChatGPT), ce qui peut générer de nouvelles sources de trafic.
Comment bloquer GPTBot ?
Ajoutez 'User-agent: GPTBot' suivi de 'Disallow: /' à votre fichier robots.txt.
Qu'est-ce qu'un valideur de sitemap ?
Il vérifie si votre sitemap XML suit le protocole standard, assurant que les moteurs de recherche peuvent découvrir et indexer vos pages correctement.
Quelles erreurs trouve le vérificateur de sitemap ?
Il détecte la syntaxe XML invalide, les éléments racines incorrects (doit être urlset ou sitemapindex) et les sitemaps vides.
Puis-je valider un fichier index de sitemap ?
Oui, l'outil prend en charge à la fois les sitemaps standards (<urlset>) et les fichiers index de sitemap (<sitemapindex>).
Cet outil enregistre-t-il mes données ?
Non, toutes les validations se font dans votre navigateur. Votre contenu robots.txt et sitemap n'est envoyé à aucun serveur.
Cet outil est-il gratuit ?
Oui, cet outil est 100% gratuit et illimité pour tous les utilisateurs.