Apa tujuan dari alat ini?
Alat ini membantu Anda memverifikasi apakah situs web Anda mengizinkan atau memblokir crawler AI (seperti ChatGPT dan Claude) melalui robots.txt, dan memvalidasi struktur sitemap Anda.
Bot AI mana yang diperiksa?
Saat ini kami memeriksa GPTBot (OpenAI), CCBot (Common Crawl), Google-Extended (Gemini/Bard), AnthropicAI (Claude), FacebookBot, dan Applebot-Extended.
Mengapa saya harus memblokir bot AI?
Anda mungkin ingin memblokir bot AI untuk mencegah konten Anda digunakan untuk melatih model AI tanpa izin Anda, atau untuk menghemat bandwidth server.
Mengapa saya harus mengizinkan bot AI?
Mengizinkan bot AI membantu konten Anda muncul dalam jawaban yang dihasilkan AI (seperti pencarian ChatGPT), yang berpotensi mendorong sumber lalu lintas baru.
Bagaimana cara memblokir GPTBot?
Tambahkan 'User-agent: GPTBot' diikuti dengan 'Disallow: /' ke file robots.txt Anda.
Apa itu validator sitemap?
Ini memeriksa apakah sitemap XML Anda mengikuti protokol standar, memastikan mesin pencari dapat menemukan dan mengindeks halaman Anda dengan benar.
Kesalahan apa yang ditemukan oleh pemeriksa sitemap?
Ini mendeteksi sintaks XML yang tidak valid, elemen root yang salah (harus urlset atau sitemapindex), dan sitemap kosong.
Bisakah saya memvalidasi file indeks sitemap?
Ya, alat ini mendukung sitemap standar (<urlset>) dan file indeks sitemap (<sitemapindex>).
Apakah alat ini menyimpan data saya?
Tidak, semua validasi terjadi di browser Anda. Konten robots.txt dan sitemap Anda tidak dikirim ke server mana pun.
Apakah alat ini gratis?
Ya, alat ini 100% gratis dan tidak terbatas untuk semua pengguna.