ما الغرض من هذه الأداة؟
تساعدك هذه الأداة في التحقق مما إذا كان موقع الويب الخاص بك يسمح لزواحف الذكاء الاصطناعي (مثل ChatGPT وClaude وGemini) أو يحظرها عبر robots.txt، وتتحقق من صحة بنية خريطة الموقع.
ما هي روبوتات الذكاء الاصطناعي التي يتم فحصها؟
نقوم حاليًا بالتحقق من GPTBot (OpenAI) وCCBot (Common Crawl) وGoogle-Extended (Gemini/Bard) وAnthropicAI (Claude) وFacebookBot وApplebot-Extended.
لماذا يجب علي حظر روبوتات الذكاء الاصطناعي؟
قد ترغب في حظر روبوتات الذكاء الاصطناعي لمنع استخدام المحتوى الخاص بك لتدريب نماذج الذكاء الاصطناعي دون إذنك، أو لتوفير عرض النطاق الترددي للخادم.
لماذا يجب علي السماح لروبوتات الذكاء الاصطناعي؟
يساعد السماح لروبوتات الذكاء الاصطناعي في ظهور المحتوى الخاص بك في الإجابات التي ينشئها الذكاء الاصطناعي (مثل بحث ChatGPT أو نظرة عامة على Google AI)، مما قد يؤدي إلى مصادر حركة مرور جديدة.
كيف يمكنني حظر GPTBot؟
أضف 'User-agent: GPTBot' متبوعًا بـ 'Disallow: /' إلى ملف robots.txt الخاص بك.
ما هو مدقق خريطة الموقع؟
يتحقق مما إذا كانت خريطة موقع XML الخاصة بك تتبع البروتوكول القياسي، مما يضمن أن محركات البحث يمكنها اكتشاف صفحاتك وفهرستها بشكل صحيح.
ما هي الأخطاء التي يجدها مدقق خريطة الموقع؟
يكتشف بنية XML غير الصالحة، وعناصر الجذر غير الصحيحة (يجب أن تكون urlset أو sitemapindex)، وخرائط الموقع الفارغة.
هل يمكنني التحقق من ملف فهرس خريطة الموقع؟
نعم، تدعم الأداة كلاً من خرائط الموقع القياسية (<urlset>) وملفات فهرس خريطة الموقع (<sitemapindex>).
هل تحفظ هذه الأداة بياناتي؟
لا، تتم جميع عمليات التحقق في المتصفح الخاص بك. لا يتم إرسال محتوى robots.txt وخريطة الموقع إلى أي خادم.
هل هذه الأداة مجانية للاستخدام؟
نعم، هذه الأداة مجانية بنسبة 100٪ وغير محدودة لجميع المستخدمين.