الصق رابطًا وسيطابق Aeopro ملف robots.txt لديك مع 11 بوتًا من ChatGPT وClaude وPerplexity وBing، ويريك السطر الدقيق الذي يغلق الباب في وجهها.
قد يكلّفك Disallow في غير موضعه الشيء الوحيد الذي يجلب لك اليوم زيارات من ذكاء اصطناعي: الاستشهاد.
ينزّل Aeopro ملف /robots.txt لديك ويحلّله حسب مجموعات User-agent ويقيّم، بوتًا بوتًا، هل الرابط الذي تدققه مسموح أم محظور. فهو لا يبحث عن اسم البوت «بالنظر» في الملف: بل يطبّق القواعد فعلًا: المجموعة المحددة تغلب علامة البدل *، وداخل المجموعة تحكم القاعدة ذات النمط الأطول، ويحسم Allow التعادل أمام Disallow. ويدعم علامتي * و$ في المسارات، فيُفسَّر Disallow: /*?* أو Allow: /blog/$ كما يفسّرهما الزاحف، لا كما يبدوان للوهلة الأولى.
والنتيجة مصفوفة من 11 بوتًا مع فئة كل منها بجانبه: OAI-SearchBot وChatGPT-User وClaude-User وClaude-SearchBot وPerplexityBot وBingbot بوتات إجابة، وهي التي تبحث وتستشهد وتضع الروابط؛ وGPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot بوتات تدريب. وهذا التمييز هو مفتاح التقرير كله: فإن حظرت بوت إجابة، تدخل النتيجة كنتيجة مانعة وتضع سقفًا لدرجة AEO لديك، لأنه بلا وصول لا استشهاد ممكن. وإن حظرت بوت تدريب، فالنتيجة معلوماتية: فعدم رغبتك في دخول محتواك إلى مجموعة بيانات قرار مشروع ولا يجادلك فيه Aeopro.
ويصل كل بوت محظور مع دليله: الإشارة الحمراء ومجموعة User-agent التي تنطبق عليه والسطر الدقيق من الملف الذي يسبّب ذلك، منسوخًا كما هو. فلا تحتاج إلى إعادة قراءة robots.txt بحثًا عن المتسبب، فهو أمامك.
ويغطي Aeopro أيضًا الأخطاء التي ليست Disallow. فإذا أعاد /robots.txt لديك صفحة HTML، وهو أمر نموذجي لصفحة 404 مُنسَّقة أو لموجّه SPA يستحوذ على كل شيء، أو ردّ بخطأ 500، فإنه يكتشف ذلك ويرفعه كنتيجة: فالبوتات تعامله على أنه «بلا قيود»، لكنه علامة إهمال. وإذا وُجد Crawl-delay فوق 10 ثوانٍ فإنه ينبّهك، لأن بعض الزواحف عند هذا الإيقاع تتخلى عن قراءتك كاملًا. وإذا لم يكن لديك robots.txt أصلًا، فإن التقرير يخبرك بذلك دون عقاب: فغيابه لا يحظر أحدًا.
يفصل بين الحظر والاختفاء
حظر بوت تدريب قرارك أنت ويظهر كملاحظة معلوماتية. أما حظر بوت إجابة فهو اختفاء من إجابات ChatGPT أو Perplexity، وهذه نتيجة مانعة تضع سقفًا لدرجة AEO لديك.
أسبقية حقيقية لا بحث نصي
المجموعة المحددة تعلو علامة البدل *، والنمط الأطول يعلو الأقصر، وAllow يحسم التعادل، مع دعم * و$ في المسارات. وهو المنطق نفسه الذي يطبّقه الزاحف، فالحكم الذي تراه هو الحكم الذي ستحصل عليه فعلًا.
السطر الدقيق الذي يحظرك
كل بوت باللون الأحمر يأتي مع مجموعة User-agent التي تنطبق عليه والنص الحرفي للسطر المسبّب. انتهى زمن قراءة 200 سطر من robots.txt يدويًا للعثور على Disallow الزائد.
البوتات الـ11 المهمة الآن مع فئة كل منها
ستة بوتات إجابة (OAI-SearchBot وChatGPT-User وClaude-User وClaude-SearchBot وPerplexityBot وBingbot) وخمسة بوتات تدريب (GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot)، تُقيَّم مقابل الرابط المحدد الذي تدققه، لا مقابل جذر النطاق فقط.
يصطاد الأخطاء الصامتة
/robots.txt يقدّم HTML بدل نص عادي، أو يردّ بـ500، أو Crawl-delay مبالغ فيه فوق 10 ثوانٍ. أخطاء لا تظهر في أي أداة SEO كلاسيكية وتفضح خادمًا مضبوطًا بشكل سيئ.
الإصلاح مكتوب مسبقًا، ودون استهلاك الذكاء الاصطناعي
من النتيجة نفسها تولّد رقعة robots.txt بمفتاح لكل بوت. تختار من تفتح له، ويُعاد توليد الملف النهائي مباشرةً من robots.txt الحالي لديك مضافًا إليه الكتلة الجديدة، فتنسخه. وهو حتمي: لا يستهلك توكنات.
مجاني التكرار
تدقيق robots.txt جزء من الفحوصات الحتمية في التقرير. تغيّر الملف وتنشره وتعيد التحليل، فيخبرك الفرق (delta) هل أُغلقت النتيجة. بقدر ما تشاء من المرات.

الصق رابطًا واحصل على مصفوفة البوتات الـ11 والسطر الدقيق الذي يحظر كل بوت والرقعة الجاهزة للنسخ.