הדביקו כתובת URL ו-Aeopro יצלב את ה-robots.txt שלכם מול 11 הבוטים של ChatGPT, Claude, Perplexity ו-Bing, ויראה לכם את השורה המדויקת שסוגרת בפניהם את הדלת.
Disallow שהוצב לא נכון עלול לעלות לכם בדבר היחיד שמביא לכם היום מבקרים מבינה מלאכותית: הציטוט.
Aeopro מוריד את ה-/robots.txt שלכם, מפרסר אותו לפי קבוצות User-agent ובודק, בוט אחר בוט, אם כתובת ה-URL שאתם בודקים מותרת או חסומה. הוא לא מחפש את שם הבוט "בעין" בקובץ: הוא מיישם את הכללים באמת. הקבוצה הספציפית גוברת על התו הכללי *, ובתוך הקבוצה מכריע הכלל עם התבנית הארוכה ביותר, כאשר Allow גובר על Disallow בשוויון. הוא תומך בתווים * ו-$ בנתיבים, כך ש-Disallow: /*?* או Allow: /blog/$ מפורשים כפי שהסורק מפרש אותם, ולא כפי שהם נראים במבט ראשון.
התוצאה היא מטריצה של 11 בוטים עם הסיווג שלהם לצדם: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot ו-Bingbot הם בוטי תשובות, אלה שמחפשים, מצטטים ומקשרים; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended ו-CCBot הם בוטי אימון. ההבחנה הזו היא המפתח לכל הדוח: אם חסמתם בוט תשובות, הממצא נכנס כחוסם ומציב תקרה לציון ה-AEO שלכם, כי בלי גישה אין ציטוט אפשרי. אם חסמתם בוט אימון, הממצא הוא מידע בלבד: לא לרצות שהתוכן שלכם ייכנס למערך נתונים היא החלטה לגיטימית ו-Aeopro לא חולק עליה.
כל בוט חסום מגיע עם ההוכחה: הרמזור האדום, קבוצת ה-User-agent שחלה עליו והשורה המדויקת בקובץ שגורמת לכך, מועתקת כפי שהיא. אין צורך לקרוא שוב את ה-robots.txt בחיפוש אחר האשם, הוא מונח לפניכם.
Aeopro מכסה גם כשלים שאינם Disallow. אם ה-/robots.txt שלכם מחזיר דף HTML, דבר אופייני לדף 404 מעוצב או לנתב SPA שתופס הכול, או מגיב בשגיאה 500, הוא מזהה זאת ומעלה זאת כממצא: הבוטים מתייחסים לזה כ"ללא הגבלות", אך זה סימן לרשלנות. ואם יש Crawl-delay מעל 10 שניות, הוא מתריע, כי בקצב כזה חלק מהסורקים מוותרים על קריאת האתר כולו. אם אין לכם robots.txt בכלל, הדוח אומר לכם זאת בלי להעניש אתכם: ההיעדר לא חוסם אף אחד.
מפרידה בין חסימה לבין היעלמות
חסימת בוט אימון היא החלטה שלך והיא מופיעה כמידע בלבד. חסימת בוט תשובות פירושה להיעלם מהתשובות של ChatGPT או Perplexity, וזה ממצא חוסם שמציב תקרה לציון ה-AEO שלך.
סדר עדיפויות אמיתי, לא חיפוש טקסט
קבוצה ספציפית גוברת על התו הכללי *, תבנית ארוכה גוברת על קצרה, ו-Allow מכריע בשוויון, עם תמיכה ב-* וב-$ בנתיבים. זו אותה לוגיקה שהסורק מפעיל, ולכן פסק הדין הוא זה שתקבלו בפועל.
השורה המדויקת שחוסמת אתכם
כל בוט באדום מגיע עם קבוצת ה-User-agent שחלה עליו ועם הטקסט המילולי של השורה שגורמת לחסימה. נגמר הצורך לקרוא 200 שורות של robots.txt ידנית כדי למצוא את ה-Disallow המיותר.
11 הבוטים שחשובים כעת, עם הסיווג שלהם
ששת בוטי התשובות (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) וחמשת בוטי האימון (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), נבדקים מול כתובת ה-URL הספציפית שאתם בודקים ולא רק מול שורש הדומיין.
תופסת כשלים שקטים
קובץ /robots.txt שמחזיר HTML במקום טקסט פשוט, כזה שמחזיר שגיאה 500, או Crawl-delay מופרך מעל 10 שניות. כשלים שלא מופיעים באף כלי SEO קלאסי ושמסגירים שרת שהוגדר לא נכון.
התיקון כבר כתוב, וללא שימוש בבינה מלאכותית
מתוך הממצא עצמו מייצרים את תיקון ה-robots.txt עם מתג לכל בוט. אתם בוחרים למי לפתוח, הקובץ הסופי נבנה מחדש בזמן אמת מה-robots.txt הנוכחי שלכם בתוספת הבלוק החדש, ואתם מעתיקים. זה דטרמיניסטי: לא צורך טוקנים.
חינם לחזור עליו
ביקורת ה-robots.txt היא חלק מהבדיקות הדטרמיניסטיות של הדוח. משנים את הקובץ, מפרסמים, מנתחים שוב, והדלתא מראה לכם אם הממצא נסגר. כמה פעמים שתרצו.

הדביקו כתובת URL וקבלו את מטריצת 11 הבוטים, את השורה המדויקת שחוסמת כל אחד מהם ואת התיקון המוכן להעתקה.