# בדיקת robots.txt לבוטים של בינה מלאכותית: האם חסמתם את GPTBot?

> נתחו את ה-robots.txt מול 11 בוטים של בינה מלאכותית (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot…). תראו אילו בוטים חסומים, את השורה שגורמת לכך ואת התיקון להעתקה.

- **מקור (source):** https://aistohire.com/he/aeopro-bdko-am-chatgpt-v-perplexity-ykolim-ltstt-at-hatr-shlkm-198/f/bdikat-robots-txt-botim-bina-melachutit
- **פלטפורמה (platform):** AIstoHire
- **שפה (language):** he

## בקצרה

- בדקו אם ה-robots.txt שלכם חוסם בוטים של בינה מלאכותית
- הדביקו כתובת URL ו-Aeopro יצלב את ה-robots.txt שלכם מול 11 הבוטים של ChatGPT, Claude, Perplexity ו-Bing, ויראה לכם את השורה המדויקת שסוגרת בפניהם את הדלת.
- מפרידה בין חסימה לבין היעלמות
- סדר עדיפויות אמיתי, לא חיפוש טקסט
- השורה המדויקת שחוסמת אתכם

## בדקו אם ה-robots.txt שלכם חוסם בוטים של בינה מלאכותית

Aeopro מוריד את ה-/robots.txt שלכם, מפרסר אותו לפי קבוצות User-agent ובודק, בוט אחר בוט, אם כתובת ה-URL שאתם בודקים מותרת או חסומה. הוא לא מחפש את שם הבוט "בעין" בקובץ: הוא מיישם את הכללים באמת. הקבוצה הספציפית גוברת על התו הכללי *, ובתוך הקבוצה מכריע הכלל עם התבנית הארוכה ביותר, כאשר Allow גובר על Disallow בשוויון. הוא תומך בתווים * ו-$ בנתיבים, כך ש-Disallow: /*?* או Allow: /blog/$ מפורשים כפי שהסורק מפרש אותם, ולא כפי שהם נראים במבט ראשון.

התוצאה היא מטריצה של 11 בוטים עם הסיווג שלהם לצדם: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot ו-Bingbot הם בוטי תשובות, אלה שמחפשים, מצטטים ומקשרים; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended ו-CCBot הם בוטי אימון. ההבחנה הזו היא המפתח לכל הדוח: אם חסמתם בוט תשובות, הממצא נכנס כחוסם ומציב תקרה לציון ה-AEO שלכם, כי בלי גישה אין ציטוט אפשרי. אם חסמתם בוט אימון, הממצא הוא מידע בלבד: לא לרצות שהתוכן שלכם ייכנס למערך נתונים היא החלטה לגיטימית ו-Aeopro לא חולק עליה.

כל בוט חסום מגיע עם ההוכחה: הרמזור האדום, קבוצת ה-User-agent שחלה עליו והשורה המדויקת בקובץ שגורמת לכך, מועתקת כפי שהיא. אין צורך לקרוא שוב את ה-robots.txt בחיפוש אחר האשם, הוא מונח לפניכם.

Aeopro מכסה גם כשלים שאינם Disallow. אם ה-/robots.txt שלכם מחזיר דף HTML, דבר אופייני לדף 404 מעוצב או לנתב SPA שתופס הכול, או מגיב בשגיאה 500, הוא מזהה זאת ומעלה זאת כממצא: הבוטים מתייחסים לזה כ"ללא הגבלות", אך זה סימן לרשלנות. ואם יש Crawl-delay מעל 10 שניות, הוא מתריע, כי בקצב כזה חלק מהסורקים מוותרים על קריאת האתר כולו. אם אין לכם robots.txt בכלל, הדוח אומר לכם זאת בלי להעניש אתכם: ההיעדר לא חוסם אף אחד.

## מה כלול

- **מפרידה בין חסימה לבין היעלמות** — חסימת בוט אימון היא החלטה שלך והיא מופיעה כמידע בלבד. חסימת בוט תשובות פירושה להיעלם מהתשובות של ChatGPT או Perplexity, וזה ממצא חוסם שמציב תקרה לציון ה-AEO שלך.
- **סדר עדיפויות אמיתי, לא חיפוש טקסט** — קבוצה ספציפית גוברת על התו הכללי *, תבנית ארוכה גוברת על קצרה, ו-Allow מכריע בשוויון, עם תמיכה ב-* וב-$ בנתיבים. זו אותה לוגיקה שהסורק מפעיל, ולכן פסק הדין הוא זה שתקבלו בפועל.
- **השורה המדויקת שחוסמת אתכם** — כל בוט באדום מגיע עם קבוצת ה-User-agent שחלה עליו ועם הטקסט המילולי של השורה שגורמת לחסימה. נגמר הצורך לקרוא 200 שורות של robots.txt ידנית כדי למצוא את ה-Disallow המיותר.
- **11 הבוטים שחשובים כעת, עם הסיווג שלהם** — ששת בוטי התשובות (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) וחמשת בוטי האימון (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), נבדקים מול כתובת ה-URL הספציפית שאתם בודקים ולא רק מול שורש הדומיין.
- **תופסת כשלים שקטים** — קובץ /robots.txt שמחזיר HTML במקום טקסט פשוט, כזה שמחזיר שגיאה 500, או Crawl-delay מופרך מעל 10 שניות. כשלים שלא מופיעים באף כלי SEO קלאסי ושמסגירים שרת שהוגדר לא נכון.
- **התיקון כבר כתוב, וללא שימוש בבינה מלאכותית** — מתוך הממצא עצמו מייצרים את תיקון ה-robots.txt עם מתג לכל בוט. אתם בוחרים למי לפתוח, הקובץ הסופי נבנה מחדש בזמן אמת מה-robots.txt הנוכחי שלכם בתוספת הבלוק החדש, ואתם מעתיקים. זה דטרמיניסטי: לא צורך טוקנים.
- **חינם לחזור עליו** — ביקורת ה-robots.txt היא חלק מהבדיקות הדטרמיניסטיות של הדוח. משנים את הקובץ, מפרסמים, מנתחים שוב, והדלתא מראה לכם אם הממצא נסגר. כמה פעמים שתרצו.

## שאלות נפוצות

### איך אני יודע אם ה-robots.txt שלי חוסם את ChatGPT?

הדביקו את הכתובת ב-Aeopro: הוא מוריד את ה-/robots.txt שלכם, מפרסר אותו לפי קבוצות User-agent ובודק את כתובת ה-URL הזו מול 11 הבוטים של בינה מלאכותית. בכרטיס "גישת בוטים של בינה מלאכותית" תראו כל אחד מהם עם רמזור ירוק או אדום. עבור ChatGPT יש שני בוטים שונים וכדאי לא לבלבל ביניהם: OAI-SearchBot ו-ChatGPT-User הם בוטי התשובות, אלה שמחפשים ומצטטים מקורות בשיחה; GPTBot הוא בוט האימון. אם המטרה שלכם היא להופיע בציטוטים, את שני הראשונים אסור לחסום.

### מה ההבדל בין בוט תשובות לבוט אימון?

בוט אימון (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) אוסף תוכן כדי לאמן מודלים. חסימתו היא החלטה לגיטימית ו-Aeopro מסמן אותה כמידע בלבד, בלי לפגוע בציון שלכם. בוט תשובות (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) נכנס לקרוא את הדף שלכם ברגע שמישהו שואל שאלה, והוא זה שמצטט אתכם ומקשר אליכם בתשובה. חסימתו שקולה לאי־קיום עבור אותה בינה מלאכותית: לכן הממצא הזה נכנס כחוסם ומציב תקרה לציון ה-AEO של הדוח.

### למה ה-robots.txt שלי נראה מתירני והכלי אומר שאני חוסם בוטים?

כמעט תמיד מדובר בבעיית סדר עדיפויות. אם יש לכם קבוצה ספציפית לבוט, הקבוצה הזו מחליפה לחלוטין את קבוצת התו הכללי *: הכללים המתירניים של ה-* חדלים לחול עליו. ובתוך קבוצה לא הכלל הראשון ולא האחרון מכריע, אלא הכלל עם התבנית הארוכה ביותר, כאשר Allow גובר על Disallow בשוויון. הוסיפו את התווים * ו-$ ובקלות Disallow שנועד לפרמטרי חיפוש יחסום חצי אתר. Aeopro מיישם את הכללים האלה בדיוק כמו הסורק ומראה לכם את השורה המדויקת שקובעת את פסק הדין, כך שתראו מאיפה מגיעה החסימה.

### מה קורה אם אין לי robots.txt, או אם הוא מחזיר שגיאה?

היעדר robots.txt לא חוסם אף אחד ו-Aeopro לא מעניש אתכם על כך: הוא מציין זאת וממשיך. מה שכן יוצר ממצא הוא קובץ שבור: אם ה-/robots.txt שלכם מחזיר דף HTML במקום טקסט פשוט, דבר שכיח מאוד באתרי עמוד יחיד שבהם הנתב תופס את כל הנתיבים, או אם הוא מגיב בשגיאה 500. הבוטים מפרשים זאת כ"ללא הגבלות", ולכן זה לא סוגר לכם את הדלת, אך זה סימפטום של שרת שהוגדר לא נכון. הכלי גם מתריע על Crawl-delay מעל 10 שניות, כי בקצב כזה חלק מהסורקים נוטשים לפני שקראו את האתר כולו.

### האם Aeopro נותן לי את ה-robots.txt המתוקן או רק את האבחון?

הוא נותן לכם אותו מתוקן. מתוך הממצא פותחים את תיקון ה-robots.txt, שכולל מתג לכל בוט חסום: אתם מחליטים למי לפתוח ואת מי להשאיר בחוץ, והקובץ המלא נבנה מחדש בזמן אמת על ידי שילוב ה-robots.txt הנוכחי שלכם עם בלוק ההרשאות החדש, תוך ניצול העובדה שהקבוצה הספציפית גוברת על התו הכללי. מעתיקים ומעלים. התיקון הזה מורכב בלי בינה מלאכותית: הוא דטרמיניסטי ולא צורך טוקנים, בדיוק כמו הביקורת עצמה, כך שאפשר לנתח שוב אחר כך ולוודא שהממצא נסגר.

- [Aeopro — ביקורת AEO: כך הבינה המלאכותית תוכל לקרוא ולצטט אתכם](https://aistohire.com/he/aeopro-bdko-am-chatgpt-v-perplexity-ykolim-ltstt-at-hatr-shlkm-198)

## על הפלטפורמה

**Aeopro — ביקורת AEO: כך הבינה המלאכותית תוכל לקרוא ולצטט אתכם** — אפליקציה של AIstoHire. זמין ב־: https://aistohire.com/he/aeopro-bdko-am-chatgpt-v-perplexity-ykolim-ltstt-at-hatr-shlkm-198/f/bdikat-robots-txt-botim-bina-melachutit

### שפות נוספות

- `es`: https://aistohire.com/es/aeopro-auditoria-aeo-visibilidad-en-ia-198/f/auditoria-robots-txt-bots-ia
- `en`: https://aistohire.com/aeopro-aeo-audit-ai-visibility-198/f/robots-txt-audit-ai-bots
- `fr`: https://aistohire.com/fr/aeopro-audit-aeo-visibilite-ia-198/f/audit-robots-txt-bots-ia
- `it`: https://aistohire.com/it/aeopro-audit-aeo-visibilita-ia-198/f/audit-robots-txt-bot-ia
- `pt`: https://aistohire.com/pt/aeopro-auditoria-aeo-visibilidade-ia-198/f/auditoria-robots-txt-bots-ia
- `de`: https://aistohire.com/de/aeopro-aeo-audit-ki-sichtbarkeit-198/f/robots-txt-audit-ki-bots
- `bg`: https://aistohire.com/bg/aeopro-proverete-dali-chatgpt-i-perplexity-mogat-da-tsitirat-sayta-vi-198/f/odit-na-robots-txt-za-ai-botove
- `ja`: https://aistohire.com/ja/aeo-kansa-ai-inyo-taisaku-198/f/robots-txt-ai-bot-kansa
- `nl`: https://aistohire.com/nl/aeopro-controleer-of-chatgpt-en-perplexity-je-site-kunnen-citeren-198/f/robots-txt-audit-ai-bots
- `ko`: https://aistohire.com/ko/aeopro-aeo-audit-ai-inyong-198/f/robots-txt-ai-bot-jeomgeom
- `sv`: https://aistohire.com/sv/aeopro-granska-om-chatgpt-och-perplexity-kan-citera-din-webbplats-198/f/granskning-robots-txt-ai-botar
- `da`: https://aistohire.com/da/aeopro-tjek-om-chatgpt-og-perplexity-kan-citere-dit-websted-198/f/audit-af-robots-txt-for-ai-bots
- `ar`: https://aistohire.com/ar/aeopro-dqq-hl-ysttia-chatgpt-wperplexity-alastshhad-bmuqak-198/f/tadqiq-robots-txt-botat-althaka2-alistinaa3i
- `no`: https://aistohire.com/no/aeopro-sjekk-om-chatgpt-og-perplexity-kan-sitere-nettstedet-ditt-198/f/revisjon-robots-txt-ki-roboter
- `fi`: https://aistohire.com/fi/aeopro-auditoi-voivatko-chatgpt-ja-perplexity-lainata-sivustoasi-198/f/robots-txt-tekoalybotit-auditointi
- `zh`: https://aistohire.com/zh/aeopro-aeo-geo-audit-198/f/robots-txt-ai-bots-audit
- `pl`: https://aistohire.com/pl/aeopro-sprawdz-czy-chatgpt-i-perplexity-zacytuja-twoja-strone-198/f/audyt-robots-txt-boty-ai
- `cs`: https://aistohire.com/cs/aeopro-zjisti-zda-chatgpt-a-perplexity-mohou-citovat-tvuj-web-198/f/audit-robots-txt-ai-boti
- `id`: https://aistohire.com/id/aeopro-audit-apakah-chatgpt-dan-perplexity-bisa-kutip-situs-anda-198/f/audit-robots-txt-bot-ai
