# robots.txt für KI-Bots überprüfen: Blockierst du GPTBot oder ChatGPT?

> Analysiere deine robots.txt gegen 11 KI-Bots (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot…). Du siehst, welche Bots du blockierst, die genaue Zeile, die das verursacht, und den Patch, den du kopieren kannst.

- **Quelle (source):** https://aistohire.com/de/aeopro-aeo-audit-ki-sichtbarkeit-198/f/robots-txt-audit-ki-bots
- **Plattform (platform):** AIstoHire
- **Sprache (language):** de

## Zusammengefasst

- Überprüfe, ob deine robots.txt die KI-Bots blockiert
- Füge eine URL ein und Aeopro vergleicht deine robots.txt mit den 11 Bots von ChatGPT, Claude, Perplexity und Bing und zeigt dir die genaue Zeile, die ihnen die Tür verschließt.
- Trenne Blockieren von Unsichtbarkeit
- Echte Priorität, keine Textsuche
- Die genaue Zeile, die dich blockiert

## Überprüfe, ob deine robots.txt die KI-Bots blockiert

Aeopro lädt deine /robots.txt herunter, analysiert sie nach User-Agent-Gruppen und bewertet, Bot für Bot, ob die URL, die du überprüfst, erlaubt oder blockiert ist. Es sucht nicht deinen Bot-Namen »aus dem Stegreif« in der Datei: Es wendet die wahren Regeln an: die spezifische Gruppe gewinnt über das Wildcard *, und innerhalb der Gruppe hat die Regel mit dem längeren Muster Vorrang, wobei Allow gegenüber Disallow entscheidet. Es unterstützt die Wildcards * und $ in den Pfaden, sodass ein Disallow: /*?* oder ein Allow: /blog/$ so interpretiert wird, wie es der Crawler sieht, nicht wie es auf den ersten Blick aussieht.

Das Ergebnis ist eine Matrix von 11 Bots mit ihrer Klasse daneben: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot und Bingbot sind Antwort-Bots — die suchen, zitieren und verlinken —; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended und CCBot sind Trainingsbots. Diese Unterscheidung ist der Schlüssel zu dem gesamten Bericht: Wenn du einen Antwort-Bot blockierst, wird das Ergebnis als blockierend gewertet und setzt eine Obergrenze für deinen AEO-Score, denn ohne Zugriff gibt es kein mögliches Zitat. Wenn du einen Trainingsbot blockierst, ist das Ergebnis informativ: Es ist eine legitime Entscheidung, nicht zu wollen, dass dein Inhalt in ein Dataset gelangt, und Aeopro diskutiert das nicht.

Jeder blockierte Bot kommt mit dem Beweis: die rote Ampel, die User-Agent-Gruppe, die auf ihn zutrifft, und die genaue Zeile der Datei, die dies verursacht, genau so kopiert. Du musst nicht deine robots.txt erneut durchlesen, um den Schuldigen zu finden, du hast ihn direkt vor dir.

Aeopro deckt auch Fehler ab, die kein Disallow sind. Wenn deine /robots.txt eine HTML-Seite zurückgibt — typisch für ein gestaltetes 404 oder einen SPA-Router, der alles behält — oder mit einem Fehler 500 antwortet, erkennt es das und hebt es als Ergebnis hervor: die Bots behandeln es als „ohne Einschränkungen“, aber es ist ein Zeichen von Nachlässigkeit. Und wenn es eine Crawl-Delay von über 10 Sekunden gibt, wirst du gewarnt, denn bei diesem Tempo geben einige Crawler auf, dich vollständig zu lesen. Wenn du direkt keine robots.txt hast, sagt dir der Bericht das ohne dich zu bestrafen: das Fehlen blockiert niemanden.

## Was enthalten ist

- **Trenne Blockieren von Unsichtbarkeit** — einen Trainingsbot zu blockieren ist deine Entscheidung und wird als informativ angezeigt. Einen Antwort-Bot zu blockieren bedeutet, aus den Antworten von ChatGPT oder Perplexity zu verschwinden, und das ist ein blockierendes Ergebnis, das eine Obergrenze für deinen AEO-Score setzt.
- **Echte Priorität, keine Textsuche** — spezifische Gruppe über dem Platzhalter *, längeres Muster über dem kurzen und Allow gewinnt im Unentschieden, mit Unterstützung von * und $ in den Pfaden. Es ist dieselbe Logik, die der Crawler anwendet, sodass das Urteil genau das ist, was du wirklich haben wirst.
- **Die genaue Zeile, die dich blockiert** — Jeder Bot in Rot kommt mit der User-Agent-Gruppe, die ihm zugeordnet ist, und dem wörtlichen Text der verursachenden Zeile. Schluss mit dem manuellen Durchlesen von 200 Zeilen robots.txt, um das überflüssige Disallow zu finden.
- **Die 11 Bots, die jetzt wichtig sind, mit ihrer Klasse** — die sechs Antwortbots (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) und die fünf Trainingsbots (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), bewertet gegen die spezifische URL, die du auditiert, nicht nur gegen die Wurzel der Domain.
- **Finde die stillen Fehler** — ein /robots.txt, das HTML anstelle von Klartext liefert, eines, das 500 antwortet, oder ein absurdes Crawl-delay von über 10 Sekunden. Fehler, die in keinem klassischen SEO-Tool erscheinen und auf einen schlecht konfigurierten Server hinweisen.
- **Der bereits geschriebene Fix, ohne KI zu verwenden** — aus dem eigenen Fund generierst du den robots.txt-Patch mit einem Schalter pro Bot. Du wählst, wen du öffnest, die finale Datei wird live mit deiner aktuellen robots.txt plus dem neuen Block regeneriert, und du kopierst sie. Es ist deterministisch: verbraucht keine Tokens.
- **Kostenlos wiederholen** — die robots.txt-Audit ist Teil der deterministischen Überprüfungen im Bericht. Du änderst die Datei, stellst sie bereit, analysierst erneut und die Delta zeigt dir, ob das Ergebnis geschlossen wurde. So oft du willst.

## Häufig gestellte Fragen

### Wie erkenne ich, ob meine robots.txt ChatGPT blockiert?

Fügen Sie die URL in Aeopro ein: Laden Sie Ihre /robots.txt herunter, analysieren Sie sie nach User-Agent-Gruppen und bewerten Sie diese spezifische URL gegen die 11 KI-Bots. Auf der Karte 'Zugriff der KI-Bots' sehen Sie jeden mit einer grünen oder roten Ampel. Für ChatGPT gibt es zwei verschiedene Bots, die nicht verwechselt werden sollten: OAI-SearchBot und ChatGPT-User sind die Antwortbots, die Quellen in einem Gespräch suchen und zitieren; GPTBot ist der Trainingsbot. Wenn Sie zitiert werden möchten, können Sie die ersten beiden nicht blockieren.

### Was ist der Unterschied zwischen einem Antwortbot und einem Trainingsbot?

Ein Trainingsbot (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) sammelt Inhalte, um Modelle zu trainieren. Ihn zu blockieren ist eine legitime Entscheidung, und Aeopro kennzeichnet dies als informativ, ohne Ihre Bewertung zu bestrafen. Ein Antwortbot (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) liest Ihre Seite, wenn jemand etwas fragt, und zitiert und verlinkt Sie in der Antwort. Ihn zu blockieren bedeutet, für diese KI nicht zu existieren: Daher wird dieser Befund als blockierend eingestuft und setzt eine Obergrenze für die AEO-Bewertung im Bericht.

### Warum scheint meine robots.txt permissiv zu sein, und das Tool sagt, dass Bots blockiert werden?

Fast immer ist es ein Problem der Priorität. Wenn du eine spezifische Gruppe für einen Bot hast, ersetzt diese Gruppe vollständig die des Wildcards *: die permissiven Regeln des * gelten nicht mehr. Und innerhalb einer Gruppe gewinnt nicht die erste oder die letzte Regel, sondern die mit dem längeren Muster, wobei Allow im Falle eines Gleichstands gegenüber Disallow bevorzugt wird. Wenn du Wildcards * und $ hinzufügst, kann es leicht passieren, dass ein Disallow, das für die Suchparameter gedacht ist, die Hälfte der Webseite blockiert. Aeopro wendet diese Regeln genauso an wie der Crawler und zeigt dir die genaue Zeile, die das Urteil entscheidet, sodass du siehst, woher die Blockierung kommt.

### Was passiert, wenn ich kein robots.txt habe oder es einen Fehler zurückgibt?

Kein robots.txt blockiert niemanden und Aeopro bestraft dich dafür nicht: es wird angezeigt und fortgefahren. Was jedoch einen Fund aufwirft, ist, dass die Datei beschädigt ist: wenn dein /robots.txt eine HTML-Seite anstelle von reinem Text zurückgibt — sehr häufig bei Ein-Seiten-Webseiten, wo der Router alle Routen übernimmt — oder wenn es mit einem Fehler 500 antwortet. Die Bots interpretieren dies als „ohne Einschränkungen“, daher schließt es dir nicht die Tür, ist aber ein Zeichen für einen schlecht konfigurierten Server. Es warnt dich auch vor einem Crawl-Delay von über 10 Sekunden, denn bei diesem Tempo brechen einige Crawler ab, bevor sie deine gesamte Seite lesen.

### Gibt mir Aeopro das korrigierte robots.txt oder nur die Diagnose?

Es gibt dir das korrigierte. Vom Fund aus öffnest du den Patch für robots.txt, der einen Schalter für jeden blockierten Bot enthält: du entscheidest, wen du öffnest und wen du draußen lässt, und die vollständige Datei wird live regeneriert, indem dein aktuelles robots.txt mit dem neuen Block von Berechtigungen kombiniert wird, wobei die spezifische Gruppe über das Wildcard gewinnt. Du kopierst es und lädst es hoch. Dieser Patch wird ohne KI erstellt: er ist deterministisch und verbraucht keine Tokens, genau wie das Audit selbst, sodass du später erneut analysieren kannst, um zu bestätigen, dass der Fund geschlossen ist.

- [Aeopro — AEO-Audit: Machen Sie Ihre Website für KI lesbar und zitierbar](https://aistohire.com/de/aeopro-aeo-audit-ki-sichtbarkeit-198)

## Über die Plattform

**Aeopro — AEO-Audit: Machen Sie Ihre Website für KI lesbar und zitierbar** — eine App von AIstoHire. Verfügbar bei: https://aistohire.com/de/aeopro-aeo-audit-ki-sichtbarkeit-198/f/robots-txt-audit-ki-bots

### Andere Sprachen

- `es`: https://aistohire.com/es/aeopro-auditoria-aeo-visibilidad-en-ia-198/f/auditoria-robots-txt-bots-ia
- `en`: https://aistohire.com/aeopro-aeo-audit-ai-visibility-198/f/robots-txt-audit-ai-bots
- `fr`: https://aistohire.com/fr/aeopro-audit-aeo-visibilite-ia-198/f/audit-robots-txt-bots-ia
- `it`: https://aistohire.com/it/aeopro-audit-aeo-visibilita-ia-198/f/audit-robots-txt-bot-ia
- `pt`: https://aistohire.com/pt/aeopro-auditoria-aeo-visibilidade-ia-198/f/auditoria-robots-txt-bots-ia
- `bg`: https://aistohire.com/bg/aeopro-proverete-dali-chatgpt-i-perplexity-mogat-da-tsitirat-sayta-vi-198/f/odit-na-robots-txt-za-ai-botove
- `ja`: https://aistohire.com/ja/aeo-kansa-ai-inyo-taisaku-198/f/robots-txt-ai-bot-kansa
- `nl`: https://aistohire.com/nl/aeopro-controleer-of-chatgpt-en-perplexity-je-site-kunnen-citeren-198/f/robots-txt-audit-ai-bots
- `ko`: https://aistohire.com/ko/aeopro-aeo-audit-ai-inyong-198/f/robots-txt-ai-bot-jeomgeom
- `sv`: https://aistohire.com/sv/aeopro-granska-om-chatgpt-och-perplexity-kan-citera-din-webbplats-198/f/granskning-robots-txt-ai-botar
- `da`: https://aistohire.com/da/aeopro-tjek-om-chatgpt-og-perplexity-kan-citere-dit-websted-198/f/audit-af-robots-txt-for-ai-bots
- `ar`: https://aistohire.com/ar/aeopro-dqq-hl-ysttia-chatgpt-wperplexity-alastshhad-bmuqak-198/f/tadqiq-robots-txt-botat-althaka2-alistinaa3i
- `no`: https://aistohire.com/no/aeopro-sjekk-om-chatgpt-og-perplexity-kan-sitere-nettstedet-ditt-198/f/revisjon-robots-txt-ki-roboter
- `fi`: https://aistohire.com/fi/aeopro-auditoi-voivatko-chatgpt-ja-perplexity-lainata-sivustoasi-198/f/robots-txt-tekoalybotit-auditointi
- `zh`: https://aistohire.com/zh/aeopro-aeo-geo-audit-198/f/robots-txt-ai-bots-audit
- `pl`: https://aistohire.com/pl/aeopro-sprawdz-czy-chatgpt-i-perplexity-zacytuja-twoja-strone-198/f/audyt-robots-txt-boty-ai
- `he`: https://aistohire.com/he/aeopro-bdko-am-chatgpt-v-perplexity-ykolim-ltstt-at-hatr-shlkm-198/f/bdikat-robots-txt-botim-bina-melachutit
- `cs`: https://aistohire.com/cs/aeopro-zjisti-zda-chatgpt-a-perplexity-mohou-citovat-tvuj-web-198/f/audit-robots-txt-ai-boti
- `id`: https://aistohire.com/id/aeopro-audit-apakah-chatgpt-dan-perplexity-bisa-kutip-situs-anda-198/f/audit-robots-txt-bot-ai
