Füge eine URL ein und Aeopro vergleicht deine robots.txt mit den 11 Bots von ChatGPT, Claude, Perplexity und Bing und zeigt dir die genaue Zeile, die ihnen die Tür verschließt.
Ein falsch gesetztes Disallow kann dir das einzige kosten, was dir heute Besuch von einer KI bringt: das Zitat.
Aeopro lädt deine /robots.txt herunter, analysiert sie nach User-Agent-Gruppen und bewertet, Bot für Bot, ob die URL, die du überprüfst, erlaubt oder blockiert ist. Es sucht nicht deinen Bot-Namen »aus dem Stegreif« in der Datei: Es wendet die wahren Regeln an: die spezifische Gruppe gewinnt über das Wildcard *, und innerhalb der Gruppe hat die Regel mit dem längeren Muster Vorrang, wobei Allow gegenüber Disallow entscheidet. Es unterstützt die Wildcards * und $ in den Pfaden, sodass ein Disallow: /*?* oder ein Allow: /blog/$ so interpretiert wird, wie es der Crawler sieht, nicht wie es auf den ersten Blick aussieht.
Das Ergebnis ist eine Matrix von 11 Bots mit ihrer Klasse daneben: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot und Bingbot sind Antwort-Bots — die suchen, zitieren und verlinken —; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended und CCBot sind Trainingsbots. Diese Unterscheidung ist der Schlüssel zu dem gesamten Bericht: Wenn du einen Antwort-Bot blockierst, wird das Ergebnis als blockierend gewertet und setzt eine Obergrenze für deinen AEO-Score, denn ohne Zugriff gibt es kein mögliches Zitat. Wenn du einen Trainingsbot blockierst, ist das Ergebnis informativ: Es ist eine legitime Entscheidung, nicht zu wollen, dass dein Inhalt in ein Dataset gelangt, und Aeopro diskutiert das nicht.
Jeder blockierte Bot kommt mit dem Beweis: die rote Ampel, die User-Agent-Gruppe, die auf ihn zutrifft, und die genaue Zeile der Datei, die dies verursacht, genau so kopiert. Du musst nicht deine robots.txt erneut durchlesen, um den Schuldigen zu finden, du hast ihn direkt vor dir.
Aeopro deckt auch Fehler ab, die kein Disallow sind. Wenn deine /robots.txt eine HTML-Seite zurückgibt — typisch für ein gestaltetes 404 oder einen SPA-Router, der alles behält — oder mit einem Fehler 500 antwortet, erkennt es das und hebt es als Ergebnis hervor: die Bots behandeln es als „ohne Einschränkungen“, aber es ist ein Zeichen von Nachlässigkeit. Und wenn es eine Crawl-Delay von über 10 Sekunden gibt, wirst du gewarnt, denn bei diesem Tempo geben einige Crawler auf, dich vollständig zu lesen. Wenn du direkt keine robots.txt hast, sagt dir der Bericht das ohne dich zu bestrafen: das Fehlen blockiert niemanden.
Trenne Blockieren von Unsichtbarkeit
einen Trainingsbot zu blockieren ist deine Entscheidung und wird als informativ angezeigt. Einen Antwort-Bot zu blockieren bedeutet, aus den Antworten von ChatGPT oder Perplexity zu verschwinden, und das ist ein blockierendes Ergebnis, das eine Obergrenze für deinen AEO-Score setzt.
Echte Priorität, keine Textsuche
spezifische Gruppe über dem Platzhalter *, längeres Muster über dem kurzen und Allow gewinnt im Unentschieden, mit Unterstützung von * und $ in den Pfaden. Es ist dieselbe Logik, die der Crawler anwendet, sodass das Urteil genau das ist, was du wirklich haben wirst.
Die genaue Zeile, die dich blockiert
Jeder Bot in Rot kommt mit der User-Agent-Gruppe, die ihm zugeordnet ist, und dem wörtlichen Text der verursachenden Zeile. Schluss mit dem manuellen Durchlesen von 200 Zeilen robots.txt, um das überflüssige Disallow zu finden.
Die 11 Bots, die jetzt wichtig sind, mit ihrer Klasse
die sechs Antwortbots (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) und die fünf Trainingsbots (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), bewertet gegen die spezifische URL, die du auditiert, nicht nur gegen die Wurzel der Domain.
Finde die stillen Fehler
ein /robots.txt, das HTML anstelle von Klartext liefert, eines, das 500 antwortet, oder ein absurdes Crawl-delay von über 10 Sekunden. Fehler, die in keinem klassischen SEO-Tool erscheinen und auf einen schlecht konfigurierten Server hinweisen.
Der bereits geschriebene Fix, ohne KI zu verwenden
aus dem eigenen Fund generierst du den robots.txt-Patch mit einem Schalter pro Bot. Du wählst, wen du öffnest, die finale Datei wird live mit deiner aktuellen robots.txt plus dem neuen Block regeneriert, und du kopierst sie. Es ist deterministisch: verbraucht keine Tokens.
Kostenlos wiederholen
die robots.txt-Audit ist Teil der deterministischen Überprüfungen im Bericht. Du änderst die Datei, stellst sie bereit, analysierst erneut und die Delta zeigt dir, ob das Ergebnis geschlossen wurde. So oft du willst.

Füge eine URL ein und erhalte die Matrix der 11 Bots, die genaue Zeile, die jeden blockiert, und den Patch, den du kopieren kannst.