Robots.txt per bot IA

Controlla se il tuo robots.txt sta bloccando i bot IA

Incolla un URL e Aeopro incrocia il tuo robots.txt con 11 bot di ChatGPT, Claude, Perplexity e Bing, mostrandoti la linea esatta che chiude la porta.

Un Disallow mal posizionato può costarti l'unica cosa che oggi ti porta visite da un'IA: la citazione.

Aeopro scarica il tuo /robots.txt, lo analizza per gruppi di User-agent e valuta, bot per bot, se l'URL che stai auditando è consentito o bloccato. Non cerca il tuo nome di bot «a occhio» nel file: applica le regole in modo preciso: il gruppo specifico prevale sul jolly *, e all'interno del gruppo comanda la regola con il pattern più lungo, con l'Allow che disambiguano rispetto al Disallow. Supporta i jolly * e $ nei percorsi, quindi un Disallow: /*?* o un Allow: /blog/$ vengono interpretati come li interpreta il crawler, non come sembrano a prima vista.

Il risultato è una matrice di 11 bot con la loro classe accanto: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot e Bingbot sono bot di risposta —quelli che cercano, citano e collegano—; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended e CCBot sono di addestramento. Questa distinzione è la chiave di tutto il rapporto: se blocchi un bot di risposta, il ritrovamento entra come bloccante e pone un tetto al tuo punteggio AEO, perché senza accesso non c'è citazione possibile. Se blocchi uno di addestramento, il ritrovamento è informativo: non voler che il tuo contenuto entri in un dataset è una decisione legittima e Aeopro non la discute.

Ogni bot bloccato arriva con la prova: il semaforo rosso, il gruppo di User-agent che si applica e la linea esatta del file che lo provoca, copiato così com'è. Non devi rileggere il tuo robots.txt cercando il colpevole, ce l'hai davanti.

Aeopro copre anche i fallimenti che non sono un Disallow. Se il tuo /robots.txt restituisce una pagina HTML —tipico di un 404 formattato o di un router SPA che mantiene tutto— o risponde con un errore 500, lo rileva e lo segnala come ritrovamento: i bot lo trattano come «senza restrizioni», ma è segno di trascuratezza. E se c'è un Crawl-delay superiore a 10 secondi, ti avvisa, perché a quel ritmo alcuni crawler desistono dal leggerti interamente. Se non hai direttamente un robots.txt, il rapporto te lo dice senza penalizzarti: l'assenza non blocca nessuno.

Vantaggi di Robots.txt per bot IA

Separare il blocco dall'essere invisibile

bloccare un bot di addestramento è una tua decisione e viene segnalato come informativo. Bloccare un bot di risposta significa scomparire dalle risposte di ChatGPT o Perplexity, e questo è un ritrovamento bloccante che pone un tetto al tuo punteggio AEO.

Priorità reale, niente ricerca di testo

gruppo specifico sopra il carattere jolly *, modello più lungo sopra il corto e Allow a vincere il pareggio, con supporto di * e $ nei percorsi. È la stessa logica applicata dal crawler, quindi il verdetto è quello che avrai davvero.

La riga esatta che ti blocca

ogni bot in rosso viene con il gruppo di User-agent a cui appartiene e il testo letterale della riga causa. Basta leggere 200 righe di robots.txt a mano per trovare il Disallow superfluo.

Gli 11 bot che contano ora, con la loro classe

i sei di risposta (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) e i cinque di addestramento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), valutati contro l'URL specifico che auditi, non solo contro la radice del dominio.

Caccia i fallimenti silenziosi

un /robots.txt che serve HTML invece di testo semplice, uno che risponde 500 o un Crawl-delay assurdo oltre i 10 secondi. Fallimenti che non compaiono in nessuno strumento SEO classico e che rivelano un server mal configurato.

La correzione già scritta, e senza spendere IA

dal proprio ritrovamento generi la patch di robots.txt con un interruttore per bot. Scegli a chi aprire, il file finale si rigenera in tempo reale con il tuo robots.txt attuale più il nuovo blocco, e lo copi. È deterministico: non consuma token.

Gratis da ripetere

l'audit di robots.txt fa parte dei controlli deterministici del rapporto. Modifichi il file, lo distribuisci, lo analizzi di nuovo e il delta ti dice se il ritrovamento è stato chiuso. Tante volte quanto vuoi.

Stephen Ramos

Scopri in un minuto quali bot IA stai bloccando

Incolla un URL e ricevi la matrice dei 11 bot, la riga esatta che blocca ciascuno e la soluzione pronta da copiare.

Controlla robots.txt per bot IA: stai bloccando GPTBot o ChatGPT?