# Controlla robots.txt per bot IA: stai bloccando GPTBot o ChatGPT?

> Analizza il tuo robots.txt contro 11 bot IA (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot…). Vedrai quali bot stai bloccando, la riga esatta che lo causa e la soluzione pronta da copiare.

- **Fonte (source):** https://aistohire.com/it/aeopro-audit-aeo-visibilita-ia-198/f/audit-robots-txt-bot-ia
- **Piattaforma (platform):** AIstoHire
- **Lingua (language):** it

## In sintesi

- Controlla se il tuo robots.txt sta bloccando i bot IA
- Incolla un URL e Aeopro incrocia il tuo robots.txt con 11 bot di ChatGPT, Claude, Perplexity e Bing, mostrandoti la linea esatta che chiude la porta.
- Separare il blocco dall'essere invisibile
- Priorità reale, niente ricerca di testo
- La riga esatta che ti blocca

## Controlla se il tuo robots.txt sta bloccando i bot IA

Aeopro scarica il tuo /robots.txt, lo analizza per gruppi di User-agent e valuta, bot per bot, se l'URL che stai auditando è consentito o bloccato. Non cerca il tuo nome di bot «a occhio» nel file: applica le regole in modo preciso: il gruppo specifico prevale sul jolly *, e all'interno del gruppo comanda la regola con il pattern più lungo, con l'Allow che disambiguano rispetto al Disallow. Supporta i jolly * e $ nei percorsi, quindi un Disallow: /*?* o un Allow: /blog/$ vengono interpretati come li interpreta il crawler, non come sembrano a prima vista.

Il risultato è una matrice di 11 bot con la loro classe accanto: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot e Bingbot sono bot di risposta —quelli che cercano, citano e collegano—; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended e CCBot sono di addestramento. Questa distinzione è la chiave di tutto il rapporto: se blocchi un bot di risposta, il ritrovamento entra come bloccante e pone un tetto al tuo punteggio AEO, perché senza accesso non c'è citazione possibile. Se blocchi uno di addestramento, il ritrovamento è informativo: non voler che il tuo contenuto entri in un dataset è una decisione legittima e Aeopro non la discute.

Ogni bot bloccato arriva con la prova: il semaforo rosso, il gruppo di User-agent che si applica e la linea esatta del file che lo provoca, copiato così com'è. Non devi rileggere il tuo robots.txt cercando il colpevole, ce l'hai davanti.

Aeopro copre anche i fallimenti che non sono un Disallow. Se il tuo /robots.txt restituisce una pagina HTML —tipico di un 404 formattato o di un router SPA che mantiene tutto— o risponde con un errore 500, lo rileva e lo segnala come ritrovamento: i bot lo trattano come «senza restrizioni», ma è segno di trascuratezza. E se c'è un Crawl-delay superiore a 10 secondi, ti avvisa, perché a quel ritmo alcuni crawler desistono dal leggerti interamente. Se non hai direttamente un robots.txt, il rapporto te lo dice senza penalizzarti: l'assenza non blocca nessuno.

## Cosa include

- **Separare il blocco dall'essere invisibile** — bloccare un bot di addestramento è una tua decisione e viene segnalato come informativo. Bloccare un bot di risposta significa scomparire dalle risposte di ChatGPT o Perplexity, e questo è un ritrovamento bloccante che pone un tetto al tuo punteggio AEO.
- **Priorità reale, niente ricerca di testo** — gruppo specifico sopra il carattere jolly *, modello più lungo sopra il corto e Allow a vincere il pareggio, con supporto di * e $ nei percorsi. È la stessa logica applicata dal crawler, quindi il verdetto è quello che avrai davvero.
- **La riga esatta che ti blocca** — ogni bot in rosso viene con il gruppo di User-agent a cui appartiene e il testo letterale della riga causa. Basta leggere 200 righe di robots.txt a mano per trovare il Disallow superfluo.
- **Gli 11 bot che contano ora, con la loro classe** — i sei di risposta (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) e i cinque di addestramento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), valutati contro l'URL specifico che auditi, non solo contro la radice del dominio.
- **Caccia i fallimenti silenziosi** — un /robots.txt che serve HTML invece di testo semplice, uno che risponde 500 o un Crawl-delay assurdo oltre i 10 secondi. Fallimenti che non compaiono in nessuno strumento SEO classico e che rivelano un server mal configurato.
- **La correzione già scritta, e senza spendere IA** — dal proprio ritrovamento generi la patch di robots.txt con un interruttore per bot. Scegli a chi aprire, il file finale si rigenera in tempo reale con il tuo robots.txt attuale più il nuovo blocco, e lo copi. È deterministico: non consuma token.
- **Gratis da ripetere** — l'audit di robots.txt fa parte dei controlli deterministici del rapporto. Modifichi il file, lo distribuisci, lo analizzi di nuovo e il delta ti dice se il ritrovamento è stato chiuso. Tante volte quanto vuoi.

## Domande frequenti

### Come faccio a sapere se il mio robots.txt sta bloccando ChatGPT?

Incolla l'URL in Aeopro: scarica il tuo /robots.txt, analizzalo per gruppi di User-agent e valuta quell'URL specifico contro gli 11 bot di IA. Nella scheda «Accesso dei bot di IA» avrai ciascuno con un semaforo verde o rosso. Per ChatGPT ci sono due bot distinti e non è opportuno confonderli: OAI-SearchBot e ChatGPT-User sono quelli di risposta, che cercano e citano fonti in una conversazione; GPTBot è quello di addestramento. Se desideri essere citato, non puoi bloccare i primi due.

### Qual è la differenza tra un bot di risposta e un bot di addestramento?

Un bot di addestramento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) raccoglie contenuti per addestrare modelli. Bloccarlo è una decisione legittima e Aeopro lo segna come informativo, senza penalizzare il tuo punteggio. Un bot di risposta (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) è quello che legge la tua pagina nel momento in cui qualcuno chiede qualcosa, ed è quello che ti cita e ti collega nella risposta. Bloccarlo equivale a non esistere per quella IA: per questo motivo quella scoperta entra come bloccante e pone un tetto al punteggio AEO del rapporto.

### Perché il mio robots.txt sembra permissivo e lo strumento dice che blocco i bot?

Quasi sempre è un problema di precedenza. Se hai un gruppo specifico per un bot, quel gruppo sostituisce completamente il wildcard *: le regole permissive del * smettono di applicarsi. E all'interno di un gruppo non vince la prima regola né l'ultima, vince quella con il pattern più lungo, con l'Allow che disambiguano rispetto al Disallow in caso di parità. Aggiungi i wildcard * e $ e è facile che un Disallow pensato per i parametri di ricerca finisca per coprire metà del sito. Aeopro applica queste regole proprio come il crawler e ti mostra la linea esatta che decide il verdetto, così puoi vedere da dove proviene il blocco.

### Cosa succede se non ho robots.txt, o se restituisce un errore?

Non avere robots.txt non blocca nessuno e Aeopro non ti penalizza per questo: lo indica e prosegue. Ciò che solleva un avviso è che il file sia rotto: se il tuo /robots.txt restituisce una pagina HTML invece di testo semplice —molto comune nei siti a pagina singola, dove il router prende tutte le rotte— o se risponde con un errore 500. I bot lo interpretano come «senza restrizioni», quindi non ti chiude la porta, ma è sintomo di un server mal configurato. Ti avvisa anche di un Crawl-delay superiore a 10 secondi, perché a quel ritmo alcuni crawler abbandonano prima di leggere l'intero sito.

### Aeopro mi fornisce il robots.txt corretto o solo la diagnosi?

Te lo fornisce corretto. Dall'avviso apri la patch di robots.txt, che porta un interruttore per ogni bot bloccato: decidi a chi aprire e a chi lasciare fuori, e il file completo si rigenera in tempo reale unendo il tuo robots.txt attuale con il nuovo blocco di permessi, approfittando del fatto che il gruppo specifico vince sul wildcard. Lo copi e lo carichi. Questa patch è composta senza IA: è deterministica e non consuma token, proprio come l'audit stesso, quindi puoi riesaminare dopo per confermare che l'avviso sia stato chiuso.

- [Aeopro — Audit AEO: fai in modo che l'IA possa leggerti e citarti](https://aistohire.com/it/aeopro-audit-aeo-visibilita-ia-198)

## Informazioni sulla piattaforma

**Aeopro — Audit AEO: fai in modo che l'IA possa leggerti e citarti** — un'applicazione di AIstoHire. Disponibile su: https://aistohire.com/it/aeopro-audit-aeo-visibilita-ia-198/f/audit-robots-txt-bot-ia

### Altre lingue

- `es`: https://aistohire.com/es/aeopro-auditoria-aeo-visibilidad-en-ia-198/f/auditoria-robots-txt-bots-ia
- `en`: https://aistohire.com/aeopro-aeo-audit-ai-visibility-198/f/robots-txt-audit-ai-bots
- `fr`: https://aistohire.com/fr/aeopro-audit-aeo-visibilite-ia-198/f/audit-robots-txt-bots-ia
- `pt`: https://aistohire.com/pt/aeopro-auditoria-aeo-visibilidade-ia-198/f/auditoria-robots-txt-bots-ia
- `de`: https://aistohire.com/de/aeopro-aeo-audit-ki-sichtbarkeit-198/f/robots-txt-audit-ki-bots
- `bg`: https://aistohire.com/bg/aeopro-proverete-dali-chatgpt-i-perplexity-mogat-da-tsitirat-sayta-vi-198/f/odit-na-robots-txt-za-ai-botove
- `ja`: https://aistohire.com/ja/aeo-kansa-ai-inyo-taisaku-198/f/robots-txt-ai-bot-kansa
- `nl`: https://aistohire.com/nl/aeopro-controleer-of-chatgpt-en-perplexity-je-site-kunnen-citeren-198/f/robots-txt-audit-ai-bots
- `ko`: https://aistohire.com/ko/aeopro-aeo-audit-ai-inyong-198/f/robots-txt-ai-bot-jeomgeom
- `sv`: https://aistohire.com/sv/aeopro-granska-om-chatgpt-och-perplexity-kan-citera-din-webbplats-198/f/granskning-robots-txt-ai-botar
- `da`: https://aistohire.com/da/aeopro-tjek-om-chatgpt-og-perplexity-kan-citere-dit-websted-198/f/audit-af-robots-txt-for-ai-bots
- `ar`: https://aistohire.com/ar/aeopro-dqq-hl-ysttia-chatgpt-wperplexity-alastshhad-bmuqak-198/f/tadqiq-robots-txt-botat-althaka2-alistinaa3i
- `no`: https://aistohire.com/no/aeopro-sjekk-om-chatgpt-og-perplexity-kan-sitere-nettstedet-ditt-198/f/revisjon-robots-txt-ki-roboter
- `fi`: https://aistohire.com/fi/aeopro-auditoi-voivatko-chatgpt-ja-perplexity-lainata-sivustoasi-198/f/robots-txt-tekoalybotit-auditointi
- `zh`: https://aistohire.com/zh/aeopro-aeo-geo-audit-198/f/robots-txt-ai-bots-audit
- `pl`: https://aistohire.com/pl/aeopro-sprawdz-czy-chatgpt-i-perplexity-zacytuja-twoja-strone-198/f/audyt-robots-txt-boty-ai
- `he`: https://aistohire.com/he/aeopro-bdko-am-chatgpt-v-perplexity-ykolim-ltstt-at-hatr-shlkm-198/f/bdikat-robots-txt-botim-bina-melachutit
- `cs`: https://aistohire.com/cs/aeopro-zjisti-zda-chatgpt-a-perplexity-mohou-citovat-tvuj-web-198/f/audit-robots-txt-ai-boti
- `id`: https://aistohire.com/id/aeopro-audit-apakah-chatgpt-dan-perplexity-bisa-kutip-situs-anda-198/f/audit-robots-txt-bot-ai
