Come configurare robots.txt per i crawler IA?

«Dovrei bloccare i bot IA?» non ha risposta, perché non è una sola domanda. Ogni grande azienda di IA gestisce crawler separati per compiti separati: i crawler di addestramento alimentano i corpora dei modelli, i crawler dell'indice di ricerca alimentano le risposte che vi citano, e i fetcher avviati dall'utente leggono una pagina perché una persona ha appena interrogato l'assistente su quella pagina. Bloccateli tutti con una sola riga e non avrete preso posizione sull'addestramento dell'IA — vi sarete tolti dalle risposte dell'IA.

I costi sono asimmetrici. Bloccare un crawler di addestramento è una scelta filosofica che, nella maggior parte dei casi, non ha un prezzo in visibilità: Google e Apple lo documentano esplicitamente, e per OpenAI e Anthropic discende dalla separazione dei bot — la ricerca gira su agenti separati, con conseguenze documentate separatamente. Bloccare un agente di ricerca o di recupero utente ha un prezzo diretto e documentato — OpenAI, per esempio, dichiara che i siti che hanno escluso OAI-SearchBot «non verranno mostrati nelle risposte della ricerca di ChatGPT». La meccanica dei singoli motori è trattata nelle nostre guide su come farsi citare da ChatGPT, Claude e Perplexity; questa pagina è la mappa completa.

Due numeri inquadrano lo scambio. Cloudflare ha misurato quante pagine le aziende di IA scansionano per ogni visita che rimandano indietro: secondo i dati di Cloudflare Radar per giugno 2025, circa 1.700 scansioni per referral per OpenAI e circa 70.900 per Anthropic. I rapporti da allora stanno calando — la dashboard AI Insights di Cloudflare li segue in tempo reale — ma la forma dell'accordo è chiara: scambiate una scansione intensiva con le citazioni. La tabella qui sotto è il modo per fissarne i termini.

Ogni riga qui sotto è verificata sulla documentazione dell'operatore stesso, aggiornata ad agosto 2026. «Token» significa che il nome funziona solo come gruppo robots.txt — non esiste un crawler separato con quello user-agent.

La tabella si traduce in tre politiche praticabili.

Config 1 — visibilità prima di tutto. Consentire tutto, esplicitamente: un gruppo Allow per agente per ogni bot documentato della tabella (tutti tranne Bytespider — un Allow per un bot che ignora il file è solo rumore), più un catch-all. Adatta ai siti che vivono dell'essere trovati e citati — aziende di contenuti, agenzie, gran parte del B2B. È quella che usiamo noi stessi; vedi «Come gestiamo il nostro» più avanti.

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

…e così via per ciascun agente della tabella. Il nostro file di produzione su get-geo.ai/robots.txt è la versione completa.

Config 2 — niente addestramento. La scelta deliberata più comune: restare fuori dai corpora dei modelli, restare nelle risposte. Vietate i crawler e i token di addestramento, consentite il resto. Due avvertenze prima di incollare: la riga Bytespider è dichiarativa (la sezione successiva spiega perché), e togliere Meta-ExternalAgent è l'unica esclusione dall'addestramento con un prezzo in visibilità — esce anche dall'indice di Meta:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: *
Allow: /

Config 3 — chiusura totale. Legittima per contenuti a pagamento o proprietari. Robots.txt consente a più righe User-agent di condividere un unico blocco di regole, quindi il tutto resta compatto — qui lasciamo fuori Applebot perché bloccarlo vi rimuove anche dalla ricerca di Siri e Spotlight, una decisione più grande delle risposte dell'IA:

User-agent: GPTBot

User-agent: OAI-SearchBot

User-agent: ChatGPT-User

User-agent: ClaudeBot

User-agent: Claude-SearchBot

User-agent: Claude-User

User-agent: PerplexityBot

User-agent: Perplexity-User

User-agent: Google-Extended

User-agent: Applebot-Extended

User-agent: Meta-ExternalAgent

User-agent: Meta-ExternalFetcher

User-agent: CCBot

User-agent: Amazonbot

User-agent: Amzn-SearchBot

User-agent: Amzn-User

User-agent: DuckAssistBot

User-agent: Bytespider
Disallow: /

Leggete la sezione successiva prima di mettere in produzione questa configurazione: per diversi degli agenti qui sopra, il file è una richiesta, non una barriera.

Robots.txt è una politica pubblicata, non un meccanismo di applicazione — e per un'intera classe di agenti lo dicono i vendor stessi. OpenAI su ChatGPT-User: «Poiché queste azioni sono avviate da un utente, le regole di robots.txt potrebbero non applicarsi». Meta su Meta-ExternalFetcher: «può aggirare robots.txt perché esegue recuperi richiesti dall'utente». Il fetcher utente di Perplexity «in genere ignora le regole di robots.txt». Amazon su Amzn-User: «potrebbe non seguire tutte le direttive di robots.txt». La logica è coerente: lo ha chiesto un umano, quindi il recupero è trattato come la visita dell'umano, non come una scansione.

Poi c'è Bytespider, che non ha alcuna documentazione e ignora il file nella pratica misurata: Cloudflare lo ha visto colpire più siti protetti di qualsiasi altro crawler IA (40,4% a metà 2024), e HAProxy lo ha misurato vicino al 90% del proprio traffico da crawler IA, notando che ignora le istruzioni di robots.txt.

L'applicazione delle regole vive quindi un livello più in basso. Verificate i crawler sugli elenchi di IP che la maggior parte dei vendor pubblica — OpenAI, Anthropic, Apple, Common Crawl e DuckDuckGo mantengono elenchi JSON, Amazon pubblica i propri range sulla pagina per sviluppatori — e bloccate a livello di CDN o WAF ciò che volete davvero fermare. La verifica conta più di quanto sembri: HUMAN Security ha misurato che una richiesta su diciotto con lo user-agent di un crawler IA noto è contraffatta.

Il nostro robots.txt è la configurazione visibilità prima di tutto: diciannove gruppi Allow espliciti per agente — ogni agente della tabella che rispetta il file, i fetcher utente che comunque accogliamo, e il classico Bingbot — seguiti da un Allow catch-all. Lo abbiamo riscritto in questa forma ad agosto 2026, eliminando nello stesso passaggio il vecchio gruppo anthropic-ai — e, durante il fact-checking di questa guida, anche uno speculativo gruppo cohere-ai: la documentazione di Cohere stessa dichiara che al momento non gestisce alcun crawler.

L'obiezione ovvia: un «User-agent: * / Allow: /» di una sola riga produrrebbe un comportamento identico dei crawler. Vero. I gruppi espliciti comprano tre cose che la riga unica non dà. Ogni vendor riceve un segnale di intento non ambiguo invece di un'assenza di obiezione. Le modifiche future sono più sicure — un Disallow aggiunto per un agente non può applicarsi in silenzio ad agenti a cui nessuno ha pensato. E il file fa anche da checklist di revisione: quando un vendor lancia un nuovo agente, come hanno fatto sia OpenAI sia Anthropic negli ultimi due anni, la lacuna è visibile nel file stesso e nei nostri log di scansione.

Il file è un pezzo dell'assetto che documentiamo nella nostra guida su come facciamo GEO sul nostro sito. È la politica di un sito che vive di citazioni dell'IA. Un editore con archivi a pagamento sceglierebbe ragionevolmente la config 2 o 3 — il punto di questa guida non è la nostra risposta, ma la tabella che vi permette di scegliere la vostra. Qualunque configurazione scegliate, mettete in calendario una revisione trimestrale: l'elenco continua a muoversi — OpenAI ha aggiunto OAI-SearchBot nel 2024, Anthropic ha aggiunto Claude-SearchBot nel 2025, Amazon ha diviso la sua scansione in tre agenti entro il 2026 — e un robots.txt scritto nel 2024 è già sbagliato sui crawler di oggi.