Come configurare robots.txt per i crawler IA?

«Devo bloccare i crawler IA?» non ha risposta, perché non è una sola domanda. Ogni grande azienda di IA gestisce crawler separati per compiti separati: i crawler di addestramento alimentano i corpora dei modelli, i crawler dell’indice di ricerca alimentano le risposte che vi citano, e i crawler su richiesta dell’utente leggono una pagina perché una persona ha appena interpellato l’assistente su di essa. Bloccateli tutti con una sola riga e non avrete preso posizione sull’addestramento dell’IA – vi sarete tolti dalle risposte IA.

I costi sono asimmetrici. Bloccare un crawler di addestramento è una scelta filosofica che, nella maggior parte dei casi, non ha un prezzo in visibilità: Google e Apple lo documentano esplicitamente, e per OpenAI e Anthropic discende dalla separazione dei crawler – la ricerca funziona con crawler distinti, le cui conseguenze sono documentate a parte. Bloccare un crawler di ricerca o su richiesta dell’utente ha un prezzo diretto e documentato – OpenAI, per esempio, dichiara che i siti che hanno escluso OAI-SearchBot «non verranno mostrati nelle risposte della ricerca di ChatGPT». Il funzionamento di ciascun assistente è trattato nelle nostre guide su come farsi citare da ChatGPT, Claude e Perplexity; questa pagina è la mappa completa.

Due numeri inquadrano lo scambio. Cloudflare ha misurato quante pagine le aziende di IA scansionano per ogni visita che rimandano indietro: secondo i dati di Cloudflare Radar per giugno 2025, circa 1.700 scansioni per ogni visita di riferimento per OpenAI e circa 70.900 per Anthropic. Da allora i valori sono in calo – la dashboard AI Insights di Cloudflare li segue in tempo reale – ma la forma dell’accordo è chiara: scambiate molta scansione del sito con citazioni. La tabella qui sotto serve a fissarne i termini.

Ogni riga qui sotto è verificata, ad agosto 2026, sulla documentazione dell’operatore stesso. «Token» significa che il nome funziona solo come gruppo di robots.txt – non esiste un crawler distinto con quello user-agent.

Dalla tabella derivano tre impostazioni praticabili.

Configurazione 1 – visibilità prima di tutto. Consentite tutto in modo esplicito: un gruppo Allow per ogni crawler documentato nella tabella (tutti tranne Bytespider – un Allow per un crawler che ignora il file è solo rumore), più una regola catch-all. Adatta ai siti che vivono dell’essere trovati e citati – aziende editoriali, agenzie, gran parte del B2B. È quella che usiamo noi; ne parliamo più avanti, in «Come gestiamo il nostro robots.txt».

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

…e così via per ciascun crawler della tabella. Il nostro file di produzione su get-geo.ai/robots.txt è la versione completa.

Configurazione 2 – niente addestramento. La scelta deliberata più comune: restare fuori dai corpora dei modelli, restare nelle risposte. Vietate i crawler e i token di addestramento, consentite il resto. Due avvertenze prima di incollare: la riga Bytespider è dichiarativa (la sezione successiva spiega perché), e bloccare Meta-ExternalAgent è l’unica esclusione dall’addestramento con un prezzo in visibilità – il sito esce anche dall’indice di Meta:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: *
Allow: /

Configurazione 3 – chiusura totale. Legittima per contenuti a pagamento o riservati. Robots.txt consente a più righe User-agent di condividere un unico blocco di regole, quindi il tutto resta compatto – qui lasciamo fuori Applebot perché bloccarlo vi rimuove anche dalla ricerca di Siri e Spotlight, una decisione più importante delle risposte IA:

User-agent: GPTBot

User-agent: OAI-SearchBot

User-agent: ChatGPT-User

User-agent: ClaudeBot

User-agent: Claude-SearchBot

User-agent: Claude-User

User-agent: PerplexityBot

User-agent: Perplexity-User

User-agent: Google-Extended

User-agent: Applebot-Extended

User-agent: Meta-ExternalAgent

User-agent: Meta-ExternalFetcher

User-agent: CCBot

User-agent: Amazonbot

User-agent: Amzn-SearchBot

User-agent: Amzn-User

User-agent: DuckAssistBot

User-agent: Bytespider
Disallow: /

Leggete la sezione successiva prima di mettere in produzione questa configurazione: per diversi dei crawler qui sopra, il file è una richiesta, non una barriera.

Robots.txt è un’indicazione pubblicata, non un meccanismo che la fa rispettare – e per un’intera classe di crawler lo dicono i fornitori stessi. OpenAI su ChatGPT-User: «Poiché queste azioni sono avviate da un utente, le regole di robots.txt potrebbero non applicarsi». Meta su Meta-ExternalFetcher: «può aggirare robots.txt perché esegue recuperi richiesti dall’utente». Il crawler su richiesta di Perplexity «in genere ignora le regole di robots.txt». Amazon su Amzn-User: «potrebbe non seguire tutte le direttive di robots.txt». La logica è coerente: lo ha chiesto una persona, quindi il recupero conta come la visita di quella persona, non come una scansione.

Poi c’è Bytespider, che non ha alcuna documentazione e ignora il file nella pratica osservata: Cloudflare lo ha visto colpire più siti protetti di qualsiasi altro crawler IA (40,4% a metà 2024), e HAProxy lo ha misurato vicino al 90% del proprio traffico da crawler IA, notando che ignora le istruzioni di robots.txt.

Il rispetto delle regole va quindi imposto un livello più sotto. Verificate i crawler sugli elenchi di IP che la maggior parte dei fornitori pubblica – OpenAI, Anthropic, Apple, Common Crawl e DuckDuckGo mantengono elenchi in JSON, Amazon indica i propri intervalli nella pagina per sviluppatori – e bloccate sulla CDN o sul WAF ciò che volete davvero fermare. La verifica conta più di quanto sembri: secondo le misurazioni di HUMAN Security, una richiesta su diciotto con lo user-agent di un crawler IA noto è contraffatta.

Il nostro robots.txt è la configurazione 1, quella che mette la visibilità al primo posto: diciannove gruppi Allow espliciti, uno per crawler – ogni crawler della tabella che rispetta il file, i crawler su richiesta dell’utente, che accogliamo comunque, e il classico Bingbot – seguiti da un Allow catch-all. Lo abbiamo riscritto in questa forma ad agosto 2026, eliminando nello stesso passaggio il vecchio gruppo anthropic-ai – e, durante la verifica dei fatti per questa guida, anche un gruppo cohere-ai solo ipotetico: la stessa documentazione di Cohere dichiara che al momento non gestisce alcun crawler.

L’obiezione ovvia: un «User-agent: * / Allow: /» di una sola riga produrrebbe un comportamento identico dei crawler. Vero. I gruppi espliciti offrono tre vantaggi rispetto alla regola unica. Ogni fornitore riceve un segnale d’intenti chiaro invece di una semplice assenza di obiezioni. Le modifiche future sono più sicure – un Disallow aggiunto per un crawler non può applicarsi in silenzio a crawler a cui nessuno ha pensato. E il file fa anche da lista di controllo: quando un fornitore introduce un nuovo crawler, come hanno fatto sia OpenAI sia Anthropic negli ultimi due anni, la lacuna è visibile nel file stesso e nei nostri log di scansione.

La nostra guida al GEO su questo sito spiega l’impostazione complessiva. Un editore con un archivio a pagamento potrebbe scegliere invece la configurazione 2 o 3. Qualunque configurazione scegliate, rivedete il file ogni trimestre: OpenAI ha aggiunto OAI-SearchBot nel 2024, Anthropic ha aggiunto Claude-SearchBot nel 2025 e Amazon, entro il 2026, aveva diviso la scansione in tre crawler. Una regola scritta nel 2024 potrebbe non coprire più i crawler rilevanti.