Comment configurer robots.txt pour les crawlers IA ?

« Faut-il bloquer les bots d'IA ? » n'a pas de réponse, parce que ce n'est pas une seule question. Chaque grande entreprise d'IA exploite des robots distincts pour des tâches distinctes : les robots d'entraînement alimentent les corpus des modèles, les robots d'indexation de recherche alimentent les réponses qui vous citent, et les fetchers initiés par l'utilisateur lisent une page parce qu'une personne vient d'interroger l'assistant à son sujet. Bloquez-les tous d'une seule ligne et vous n'avez pas pris position sur l'entraînement des IA — vous vous êtes retiré des réponses des IA.

Les coûts sont asymétriques. Bloquer un robot d'entraînement est un choix philosophique sans, dans la plupart des cas, prix en visibilité : Google et Apple le documentent explicitement, et pour OpenAI et Anthropic cela découle de la séparation des bots — la recherche fonctionne sur des agents distincts, aux conséquences documentées séparément. Bloquer un agent de recherche ou de récupération utilisateur a un prix direct et documenté — OpenAI, par exemple, indique que les sites ayant refusé OAI-SearchBot « ne seront pas affichés dans les réponses de recherche de ChatGPT ». La mécanique par moteur est couverte dans nos guides sur la citation par ChatGPT, Claude et Perplexity ; cette page en est la carte complète.

Deux chiffres cadrent l'échange. Cloudflare a mesuré combien de pages les entreprises d'IA explorent pour chaque visite qu'elles renvoient en retour : selon les données de Cloudflare Radar pour juin 2025, environ 1 700 explorations par visite référée pour OpenAI et environ 70 900 pour Anthropic. Les ratios baissent depuis — le tableau de bord AI Insights de Cloudflare les suit en direct — mais la forme du marché est claire : vous échangez une exploration intensive contre des citations. Le tableau ci-dessous vous permet d'en fixer les termes.

Chaque ligne ci-dessous est vérifiée dans la documentation de l'opérateur lui-même, à jour d'août 2026. « Token » signifie que le nom ne fonctionne que comme groupe robots.txt — il n'existe pas de robot distinct avec ce user-agent.

Le tableau se traduit en trois politiques viables.

Config 1 — priorité à la visibilité. Tout autoriser, explicitement : un groupe Allow par agent pour chaque bot documenté du tableau (tous sauf Bytespider — un Allow pour un bot qui ignore le fichier n'est que du bruit), plus un attrape-tout. Adaptée aux sites qui vivent d'être trouvés et cités — entreprises de contenu, agences, la plupart des B2B. C'est ce que nous utilisons nous-mêmes ; voir « Comment nous gérons le nôtre » ci-dessous.

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

…et ainsi de suite pour chaque agent du tableau. Notre fichier de production sur get-geo.ai/robots.txt en est la version complète.

Config 2 — sans entraînement. Le choix délibéré le plus courant : rester hors des corpus de modèles, rester dans les réponses. Interdisez les robots et tokens d'entraînement, autorisez le reste. Deux réserves avant de copier-coller : la ligne Bytespider est déclarative (la section suivante explique pourquoi), et retirer Meta-ExternalAgent est le seul refus d'entraînement à prix de visibilité — il vous sort aussi de l'index de Meta :

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: *
Allow: /

Config 3 — verrouillage. Légitime pour du contenu payant ou propriétaire. Robots.txt permet à plusieurs lignes User-agent de partager un même bloc de règles, l'ensemble reste donc compact — nous laissons Applebot de côté ici, car le bloquer vous retire aussi de la recherche Siri et Spotlight, une décision plus lourde que les réponses des IA :

User-agent: GPTBot

User-agent: OAI-SearchBot

User-agent: ChatGPT-User

User-agent: ClaudeBot

User-agent: Claude-SearchBot

User-agent: Claude-User

User-agent: PerplexityBot

User-agent: Perplexity-User

User-agent: Google-Extended

User-agent: Applebot-Extended

User-agent: Meta-ExternalAgent

User-agent: Meta-ExternalFetcher

User-agent: CCBot

User-agent: Amazonbot

User-agent: Amzn-SearchBot

User-agent: Amzn-User

User-agent: DuckAssistBot

User-agent: Bytespider
Disallow: /

Lisez la section suivante avant de déployer ceci : pour plusieurs des agents ci-dessus, le fichier est une demande, pas une barrière.

Robots.txt est une politique publiée, pas un mécanisme d'application — et pour toute une classe d'agents, les éditeurs le disent eux-mêmes. OpenAI à propos de ChatGPT-User : « Comme ces actions sont initiées par un utilisateur, les règles robots.txt peuvent ne pas s'appliquer. » Meta à propos de Meta-ExternalFetcher : il « peut contourner robots.txt parce qu'il effectue des récupérations demandées par l'utilisateur ». Le fetcher utilisateur de Perplexity « ignore généralement les règles robots.txt ». Amazon à propos d'Amzn-User : il « peut ne pas suivre toutes les directives robots.txt ». La logique est cohérente : un humain a demandé, la récupération est donc traitée comme la visite de l'humain, pas comme une exploration.

Vient ensuite Bytespider, qui n'a aucune documentation et ignore le fichier en pratique mesurée : Cloudflare l'a vu frapper plus de sites protégés que tout autre crawler IA (40,4 % à la mi-2024), et HAProxy l'a mesuré à près de 90 % de son trafic de crawlers IA, en notant qu'il ignore les instructions de robots.txt.

L'application des règles se joue donc un niveau plus bas. Vérifiez les robots avec les listes d'IP que la plupart des éditeurs publient — OpenAI, Anthropic, Apple, Common Crawl et DuckDuckGo maintiennent des listes JSON, Amazon publie ses plages sur sa page développeur — et bloquez au niveau du CDN ou du WAF ce que vous voulez réellement arrêter. La vérification compte plus qu'il n'y paraît : HUMAN Security a mesuré qu'une requête sur dix-huit portant un user-agent de crawler IA connu est usurpée.

Notre propre robots.txt est la configuration priorité à la visibilité : dix-neuf groupes Allow explicites par agent — chaque agent du tableau qui honore le fichier, les fetchers utilisateur que nous accueillons de toute façon, et le Bingbot classique — suivis d'un Allow attrape-tout. Nous l'avons refondu sous cette forme en août 2026, en supprimant au passage l'ancien groupe anthropic-ai — et, lors du fact-checking de ce guide, un groupe cohere-ai spéculatif aussi : la propre documentation de Cohere indique qu'elle n'exploite aucun crawler à l'heure actuelle.

L'objection évidente : un « User-agent: * / Allow: / » d'une seule ligne produirait un comportement de crawler identique. C'est vrai. Les groupes explicites apportent trois choses que la ligne unique n'apporte pas. Chaque éditeur reçoit un signal d'intention sans ambiguïté plutôt qu'une absence d'objection. Les modifications futures sont plus sûres — un Disallow ajouté pour un agent ne peut pas s'appliquer en silence à des agents auxquels personne n'a pensé. Et le fichier sert aussi de liste de contrôle : quand un éditeur lance un nouvel agent, comme OpenAI et Anthropic l'ont fait tous deux au cours des deux dernières années, le manque est visible dans le fichier lui-même et dans nos journaux d'exploration.

Le fichier n'est qu'une pièce du dispositif que nous documentons dans notre guide sur la façon dont nous faisons du GEO sur notre propre site. C'est la politique d'un site qui gagne sa vie grâce aux citations des IA. Un éditeur avec des archives payantes choisirait raisonnablement la config 2 ou 3 — l'intérêt de ce guide n'est pas notre réponse, mais le tableau qui vous permet de choisir la vôtre. Quelle que soit la configuration retenue, inscrivez une revue trimestrielle au calendrier : la liste ne cesse de bouger — OpenAI a ajouté OAI-SearchBot en 2024, Anthropic a ajouté Claude-SearchBot en 2025, Amazon a scindé son exploration en trois agents d'ici 2026 — et un robots.txt écrit en 2024 se trompe déjà sur les crawlers d'aujourd'hui.