¿Cómo configurar robots.txt para los rastreadores de IA?

«¿Debería bloquear a los rastreadores de IA?» no tiene respuesta, porque no es una sola pregunta. Cada gran empresa de IA usa rastreadores distintos para tareas distintas: los de entrenamiento alimentan los corpus de los modelos, los del índice de búsqueda alimentan las respuestas que lo citan a usted, y los agentes que actúan a petición del usuario leen una página porque alguien acaba de preguntar por ella al asistente. Si los bloquea todos con una sola línea, no habrá tomado postura sobre el entrenamiento de la IA: se habrá borrado de las respuestas de IA.

Los costos son asimétricos. Bloquear un rastreador de entrenamiento es una decisión de principios que, en la mayoría de los casos, no cuesta visibilidad: Google y Apple lo documentan de forma explícita, y en OpenAI y Anthropic se deduce de la separación entre agentes, porque la búsqueda funciona con agentes propios cuyas consecuencias están documentadas aparte. Bloquear un agente de búsqueda o uno que actúa a petición del usuario tiene un precio directo y documentado: OpenAI, por ejemplo, afirma que los sitios excluidos de OAI-SearchBot «no se mostrarán en las respuestas de búsqueda de ChatGPT». Cómo funciona cada asistente se explica en nuestras guías para conseguir que citen su sitio ChatGPT, Claude y Perplexity; esta página es el mapa completo.

Dos cifras enmarcan el trato. Cloudflare midió cuántas páginas rastrean las empresas de IA por cada visita que devuelven: según los datos de Cloudflare Radar de junio de 2025, unos 1.700 rastreos por cada visita de referencia en el caso de OpenAI y unos 70.900 en el de Anthropic. Desde entonces, estas proporciones han ido bajando (el panel AI Insights de Cloudflare las sigue en tiempo real), pero la naturaleza del trato está clara: usted acepta un rastreo intenso a cambio de citas. La tabla siguiente le permite fijar las condiciones.

Cada fila se ha contrastado con la documentación del propio operador a fecha de agosto de 2026. «Token» significa que el nombre solo funciona como grupo de robots.txt: no existe un rastreador aparte con ese user-agent.

La tabla se traduce en tres políticas viables.

Configuración 1: prioridad a la visibilidad. Permita todo de forma explícita: un grupo Allow para cada agente documentado de la tabla (todos menos Bytespider, porque un Allow para quien ignora el archivo es ruido), más un grupo comodín. Es la adecuada para sitios que viven de que los encuentren y los citen: negocios de contenidos, agencias y la mayoría de las empresas B2B. Es la que usamos nosotros; vea «Cómo lo gestionamos nosotros» más abajo.

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

…y así con cada agente de la tabla. Nuestro archivo de producción en get-geo.ai/robots.txt es la versión completa.

Configuración 2: sin entrenamiento. Es la elección deliberada más común: quedarse fuera de los corpus de los modelos y dentro de las respuestas. Ponga Disallow a los rastreadores y tokens de entrenamiento y permita el resto. Dos advertencias antes de copiarla: la línea de Bytespider es solo simbólica (la siguiente sección explica por qué), y excluir a Meta-ExternalAgent es la única exclusión de entrenamiento que cuesta visibilidad, porque también saca su sitio del índice de Meta:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: *
Allow: /

Configuración 3: cierre total. Es legítima para contenido de pago o exclusivo. Robots.txt permite que varias líneas User-agent compartan un mismo bloque de reglas, así que todo queda compacto. Aquí dejamos fuera a Applebot, porque bloquearlo también saca su sitio de la búsqueda de Siri y Spotlight, una decisión de más alcance que las respuestas de IA:

User-agent: GPTBot

User-agent: OAI-SearchBot

User-agent: ChatGPT-User

User-agent: ClaudeBot

User-agent: Claude-SearchBot

User-agent: Claude-User

User-agent: PerplexityBot

User-agent: Perplexity-User

User-agent: Google-Extended

User-agent: Applebot-Extended

User-agent: Meta-ExternalAgent

User-agent: Meta-ExternalFetcher

User-agent: CCBot

User-agent: Amazonbot

User-agent: Amzn-SearchBot

User-agent: Amzn-User

User-agent: DuckAssistBot

User-agent: Bytespider
Disallow: /

Lea la sección siguiente antes de publicar esta configuración: para varios de los agentes anteriores, el archivo es una petición, no una barrera.

Robots.txt es una política publicada, no un mecanismo para hacerla cumplir, y en el caso de toda una clase de agentes lo dicen los propios proveedores. OpenAI, sobre ChatGPT-User: «Dado que estas acciones las inicia un usuario, es posible que las reglas de robots.txt no se apliquen». Meta, sobre Meta-ExternalFetcher: «puede omitir robots.txt porque realiza accesos solicitados por el usuario». El agente de Perplexity que actúa a petición del usuario «generalmente ignora las reglas de robots.txt». Amazon, sobre Amzn-User: «puede no seguir todas las directivas de robots.txt». La lógica es coherente: lo pidió una persona, así que el acceso se trata como una visita de esa persona, no como un rastreo.

Luego está Bytespider, que no tiene ninguna documentación y, según las mediciones, ignora el archivo: Cloudflare comprobó que accedía a más sitios protegidos que cualquier otro rastreador de IA (el 40,4 % a mediados de 2024), y HAProxy midió que representaba cerca del 90 % de su tráfico de rastreadores de IA y señaló que ignora las instrucciones de robots.txt.

Por eso el bloqueo real se hace un nivel más abajo. Verifique los rastreadores con las listas de IP que publican la mayoría de los proveedores (OpenAI, Anthropic, Apple, Common Crawl y DuckDuckGo mantienen listas JSON, y Amazon publica sus rangos en su página para desarrolladores) y bloquee en el CDN o el WAF lo que de verdad quiera detener. La verificación importa más de lo que parece: según HUMAN Security, una de cada dieciocho peticiones con el user-agent de un rastreador de IA conocido está suplantada.

Nuestro propio robots.txt usa la configuración de prioridad a la visibilidad: diecinueve grupos Allow explícitos, uno por agente (cada agente de la tabla que respeta el archivo, los agentes que actúan a petición del usuario, a los que también damos acceso, y el clásico Bingbot), seguidos de un Allow comodín. Le dimos esta forma en agosto de 2026 y, de paso, eliminamos el antiguo grupo anthropic-ai; al verificar los datos de esta guía quitamos también un grupo especulativo cohere-ai, porque la propia documentación de Cohere indica que, por ahora, no opera rastreadores.

La objeción obvia: una sola línea «User-agent: * / Allow: /» produciría el mismo comportamiento de los rastreadores. Es cierto. Los grupos explícitos aportan tres cosas que esa línea no da. Cada proveedor recibe una señal inequívoca de intención, y no una simple ausencia de objeción. Las ediciones futuras son más seguras: un Disallow añadido para un agente no puede aplicarse en silencio a agentes en los que nadie pensó. Y el archivo nos sirve también de lista de revisión: cuando un proveedor lanza un agente nuevo, como hicieron OpenAI y Anthropic en los últimos dos años, la ausencia se ve en el propio archivo y en nuestros registros de rastreo.

El montaje completo de GEO (Generative Engine Optimization) en este sitio se explica en nuestra guía sobre cómo lo aplicamos nosotros. Un editor con un archivo de pago podría elegir, en cambio, la configuración 2 o la 3. Elija la que elija, revise el archivo cada trimestre: OpenAI añadió OAI-SearchBot en 2024, Anthropic añadió Claude-SearchBot en 2025 y, para 2026, Amazon ya había dividido su rastreo en tres agentes. Una política escrita en 2024 puede no cubrir ya a los rastreadores que importan.