Wie richtet man robots.txt für KI-Crawler ein?

„Soll ich KI-Bots blockieren?“ hat keine Antwort, weil es nicht eine Frage ist. Jedes große KI-Unternehmen betreibt separate Crawler für separate Aufgaben: Trainings-Crawler füttern die Modellkorpora, Suchindex-Crawler füttern die Antworten, die Sie zitieren, und nutzerinitiierte Fetcher lesen eine Seite, weil eine Person den Assistenten gerade danach gefragt hat. Blockieren Sie alle mit einer einzigen Zeile, haben Sie keine Haltung zum KI-Training eingenommen — Sie haben sich aus den KI-Antworten entfernt.

Die Kosten sind asymmetrisch. Einen Trainings-Crawler zu blockieren ist eine philosophische Entscheidung, in den meisten Fällen ohne Preis bei der Sichtbarkeit: Google und Apple dokumentieren das explizit, und für OpenAI und Anthropic folgt es aus der Bot-Trennung — die Suche läuft auf separaten Agents mit separat dokumentierten Konsequenzen. Einen Such- oder Nutzerabruf-Agent zu blockieren hat einen direkten, dokumentierten Preis — OpenAI etwa erklärt, dass Websites, die OAI-SearchBot aussperren, „nicht in den Suchantworten von ChatGPT angezeigt werden“. Die Mechanik pro Engine behandeln unsere Leitfäden dazu, wie man von ChatGPT, Claude und Perplexity zitiert wird; diese Seite ist die vollständige Karte.

Zwei Zahlen rahmen den Handel. Cloudflare hat gemessen, wie viele Seiten KI-Unternehmen crawlen für jeden Besuch, den sie im Gegenzug zurückschicken: Laut Cloudflare-Radar-Daten für Juni 2025 waren es rund 1.700 Crawls pro Verweis bei OpenAI und etwa 70.900 bei Anthropic. Die Verhältnisse sinken seither — Cloudflares AI-Insights-Dashboard verfolgt sie live —, aber die Form des Deals ist klar: Sie tauschen intensives Crawling gegen Zitate. Die Tabelle unten ist das Werkzeug, mit dem Sie die Bedingungen festlegen.

Jede Zeile unten ist gegen die Dokumentation des jeweiligen Betreibers geprüft, Stand August 2026. „Token“ bedeutet: Der Name funktioniert nur als robots.txt-Gruppe — einen eigenen Crawler mit diesem User-Agent gibt es nicht.

Die Tabelle übersetzt sich in drei praktikable Politiken.

Konfiguration 1 — Sichtbarkeit zuerst. Alles erlauben, und zwar explizit: eine eigene Allow-Gruppe für jeden dokumentierten Bot aus der Tabelle (alle außer Bytespider — ein Allow für einen Bot, der die Datei ignoriert, ist Rauschen), plus eine Catch-all-Regel. Richtig für Websites, die davon leben, gefunden und zitiert zu werden — Content-Geschäfte, Agenturen, die meisten B2B-Anbieter. Genau so betreiben wir unsere eigene Datei; siehe „Wie wir es selbst handhaben“ unten.

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

…und so weiter für jeden Agent aus der Tabelle. Unsere Produktionsdatei unter get-geo.ai/robots.txt ist die Vollversion.

Konfiguration 2 — kein Training. Die häufigste bewusste Entscheidung: draußen aus den Modellkorpora, drin in den Antworten. Sperren Sie die Trainings-Crawler und -Tokens, erlauben Sie den Rest. Zwei Vorbehalte vor dem Einfügen: Die Bytespider-Zeile ist deklarativ (der nächste Abschnitt erklärt warum), und Meta-ExternalAgent zu streichen ist der eine Trainings-Opt-out mit einem Sichtbarkeitspreis — er entfernt Sie zugleich aus Metas Index:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: *
Allow: /

Konfiguration 3 — Komplettsperre. Legitim für Paywall- oder proprietäre Inhalte. Robots.txt erlaubt mehreren User-agent-Zeilen, sich einen Regelblock zu teilen, das Ganze bleibt also kompakt — Applebot lassen wir hier draußen, weil seine Blockierung Sie auch aus der Siri- und Spotlight-Suche entfernt, und das ist eine größere Entscheidung als KI-Antworten:

User-agent: GPTBot

User-agent: OAI-SearchBot

User-agent: ChatGPT-User

User-agent: ClaudeBot

User-agent: Claude-SearchBot

User-agent: Claude-User

User-agent: PerplexityBot

User-agent: Perplexity-User

User-agent: Google-Extended

User-agent: Applebot-Extended

User-agent: Meta-ExternalAgent

User-agent: Meta-ExternalFetcher

User-agent: CCBot

User-agent: Amazonbot

User-agent: Amzn-SearchBot

User-agent: Amzn-User

User-agent: DuckAssistBot

User-agent: Bytespider
Disallow: /

Lesen Sie den nächsten Abschnitt, bevor Sie das ausliefern: Für mehrere der Agents oben ist die Datei eine Bitte, keine Barriere.

Robots.txt ist eine veröffentlichte Richtlinie, kein Durchsetzungsmechanismus — und für eine ganze Klasse von Agents sagen die Anbieter das selbst. OpenAI über ChatGPT-User: „Da diese Aktionen von einem Nutzer initiiert werden, gelten die robots.txt-Regeln möglicherweise nicht.“ Meta über Meta-ExternalFetcher: Er „kann robots.txt umgehen, weil er Abrufe ausführt, die vom Nutzer angefordert wurden“. Perplexitys Nutzer-Fetcher „ignoriert robots.txt-Regeln in der Regel“. Amazon über Amzn-User: Er „befolgt möglicherweise nicht alle robots.txt-Direktiven“. Die Logik ist konsistent: Ein Mensch hat gefragt, also wird der Abruf als Besuch des Menschen behandelt, nicht als Crawl.

Und dann ist da Bytespider, der überhaupt keine Dokumentation hat und die Datei in gemessener Praxis ignoriert: Cloudflare stellte fest, dass er mehr geschützte Websites ansteuert als jeder andere KI-Crawler (40,4 % Mitte 2024), und HAProxy maß ihn bei fast 90 % des eigenen KI-Crawler-Traffics — mit dem Hinweis, dass er robots.txt-Anweisungen ignoriert.

Die Durchsetzung liegt also eine Ebene tiefer. Verifizieren Sie Crawler gegen die IP-Listen, die die meisten Anbieter veröffentlichen — OpenAI, Anthropic, Apple, Common Crawl und DuckDuckGo pflegen JSON-Listen, Amazon veröffentlicht seine Bereiche auf seiner Entwicklerseite — und blockieren Sie auf CDN- oder WAF-Ebene, was Sie wirklich stoppen wollen. Die Verifizierung zählt mehr, als es scheint: HUMAN Security hat gemessen, dass eine von 18 Anfragen mit dem User-Agent eines bekannten KI-Crawlers gefälscht ist.

Unsere eigene robots.txt ist die Sichtbarkeit-zuerst-Konfiguration: neunzehn explizite Allow-Gruppen pro Agent — jeder Agent aus der Tabelle, der die Datei respektiert, die Nutzer-Fetcher, die wir ohnehin willkommen heißen, und der klassische Bingbot — gefolgt von einem Catch-all-Allow. Wir haben die Datei im August 2026 in diese Form gebracht und dabei die veraltete anthropic-ai-Gruppe entfernt — und beim Faktencheck für diesen Leitfaden auch eine spekulative cohere-ai-Gruppe: Coheres eigene Dokumentation erklärt, dass das Unternehmen derzeit keine Crawler betreibt.

Der naheliegende Einwand: Ein einzeiliges „User-agent: * / Allow: /“ würde identisches Crawler-Verhalten erzeugen. Stimmt. Aber die expliziten Gruppen kaufen drei Dinge, die der Einzeiler nicht bietet. Jeder Anbieter bekommt ein unmissverständliches Signal der Absicht statt einer bloßen Abwesenheit von Widerspruch. Künftige Änderungen sind sicherer — ein Disallow, das für einen Agent ergänzt wird, kann nicht stillschweigend für Agents gelten, an die niemand gedacht hat. Und die Datei dient zugleich als unsere Prüfliste: Wenn ein Anbieter einen neuen Agent ausliefert, wie es OpenAI und Anthropic beide in den letzten zwei Jahren getan haben, ist die Lücke in der Datei selbst und in unseren Crawl-Logs sichtbar.

Die Datei ist ein Baustein des Setups, das wir in unserem Leitfaden darüber dokumentieren, wie wir GEO auf unserer eigenen Website betreiben. Das ist die Politik einer Website, die von KI-Zitaten lebt. Ein Verlag mit Paywall-Archiven würde vernünftigerweise Konfiguration 2 oder 3 fahren — der Punkt dieses Leitfadens ist nicht unsere Antwort, sondern die Tabelle, mit der Sie Ihre eigene wählen. Welche Konfiguration Sie auch nehmen: Setzen Sie eine vierteljährliche Überprüfung in den Kalender. Die Besetzung ändert sich laufend — OpenAI ergänzte OAI-SearchBot 2024, Anthropic ergänzte Claude-SearchBot 2025, Amazon teilte sein Crawling bis 2026 in drei Agents auf — und eine robots.txt von 2024 liegt bei den heutigen Crawlern bereits falsch.