GPTBot und KI-Crawler blockieren oder erlauben

Von Jakob Sommer, aktualisiert am 27.09.2026

Trainings-Crawler, Such-Crawler und Abrufe auf Nutzeranfrage

Hinter dem Sammelbegriff „KI-Crawler“ stecken drei Arten von Bots mit verschiedener Wirkung. Wer sie verwechselt, trifft die falsche Entscheidung:

• Trainings-Crawler sammeln Texte, aus denen künftige Modellversionen lernen. Sperrst du sie, bleiben deine Inhalte aus den Trainingsdaten. Auf deine heutige Sichtbarkeit hat das fast keinen Einfluss.
• Such-Crawler bauen einen eigenen Suchindex auf, aus dem die KI ihre Quellen zieht. Sperrst du sie, wirst du in KI-Antworten nicht mehr zitiert und verlinkt.
• Abrufe auf Nutzeranfrage entstehen, wenn jemand im Chat eine Adresse nennt oder die KI während einer Antwort eine Seite öffnet. Diese Bots crawlen nicht selbstständig. Mehrere Anbieter schreiben deshalb, dass die robots.txt für sie nicht oder nur eingeschränkt gilt.

Das hab ich bei etlichen Websites gesehen: eine pauschale Sperre gegen alles, was nach KI aussieht, und damit auch gegen genau die Bots, die für Nennungen sorgen. Der Schutz greift dabei kaum, und die Website bezahlt dafür mit ihrer Sichtbarkeit. Wie Crawler, Index und Antwort in der GEO-Optimierung zusammenhängen, steht in der Übersicht des Clusters.

GPTBot, OAI-SearchBot und ChatGPT-User im Vergleich

OpenAI betreibt drei Bots, die für Website-Betreiber zählen. Die Angaben stammen aus der Crawler-Dokumentation von OpenAI mit Stand September 2026. Jeder Bot wird in der robots.txt getrennt behandelt, sodass du Training und Suche unabhängig voneinander steuern kannst.

Drei Details aus der Dokumentation fehlen in den meisten Anleitungen. Erstens braucht OpenAI laut eigener Angabe rund 24 Stunden, bis eine geänderte robots.txt in der Suche wirkt. Zweitens nutzt OpenAI das Ergebnis eines einzigen Abrufs für beide Zwecke, wenn du GPTBot und OAI-SearchBot erlaubst. Drittens gibt es mit OAI-AdsBot einen vierten Bot, der nur Zielseiten von Anzeigen in ChatGPT prüft und laut OpenAI nichts fürs Training sammelt.

Diese KI-Crawler sind außerdem im Umlauf

Ein Missverständnis lohnt eigene Aufmerksamkeit: Google-Extended ist ein reiner Trainings-Schalter für Gemini und hat mit der Google-Suche nichts zu tun. Deine Position in den normalen Treffern und deine Chance auf einen Platz in den AI Overviews hängen weiterhin allein am Googlebot. Wer in den KI-Übersichten nicht auftauchen möchte, kommt über Google-Extended also nicht ans Ziel. Dafür gibt es Stand September 2026 eine eigene Einstellung in der Search Console unter Einstellungen → Generative KI in der Google Suche. Voreingestellt ist dort, dass deine Inhalte berücksichtigt werden.

GPTBot per robots.txt blockieren: drei Konfigurationen

Variante 1 erlaubt alles und ist der Normalfall

Für Handwerk, Praxen, Kanzleien, Dienstleister, lokale Betriebe und die meisten Shops ist die Antwort einfach. Deine Website lebt davon, gefunden und weiterempfohlen zu werden, und die Seiten, die du sperren würdest, sind ohnehin öffentlich lesbar.

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://deine-domain.de/sitemap.xml

Variante 2 sperrt das Training und erlaubt die Suche

Diese Variante passt für Verlage, Fachmedien, Autorinnen und Autoren sowie Kursanbieter, also überall dort, wo der Text selbst das Produkt ist. Du bleibst zitierfähig und verlinkt, ohne dass deine Inhalte in die Trainingsdaten wandern.

# Training: nein
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# Live-Suche: ja
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

So macht es der Spiegel, mit einer zusätzlichen Feinheit: Der Such-Crawler bekommt nur einzelne Ressorts frei. Stand September 2026 sind es acht, von Ausland bis Tests.

Variante 3 sperrt alles

Diese Variante ist nur sinnvoll, wenn die Inhalte ohnehin hinter einer Bezahlschranke liegen. Für eine öffentlich erreichbare Firmen-Website ist sie die ungünstigste Wahl. Du verschwindest aus KI-Antworten und bekommst dafür nichts zurück.

GPTBot auf Serverebene sperren

Die robots.txt formuliert eine Bitte. Seriöse Betreiber halten sich daran. Scraper mit gefälschtem Namen und Abrufe auf Nutzeranfrage beachten sie nicht zuverlässig. Wer einen Bot sicher fernhalten will, weist ihn am Webserver oder am vorgeschalteten Dienst ab. Der Server antwortet dann mit dem Statuscode 403.

Eine Regel gilt für alle drei Wege: Nimm die robots.txt selbst von der Sperre aus. Anthropic schreibt in seiner Crawler-Dokumentation, dass IP-Sperren den Opt-out nicht dauerhaft sichern, weil der Bot dann die robots.txt nicht mehr lesen kann. Ein gesperrter Crawler, der deine Datei nie sieht, kennt auch deinen Widerspruch nicht.

Ich würde die Serversperre nur für Trainings-Crawler und auffällige Scraper einsetzen. Für Such-Crawler reicht die robots.txt, und ein Tippfehler in einer Serverregel sperrt schnell mehr aus als geplant.

Apache mit .htaccess

Bei den meisten Shared-Hostern läuft Apache. Die Regel kommt in die .htaccess im Hauptverzeichnis, bei WordPress oberhalb des Blocks # BEGIN WordPress:

# KI-Trainings-Crawler abweisen, robots.txt bleibt lesbar
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} !^/robots\.txt$
RewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider|Meta-ExternalAgent) [NC]
RewriteRule ^ - [F,L]
</IfModule>

Das Kürzel [F] liefert den Status 403, und [NC] ignoriert die Groß- und Kleinschreibung. Willst du auch ChatGPT-User abweisen, ergänzt du den Namen in der Klammer.

nginx

In nginx gehört die Liste in eine map im http-Block, etwa in einer eigenen Datei unter /etc/nginx/conf.d/. Die Prüfung steht im server-Block der Website:

# im http-Block
map $http_user_agent $ki_bot {
    default 0;
    ~*(gptbot|claudebot|ccbot|bytespider|meta-externalagent) 1;
}

# im server-Block
set $ki_sperre $ki_bot;
if ($uri = /robots.txt) { set $ki_sperre 0; }
if ($ki_sperre) { return 403; }

Danach prüfst du die Konfiguration mit nginx -t und lädst sie mit systemctl reload nginx neu. Ohne Root-Zugang auf dem Server bleibt dieser Weg verschlossen. Dann hilft nur der Hoster oder ein vorgeschalteter Dienst.

Cloudflare

Liegt deine Domain hinter Cloudflare, hast du Stand September 2026 drei Stellen zur Auswahl. Die Angaben stammen aus der Cloudflare-Dokumentation zu KI-Bots.

1. 01Die KI-Bot-Richtlinien unter Security → Settings teilen Bots in Search, Agent und Training ein. Je Gruppe wählst du „Block“, „Block on pages with ads“ oder „Allow“. Hier sitzt auch der ältere Schalter „Block AI bots“.
2. 02AI Crawl Control zeigt jeden erkannten KI-Crawler mit Anfragen und Verstößen gegen die robots.txt. Je Crawler stellst du „Allow“ oder „Block“ ein, und Cloudflare legt dafür eine WAF-Regel an.
3. 03Eine eigene WAF-Regel unter Security → Security rules deckt Sonderfälle ab. Der folgende Ausdruck mit der Aktion „Block“ sperrt GPTBot und lässt die robots.txt durch.

(lower(http.user_agent) contains "gptbot")
and not (http.request.uri.path eq "/robots.txt")

Seit dem 15. September 2026 setzt Cloudflare bei neu angelegten Domains strengere Voreinstellungen. Trainings- und Agenten-Bots werden auf Seiten mit Werbung gesperrt, während Such-Crawler erlaubt bleiben. Bots, die Suche und Training mischen, fallen unter jede Trainings-Sperre, auch unter den alten Schalter. Prüf deshalb nach einem Umzug zu Cloudflare, ob die Voreinstellung zu deiner Entscheidung aus der robots.txt passt.

Zur Rechtslage gehört ein eigenes Wort

In Deutschland erlaubt § 44b UrhG das Text- und Data-Mining, es sei denn, der Rechteinhaber widerspricht in maschinenlesbarer Form. Ein Hinweis im Impressum genügt dafür nicht. Die robots.txt gilt als anerkannter Weg, diesen Vorbehalt zu erklären. Wer aus rechtlichen Gründen sperren möchte, sollte das also dort tun und nicht allein in den Nutzungsbedingungen. Umgekehrt gilt: Ohne Eintrag in der robots.txt hast du dem Mining nicht widersprochen.

Das ist eine Einordnung und keine Rechtsberatung. Die Regeln unterscheiden sich je nach Land, und die Einschätzung liegt beim Betreiber der Website. Bei schutzwürdigen Inhalten wie Fachpublikationen, Bilddatenbanken oder Kursmaterial lohnt der Blick einer Anwältin oder eines Anwalts für Urheberrecht.

So prüfst du, ob die Sperre greift

Viele Websites blockieren KI-Crawler, ohne dass jemand das je entschieden hätte. Die Ursachen sind pauschale Disallow: /-Regeln aus der Entwicklungsphase, alte Agentur-Vorlagen oder Sicherheits-Plugins, die „aggressive Bots“ automatisch aussperren. Nach einem Relaunch, einem Serverumzug oder einem neuen Sicherheits-Plugin lohnt deshalb jedes Mal ein Blick. Drei Wege führen zu einer klaren Antwort.

1. Direkt hinsehen. Ruf deine-domain.de/robots.txt im Browser auf und such nach den Namen aus den Tabellen oben. Steht dort nichts dazu, gilt die Regel unter User-agent: *.

2. Vom Server bestätigen lassen. Ein Abruf mit gesetztem User-Agent zeigt, was der Bot zu sehen bekommt:

curl -I -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" https://deine-domain.de/

Kommt HTTP/2 200 zurück, ist der Weg frei. Kommt 403, stammt die Sperre von deiner Serverregel, einer Firewall oder einem Plugin. Genau diesen Fall deckt ein Blick in die Datei nicht auf.

3. Das Zugriffsprotokoll lesen. Bei vielen Hostern liegt es unter logs/access.log. Diese Zeile zählt je Bot, mit welchem Statuscode der Server geantwortet hat:

grep -Ei "gptbot|oai-searchbot|chatgpt-user" ~/logs/access.log \
  | awk '{print $9}' | sort | uniq -c

Die Spalte 9 enthält im üblichen Protokollformat den Statuscode. Stehen bei GPTBot nur noch 403-Zeilen, greift deine Sperre. Taucht ein erlaubter Such-Crawler über Wochen nie auf, kennt der Dienst deine Seite noch nicht. Das Problem liegt dann bei der fehlenden Präsenz in den Quellen.

Nicht jeder Eintrag mit dem Namen GPTBot stammt von OpenAI. Ein gefälschter User-Agent ist schnell gesetzt. Ob die IP-Adresse echt ist, zeigt ein Abgleich mit der Liste unter openai.com/gptbot.json.

Bei Managed-Hosting und Baukästen kommst du an das Zugriffsprotokoll oft nicht heran. Für WordPress gibt es dafür unser eigenes Plugin, mit dem du KI-Crawler in WordPress messen kannst. Es zeichnet 42 Crawler-Signaturen auf und prüft jeden Zugriff gegen 1.865 veröffentlichte IP-Präfixe der Betreiber (Stand August 2026). Beim Bau haben wir eine Grenze gefunden, die für jeden PHP-seitigen Zähler gilt: Antwortet ein Full-Page-Cache, läuft kein PHP, und der Zugriff bleibt ungezählt. Das Plugin meldet diesen Fall und weist die Zahlen dann als Untergrenze aus.

Vier Fehler kommen besonders häufig vor

• Ein Disallow: / aus der Entwicklungsphase bleibt oft stehen. Die Regel, mit der die Baustelle vor Google versteckt wurde, überlebt den Livegang. Sie sperrt alles aus, auch die KI.
• Die Serversperre erfasst auch die robots.txt. Dann sieht der Crawler deinen Widerspruch nie. Die Beispiele oben nehmen die Datei deshalb ausdrücklich aus.
• Die Groß- und Kleinschreibung wird unterschätzt. User-Agent-Namen wertet ein Crawler unabhängig davon aus. Bei Pfaden zählt sie dagegen: /Preise/ und /preise/ sind zwei verschiedene Regeln.
• Die robots.txt wird mit noindex verwechselt. Die robots.txt regelt das Crawlen. Über die Indexierung entscheidet sie nicht. Eine per robots.txt gesperrte Seite kann trotzdem gelistet werden. Soll eine Seite gar nicht auftauchen, gehört das in ein noindex-Meta-Tag.

Nach der Freigabe kommt der Inhalt

Die robots.txt entscheidet nur darüber, ob die Tür offen steht. Steht sie offen, lohnt der nächste Schritt: eine llms.txt, die den eingelassenen Crawlern zeigt, welche Seiten die wichtigen sind. Welche Punkte danach folgen, von der Entität bis zu zitierfähigen Absätzen, bündelt die Checkliste Website für KI optimieren.

Ob die vier wichtigsten Bots bei dir laut robots.txt durchkommen, kannst du im Check unter KI-Sichtbarkeit prüfen nachsehen. Er liest die robots.txt für GPTBot, OAI-SearchBot, PerplexityBot und ClaudeBot aus. Eine Sperre in Firewall oder Serverregel erkennt er nicht. Dafür ist der curl-Test oben da.

Rankings hängen von Faktoren ab, die sich einzeln nicht garantieren lassen. Dieser Beitrag beschreibt ein Vorgehen und sichert keine Ergebnisse zu.

Häufige Fragen

Wie kann ich ChatGPT blockieren?

Sperr in der robots.txt GPTBot für das Training und OAI-SearchBot für die Suche in ChatGPT, jeweils mit Disallow: /. Beide Regeln wirken laut OpenAI nach etwa 24 Stunden. Der Bot ChatGPT-User ruft Seiten auf Nutzeranfrage ab und beachtet die robots.txt möglicherweise nicht. Ihn hältst du nur mit einer Serverregel in Apache, nginx oder Cloudflare fern. Deine Adresse kann trotzdem als reiner Navigationslink erscheinen.

Schadet es meinem Google-Ranking, wenn ich GPTBot blockiere?

Nein, eine Sperre für GPTBot hat keinen Einfluss auf Google. Die Google-Suche und die AI Overviews hängen allein am Googlebot, und den betrifft die Regel nicht. Auch Google-Extended steuert nur das Training von Gemini. Vorsicht gilt bei pauschalen Serversperren gegen alle Bots, weil eine zu breite Regel auch den Googlebot treffen kann.

Wie schnell wirkt eine Änderung an der robots.txt?

Die meisten Crawler lesen die Datei im Abstand von Stunden bis wenigen Tagen neu, und OpenAI nennt für die ChatGPT-Suche rund 24 Stunden. Eine Freigabe führt aber nicht dazu, dass ein Bot sofort vorbeikommt. Bis eine bislang gesperrte Website erfasst und in Antworten berücksichtigt wird, vergehen erfahrungsgemäß Wochen. Die Sperre einer Serverregel greift dagegen ab der nächsten Anfrage.

Kann ich eine Sperre rückgängig machen?

Für die Live-Suche geht das jederzeit. Beim Training geht es nicht, denn was bereits in einem Datensatz gelandet ist, lässt sich nicht zurückholen. Ein trainiertes Modell vergisst nichts, weil du später eine Zeile in der robots.txt änderst. Die Entscheidung über Trainings-Crawler wirkt deshalb nur für künftige Abrufe. Die Entscheidung über Such-Crawler kannst du jederzeit zurücknehmen.

Gibt es Crawler, die sich nicht an die robots.txt halten?

Ja. Die Datei formuliert eine Bitte und ist keine technische Sperre. Seriöse Anbieter halten sich an sie. Unseriöse Scraper und viele Abrufe auf Nutzeranfrage ignorieren sie. Wer den Abruf sicher verhindern will, braucht eine Sperre auf Serverebene: eine Regel in .htaccess oder nginx, eine WAF-Regel bei Cloudflare, IP-Sperren oder einen Passwortschutz.