KI-Crawler erlauben oder blockieren? GPTBot, PerplexityBot & Co.

Trainings-Crawler und Such-Crawler

Es gibt nicht „die KI-Crawler“. Es gibt zwei Arten mit gegensätzlicher Wirkung, und wer sie verwechselt, trifft die falsche Entscheidung:

• Trainings-Crawler sammeln Texte, aus denen künftige Modellversionen lernen. Sperrst du sie, bleiben deine Inhalte aus den Trainingsdaten. Auf deine heutige Sichtbarkeit hat das fast keinen Einfluss.
• Such-Crawler holen Seiten in dem Moment, in dem jemand eine Frage stellt, und liefern die Grundlage für die Antwort samt Quellenlink. Sperrst du sie, wirst du in KI-Antworten nicht mehr zitiert.

Das hab ich schon bei etlichen Websites gesehen: eine pauschale Sperre gegen alles, was nach KI aussieht — und damit auch gegen genau die Bots, die für Nennungen sorgen. Der Schutz greift kaum, der Preis ist die Sichtbarkeit.

Die Crawler im Überblick

Ein Missverständnis lohnt eigene Aufmerksamkeit: Google-Extended steuert nicht die Google-Suche. Es ist ein reiner Trainings-Schalter für Gemini. Deine Position in den normalen Treffern und deine Chance auf einen Platz in den AI Overviews hängen weiterhin allein am Googlebot. Wer in den KI-Übersichten nicht auftauchen möchte, kommt über Google-Extended also nicht ans Ziel.

Die drei sinnvollen Konfigurationen

Variante 1: alles erlauben — der Normalfall

Für Handwerk, Praxen, Kanzleien, Dienstleister, lokale Betriebe und die meisten Shops ist die Antwort einfach. Deine Website lebt davon, gefunden und weiterempfohlen zu werden. Was du sperren würdest, ist öffentlich ohnehin lesbar.

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://deine-domain.de/sitemap.xml

Variante 2: Training sperren, Suche erlauben

Für Verlage, Fachmedien, Autorinnen und Autoren, Kursanbieter — überall dort, wo der Text selbst das Produkt ist. Du bleibst zitierfähig und verlinkt, deine Inhalte wandern aber nicht in die Trainingsdaten.

# Training: nein
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# Live-Suche: ja
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

So macht es der Spiegel — mit einer zusätzlichen Feinheit: Der Such-Crawler bekommt nicht die ganze Website frei, sondern einzelne Ressorts.

Variante 3: alles sperren

Sinnvoll nur, wenn die Inhalte ohnehin hinter einer Bezahlschranke liegen. Für eine öffentlich erreichbare Firmen-Website ist es die ungünstigste Variante: Du verschwindest aus KI-Antworten, ohne im Gegenzug etwas zu gewinnen.

Ein Wort zur Rechtslage

In Deutschland erlaubt § 44b UrhG das Text- und Data-Mining — es sei denn, der Rechteinhaber widerspricht in maschinenlesbarer Form. Ein Hinweis im Impressum genügt dafür nicht; die robots.txt gilt als anerkannter Weg, diesen Vorbehalt zu erklären. Wer aus rechtlichen Gründen sperren möchte, sollte das also dort tun und nicht nur in den Nutzungsbedingungen. Umgekehrt gilt: Ohne Eintrag in der robots.txt hast du dem Mining nicht widersprochen.

Das ist eine Einordnung, keine Rechtsberatung. Bei schutzwürdigen Inhalten — Fachpublikationen, Bilddatenbanken, Kursmaterial — lohnt der Blick einer Anwältin oder eines Anwalts für Urheberrecht.

Prüfen, was bei dir gerade gilt

Viele Websites blockieren KI-Crawler, ohne dass jemand das je entschieden hätte: durch pauschale Disallow: /-Regeln aus der Entwicklungsphase, durch alte Agentur-Vorlagen oder durch Sicherheits-Plugins, die „aggressive Bots“ automatisch aussperren. Drei Wege, das zu klären:

1. Direkt hinsehen. deine-domain.de/robots.txt im Browser aufrufen und nach den Namen aus der Tabelle oben suchen. Steht dort nichts dazu, gilt die User-agent: *-Regel — bei Allow: / ist alles offen.

2. Vom Server bestätigen lassen. Ein Abruf mit gesetztem User-Agent zeigt, was der Bot tatsächlich zu sehen bekommt:

curl -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
     -I https://deine-domain.de/

Kommt HTTP/2 200 zurück, ist der Weg frei. Kommt 403, sperrt nicht die robots.txt, sondern deine Firewall oder ein Plugin — genau der Fall, den ein reiner Blick in die Datei nicht aufdeckt.

3. Das Zugriffsprotokoll lesen. Unter logs/access.log steht, welche Bots in den letzten Wochen tatsächlich da waren:

grep -Ei "gptbot|perplexitybot|oai-searchbot|claudebot" ~/logs/access.log | tail -30

Taucht PerplexityBot dort über Wochen nie auf, obwohl er erlaubt ist, kennt Perplexity deine Seite schlicht noch nicht — dann liegt das Problem nicht an der Technik, sondern an fehlender Präsenz in den Quellen.

Bei Managed-Hosting und Baukästen kommst du an das Zugriffsprotokoll oft gar nicht heran. Für WordPress gibt es dafür unser eigenes Plugin GEO Copilot Suite: Es zeichnet die Crawler-Zugriffe in der eigenen Datenbank auf und prüft jeden davon zusätzlich gegen die IP-Bereiche, die die Betreiber veröffentlichen — ein gefälschter GPTBot wird also als solcher ausgewiesen. Das Protokoll ersetzt es trotzdem nicht: Antwortet ein Seiten-Cache, läuft kein PHP und der Zugriff bleibt ungezählt.

Die vier häufigsten Fehler

• Disallow: / aus der Entwicklungsphase. Die Regel, mit der die Baustelle vor Google versteckt wurde, steht nach dem Livegang noch drin. Sie sperrt alles aus, auch die KI.
• Sperren ohne Sitemap-Zeile. Wer freigibt, sollte am Ende der Datei auch die Sitemap:-Zeile setzen. Sie kostet nichts und hilft jedem Crawler.
• Groß- und Kleinschreibung. User-Agent-Namen werden zwar unabhängig davon ausgewertet, Pfade aber nicht: /Preise/ und /preise/ sind zwei verschiedene Regeln.
• Auf Blockieren setzen statt auf noindex. Die robots.txt regelt das Crawlen, nicht das Indexieren. Wenn eine Seite gar nicht auftauchen soll, gehört das in ein noindex-Meta-Tag — eine per robots.txt gesperrte Seite kann trotzdem gelistet werden.

Häufige Fragen

Wie schnell wirkt eine Änderung an der robots.txt?

Die Datei wird von den meisten Crawlern im Abstand von Stunden bis wenigen Tagen neu gelesen. Eine Freigabe wirkt also zügig — aber sie führt nicht dazu, dass ein Bot sofort vorbeikommt. Bis eine bislang gesperrte Website tatsächlich erfasst und in Antworten berücksichtigt wird, vergehen erfahrungsgemäß Wochen.

Kann ich eine Sperre rückgängig machen?

Für die Live-Suche ja, sofort. Beim Training nicht: Was bereits in einem Datensatz gelandet ist, lässt sich nicht zurückholen — ein trainiertes Modell vergisst nichts, weil du später eine Zeile in der robots.txt änderst. Die Entscheidung über Trainings-Crawler wirkt also in eine Richtung dauerhaft, die über Such-Crawler nicht.

Belasten KI-Crawler meinen Server spürbar?

Bei normalen Websites kaum. Auffällig werden meist andere Bots — SEO-Werkzeuge und Scraper, die in kurzer Zeit sehr viele Seiten abrufen. Wer im Zugriffsprotokoll auffällige Lastspitzen sieht, sollte den Verursacher benennen können, bevor er pauschal sperrt. Für gezielte Bremsen gibt es die Direktive Crawl-delay, die allerdings nicht von allen Crawlern beachtet wird.

Muss ich das regelmäßig prüfen?

Einmal im Jahr genügt für die Entscheidung selbst. Häufiger prüfen sollte man nach einem Relaunch, einem Serverumzug oder der Installation eines Sicherheits-Plugins — das sind die drei Anlässe, bei denen Sperren unbemerkt zurückkehren.

Gibt es Crawler, die sich nicht an die robots.txt halten?

Ja. Die Datei ist eine Bitte, keine technische Sperre. Seriöse Anbieter halten sich daran, unseriöse Scraper nicht. Wer wirklich verhindern will, dass Inhalte abgerufen werden, braucht eine Zugriffssperre auf Serverebene — Passwortschutz, IP-Sperren oder eine Web Application Firewall.

Freigeben allein reicht nicht

Die robots.txt ist eine Tür, kein Wegweiser. Steht sie offen, lohnt der nächste Schritt: eine llms.txt, die den eingelassenen Crawlern zeigt, welche Seiten die wichtigen sind. Und darüber liegt die eigentliche Arbeit — Entität, Quellenpräsenz und zitierfähige Inhalte, zusammengefasst im 5-Hebel-Guide. Warum diese Reihenfolge und nicht die umgekehrte, begründet GEO vs. SEO.

Unser Check testet die wichtigsten Bots automatisch und meldet auch dann, wenn eine Firewall den Zugriff abfängt, obwohl die robots.txt ihn erlaubt.