Wissen · GEO — das Handwerk

KI-Crawler erlauben oder blockieren? GPTBot, PerplexityBot & Co.

Kurzantwort

Wer in KI-Antworten empfohlen werden will, muss die relevanten KI-Crawler zulassen: GPTBot und OAI-SearchBot (OpenAI/ChatGPT), PerplexityBot, ClaudeBot (Anthropic) und Google-Extended. Blockieren schützt Inhalte vor KI-Training — macht dich aber in KI-Suche und -Empfehlungen unsichtbar.

Die wichtigsten KI-Crawler im Überblick

  • GPTBot — OpenAI, sammelt Trainingsdaten für GPT-Modelle.
  • OAI-SearchBot — OpenAI, speist die ChatGPT-Websuche (wichtig für Empfehlungen!).
  • PerplexityBot — Perplexity AI, Grundlage der Antwort-Quellen.
  • ClaudeBot — Anthropic (Claude).
  • Google-Extended — Steuerung, ob Google-KI (Gemini) mit deinen Inhalten trainiert; wirkt nicht auf die normale Suche.

Wichtig: Trainings-Crawler (GPTBot, Google-Extended) und Such-Crawler (OAI-SearchBot, PerplexityBot) sind verschiedene Dinge. Wer nur Training blockieren will, kann Suche weiter erlauben — genau dafür lohnt der differenzierte Blick.

Unsere Empfehlung für Unternehmens-Websites

Für die allermeisten Firmen-Websites gilt: erlauben. Deine Seite lebt davon, gefunden und empfohlen zu werden — der „Schutz“ durch Blockieren kostet Sichtbarkeit und schützt praktisch nichts, was öffentlich ohnehin lesbar ist. So sieht eine bewusst freigebende robots.txt aus:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

Sitemap: https://deine-domain.de/sitemap.xml

Blockieren ist legitim für Verlage und Content-Geschäftsmodelle, die ihre Texte nicht in Trainingsdaten sehen wollen — dann gezielt nur die Trainings-Bots sperren:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Prüfen, was aktuell gilt

Viele Websites blockieren KI-Crawler, ohne es zu wissen — durch pauschale Disallow: /-Regeln, alte Agentur-Templates oder Sicherheits-Plugins. Ein Blick in deine-domain.de/robots.txt schafft Klarheit; unser Check testet die vier wichtigsten Bots automatisch.

Blockierst du gerade aus Versehen die KI? Finde es in 30 Sekunden heraus.

robots.txt prüfen →
h·e
Redaktion html-einfach.de

Webwissen seit 2005. seo-copilot.de ist unser Partnerprojekt für neutrale KI-Sichtbarkeitsmessung — die Methodik ist offen einsehbar.