Das Wichtigste in Kürze

  • Was es misst: welche KI-Crawler welche deiner Seiten abrufen, wie oft, und wie viele davon gegen die veröffentlichten IP-Bereiche der Betreiber verifiziert sind.
  • Was es zusätzlich zählt: Besucher, die aus einer KI-Antwort auf deine Seite klicken, und zwar ohne Cookie, ohne gespeicherte IP-Adresse und auch bei aktivem Seiten-Cache.
  • Was es steuert: eine erzeugte llms.txt und die robots.txt-Regeln je Crawler, getrennt nach Zweck (Training, KI-Suche, Abruf auf Nutzeranfrage).
  • Wo die Daten liegen: ausschließlich in der Datenbank deiner WordPress-Installation. Das Plugin braucht weder Konto noch Cloud-Dienst und sendet keine Telemetrie.
  • Was es kostet: nichts. Es steht unter GPL v2, und eine Pro-Version mit zurückgehaltenen Funktionen gibt es nicht.
  • Stand August 2026: 42 Crawler-Signaturen, davon 40 mit eigener Kennung, plus 1.865 IP-Präfixe von fünf Betreibern. Version 1.4.7, geprüft mit WordPress 7.0 und PHP 8.5.

Eigenschaften der verschiedenen Crawler

Eine Liste von Crawler-Namen hilft niemandem. Deshalb bekommt jeder Crawler eine eigene Kurve und ein paar Sätze dazu, was ihn von den anderen unterscheidet und welche Entscheidung dranhängt, wenn du ihn blockierst.

Aufgeklappte Einträge für GPTBot und OAI-SearchBot mit je einer Zugriffskurve über 30 Tage und einem erklärenden Absatz
Die Crawler-Seite: je Crawler ein aufklappbares Diagramm, darunter eine kurze Einordnung und der Anteil verifizierter Zugriffe.

Der Unterschied ist keine Feinheit. GPTBot sammelt Text fürs Modelltraining, und ihn zu blockieren hält deine Texte aus künftigen GPT-Versionen heraus. Ob ChatGPT dich zitieren kann, ändert das nicht: dafür sind OAI-SearchBot und ChatGPT-User zuständig. Wer alle drei über einen Kamm schert, verschwindet aus den Antworten, ohne es zu wollen. Ausführlich steht das im Artikel KI-Crawler erlauben oder blockieren.

Welche Kennungen es gibt und was sie tun, dokumentieren die Betreiber selbst: OpenAI, Anthropic und Google führen öffentliche Listen. Das Plugin hält seine Signaturen über ein signiertes wöchentliches Update aktuell.

Sehen, welche Seiten gecrawlt werden

Interessanter als die Gesamtzahl ist meist, was gelesen wird: ob die Crawler auf deinen Ratgebertexten sitzen oder auf der Kontaktseite. Die Inhaltsansicht zeigt jede Adresse mit Zugriffen, verifizierten Treffern und gefälschten Kennungen, filterbar nach Crawler und Zweck, exportierbar als CSV.

Tabelle mit vier Seitenpfaden, Spalten für Zugriffe, Verifiziert und Gefälscht, darunter der Knopf für den CSV-Export
Die Inhaltsansicht mit Pfaden, Zugriffen, verifizierten und gefälschten Treffern.

Besucher aus KI-Antworten

Crawler-Zugriffe sind die eine Hälfte. Die andere sind Menschen, die in ChatGPT, Perplexity, Gemini oder Copilot eine Antwort lesen und dann auf deine Seite klicken. Ein kleines Skript meldet dabei nur den verweisenden Dienst und die Zielseite. Es setzt kein Cookie, nutzt keinen lokalen Speicher und erfasst weder IP-Adresse noch Fingerabdruck.

Kurve der Besuche über 30 Tage, darunter Balken für ChatGPT, Perplexity, Google AI Studio und Microsoft Copilot
Besucher aus KI-Antworten: Verlauf, Quellen und Einstiegsseiten.

Weil die Zählung im Browser passiert, funktioniert sie auch dann, wenn ein Full-Page-Cache die Seite ausliefert. Wie du in diesen Antworten auftauchst, behandeln wir getrennt für ChatGPT und Perplexity.

llms.txt und robots.txt für Wordpress automatisch generieren

Die robots.txt-Seite gruppiert alle bekannten Crawler nach Zweck und bietet vier Voreinstellungen an, von „keine Änderungen" bis „alle blockieren". Ausnahmen je Crawler haben Vorrang. Liegt eine echte robots.txt im Stammverzeichnis, warnt das Plugin, statt still nichts zu tun.

Auswahl von fünf Voreinstellungen, darunter eine Tabelle mit Crawler, Zweck und Regel-Auswahlfeld
robots.txt-Verwaltung mit Voreinstellungen und einer Regel je Crawler.

Dazu erzeugt das Plugin auf Wunsch eine llms.txt, automatisch aus deinen Inhalten oder von Hand kuratiert, und warnt, falls ein anderes Plugin bereits eine ausliefert.

Einstellungen für Modus, Inhaltstypen und Einleitungstext, darunter die erzeugte Datei als Vorschau
Der llms.txt-Generator mit Vorschau der aktuellen Ausgabe.

Eine nüchterne Einschätzung dazu: Wir halten llms.txt für überschätzt. Es handelt sich um eine Konvention und nicht um einen Standard, und Stand August 2026 dokumentiert keiner der großen Betreiber, dass er die Datei liest. Sie kostet nichts und ist nebenbei ein brauchbares Inhaltsverzeichnis der eigenen Website. Google schreibt in seinem Leitfaden zu generativen KI-Funktionen (Stand September 2026) ausdrücklich, dass die Google Suche die Datei nicht nutzt. Mehr sollte man sich davon nicht versprechen. Was stattdessen hilft, zeigt die Checkliste Website für KI optimieren, und die Einzelheiten stehen in llms.txt erstellen und in strukturierte Daten für KI.

Cache-Blindheit: warum PHP-Zähler zu wenig messen

Der unangenehmste Befund beim Bauen war die Cache-Blindheit. Jeder Crawler-Zähler, der in PHP hängt, misst zu wenig, sobald ein Full-Page-Cache die Anfragen beantwortet, und das ist auf den meisten gepflegten WordPress-Installationen der Fall. Der Cache liefert die fertige Seite aus, bevor WordPress startet. Kein Plugin bekommt diesen Zugriff mit, auch dieses nicht.

Das gilt für jedes Werkzeug, das Crawler innerhalb von WordPress zählt, und in den Produktbeschreibungen der Mitbewerber haben wir dazu keinen Hinweis gefunden. Wir haben lange nach einem Weg drumherum gesucht und keinen gefunden, der ohne Serverzugriff auskommt. Also sagt es das Plugin offen: Es erkennt WP Rocket, LiteSpeed Cache, W3 Total Cache, Cloudflare und weitere Caches und kennzeichnet die Zahlen dann als Untergrenze. Der Import von Server-Logfiles wäre die saubere Lösung und ist für später vorgesehen. Die Besucher aus KI-Antworten betrifft das nicht, weil sie im Browser gezählt werden.

Wie viel die Messung selbst kostet, haben wir über 1.200 Aufrufe mit und ohne Plugin gemessen: 0,9 Millisekunden Mehraufwand im Mittel und 1,2 Millisekunden im 95. Perzentil. Die 42 Crawler-Signaturen haben wir gegen 219 echte User-Agent-Kennungen geprüft, mit 100 % Trefferquote und ohne Fehlalarm.

Was das Plugin nicht kann

Nicht enthalten sind Positionen in KI-Antworten, Wettbewerbsvergleiche und Zitat-Monitoring. Dafür gibt es den KI-Sichtbarkeits-Check auf dieser Seite, dessen Methodik offenliegt. Die Frage, welche Maßnahmen etwas bringen, beantwortet kein Plugin. Dafür ist der Wissens-Hub da.

Was gespeichert wird

Von Crawler-Zugriffen: Zeitpunkt, Pfad, Statuscode, Verifikationsergebnis und ein gekürztes IP-Präfix. Vollständige IP-Adressen landen nie in der Datenbank. Von Besuchern aus KI-Antworten: der Name des verweisenden Dienstes und die Zielseite, sonst nichts.

Formular mit Schaltern für Crawler-Erfassung, Reverse-DNS-Prüfung, Aufbewahrungsdauer und Wochenbericht
Die Einstellungen: Datenerfassung, Berichte, Benachrichtigungen und Updates.

Einzelne Zugriffe werden nach einer einstellbaren Frist gelöscht (Voreinstellung 90 Tage), die anonymen Tagessummen bleiben. Beim Deinstallieren verschwinden Tabellen, Optionen und geplante Aufgaben rückstandslos, sofern du nichts anderes einstellst.

Welche Datenschutzregeln für dich gelten, hängt vom Land ab, und das Plugin sagt das auch in seinen eigenen Einstellungen. Textbausteine für die Datenschutzerklärung bringt es mit, die Einschätzung bleibt bei dir. Wie wir es auf dieser Website halten, steht in unserer Datenschutzerklärung.