Warum KI-Bot-Tracking entscheidend ist
Die meisten Analytics-Tools – Google Analytics, Plausible, Matomo – messen Nutzer-Traffic, indem sie JavaScript im Browser ausführen und Cookies setzen. KI-Crawler tun beides nicht. Sie laden Seiten serverseitig, führen kein JavaScript aus und akzeptieren keine Cookies. Das Ergebnis: In Ihrer Analytics sehen Sie null Besuche von GPTBot oder ClaudeBot – obwohl diese Bots Ihre Seite möglicherweise täglich aufrufen.
Das erzeugt ein gefährliches Informationsvakuum: Sie optimieren für KI-Sichtbarkeit, aber Sie wissen nicht, ob Ihre Maßnahmen ankommen. KI-Bot-Tracking schließt diese Lücke. Es liefert die einzige verlässliche Antwort auf die Frage: „Liest ChatGPT meine llms.txt wirklich?"
📊 Die wichtigste Kennzahl im GEO: Nicht ob Sie eine llms.txt haben – sondern ob KI-Bots sie auch wirklich abrufen. Beides ist nicht dasselbe.
Was KI-Bot-Tracking konkret zeigt
- Welche KI-Systeme aktiv sind: GPTBot, ClaudeBot, PerplexityBot, Google-Extended – oder keiner davon
- Wann der letzte Besuch war: Datum und Uhrzeit des letzten llms.txt-Abrufs
- Wie oft gecrawlt wird: Frequenz über 30 Tage als Balkendiagramm
- Welche Domains betroffen sind: Bei mehreren Domains unter einer Pro-Lizenz werden alle separat gezeigt
Wie das Tracking technisch funktioniert
Das Tracking basiert auf einem serverseitigen .htaccess-Redirect für bekannte KI-User-Agents. Wenn GPTBot Ihre llms.txt abruft, greift eine Rewrite-Regel: Der Bot wird kurz zu unserem Tracking-Endpunkt umgeleitet, der den Zugriff mit Timestamp und User-Agent protokolliert – und danach die originale llms.txt unverändert ausliefert.
Der technische Ablauf in drei Schritten:
- Bot trifft auf Ihre llms.txt GPTBot, ClaudeBot oder ein anderer KI-Crawler ruft https://ihredomain.de/llms.txt ab – wie üblich.
- Apache-Regel greift (302-Redirect) mod_rewrite erkennt den KI-User-Agent und leitet kurz zu api/bot-tracker.php weiter. Laufzeit: unter 50 ms.
- llms.txt wird unverändert ausgeliefert Der Tracker protokolliert Domain, User-Agent und Zeitstempel, dann antwortet er mit dem originalen llms.txt-Inhalt.
Voraussetzungen
- Apache-Webserver mit mod_rewrite (Standard bei IONOS, Hetzner, Strato, all-inkl.com)
- Eine aktive Pro-Lizenz für llmstxtgenerator.de
- Eine erreichbare llms.txt im Webroot (https://ihredomain.de/llms.txt)
location-Blöcke – kontaktieren Sie uns für die Syntax.
Schritt-für-Schritt: Tracking einrichten
Die Einrichtung dauert unter 3 Minuten und erfordert nur FTP-Zugang zu Ihrer .htaccess.
- Pro-Lizenz aktivieren Melden Sie sich auf /tools/bot-stats/ mit Ihrem Lizenzschlüssel an. Format: LLMS-XXXX-XXXX-XXXX-XXXX.
- Snippet kopieren Das Bot-Tracking-Tool zeigt Ihnen ein fertig konfiguriertes .htaccess-Snippet für Ihre Domain. Einfach auf „Kopieren" klicken.
- In .htaccess einfügen Öffnen Sie die .htaccess im Root-Verzeichnis Ihres Shops via FTP (versteckte Dateien einblenden). Fügen Sie das Snippet ganz am Ende ein – nach allen anderen Regeln.
- Datei speichern und warten Sobald der nächste KI-Crawler vorbeikommt, erscheint der Eintrag in Ihrer Statistik. Neue Zugriffe werden mit bis zu 1 Stunde Verzögerung angezeigt.
Das Snippet sieht so aus:
Die 13 erkannten KI-Crawler
| KI-System | User-Agent | Betreiber | Relevanz |
|---|---|---|---|
| GPTBot | GPTBot | OpenAI | ⭐⭐⭐ Hoch |
| ChatGPT-User | ChatGPT-User | OpenAI | ⭐⭐⭐ Hoch |
| ClaudeBot | ClaudeBot | Anthropic | ⭐⭐⭐ Hoch |
| anthropic-ai | anthropic-ai | Anthropic | ⭐⭐ Mittel |
| PerplexityBot | PerplexityBot | Perplexity | ⭐⭐⭐ Hoch |
| Google-Extended | Google-Extended | Google (Gemini) | ⭐⭐⭐ Hoch |
| Applebot-Extended | Applebot-Extended | Apple Intelligence | ⭐⭐ Mittel |
| Meta-ExternalAgent | Meta-ExternalAgent | Meta AI / Llama | ⭐⭐ Mittel |
| Bytespider | Bytespider | ByteDance (TikTok) | ⭐ Niedrig |
| CCBot | CCBot | Common Crawl | ⭐ Niedrig |
| cohere-ai | cohere-ai | Cohere | ⭐ Niedrig |
| Diffbot | Diffbot | Diffbot | ⭐ Niedrig |
| Amazonbot | Amazonbot | Amazon (Alexa AI) | ⭐ Niedrig |
Für E-Commerce besonders relevant: GPTBot, ChatGPT-User und PerplexityBot sind die Plattformen, die aktiv für Produktempfehlungen genutzt werden. Wenn diese drei Ihre llms.txt nicht lesen, fehlt Ihnen der direkte Kanal zu den meistgenutzten KI-Assistenten.
Ergebnisse verstehen und interpretieren
Das Bot-Statistik-Tool zeigt nach der Einrichtung drei Kennzahlen auf einen Blick: Gesamtaufrufe (letzte 3 Monate), Anzahl erkannter KI-Systeme und Anzahl Domains. Darunter erscheint ein Balkendiagramm der letzten 30 Tage und eine Tabelle pro Domain.
Was bedeuten die verschiedenen Szenarien?
Ideal. GPTBot, ClaudeBot und PerplexityBot kommen wöchentlich. Ihre GEO-Strategie greift – jetzt Qualität der llms.txt optimieren und aktuell halten.
Guter Start. Weitere Bots kommen oft erst nach 2–4 Wochen. Prüfen Sie, ob robots.txt alle Crawler erlaubt.
Snippet noch nicht aktiv, llms.txt nicht erreichbar oder robots.txt blockiert KI-Bots. Checkliste weiter unten hilft.
Häufigstes Problem: Snippet wurde nicht am Ende der .htaccess eingefügt, sondern mittendrin – oder mod_rewrite ist deaktiviert.
Crawl-Frequenz: Was ist normal?
KI-Crawler verhalten sich anders als Googlebot. Während Google Ihre Seite täglich oder stündlich besucht, kommen KI-Bots deutlich seltener:
- GPTBot: Alle 1–3 Wochen bei aktiven Domains
- ClaudeBot: Unregelmäßig, teilweise wöchentlich
- PerplexityBot: Häufiger, teils täglich bei hoch-relevantem Content
- Google-Extended: Gebunden an den regulären Googlebot-Zyklus
Keine Zugriffe in den ersten 7 Tagen nach Einrichtung sind normal. Die meisten Shops sehen erste Crawler-Besuche nach 1–4 Wochen.
Wenn kein Bot kommt – Ursachen und Lösungen
Wenn das Tracking nach mehr als zwei Wochen keine Zugriffe zeigt, prüfen Sie diese Punkte der Reihe nach:
-
Ist die llms.txt direkt erreichbar?
Rufen Siehttps://ihredomain.de/llms.txtim Browser auf. Sie sollte ohne Weiterleitung laden. Wenn sie fehlt oder 404 zeigt, hilft der Generator. -
Blockiert die robots.txt KI-Crawler?
Prüfen Sie mit dem robots.txt KI-Check, ob GPTBot oder ClaudeBot blockiert werden. EinDisallow: /für diese User-Agents verhindert jeden Crawler-Besuch. -
Sitzt das Snippet an der richtigen Stelle?
Das .htaccess-Snippet muss am Ende der Datei stehen – nach allen anderen Rewrite-Regeln. Steht es davor, können Shop-eigene Regeln es überschreiben. -
Ist mod_rewrite aktiv?
Bei manchen Hosts muss mod_rewrite erst im Hosting-Panel aktiviert werden. Im Zweifel: Hosting-Support kontaktieren. -
Wurde die llms.txt irgendwo eingereicht?
Aktives Einreichen über den AI-Push beschleunigt die Entdeckung erheblich – statt passiv auf den nächsten Crawl zu warten.
Häufige Fragen
Verlangsamt das Tracking meine Website?
Nein. Der Redirect gilt ausschließlich für bekannte KI-User-Agents, nicht für normale Besucher. Der Tracking-Request dauert unter 50 ms und beeinflusst die Ladezeit Ihrer Seite für Nutzer nicht.
Werden meine Inhalte an Dritte übertragen?
Das Tracking-System protokolliert ausschließlich: Domain-Name, User-Agent des Crawlers und Zeitstempel. Keine Inhalte, keine IP-Adressen von Nutzern, keine Cookies. Die Daten werden ausschließlich für die Statistikdarstellung genutzt.
Funktioniert das auch mit llms-full.txt?
Ja. Das Snippet überwacht sowohl llms.txt als auch llms-full.txt – erkennbar am llms(-full)?\.txt in der RewriteRule.
Was passiert, wenn ich das Snippet entferne?
KI-Crawler erhalten Ihre llms.txt dann wieder direkt – ohne Tracking. Alle bisher gespeicherten Statistiken bleiben erhalten und sind weiterhin über das Bot-Statistik-Tool abrufbar.
Kann ich mehrere Domains mit einer Lizenz tracken?
Ja. Pro-Lizenzen erlauben mehrere Domains. Das Statistik-Tool zeigt jede Domain mit eigenem Verlauf und eigenem Crawler-Tableau.
📊 KI-Bot-Tracking jetzt einrichten
Sehen Sie live, welche KI-Systeme Ihre llms.txt bereits lesen – mit Datum, Häufigkeit und 30-Tage-Verlauf. Pro-Feature, einmalig einrichten.
Bot-Tracking starten →Funktioniert mit Apache – Standard bei IONOS, Hetzner, Strato, all-inkl.com
Vom Tracking zur vollständigen GEO-Strategie
KI-Bot-Tracking ist der Beweis, dass Ihre Optimierungsmaßnahmen ankommen. Es ist aber nur ein Teil der vollständigen GEO-Strategie:
- Prüfen – robots.txt und KI-Sichtbarkeit checken (→ Komplett-Audit)
- Erstellen – llms.txt mit echten Produktdaten generieren (→ Generator)
- Verteilen – Aktiv bei KI-Plattformen einreichen (→ AI-Push)
- Messen – Bot-Tracking einrichten, Baseline erstellen (→ Bot-Statistiken)
- Wiederholen – llms.txt bei Sortimentsänderungen aktualisieren