🤖 KI-Bot-Tracking einrichten: Setup in 3 Schritten

Warum KI-Bot-Tracking entscheidend ist

Die meisten Analytics-Tools – Google Analytics, Matomo & Co. – messen Nutzer-Traffic, indem sie JavaScript im Browser ausführen und Cookies setzen. KI-Crawler tun beides nicht. Sie laden Seiten serverseitig, führen kein JavaScript aus und akzeptieren keine Cookies. Das Ergebnis: In Ihrer Analytics sehen Sie null Besuche von GPTBot oder ClaudeBot – obwohl diese Bots Ihre Seite möglicherweise täglich aufrufen.

Das erzeugt ein gefährliches Informationsvakuum: Sie optimieren für KI-Sichtbarkeit, aber Sie wissen nicht, ob Ihre Maßnahmen ankommen. KI-Bot-Tracking schließt diese Lücke. Es liefert die einzige verlässliche Antwort auf die Frage: „Liest ChatGPT meine llms.txt wirklich?"

Was KI-Bot-Tracking konkret zeigt

• Welche KI-Systeme aktiv sind: GPTBot, ClaudeBot, PerplexityBot, Google-Extended – oder keiner davon
• Wann der letzte Besuch war: Datum und Uhrzeit des letzten llms.txt-Abrufs
• Wie oft gecrawlt wird: Frequenz im frei wählbaren Zeitraum als Säulendiagramm
• Welche Domains betroffen sind: Bei mehreren Domains unter einer Pro-Lizenz werden alle separat gezeigt

Wie das Tracking technisch funktioniert

Das Tracking basiert auf einem serverseitigen .htaccess-Redirect für bekannte KI-User-Agents. Wenn GPTBot Ihre llms.txt abruft, greift eine Rewrite-Regel: Der Bot wird kurz zu unserem Tracking-Endpunkt umgeleitet, der den Zugriff mit Timestamp und User-Agent protokolliert – und danach die originale llms.txt unverändert ausliefert.

Der technische Ablauf in drei Schritten:

1. Bot trifft auf Ihre llms.txt GPTBot, ClaudeBot oder ein anderer KI-Crawler ruft https://ihredomain.de/llms.txt ab – wie üblich.
2. Apache-Regel greift (302-Redirect) mod_rewrite erkennt den KI-User-Agent und leitet kurz zu api/bot-tracker.php weiter. Laufzeit: unter 50 ms.
3. llms.txt wird unverändert ausgeliefert Der Tracker protokolliert Domain, User-Agent und Zeitstempel, dann antwortet er mit dem originalen llms.txt-Inhalt.

Voraussetzungen

• Apache-Webserver mit mod_rewrite (Standard bei IONOS, Hetzner, Strato, all-inkl.com)
• Eine aktive Pro-Lizenz für llmstxtgenerator.de
• Eine erreichbare llms.txt im Webroot (https://ihredomain.de/llms.txt)

Schritt-für-Schritt: Tracking einrichten

Die Einrichtung dauert unter 3 Minuten und erfordert nur FTP-Zugang zu Ihrer .htaccess.

1. Pro-Lizenz aktivieren Melden Sie sich auf /tools/bot-stats/ mit Ihrem Lizenzschlüssel an. Format: LLMS-XXXX-XXXX-XXXX-XXXX.
2. Snippet kopieren Das Bot-Tracking-Tool zeigt Ihnen ein fertig konfiguriertes .htaccess-Snippet für Ihre Domain. Einfach auf „Kopieren" klicken.
3. In .htaccess einfügen Öffnen Sie die .htaccess im Root-Verzeichnis Ihres Shops via FTP (versteckte Dateien einblenden). Fügen Sie das Snippet am Anfang ein – vor den Regeln Ihres Shops oder CMS, bei WordPress vor der Zeile # BEGIN WordPress.
4. Datei speichern und warten Sobald der nächste KI-Crawler vorbeikommt, erscheint der Eintrag in Ihrer Statistik. Neue Zugriffe werden mit bis zu 1 Stunde Verzögerung angezeigt.

Das Snippet sieht so aus:

Die 21 erkannten KI-Crawler

Hinweis: Google-Extended und Applebot-Extended sind in erster Linie Steuerzeichen für die robots.txt. Google und Apple holen Inhalte meist mit ihren regulären Crawlern ab – Zugriffe unter diesen Namen sind deshalb selten.

Für E-Commerce besonders relevant: GPTBot, ChatGPT-User und PerplexityBot sind die Plattformen, die aktiv für Produktempfehlungen genutzt werden. Wenn diese drei Ihre llms.txt nicht lesen, fehlt Ihnen der direkte Kanal zu den meistgenutzten KI-Assistenten.

Ergebnisse verstehen und interpretieren

Das Bot-Statistik-Tool zeigt nach der Einrichtung pro Domain eine Tabelle aller erkannten KI-Systeme mit Aufrufen, Anteil und letztem Abruf. Darunter folgen drei Tabs: Verlauf (Zeitraum von 7 Tagen bis 12 Monaten oder gesamt, nach Tag, Woche oder Monat), Bot-Vergleich und CSV-Export.

Was bedeuten die verschiedenen Szenarien?

Crawl-Frequenz: Was ist normal?

KI-Crawler verhalten sich anders als Googlebot. Während Google Ihre Seite täglich oder stündlich besucht, kommen KI-Bots deutlich seltener:

• GPTBot: Alle 1–3 Wochen bei aktiven Domains
• ClaudeBot: Unregelmäßig, teilweise wöchentlich
• PerplexityBot: Häufiger, teils täglich bei hoch-relevantem Content
• Google-Extended: Gebunden an den regulären Googlebot-Zyklus

Keine Zugriffe in den ersten 7 Tagen nach Einrichtung sind normal. Die meisten Shops sehen erste Crawler-Besuche nach 1–4 Wochen.

Wenn kein Bot kommt – Ursachen und Lösungen

Wenn das Tracking nach mehr als zwei Wochen keine Zugriffe zeigt, prüfen Sie diese Punkte der Reihe nach:

1. Ist die llms.txt direkt erreichbar?
   Rufen Sie https://ihredomain.de/llms.txt im Browser auf. Sie sollte ohne Weiterleitung laden. Wenn sie fehlt oder 404 zeigt, hilft der Generator.
2. Blockiert die robots.txt KI-Crawler?
   Prüfen Sie mit dem robots.txt KI-Check, ob GPTBot oder ClaudeBot blockiert werden. Ein Disallow: / für diese User-Agents verhindert jeden Crawler-Besuch.
3. Sitzt das Snippet an der richtigen Stelle?
   Das .htaccess-Snippet gehört an den Anfang der Datei, vor die Regeln Ihres Shops oder CMS. Viele Systeme leiten Anfragen mit einer abschließenden Regel an ihre index.php weiter – steht das Snippet dahinter, wird es nie erreicht. Bei WordPress gilt das immer, wenn ein Plugin die llms.txt ausliefert.
4. Ist das Snippet nach einem Update noch da?
   Shop- und CMS-Updates oder ein Systemwechsel schreiben die .htaccess oft neu. Prüfen Sie nach jedem Update, ob der Block noch vorhanden ist.
5. Ist mod_rewrite aktiv?
   Bei manchen Hosts muss mod_rewrite erst im Hosting-Panel aktiviert werden. Im Zweifel: Hosting-Support kontaktieren.
6. Wurde die llms.txt irgendwo eingereicht?
   Aktives Einreichen über den AI-Push beschleunigt die Entdeckung erheblich – statt passiv auf den nächsten Crawl zu warten.

Häufige Fragen

Verlangsamt das Tracking meine Website?

Nein. Der Redirect gilt ausschließlich für bekannte KI-User-Agents, nicht für normale Besucher. Der Tracking-Request dauert unter 50 ms und beeinflusst die Ladezeit Ihrer Seite für Nutzer nicht.

Werden meine Inhalte an Dritte übertragen?

Das Tracking-System protokolliert ausschließlich: Domain-Name, User-Agent des Crawlers und Zeitstempel. Keine Inhalte, keine IP-Adressen von Nutzern, keine Cookies. Die Daten werden ausschließlich für die Statistikdarstellung genutzt.

Funktioniert das auch mit llms-full.txt?

Ja. Das Snippet überwacht sowohl llms.txt als auch llms-full.txt – erkennbar am llms(-full)?\.txt in der RewriteRule.

Was passiert, wenn ich das Snippet entferne?

KI-Crawler erhalten Ihre llms.txt dann wieder direkt – ohne Tracking. Alle bisher gespeicherten Statistiken bleiben erhalten und sind weiterhin über das Bot-Statistik-Tool abrufbar.

Kann ich mehrere Domains mit einer Lizenz tracken?

Ja. Pro-Lizenzen erlauben mehrere Domains. Das Statistik-Tool zeigt jede Domain mit eigenem Verlauf und eigenem Crawler-Tableau.

Vom Tracking zur vollständigen GEO-Strategie

KI-Bot-Tracking ist der Beweis, dass Ihre Optimierungsmaßnahmen ankommen. Es ist aber nur ein Teil der vollständigen GEO-Strategie:

1. Prüfen – robots.txt und KI-Sichtbarkeit checken (→ Komplett-Audit)
2. Erstellen – llms.txt mit echten Produktdaten generieren (→ Generator)
3. Verteilen – Aktiv bei KI-Plattformen einreichen (→ AI-Push)
4. Messen – Bot-Tracking einrichten, Baseline erstellen (→ Bot-Statistiken)
5. Wiederholen – llms.txt bei Sortimentsänderungen aktualisieren