Ausgangslage: Der Testshop
solar-autark.com ist ein Onlineshop auf Basis von Gambio GX5 mit rund 120 Kategorien und mehreren hundert Produkten im Bereich Solar- und Energietechnik. Der Shop ist seit 2003 aktiv und damit kein Newcomer – die Domain hat Autorität, aber wie die meisten Shops keine KI-spezifische Optimierung gehabt.
Das Setup für das Experiment: Anfang März 2026 wurde die llms.txt und llms-full.txt über den LLMs.txt Generator erstellt und ins Webroot hochgeladen. Gleichzeitig wurde das KI-Bot-Tracking-Snippet in die .htaccess eingetragen. Seither läuft das Tracking passiv im Hintergrund – ohne weitere Anpassungen am Shop.
Einmalig ca. 15 Minuten: llms.txt generieren, hochladen, .htaccess-Snippet eintragen. Seitdem vollautomatisch.
Die ersten Daten: März 2026
Bereits wenige Tage nach der Einrichtung kam der erste Besucher: PerplexityBot hat am 28. März 2026 den Shop in einem Durchlauf gleich zehnmal angefragt. Das Ergebnis war eindeutig: Die llms.txt funktioniert, und KI-Crawler finden sie.
Was auffällt: PerplexityBot hat in diesem ersten Crawl bevorzugt die llms-full.txt gelesen (9 von 10 Zugriffen), nicht die kompaktere llms.txt. Das ist ein klares Signal: Perplexity will die vollständige Produktstruktur kennen – Kategorien, Hersteller, Preise, Verfügbarkeiten. Nicht nur die Kurzfassung.
PerplexityBot bevorzugt die llms-full.txt gegenüber der llms.txt im Verhältnis 9:1. Die Mühe einer vollständigen Produktliste lohnt sich.
April 2026: Mehr Bots, breiteres Spektrum
Der April zeigt ein deutlich vielfältigeres Bild. Innerhalb von gut zwei Wochen haben fünf verschiedene KI-Systeme den Shop besucht – darunter bekannte Namen aus dem KI-Assistenten-Bereich und einige Überraschungsgäste.
Chronologischer Verlauf
Erster Applebot-Besuch. Apple integriert Webinhalte zunehmend in Siri und Apple Intelligence – ein Zeichen, dass apple-seitig KI-Inhalte indexiert werden.
ChatGPT-User unterscheidet sich von GPTBot: Hier fragt ein aktiver ChatGPT-Nutzer in seiner Sitzung nach Informationen, die OpenAI gerade live aus dem Web abruft. Der Shop wurde also tatsächlich im Kontext einer Nutzeranfrage konsultiert.
Perplexity kommt erneut – diesmal an zwei aufeinanderfolgenden Tagen mit je einem Zugriff auf die llms.txt. Regelmäßiges Crawlen ist ein gutes Zeichen für aktive Indexierung.
ByteDance, der Mutterkonzern von TikTok, crawlt Webinhalte für seine KI-Produkte. Bytespider ist einer der aktivsten KI-Crawler weltweit – auch wenn TikTok als Plattform in Deutschland eingeschränkt ist.
Was die Bots tatsächlich lesen
Im April hat sich das Leseverhalten im Vergleich zu März deutlich verändert:
| Zeitraum | Bot | Zugriffe | Datei | Status |
|---|---|---|---|---|
| März | PerplexityBot | 10 | llms-full.txt (9×), llms.txt (1×) | Aktiv |
| April | Applebot | 1 | llms.txt | Aktiv |
| April | ChatGPT-User | 2 | llms.txt | Aktiv |
| April | Meta-ExternalAgent | 1 | llms.txt | Aktiv |
| April | PerplexityBot | 2 | llms.txt | Aktiv |
| April | Bytespider | 1 | llms.txt | Aktiv |
| Gesamt | 17 Zugriffe, 5 verschiedene KI-Systeme | |||
Interessant: Im April lesen alle Bots ausschließlich die llms.txt (Kurzversion), nicht mehr die llms-full.txt. Möglicherweise hat PerplexityBot beim ersten Crawl die vollständige Datei indexiert und verwendet nun die kompakte Version für regelmäßige Updates. Die anderen Bots verwenden standardmäßig die Kurzversion als Einstiegspunkt.
Nüchterne Einschätzung der Daten
Es wäre falsch, diese Zahlen zu überhöhen. Hier eine ehrliche Einordnung:
Was die Daten zeigen
- Das System funktioniert technisch einwandfrei: Bots finden die llms.txt und lesen sie.
- Die Vielfalt der Bots ist beeindruckend – 5 verschiedene KI-Systeme in 2 Wochen.
- PerplexityBot crawlt regelmäßig, was auf aktive Indexierung hindeutet.
- ChatGPT-User ist besonders wertvoll: Das ist kein Crawler, sondern eine echte Nutzeranfrage.
Was die Daten nicht zeigen
- Keine direkte Umsatzmessung: Ob ein KI-Nutzer nach dem Lesen der llms.txt kauft, ist nicht trackbar – noch nicht.
- Keine Empfehlungsgarantie: Dass ein Bot die Datei liest, bedeutet nicht automatisch, dass der Shop in KI-Antworten empfohlen wird.
- Kleine Datenbasis: 17 Zugriffe in ~6 Wochen ist ein guter Start, aber keine statistisch belastbare Grundlage.
- GPTBot fehlt noch: OpenAIs Crawl-Bot (der für das Training zuständig ist) hat sich noch nicht gezeigt – nur ChatGPT-User (Echtzeit-Suche).
- ClaudeBot fehlt: Anthropics eigener Crawler ist bislang nicht aufgetaucht. Das könnte an der Crawl-Frequenz liegen oder daran, dass die Domain noch nicht im Crawl-Vorrat ist.
KI-Bot-Tracking beweist die technische Erreichbarkeit – nicht die KI-Empfehlung. Der Weg von "Bot hat gelesen" zu "Nutzer wird empfohlen" kann Wochen oder Monate dauern und ist abhängig von Contentqualität, Autorität und Wettbewerb.
Was (noch) fehlt – und was wir erwarten
Das Experiment läuft weiter. Einige Beobachtungen und offene Fragen:
GPTBot vs. ChatGPT-User
Der Unterschied zwischen diesen beiden ist wichtig: GPTBot crawlt für das Training zukünftiger Modelle – sein Besuch hätte langfristige Wirkung. ChatGPT-User hingegen ruft Inhalte in Echtzeit ab, wenn ein Nutzer ChatGPT aktiv nach etwas fragt. Der ChatGPT-User-Besuch ist kurzfristiger, aber direkter: Irgendwer hat ChatGPT gerade nach Solarprodukten oder Themen von solar-autark.com gefragt.
Crawl-Frequenz und Muster
PerplexityBot hat sich an zwei aufeinanderfolgenden Tagen (6.+7.4.) je einmal gemeldet – das deutet auf ein regelmäßiges Update-Crawling hin. Applebot, Meta und Bytespider waren je einmal da. Es bleibt abzuwarten, ob sie wiederkommen und in welchem Rhythmus.
Was den Ausschlag gibt
Unsere Hypothese: Die Kombination aus gut strukturierter llms.txt und einer soliden robots.txt (die KI-Crawler explizit erlaubt) hat dazu geführt, dass mehrere Bots so schnell erschienen. Shops, die KI-Crawler in der robots.txt blockieren oder keine llms.txt haben, werden in diesen Statistiken schlicht nicht auftauchen.
Das Experiment bestätigt: Eine optimierte llms.txt führt innerhalb weniger Wochen zu messbaren Crawl-Aktivitäten durch relevante KI-Systeme. Das ist die Voraussetzung für KI-Sichtbarkeit – nicht die Garantie, aber der notwendige erste Schritt.
Pro-Analytics: Zeitreihen, Bot-Vergleich und CSV-Export
Seit April 2026 stehen im Bot-Tracking-Dashboard vier Analyse-Tabs zur Verfügung. Hier sind alle vier – mit den echten Daten von solar-autark.com:
Tab 1: 30-Tage-Verlauf
Gestapelte Balken zeigen tagesweise, welche KI-Systeme die llms.txt aufgerufen haben. Die überwachte Domain erscheint als Badge im Chart-Titel:
Tab 2: Zeitreihen-Analyse
Liniendiagramme zeigen Crawl-Muster im Zeitverlauf. PerplexityBot ist der einzige Crawler, der in einem einzigen Durchlauf (28. März) 10-mal aktiv war – danach nur noch vereinzelt. ChatGPT-User erscheint erst im April:
Tab 3: Bot-Vergleich
Horizontale Balken aller bisher erkannten KI-Crawler, sortiert nach Aktivität. Grau: bekannte Systeme, die noch nicht aufgetaucht sind:
Tab 4: CSV-Export
Ein Klick exportiert tagesweise Rohdaten als CSV-Datei – hier ein Ausschnitt der dokumentierten Zugriffe auf solar-autark.com:
Fazit und nächste Schritte
Nach gut sechs Wochen Tracking lässt sich sagen: Das KI-Bot-Tracking funktioniert, und die Daten sind informativer als erwartet. Fünf verschiedene KI-Systeme – darunter ChatGPT, Perplexity, Meta AI, Applebot und Bytespider – haben solar-autark.com besucht. Das ist keine Selbstverständlichkeit.
Für Onlineshops und Content-Sites gilt: Wer jetzt keine llms.txt hat und KI-Crawler nicht trackt, hat keine Datenbasis für die kommenden Monate, in denen KI-gestützte Suche weiter wächst. Das Einrichten dauert 15 Minuten. Das Beobachten und Optimieren ist dann die kontinuierliche Aufgabe.
In den nächsten Wochen beobachten wir weiter, ob GPTBot und ClaudeBot erscheinen, wie sich die Crawl-Frequenz von PerplexityBot entwickelt, und ob sich der ChatGPT-User-Traffic zu einem messbaren Muster entwickelt. Wir berichten.
Eigenes KI-Bot-Tracking einrichten
In 15 Minuten wissen Sie, ob und welche KI-Systeme Ihre Website besuchen – kostenlos mit dem llms.txt Generator.
Bot-Tracking starten →