robots.txt für KI-Crawler richtig steuern – Video

0:00Im letzten Video war llms.txt das Fundament für übermorgen. Heute geht es um die Datei, die heute schon entscheidet, ob ChatGPT, Claude und Perplexity deine Seite überhaupt erreichen: die robots.txt. Und die meisten Seiten haben sie falsch eingestellt, ohne es zu wissen.

0:19robots.txt ist eine Textdatei im Wurzelverzeichnis deiner Domain – der Türsteher deiner Website. Der Unterschied zu llms.txt: Die großen KI-Crawler respektieren sie. OpenAI, Anthropic, Perplexity und Google halten sich offiziell daran. Das Problem: Die meisten dieser Dateien wurden vor Jahren für den Googlebot geschrieben und nie für KI-Bots aktualisiert. Du blockierst womöglich genau die, die dich in KI-Antworten bringen würden.

0:47Es gibt rund ein Dutzend KI-Bots, aber nur drei Rollen. Erstens Training – Futter fürs Modell: GPTBot, ClaudeBot, Google-Extended. Zweitens Suche und Antwort – die den Index für KI-Antworten bauen: OAI-SearchBot, PerplexityBot. Das sind die, die Zitate bringen. Blockst du die, verschwindest du aus den KI-Antworten. Drittens Live-Fetch, wenn ein Nutzer gerade fragt: ChatGPT-User. Der Knackpunkt: Jede Rolle ist einzeln steuerbar.

1:17Jetzt die ehrliche Wahrheit. Erstens: Die Such- und Live-Bots niemals blocken, wenn du KI-Sichtbarkeit willst – das ist der am schnellsten wachsende Kanal. Zweitens: Die robots.txt ist eine Bitte, keine Mauer. Bytespider und getarnte Crawler ignorieren sie; dagegen hilft nur eine Sperre am Server. Drittens, der Klassiker: Eine falsche Zeile kann dich über Nacht aus Google werfen. Und ein CDN-Schalter, der alle KI-Bots blockt, überstimmt deine Datei still.

1:45Die Empfehlung für die meisten Seiten: selektiv offen. Immer reinlassen: die Antwort- und Live-Bots, die bringen Zitate. Googlebot und Bingbot nie aus Versehen anfassen. Beim Training bewusst entscheiden. Und Ignoranten wie Bytespider am Server blocken.

2:01Die robots.txt öffnet die Tür, Schema.org macht dich zitierfähig, llms.txt ist die Landkarte. Erst zusammen wird daraus KI-Sichtbarkeit. Genau das prüft mein kostenloses Tool: Domain rein, und der robots.txt-KI-Check zeigt für jeden KI-Bot: erlaubt oder blockiert. Versehentliche Sperren werden markiert, und du bekommst ein fertiges Snippet zum Einsetzen. Kostenlos, kein Login.

2:18Kurz: Die robots.txt ist der GEO-Hebel, der heute wirkt. Antwort- und Live-Bots rein, beim Training bewusst entscheiden, schwarze Schafe am Server blocken. Im nächsten Video: Schema.org – wie du das Zitat verdienst. GEO ohne Hype. Abonnieren.