Die wichtigsten AI-Crawler
Verschiedene AI-Anbieter schicken eigene Crawler durchs Web. Diese Bots besuchen deine Seite, laden das HTML und werten es aus.
| Bot | Betreiber | Zweck |
|---|---|---|
| GPTBot | OpenAI | Inhalte für ChatGPT und Modelltraining |
| OAI-SearchBot | OpenAI | Live-Abruf für die Suche in ChatGPT |
| ClaudeBot | Anthropic | Inhalte für Claude |
| PerplexityBot | Perplexity | Live-Abruf für Perplexity-Antworten |
| Google-Extended | Steuert die Nutzung für Gemini und AI Overviews | |
| Applebot-Extended | Apple | Steuert die Nutzung für Apple Intelligence |
| CCBot | Common Crawl | Offener Datensatz, den viele Modelle nutzen |
| Bytespider | ByteDance | Inhalte für ByteDance-Modelle |
Die Liste wächst laufend, weil ständig neue AI-Dienste dazukommen.
Woran du sie erkennst
Jeder seriöse Bot verrät sich in deinen Server-Logs durch eine eindeutige Kennung:
- User-Agent: ein Namensschild wie
GPTBot/1.0oderClaudeBot/1.0, das der Bot bei jeder Anfrage mitschickt. - Log-Analyse: Suche in den Zugriffs-Logs nach diesen Namen, um zu sehen wer wie oft vorbeikommt.
- Kein JavaScript: Die meisten AI-Crawler holen nur das rohe HTML, nicht per JavaScript nachgeladene Inhalte.
robots.txt: erlauben oder blockieren
In der Datei robots.txt in deinem Wurzelverzeichnis legst du pro Bot fest, was er darf. Ein Beispiel:
User-agent: GPTBot Disallow: / User-agent: CCBot Disallow: / User-agent: * Allow: /
Das sperrt GPTBot und CCBot komplett, während alle anderen Crawler die Seite lesen dürfen. Wichtig: robots.txt ist eine Bitte, kein technischer Zwang. Seriöse Bots halten sich daran, unseriöse ignorieren sie. Während die robots.txt den Zugriff regelt, bietet die llms.txt umgekehrt Inhalte an. Was dahintersteckt, erklärt der Guide Was ist llms.txt?.
Blockieren oder zulassen: was ist sinnvoll?
- Sichtbarkeit gewünscht: Wer in AI-Antworten vorkommen will, sollte die relevanten Bots zulassen.
- Inhalte schützen: Bezahlinhalte oder sensible Bereiche kannst du gezielt sperren.
- Bewusst entscheiden: Ein pauschaler Block kostet Reichweite in AI-Suchen, ein pauschales Zulassen gibt alles frei.
Unser Audit zeigt dir, welche AI-Crawler deine robots.txt aktuell blockiert. Bleibt deine Seite trotz erlaubter Bots in ChatGPT unsichtbar, hilft die Diagnose Warum erscheint meine Website nicht in ChatGPT? bei der Ursachensuche.