Die wichtigsten AI-Crawler
Verschiedene AI-Anbieter schicken eigene Crawler durchs Web. Diese Bots besuchen deine Seite, laden das HTML und werten es aus.
| Bot | Betreiber | Zweck |
|---|---|---|
| GPTBot | OpenAI | Inhalte für ChatGPT und Modelltraining |
| OAI-SearchBot | OpenAI | Live-Abruf für die Suche in ChatGPT |
| ClaudeBot | Anthropic | Inhalte für Claude |
| PerplexityBot | Perplexity | Live-Abruf für Perplexity-Antworten |
| Google-Extended | Steuert die Nutzung für Gemini und AI Overviews | |
| Applebot-Extended | Apple | Steuert die Nutzung für Apple Intelligence |
| CCBot | Common Crawl | Offener Datensatz, den viele Modelle nutzen |
| Bytespider | ByteDance | Inhalte für ByteDance-Modelle |
Die Liste wächst laufend, weil ständig neue AI-Dienste dazukommen.
Woran du sie erkennst
Jeder seriöse Bot verrät sich in deinen Server-Logs durch eine eindeutige Kennung:
- User-Agent: ein Namensschild wie
GPTBot/1.0oderClaudeBot/1.0, das der Bot bei jeder Anfrage mitschickt. - Log-Analyse: Suche in den Zugriffs-Logs nach diesen Namen, um zu sehen wer wie oft vorbeikommt.
- Kein JavaScript: Die meisten AI-Crawler holen nur das rohe HTML, nicht per JavaScript nachgeladene Inhalte.
robots.txt: erlauben oder blockieren
In der Datei robots.txt in deinem Wurzelverzeichnis legst du pro Bot fest, was er darf. Ein Beispiel:
User-agent: GPTBot Disallow: / User-agent: CCBot Disallow: / User-agent: * Allow: /
Das sperrt GPTBot und CCBot komplett, während alle anderen Crawler die Seite lesen dürfen. Wichtig: robots.txt ist eine Bitte, kein technischer Zwang. Seriöse Bots halten sich daran, unseriöse ignorieren sie.
Blockieren oder zulassen: was ist sinnvoll?
- Sichtbarkeit gewünscht: Wer in AI-Antworten vorkommen will, sollte die relevanten Bots zulassen.
- Inhalte schützen: Bezahlinhalte oder sensible Bereiche kannst du gezielt sperren.
- Bewusst entscheiden: Ein pauschaler Block kostet Reichweite in AI-Suchen, ein pauschales Zulassen gibt alles frei.
Unser Audit zeigt dir, welche AI-Crawler deine robots.txt aktuell blockiert.