AI-Crawler-Benchmark
Lesen KI-Crawler die Websites der größten Unternehmen?
Viele der heute verbreiteten KI-Crawler führen kein JavaScript aus. Wir haben die Startseiten der größten Unternehmen aus Österreich, Deutschland und der Schweiz gemessen: Wie viel vom Hauptinhalt steht schon im rohen HTML, und wer sperrt KI-Crawler per robots.txt? Je höher der Lesbarkeitswert, desto besser.
Alle drei Länder
- Median-Lesbarkeit ohne JavaScript
- 100 %
- Ohne JavaScript praktisch leer
- 7 %
- Sperren KI-Crawler per robots.txt
- 3 %
- Testabruf von Bot-Abwehr abgefangen
- 20 %
über die Startseiten mit messbarem Wert
Lesbarkeit höchstens 10 %: der Hauptinhalt erscheint erst per JavaScript, von 123 messbaren
mindestens ein KI-Crawler gesperrt, von 154 mit abfragbarer robots.txt. Davon Antwort-Crawler wie GPTBot oder ClaudeBot: 0 %, der Rest nur Trainings-Crawler.
unser Abruf von 165 Startseiten, nicht der Abruf echter Crawler
Ländervergleich
| Land | Unternehmen | Median-Lesbarkeit | praktisch leer | sperren per robots.txt | Testabruf abgefangen |
|---|---|---|---|---|---|
| 🇦🇹 Österreich | 41 | 100 % | 6 % | 3 % | 27 % |
| 🇩🇪 Deutschland | 60 | 98 % | 7 % | 4 % | 16 % |
| 🇨🇭 Schweiz | 38 | 100 % | 14 % | 3 % | 27 % |
| Börsennotierte Unternehmen | 86 | 100 % | 6 % | 4 % | 17 % |
| Familien- und Staatsunternehmen | 83 | 100 % | 7 % | 1 % | 23 % |
Was wird gemessen?
Für jede Startseite vergleichen wir den Hauptinhalt im rohen HTML mit dem Hauptinhalt der im Browser gerenderten Seite. Der Lesbarkeitswert ist der Anteil der gerenderten Wörter, die schon im HTML stehen. Getrennt davon prüfen wir die robots.txt und ob eine Bot-Abwehr unseren Testabruf abfängt. Keine Aussage über Rankings oder Zitierungen in KI-Antworten.
Zur vollständigen Methodik · Daten als CSV
Stand: 13. Oktober 2026 · 132 von 169 Startseiten gemessen