Lästige KI-Crawler ignorieren große Nein-Schilder

12. Januar 2026 · 1 Std. 27 Min.

KI-Crawler verstoßen systematisch gegen etablierte Konventionen des Webs, indem sie sich nicht an robots.txt-Regeln halten und massiv die Infrastruktur von Webhostern belasten – ein technisches und politisches Problem, das eine neue globale Vereinbarung erfordert.

Die Episode behandelt das Phänomen der KI-Crawler, die das Internet systematisch nach Trainingsmaterial für große Sprachmodelle durchsuchen. Im Gegensatz zu etablierten Suchmaschinen-Crawlern ignorieren diese neuen Bots zunehmend technische Schutzrichtlinien und Konventionen. Das erzeugt massive Belastungen für Webhoster und Seitenbetreiber, die kontinuierlich gegen diese unkontrollierte Nutzung ankämpfen müssen. Die Episode zeigt Abwehrmechanismen, beleuchtet die wirtschaftlichen und ethischen Probleme und diskutiert, dass letztlich nur eine neue, international abgestimmte Vereinbarung – analog zur robots.txt – das Problem lösen kann.

Zahlen & Fakten

50 %

Durchschnittlicher Anteil des Web-Traffics, der von Bots (insgesamt, nicht nur KI) stammt – der Rest ist von Menschen

30–70 %

Spannbreite des Bot-Traffic je nach Website-Größe – kleine Seiten stärker betroffen als große

20.000

Anzahl verschiedener IP-Adressen, von denen ByteDance (TikTok) KI-Crawler-Anfragen schickt, um Blockierungen zu umgehen

Themen & Erkenntnisse

Was sind Crawler und wie funktionieren sie technisch? · ab 04:31: Crawler sind automatisierte Programme, die das Web nach Links durchsuchen und dabei Daten sammeln. Sie werden für Suchmaschinen, Archivierung und jetzt zunehmend für KI-Training eingesetzt.

Unterschiede zwischen traditionellem und KI-Crawling · ab 22:08: KI-Crawler unterscheiden sich von etablierten Suchmaschinen-Crawlern durch schlechte Programmierung, fehlende Einhaltung von robots.txt-Richtlinien und massive Menge an Anfragen von diversen, schwer zu blockierenden Quellen.

Technische und infrastrukturelle Folgen für Webhoster und Seitenbetreiber · ab 14:42: KI-Crawler verursachen massive Last auf Servern, machen Websites langsam oder offline, und zwingen Hoster zu kontinuierlichen Abwehrmaßnahmen – ein Rüstungswettlauf ohne klare Lösung.

Abwehrmaßnahmen und ihre Grenzen · ab 31:54: Technische Lösungen wie Blockierung, Labyrinth-Taktiken und Proof-of-Work funktionieren teil, aber keine ist dauerhaft oder skalierbar – am Ende sind regulative Lösungen nötig.

Perspektiven: Urheberrecht, neue Standards und düstere Szenarien · ab 54:02: Rechtlich ungeklärt, technisch hoffnungslos – es braucht eine neue globale Konvention wie robots.txt für KI, was aber schwierig sein wird angesichts divergierender Interessen.

Quellen

• ArtikelHeise-Artikel zum Nachruf auf robots.txt

Wer spricht

KonzHOST

Fester Host des Chaos Radio, leitet die Episode und stellt Fragen zu KI-Crawlern und deren Auswirkungen

Alle Auftritte von Konz →

Hans JonasGAST

Mitgründer und Inhaber von Uberspace, einem Web-Hosting-Unternehmen, das sich als Kollektiv mit flacher Hierarchie organisiert und mit Crawler-Problemen konfrontiert ist

Alle Auftritte von Hans Jonas →

LeaGAST

Leiterin des Infrastrukturbereichs bei Uberspace und Co-Administratorin der Mastodon-Instanz Chaos.social, fungiert als Expertin für KI-Crawler-Abwehr

Alle Auftritte von Lea →

KIDieser Inhalt wurde KI-gestützt erstellt und redaktionell geprüft.