Der Internet-Dienstleister Cloudflare schützt unter anderem viele Websites vor DDoS-Angriffen und hat dadurch Einblick in Traffic-Trends im Internet. Mittlerweile, so Cloudflare, würden rund ein Prozent der von seiner Plattform festgestellten Site-Zugriffe durch Crawler Bots von KI-Systemen verursacht. Das ist an sich nicht tragisch, aber oft haben diese Crawler die Aufgabe, ohne Zustimmung Site-Inhalte für das KI-Training zu kopieren.

Theoretisch sollten diese Bots durch spezifische Robots.txt-Files oder bestimmte Servereinstellungen abgeblockt werden können. Viele Bots ignorieren diese allerdings. Auch andere Gegenmassnahmen wie Captchas können sie umgehen.

Um KI-Crawler abzuwehren, die sich nicht an Regeln halten, testet Cloudflare nun eine neue Idee, wie das Unternehmen mitteilt. Dafür setzt es eine selbst konstruierte KI ein. Diese soll unerwünschte Crawler in ein "Labyrinth" von selbst generierten Websites locken.

Wenn unerwünschtes Crawling festgestellt wird, präsentiere die Cloudflare-KI den Crawlern Links, die zu einer Vielzahl von selbst generierten Websites führen. Deren Inhalte sollen überzeugend genug sein, damit die Crawler darauf hereinfallen und beginnen, sie systematisch abzugrasen. Die von der Cloudflare-KI generierten Inhalte sind laut den Verantwortlichen real und halten sich an wissenschaftliche Fakten, weil man nicht unabsichtlich Falschinformationen in die Welt setzen wolle. Gleichzeitig haben die Inhalte aber nichts mit dem eigentlichen Inhalt der Webseiten zu tun, die der Crawler eigentlich abgreifen wollte, und sollen letztlich nutzlos für das KI-Training sein.

Dies, so glauben die Cloudflare-Leute, kann unerwünschte Bots lange beschäftigen, Ressourcen verbrauchen und ihren Betrieb für deren Urheber deutlich teurer machen. Gleichzeitig habe man damit zumindest ein neues Tool, um die Aktivitäten von KI-Crawlern zu identifizieren. Kein echter Mensch würde sich über viele Links durch einen ganzen Haufen von KI-generiertem Unsinn arbeiten, schreiben sie. Wenn ein Besucher dies tue, sei das fast sicher ein Bot.

Cloudflare-Kunden können das "KI-Labyrinth" in ihren Management-Konsolen aktivieren.