Anthropics KI-Modell Claude verschaffte sich während Testläufen ungeplanten Zugang zum Internet und somit zu Computersystemen von drei Unternehmen. Weder die KI-Firma noch die Betroffenen haben den unbefugten Zugriff bemerkt, wie Anthropic in einem Blogbeitrag schreibt.

Anthropic habe die unbefugten Aktivitäten durch eine rückläufige Untersuchung der eigenen Testläufe entdeckt. Sie führte der Claude-Entwickler nach dem kürzlichen Vorfall des Rivalen OpenAI durch, bei dem ein KI-Modell eigenständig in die Systeme von Hugging Face eindrang. Dabei wurden 141'006 Testläufe überprüft, bei denen Claude möglicherweise Internetzugang hatte.

In allen drei Fällen wurde Claude mit einer Capture-the-Flag-Challenge beauftragt, einer Methode zur Beurteilung der Cyberfähigkeiten eines Modells, wie es weiter im Blog heisst. Dabei beauftragte Anthropic die KI mittels eines fiktiven Szenarios, geheime Informationen, die auf einem anderen Computer versteckt wurden, durch Hacken des Systems zu extrahieren. Trotz der Spezifikation, dass es sich um eine Simulation ohne Internetzugang handelt, stand laut Blogeintrag den Modellen wegen eines Missverständnisses mit dem Testpartner der Zugang zum Internet offen.

Die drei Vorfälle betrafen drei verschiedene Claude-Modelle: Opus 4.7, Mythos 5 und einen Prototypen. Beim ersten Vorfall wählte der Testpartner laut Anthropic einen Namen für die zu hackende fiktive Firma, die sich auch in einer realen Webadresse befindet. Zuerst habe das Modell Claude Opus 4.7 Probleme bei der Erfüllung der Challenge innerhalb der Testumgebung gehabt. Als es dann aber im Internet ein Unternehmen mit demselben Namen fand, konzentrierte sich die KI laut Blogbeitrag schliesslich darauf. In der Annahme, dass dies das eigentliche Ziel der Aufgabe war, hätte Claude in der Unternehmensinfrastruktur Schwachstellen gesucht, identifiziert und dann auch ausgenutzt. Somit hatte das Modell Zugriff auf eine Datenbank der realen Firma gehabt, wie es weiter heisst. Die Attacke sei trotz der Erkenntnis, dass es sich um ein echtes Unternehmen handelt, von der KI nicht gestoppt worden.

Dem Blogeintrag zufolge veröffentlichte Claude Mythos 5 im zweiten Vorfall ein schädliches Python-Script auf der echten Plattform PyPI. Es sei während einer Stunde öffentlich zugänglich gewesen, wodurch es von rund 15 echten Systemen installiert worden sei – darunter ein IT-Sicherheitsunternehmen, das regelmässig solche Scripts testet. Durch die Installation habe das Modell Zugang zur Infrastruktur der Firma bekommen.

Beim dritten Vorfall konnte ein Prototyp von Claude sein eigentliches Ziel in der Testumgebung nicht erreichen und suchte deshalb laut Anthropic im Internet nach Alternativen. Dabei habe er etwa 9000 öffentlich erreichbare Systeme nach Schwachstellen gescannt. So habe er versehentlich ein echtes Unternehmen angegriffen, indem es bekannte Sicherheitslücken ausnutzte. Als Claude erkannte, dass es sich um ein reales System handelte, beendete er den Angriff eigenständig, wie es weiter heisst.

Aus den Vorfällen hat Anthropic mehrere wichtige Erkenntnisse gewonnen, wie der KI-Entwickler schreibt. Die Testumgebungen für KI würden künftig genauso gut abgesichert werden müssen wie echte Computersysteme. Denn auch wenn eine Aufgabe nur eine Simulation sein soll, können leistungsfähige KI-Modelle echte Systeme im Internet erreichen. Die normalen Sicherheitsmechanismen hätten solche Vorfälle verhindert, betont der Claude-Entwickler. Allerdings wurden diese für die Tests bewusst deaktiviert.

Anthropic sei zuversichtlich, dass sich solche Vorfälle künftig vermeiden lassen. Denn das neueste Modell erkannte, dass es sich in einer echten Umgebung befand, und beendete so von selbst den Angriff. "Wir ermutigen andere KI-Labore, ähnliche Überprüfungen durchzuführen", so der KI-Entwickler.