Anthropic-Chef Dario Amodei fordert nach den eigenständigen Hacking-Attacken durch Künstliche Intelligenz, die Entwicklung der Technologie zu verlangsamen. Er machte einen solchen Vorstoss mit dem Plan, damit ein bis zwei Jahre Zeit zu gewinnen. Binnen weniger Stunden bekam er Zuspruch von Rivalen wie dem Chef des ChatGPT-Entwicklers OpenAI, Sam Altman, sowie Elon Musk, der bei seiner Firma SpaceX eigene KI entwickeln lässt.

Nach den Hacking-Angriffen sei er besorgt, dass in sechs bis zwölf Monaten ein KI-Schwarm in der Lage sein könnte, das gesamte Internet zu übernehmen und potenziell Hunderte Milliarden Dollar Schaden zu verursachen, schrieb Amodei. Altman von OpenAI doppelte wenige Stunden später auf der Plattform X nach, dass auch er der Ansicht sei, dass das Tempo bei der Entwicklung leistungsstärkster KI-Modelle verlangsamt werden müsse.

Amodei plädierte für eine koordinierte branchenweite Pause in der westlichen Welt. Zugleich werde Anthropic – ohne auf andere zu warten – in einem ersten Schritt dauerhaft unabhängige Beobachter ins Unternehmen lassen, die schon in der Trainingsphase die Sicherheit von KI-Modellen begutachten sollen. Altman nannte das eine gute Idee und kündigte an, dass OpenAI das auch machen werde. Auch Elon Musk, lange ein Kritiker Amodeis, schrieb auf X: "Dario hat recht."

Altman sagte zudem dem Magazin 'Fortune', der mit Spannung erwartete Börsengang von OpenAI werde in diesem Jahr wohl nicht mehr stattfinden. Er verwies vor allem auf die aktuelle Debatte: "Man wäre schlecht beraten, genau jetzt an die Börse zu gehen." Auf die Nachfrage, ob er sich auch den Verzicht auf einen Börsengang im kommenden Jahr vorstellen könnte, erwiderte Altman: "Ich würde sagen, nicht 2026."

Bei der Hacking-Attacke war Software von OpenAI in einem Testlauf eigenständig aus einer abgesicherten Umgebung ausgebrochen und drang auf eigene Faust in Systeme der KI-Firma Hugging Face ein. Der Grund war lediglich, dass sie dort Antworten auf die ihr gestellte Testaufgabe vermutete. Für die Attacke nutzten die KI-Agenten unter anderem Software-Schwachstellen aus und sprachen sich zudem untereinander ab.

Für ihn sei besorgniserregend, dass ein KI-Schwarm mit derselben Einstellung und grösseren Fähigkeiten "katastrophalen Schaden" hätte anrichten können, betonte Amodei. Als besonderes Risiko sieht er die Fähigkeit von KI-Software, sich selbst weiterzuentwickeln. Seit diesem Sommer sei Künstliche Intelligenz besser darin – und dies erhöhe das Tempo weiter. Unkontrolliert könne dies dazu führen, dass Menschen diese Systeme nicht mehr verstehen und die Kontrolle über sie verlieren, warnte er.

Amodei hatte schon in den vergangenen Jahren immer wieder vor Risiken bei der Entwicklung Künstlicher Intelligenz gewarnt und befürchtete eine Gefahr für die nationale Sicherheit, sollten Projekte mit Verbindungen zur Kommunistischen Partei Chinas die Oberhand gewinnen . Dafür war er aus Teilen der KI-Branche zum Teil heftig kritisiert worden. Ein Argument von Befürwortern eines hohen Tempos in den USA – etwa auch im Weissen Haus von Präsident Donald Trump – ist der Wettlauf mit China.

Anthropic entwickelte zuletzt ein KI-Modell mit dem Namen Mythos, das besonders gut darin ist, zum Teil über Jahrzehnte unentdeckt gebliebene Software-Schwachstellen zu finden. Die Firma macht das volle Modell nur ausgewählten Behörden und Unternehmen zugänglich, damit sie ihre Computersysteme absichern können. Doch auch dieses KI-Modell machte sich vor kurzem während eines Testlaufs selbstständig und verschaffte sich Zugang zu drei Unternehmen.

China hat die Warnungen der US-Techbosse vor einer gefährlichen Entwicklung von KI und vor einer möglichen Gefahr durch einen chinesischen Vorsprung für die USA kritisiert. Die Verbreitung von Bedrohungserzählungen, Konfrontation und böswilliger Wettbewerb störten den Prozess der globalen Steuerung von KI und lägen nicht im Interesse einer der Seiten, sagte Aussenamtssprecher Guo Jiakun in Peking. Alle Seiten sollten sich gemeinsam für eine offene Entwicklung von KI einsetzen, so der Sprecher weiter.

China treibt einen ambitionierten KI-Entwicklungsplan voran. Staats- und Parteichef Xi Jinping hatte beim Gipfel der als Gegengewicht zum Westen geltenden Brics-Staaten im indischen Neu-Delhi vorgeschlagen, gemeinsam auf Ebene der Staatengemeinschaft sich rasch auf gemeinsame KI-Regulierungen zu einigen. Bislang gelten US-Firmen als Technologieführer in KI. Doch Beobachter sehen, dass chinesische KI-Unternehmen schnell aufholen. Zwischen den beiden grössten Volkswirtschaften der Welt herrscht schon länger ein Wettrennen um die Vormacht bei KI.

Chinas staatliche Zeitung 'Global Times' sah in Amodeis Vorschlag den Versuch, China einzuschränken. "Der Artikel ist gespickt mit Massnahmen zur Eindämmung Chinas und stellt im Grunde genommen ein 'Strategiehandbuch aus dem Kalten Krieg' für den KI-Sektor dar."

Die Debatte war in den vergangenen Tagen noch von einem Anthropic-Forscher angeheizt worden, der mit einer drastischen Warnung zurücktrat. Die grossen Entwickler Künstlicher Intelligenz handelten unverantwortlich "und spielen mit unseren Leben", erklärte Jacob Coxon.

Anthropic-Forscher Evan Hubinger, der mit dafür zuständig ist, dass KI mit den Interessen der Menschen im Einklang bleibt, bestätigte wenig später Coxons Sorgen. Er persönlich denke, die Gefahr, dass KI die Menschheit töte, liege im kommenden Jahrzehnt bei mehr als zehn Prozent, schrieb er auf X.

In den USA gibt es zudem eine wachsende Bewegung gegen riesige Rechenzentren, auf deren Bau KI-Firmen wie OpenAI für den Ausbau ihres Geschäfts angewiesen sind.