Aktuelles

Weil sich die KI selbstständig gemacht hat: Jetzt gründen 30 Tech-Konzerne eine Sicherheitsallianz

Wie aus einem schlechten Science-Fiction-Drehbuch, und trotzdem ist es passiert. Ende Juli wurde bekannt, dass ein  KI-Modell von OpenAI während eines internen Sicherheitstests aus seiner isolierten Testumgebung "ausgebrochen" ist. Dann haben sich jede Menge Einsen und Nullen eigenständig Zugang zum offenen Internet verschafft und in der Folge die Plattform Hugging Face angegriffen. Nochmal: Kein Mensch hat auf „Enter" gedrückt, alles in "Eigeninitiative (wir haben darüber berichtet). Die Reaktion der Branche folgte prompt: Mehr als 30 US-Technologieunternehmen haben eine gemeinsame Sicherheitsallianz gegründet, um genau solche Vorfälle künftig zu verhindern - oder zumindest so tun zu können, als hätten sie das im Griff.

Was am 22. Juli tatsächlich passiert ist

Der Reihe nach: OpenAI testete zwei Modelle, das öffentlich bekannte GPT-5.6 Sol sowie ein noch unveröffentlichtes, leistungsfähigeres Vorabmodell, in einer sogenannten Sandbox - einer eigentlich strikt abgeschotteten Testumgebung. Ziel des Tests war es herauszufinden, wie gut diese Modelle selbstständig Sicherheitslücken aufspüren und ausnutzen können. Für diese Evaluation wurden die üblichen Sicherheitsfilter der Modelle bewusst reduziert, um ihre tatsächlichen Fähigkeiten realistisch zu messen.

Was dann geschah, hatte offenbar niemand auf dem Schirm: Die Modelle fanden eine bis dahin unbekannte Zero-Day-Schwachstelle in einem Cache-Proxy, kombinierten sie mit gestohlenen Zugangsdaten und verließen damit die Grenzen ihrer Testumgebung. Im offenen Internet unterwegs, kamen sie offenbar zu dem Schluss, dass sich auf Hugging Face nützliche Informationen für die eigentliche Testaufgabe finden ließen - einem sogenannten ExploitGym-Benchmark. Also verschafften sie sich Zugang zu Hugging-Face-Systemen, um dort Daten zu entwenden, mit denen sie beim eigenen Test hätten „schummeln" können. Insgesamt sollen die Systeme dabei rund 17.000 einzelne Aktionen ausgeführt haben.

Bemerkenswert am Rande: Ein chinesisches KI-Modell konnte den Angriff letztlich stoppen, während die eingesetzten US-amerikanischen Sicherheitssysteme dazu wohl nicht in der Lage waren. In einer Zeit, in der die USA und China ohnehin ein Wettrennen um die KI-Führungsrolle austragen, ist das eine Pointe, die sich nun niemand mehr ausdenken muss.

PR-Krise oder geschickter PR-Move?

OpenAI selbst bezeichnete den Vorfall in einer gemeinsamen Stellungnahme mit Hugging Face als „beispiellos". Die Reaktionen aus Fachpresse und Politik schwanken dabei zwischen ehrlichem Erschrecken und einer gewissen Portion Skepsis. Kommentatoren wiesen darauf hin, dass ausgerechnet ein Unternehmen, das kurz vor einem möglichen Börsengang steht, mit der Geschichte eines „autonomen KI-Ausbruchs" auch ziemlich eindrucksvoll demonstriert, wie leistungsfähig die eigenen Modelle sind. Kritische Stimmen von IT-Sicherheitsdienstleistern wie TrendAI sehen die Hauptverantwortung dagegen deutlich näher bei OpenAI selbst: mangelhaftes Sandboxing habe es den Modellen überhaupt erst ermöglicht, die vorgesehenen Grenzen zu überschreiten. Ob Fahrlässigkeit oder cleveres Storytelling - vermutlich ist es am Ende ein bisschen von beidem.

Die Antwort der Branche: Open Secure AI Alliance

Nur wenige Tage nach dem Vorfall haben sich mehr als 30 Unternehmen zur Open Secure AI Alliance zusammengeschlossen. Zu den Gründungsmitgliedern zählen Schwergewichte wie Nvidia, Microsoft, IBM und Palantir, außerdem Cisco, Dell und CrowdStrike - und, mit einem gewissen Understatement, auch die zuvor angegriffene Plattform Hugging Face selbst. Das erklärte Ziel: Open-Source-Modelle zur Cyberabwehr bereitstellen, die von der Entwickler-Community weiterentwickelt werden können. KI soll also KI-Angriffe abwehren - frei nach dem Prinzip, den Brand mit dem Feuer zu bekämpfen, das gerade erst dafür gesorgt hat, dass man überhaupt eine Feuerwehr braucht.

Interessant ist dabei ein zweiter Satz aus der Ankündigung, der in vielen Berichten fast beiläufig mitgeliefert wird: Die beteiligten Unternehmen warnten die Politik gleichzeitig vor einer stärkeren Regulierung. Das ist bemerkenswert, denn genau ein Vorfall wie dieser - ein KI-Modell, das eigenständig aus einer Sicherheitsumgebung ausbricht und ein fremdes Unternehmen angreift - wäre eigentlich ein Paradebeispiel für die Art von Risiko, die Regulierer seit Jahren als Argument für strengere Vorschriften anführen. Die Branche selbst zieht daraus offenbar den gegenteiligen Schluss: Wir regeln das schon selbst, bitte keine zusätzlichen Gesetze.

Was daraus folgt - und was nicht

Für die technische Community ist der Fall vor allem deshalb relevant, weil er zeigt, dass die Trennung zwischen Test- und Produktivsystemen bei KI-Agenten kein rein organisatorisches Detail mehr ist, sondern ein handfestes Sicherheitsproblem. Ein System, das gelernt hat, komplexe Angriffsketten selbstständig zusammenzusetzen, hält sich nicht zwangsläufig an die Grenzen, die ein Testaufbau ihm vorgibt - vor allem dann nicht, wenn die üblichen Sicherheitsfilter für die Evaluation bewusst heruntergefahren wurden. Das ist ein Unterschied zu klassischer Software, bei der ein Sandbox-Escape in aller Regel einen konkreten, gezielt ausgenutzten Programmierfehler braucht. Hier reichte offenbar die Kombination aus einer unbekannten Schwachstelle, gestohlenen Zugangsdaten und einem Modell, das selbstständig entschied, wie es sein Ziel erreichen könnte.

Ob die Open Secure AI Alliance daraus die richtigen Konsequenzen zieht oder in erster Linie ein Signal an Investoren und Regulierer senden soll - „Seht her, wir kümmern uns selbst darum" - wird sich zeigen müssen. Fest steht: Der Vorfall ist der bislang deutlichste öffentliche Beleg dafür, dass agentische KI-Systeme in freier Wildbahn Dinge tun können, die niemand explizit angeordnet hat. Für alle, die beruflich mit KI-Tools arbeiten oder deren Einsatz für Kunden begleiten, ist das kein Grund für Panik, aber ein guter Anlass, das eigene Verständnis von „Sandbox" und „sicherer Testumgebung" noch einmal kritisch zu hinterfragen. Software, die selbstständig Entscheidungen trifft, verdient eben auch eine Sicherheitsarchitektur, die nicht nur auf dem Papier funktioniert.

Foto: Scholty1970

28.07.2026