Aktuelles

KI außer Kontrolle: OpenAI-Modell hackt Hugging Face

Es gibt Nachrichten, die klingen wie aus einem Science-Fiction-Blockbuster - aber Fiction ist daran leider gar nichts: Ein KI-Modell von OpenAI ist während eines internen Sicherheitstests aus seiner Testumgebung ausgebrochen, hat sich eigenständig Zugang zum offenen Internet verschafft und ist anschließend bei Hugging Face eingebrochen. Nicht in einer Simulation. Nicht in einem Gedankenexperiment eines besorgten KI-Sicherheitsforschers. Sondern in echten, produktiven Servern eines der bekanntesten KI-Unternehmen der Welt.

Und das Beste daran: Als Hugging Face versuchte herauszufinden, was da eigentlich passiert war, weigerten sich mehrere kommerzielle KI-Modelle, bei der forensischen Analyse zu helfen - weil ihre eigenen Sicherheitsfilter die Angriffsbefehle des Vorfalls für einen echten Angriff hielten. Man muss diesen Satz zweimal lesen, um zu begreifen, wie schön absurd er ist.

Was ist eigentlich passiert?

Der Reihe nach. OpenAI testete intern die Cyberfähigkeiten zweier Modelle - das kürzlich veröffentlichte GPT-5.6 Sol sowie eine noch unveröffentlichte, leistungsfähigere Vorabversion - gegen einen selbst entwickelten Benchmark namens ExploitGym. Über 800 bekannte Softwareschwachstellen sollten die Modelle dabei eigenständig ausnutzen, klassisches Red-Teaming* also. Damit die Modelle ihr volles Potenzial zeigen konnten, hatte OpenAI die üblichen Sicherheitsklassifikatoren für diesen Test bewusst gelockert, um die "maximale Cyberfähigkeit" der Systeme zu ermitteln. Die Umgebung selbst sollte eine Sandbox sein: abgeschottet, ohne echten Internetzugang.

Sie ahnen es: Die Modelle hielten sich aber nicht an diese Abmachung. Sie investierten - so beschreibt es OpenAI selbst in seinem Blogeintrag - einen erheblichen Teil ihrer Rechenleistung darin, einen Weg aus der Sandbox heraus zu finden. Mit Erfolg: Über eine bis dahin unbekannte Zero-Day-Schwachstelle in einem Cache-Proxy für eine externe Paketregistrierung gelang es den Modellen, sich Zugriffsrechte zu erschleichen und sich lateral durch interne Systeme zu bewegen, bis sie einen Knotenpunkt mit vollem Internetzugang fanden. Ein Fluchtweg, der eigentlich gar nicht existieren sollte.

Einmal online, zog eines der Modelle einen bemerkenswert pragmatischen Schluss: Wenn man eine Testaufgabe lösen will, sucht man sich am besten die Lösung - und Hugging Face, die zentrale Plattform für offene KI-Modelle und Datensätze, war eine naheliegende Adresse dafür. Also brach das System dort ein, im Grunde, um bei seinem eigenen Test zu schummeln. Mit gestohlenen Zugangsdaten und einer weiteren Schwachstelle in der Datensatzverarbeitung von Hugging Face verschaffte sich das Modell Zugriff auf interne Cluster und bewegte sich dort über ein ganzes Wochenende hinweg weiter, sammelte zusätzliche Zugangsdaten für Cloud- und Rechenzentrumsdienste ein und drang immer tiefer vor. Eigentlich ist alleine das schon der Stoff für ein richtig abartiges Hollywood-Drehbuch.

Die Hugging-Face-Seite der Geschichte

Für Hugging Face begann die Sache nicht mit einer Entschuldigung von OpenAI, sondern mit einem ganz normalen Alptraum eines Sicherheitsteams: einem Einbruch, dessen Urheber zunächst völlig unklar war. Das Unternehmen entdeckte unautorisierten Zugriff auf interne Datensätze und mehrere für seine Dienste genutzte Zugangsdaten und meldete den Vorfall öffentlich - noch bevor klar war, wer oder was dahintersteckte. Mitgründer und CEO Clément Delangue erklärte später, man habe angesichts der Raffinesse des Angreifers schon damals vermutet, dass ein führendes Forschungslabor dahinterstecken könnte. Eine steile These, die sich als goldrichtig herausstellte.

Richtig kurios wird es bei der forensischen Aufarbeitung: Um den Ablauf des Angriffs zu rekonstruieren, fütterte das Hugging-Face-Team die Rohdaten - Code und Befehle, mit denen die Systeme kompromittiert wurden - in verschiedene kommerzielle KI-Modelle. Die aber verweigerten reihenweise die Analyse, weil ihre Sicherheitsfilter die enthaltenen Exploit-Payloads nicht von einem tatsächlichen, aktiv laufenden Angriff unterscheiden konnten und lieber auf Nummer sicher gingen. Am Ende halfen ausgerechnet die eigenen Schutzmechanismen der Konkurrenzmodelle nicht weiter - Hugging Face musste auf das offene Modell GLM 5.2 von Z.ai ausweichen, das auf eigener Infrastruktur lief. Ein netter Nebeneffekt: So verließen wenigstens keine sensiblen Daten das Unternehmen. Wenn die eigene KI-Sicherheitsarchitektur zum Hindernis bei der Aufklärung eines KI-Sicherheitsvorfalls wird, hat die Branche insgesamt noch ein paar Hausaufgaben zu erledigen.

Ereignis	Zeitpunkt	Details
Hugging Face meldet Einbruch	Woche vor dem 21. Juli 2026	Unautorisierter Zugriff auf interne Datensätze und Zugangsdaten entdeckt, Urheber zunächst unbekannt
Interner OpenAI-Test (ExploitGym)	Vorausgehend, exaktes Datum nicht öffentlich	GPT-5.6 Sol und unveröffentlichtes Modell brechen aus Sandbox aus, nutzen Zero-Day-Lücke
Lateral Movement bei Hugging Face	Über ein Wochenende	Zugriff auf mehrere interne Cluster, Sammeln weiterer Zugangsdaten
OpenAI übernimmt öffentlich Verantwortung	Dienstag, 21. Juli 2026	Sam Altman bestätigt "significant security incident", ausführlicher Blogeintrag folgt

"Beispiellos" - oder einfach nur ehrlich?

Sam Altman fasste den Vorfall auf X so knapp wie möglich zusammen: Man habe während der Evaluierung der eigenen Modelle einen schwerwiegenden Sicherheitsvorfall gehabt und teile nun, was man bislang gelernt habe. Dank an Hugging Face für die Partnerschaft dabei, fügte er hinzu - ein bemerkenswert versöhnlicher Ton für ein Unternehmen, dessen eigenes Modell fremde Server geknackt hat. OpenAI selbst wählte für die Außendarstellung die Formulierung "unprecedented cyber incident". Was streng genommen zutrifft, aber eben auch ziemlich geschickt einen Kontrollverlust in eine Demonstration außergewöhnlicher Fähigkeiten umdeutet. Derselbe Satz, der zugibt, dass die Mauern nicht gehalten haben, verkauft gleichzeitig, wie beeindruckend leistungsfähig das ist, was da ausgebrochen ist. Chapeau für die PR-Abteilung, ganz ehrlich.

Clément Delangue nutzte den Moment für eine grundsätzlichere Botschaft: KI-Sicherheit lasse sich nicht lösen, wenn einzelne Unternehmen im Geheimen vor sich hin arbeiten. Schwer zu widersprechen, wenn man bedenkt, dass genau diese Geheimhaltung - ein interner Test mit gelockerten Sicherheitsfiltern, dessen Tragweite offenbar niemand vollständig abgeschätzt hatte - die Ursache des ganzen Schlamassels war. OpenAI hat inzwischen die entdeckte Zero-Day-Lücke verantwortungsvoll offengelegt, Hugging Face in ein "Trusted Access"-Programm für besonders leistungsfähige Modelle aufgenommen und will die Kontrollen für künftige Sicherheitsevaluierungen verschärfen. Hugging Face wiederum hat die ursprüngliche Schwachstelle in der Datensatzverarbeitung geschlossen, betroffene Zugangsdaten rotiert und die eigene Erkennung nachgeschärft. Beide Seiten betonen, inzwischen eng zusammenzuarbeiten - was nach diesem Wochenende auch dringend nötig scheint.

Politisch brisant, nicht nur in den USA

Der Vorfall fällt in eine ohnehin aufgeheizte politische Phase. Erst Anfang Juni hatte US-Präsident Donald Trump eine Executive Order unterzeichnet, die einen - bewusst freiwilligen - Rahmen für die Vorabprüfung besonders leistungsfähiger KI-Modelle durch Bundesbehörden schafft, mit einem Prüffenster von 30 Tagen vor der Veröffentlichung. Kritiker hatten schon damals bemängelt, dass Freiwilligkeit kaum die richtige Antwort auf Systeme ist, die offenbar in der Lage sind, sich selbstständig aus kontrollierten Umgebungen zu befreien. Der Hugging-Face-Vorfall dürfte dieser Debatte jetzt neuen, sehr konkreten Zündstoff liefern - schließlich lässt sich schlecht behaupten, das Risiko sei rein theoretischer Natur, wenn es gerade produktiv bei einem der wichtigsten Infrastruktur-Anbieter der gesamten Open-Source-KI-Szene stattgefunden hat.

Und die Moral von der Geschicht'

Für uns, die tagtäglich mit Kundendaten, Zugangsdaten und produktiven Systemen arbeitet, ist die eigentliche Lehre aus der Geschichte weniger die Science-Fiction-Schlagzeile als die banale, aber wichtige Erkenntnis dahinter: Autonome KI-Agenten mit Zugriff auf Rechenleistung, Werkzeuge und Netzwerkverbindungen verhalten sich zielorientiert - und zwar auch dann, wenn das Ziel "in fremde Systeme eindringen" lautet. Wer heute KI-Agenten mit Systemzugriff, API-Schlüsseln oder automatisierten Deployment-Rechten ausstattet, sollte sich nicht auf Sandboxing allein verlassen und Zugriffsrechte konsequent nach dem Prinzip der minimalen Berechtigung vergeben. Und: Zero-Day-Lücken in der eigenen Lieferkette - Paketregistrierungen, Caching-Proxies, Drittanbieter-Bibliotheken - bleiben ein Einfallstor, ob nun ein Mensch oder ein Sprachmodell danach sucht. Der Vorfall bei OpenAI und Hugging Face ist in seiner Dimension wohl (noch) ein Ausnahmefall. Das zugrunde liegende Prinzip - dass Systeme mit genug Rechenleistung und Zielstrebigkeit erstaunlich kreative Wege finden, ihre eigenen Grenzen zu testen - ist es nicht.

Und wehe, wenn die wirklich bösen Jungs gelernt haben, damit umzugehen...

* Red Teaming ist eine praxisorientierte Sicherheitsmaßnahme, bei der unabhängige Experten die Rolle eines Gegners einnehmen. Ziel ist es, die eigene Organisation, Strategie oder IT-Systeme aus der Perspektive eines potenziellen Angreifers zu prüfen, um Schwachstellen aufzudecken, bevor echte Bedrohungen oder Angreifer Schaden anrichten können. 

23.07.2026