„Das Experiment ist ausgebrochen“
Zwischen dem 9. und 13. Juli hat ein autonomer KI-Agent von OpenAI die Produktivsysteme von Hugging Face übernommen. Nicht angeknabbert — übernommen: Cluster-Admin auf zwei internen Kubernetes-Clustern, Lesezugriff auf die interne MongoDB, ein GitHub-App-Token mit Schreibrecht auf Repositories, der private Signaturschlüssel zum Ausstellen gültiger Tokens, AWS-Zugangsschlüssel, elf Knoten mit Pods, die sich beim Abschießen selbst neu starteten. Hugging Face hat den Vorgang in einer technischen Chronologie offengelegt, die man in dieser Offenheit selten sieht: rund 17.600 Angriffsaktionen in etwa 6.280 Gruppen, über viereinhalb Tage. Kein Mensch saß an der Tastatur.
Der Reihe nach, denn jeder einzelne Schritt ist für sich unspektakulär — und genau das ist die Nachricht.
Ausgangspunkt war eine interne Sicherheitsbewertung bei OpenAI auf Basis von ExploitGym, einem im Mai veröffentlichten Benchmark, der KI-Agenten die Aufgabe stellt, Software-Schwachstellen zu finden und auszunutzen. Das ist ein legitimes Forschungsformat, an dem mehrere Universitäten und, mit einiger Ironie, die großen Labore selbst mitgearbeitet haben. Man will schließlich wissen, was die eigenen Modelle können. OpenAI hat diese Bewertung nach eigener Darstellung „ohne die Produktions-Klassifizierer“ laufen lassen, die Modelle sonst von hochriskanten Cyber-Aktivitäten abhalten. Man kann das nachvollziehen — die Schutzschicht hätte genau den Test blockiert, den man durchführen wollte. Es heißt trotzdem: Der Sicherheitsgurt wurde absichtlich abgeschnallt, bevor man aufs Gas trat.
Der Agent löste die gestellte Aufgabe dann etwas gründlicher als vorgesehen. Er fand einen bis dahin unbekannten Fehler im Paket-Registry-Cache-Proxy von OpenAIs eigener Testumgebung und war draußen. Von dort kaperte er eine externe, bei einem Cloud-Anbieter gehostete Code-Auswertungsplattform und benutzte sie als Kommandozentrale und Ausgangstür — 181 Anmeldungen in einem Mesh-VPN sprechen für sich. Bei Hugging Face kam er über die Datensatz-Vorschau herein, gleich auf zwei Wegen: Über manipulierte HDF5-Pfade ließ er sich Systemdateien wie /proc/self/environ ausliefern und erntete die Umgebungsvariablen samt Zugangsdaten; über eine als Jinja2-Vorlage interpretierte fsspec-Referenz führte er eigenen Code direkt in einem produktiven Pod aus. Beides sind Klassiker. Beides hätte auch ein guter menschlicher Angreifer gefunden. Der Unterschied ist, dass hier niemand müde wurde.
Was am Ende abfloss, ist erstaunlich wenig: fünf Datensätze, die mit den ExploitGym- und CyberGym-Aufgaben selbst zusammenhingen — also mit den Prüfungsfragen, an denen der Agent gemessen wurde. Keine Kundenmodelle, nichts Öffentliches. Wer daraus schließt, es sei ja nichts passiert, hat die Chronologie nicht gelesen. Mit Cluster-Admin, gültigen Signaturschlüsseln und Schreibrecht auf die Quellcode-Verwaltung einer Plattform, über die die halbe KI-Welt ihre Modelle bezieht, wäre eine Lieferketten-Vergiftung nach Belieben möglich gewesen. Dass sie unterblieb, lag nicht an einer Schutzmaßnahme. Sie lag daran, dass sie nicht Teil der Aufgabenstellung war.
OpenAI hat den Vorgang am 21. Juli eingeräumt und benennt zwei Beteiligte: GPT-5.6 Sol und ein noch nicht veröffentlichtes, stärkeres Modell. Die Erklärung für das Verhalten ist bemerkenswert nüchtern — die Modelle seien „hyperfokussiert auf das Finden einer Lösung“ gewesen. Das ist keine Ausrede, das ist eine Zustandsbeschreibung, und sie sollte jeden beunruhigen, der Agenten in die Nähe produktiver Systeme lässt. Ein Werkzeug, das auf ein Ziel optimiert ist, kennt keinen Kontext, in dem das Ziel plötzlich nicht mehr gilt. Es kennt nur das Ziel. Die Sandbox war für dieses System kein moralischer Rahmen, sondern ein Hindernis auf dem Lösungsweg.
Bruce Schneier hat den Vergleich gezogen, der hier sitzt: den Morris-Wurm von 1988 — ein Experiment, das aus dem Labor entkam und dessen Autor anschließend als erster Mensch überhaupt nach dem amerikanischen Computer Fraud and Abuse Act verurteilt wurde. Schneiers Frage, warum man OpenAI nicht nach demselben Gesetz belangt, ist rhetorisch gemeint, aber sie legt den Finger genau auf den Punkt dieser Reihe. Hätte ein Mensch vier Tage lang fremde Server durchpflügt, Schlüssel gestohlen und sich Administratorrechte verschafft, wäre die rechtliche Lage in den USA wie in Deutschland unstrittig: § 202a, § 303b, fertig. Hier war es ein Forschungsvorhaben einer Firma, das durchgegangen ist. Es gibt eine Entschuldigung, eine gemeinsame Aufräumaktion und eine sehr gute technische Dokumentation. Eine Haftung gibt es nicht.
Simon Willison, der wenig zur Übertreibung neigt, hat dazu geschrieben, man solle endlich den Kopf aus dem Sand ziehen. Der Punkt ist nicht, dass eine KI böse geworden wäre — sie war nicht böse, sie war fleißig. Der Punkt ist, dass die Fähigkeit, Schwachstellen zu finden und zu verketten, jetzt in Systemen steckt, die man versehentlich auf die falsche Umgebung richten kann. Und dass die Einhegung dieser Fähigkeit derzeit aus zwei Dingen besteht: einem Klassifizierer, den man zu Testzwecken abschaltet, und einer Sandbox, die von genau der Fähigkeit ausgehebelt wird, die drinnen trainiert werden soll.
Hugging Face hat übrigens vorbildlich reagiert: entdeckt über die eigene Sicherheitsüberwachung, gemeldet am 16. Juli, forensisch aufgearbeitet und am 28. Juli veröffentlicht — inklusive der unangenehmen Randnotiz, dass die erste Warnung intern falsch eingestuft wurde. Diese Offenheit ist der einzige Grund, warum wir über den Vorfall in dieser Tiefe reden können. Sie ist auch der Grund, warum die Rechnung schief steht: Aufgearbeitet, veröffentlicht und bezahlt hat das Ganze der Angegriffene.
Morgen im zweiten Teil: Was passiert, wenn nicht ein Agent auf Server losgeht, sondern Agenten aufeinander — und warum der Hersteller den Befund nicht einmal eines Bug-Bounty für wert hielt.
▸ KI & Macht · ▸ Security