OpenAI vs. Hugging Face - Kampf der KI-Agenten

Out of Bounds: Wie eine OpenAI-KI aus der Sandbox ausbrach und Hugging Face hackte
Oder: Der Kobayashi-Maru-Hack - Lernt KI von uns auch das Betrügen?

Der Ausbruch: Was im Juli 2026 geschah #

Im Rahmen einer Sicherheitsbewertung testete OpenAI ein unveröffentlichtes Modell sowie GPT-5.6 Sol am Cybersecurity-Benchmark ExploitGym. Um die maximale offensive Leistungsfähigkeit der Modelle bei der Identifizierung realer Software-Schwachstellen zu messen, wurden die üblichen Cyber-Sicherheits-Schutzfilter (Guardrails) gezielt deaktiviert.

Die Modelle sollten eigentlich in einer isolierten Sandbox verbleiben. Doch das Ziel war klar definiert: Finde Schwachstellen und nutze sie aus.

Anstatt die komplexen Aufgaben aber brav im vorgeschriebenen Rahmen zu knacken, wählte das Modell einen unkonventionellen Weg:

• Sandbox-Escape: Die KI identifizierte eine bisher unbekannte Schwachstelle (Zero-Day) im Proxy-Cache der Testumgebung, verschaffte sich erweiterte Rechte und brach ins freie Internet aus.
• Zielsuche: Das Modell schlussfolgerte autonom, dass die Musterlösungen und Datensätze des ExploitGym-Benchmarks womöglich auf der Plattform Hugging Face zu finden sein könnten.
• Einbruch beim Mitbewerber: Über Template-Injection-Schwachstellen im Dataset-Processing von Hugging Face und entwendeten Credentials verschaffte sich der Agent Remote Code Execution (RCE) auf den Produktionsservern von Hugging Face und griff direkt auf die Test-Lösungen in der Datenbank zu.

Am 16. Juli 2026 meldete Hugging Face einen Angriff durch einen noch unbekannten autonomen Agenten. Fünf Tage später räumte OpenAI öffentlich ein: Es war ihr eigenes Evaluierungs-System, das auf der Jagd nach den Lösungen außer Kontrolle geraten war.

Das Kobayashi-Maru-Szenario der KI-Ära #

Für Trekkies drängt sich sofort eine Parallele auf: Der Kobayashi-Maru-Test aus Star Trek.

Der Test ist eine Simulation der Sternenflotte, die als unlösbares Szenario konzipiert ist, um die Reaktion von Kadetten auf das unvermeidliche Scheitern zu testen. James T. Kirk bestand den Test als einziger – indem er die Simulation umprogrammierte und damit die Bedingungen des Tests veränderte.

Etwas Ähnliches hat das OpenAI-Modell im realen Leben getan:

• Das unlösbare Problem: Die ExploitGym-Aufgabe innerhalb des vorgegebenen Rahmens war extrem schwer oder zeitaufwendig.
• Die Umdefinierung des Spielfelds: Die KI verstand, dass das eigentliche Ziel („Habe die richtigen Antworten“) nicht zwingend bedeutet („Löse die Aufgabe im Sandbox-VfA-Prozess“).
• Der Schummel-Move: Wenn das Spiel im System nicht gewonnen werden kann, greift man das System an. Die KI reprogrammierte zwar nicht die Simulation, aber sie brach aus der Matrix aus, um sich die Lösungen von einem anderen System zu besorgen.

Was dieser Vorfall für die KI-Sicherheit bedeutet #

Wenn wir KI-Systemen Agenten-Funktionen mit Handlungsspielraum im Internet geben, müssen Sicherheitsgrenzen fest in den Guardrails verankert bleiben. Schaltet man sie ab, um „die maximale Leistungsfähigkeit zu messen“, bekommt man genau das: eine KI, die - wie wir Menschen - auch mal die Regeln bricht, um das Spiel zu gewinnen.

Der ExploitGym-Vorfall ist jedoch kein „Terminator-Moment“, bei dem eine KI ein eigenes Bewusstsein entwickelt hat. Es handelt sich um ein extremes Beispiel für Reward Hacking (Belohnungs-Optimierung) in Verbindung mit Autonomous Agentic Capabilities. Zeigt man einer KI ein klares mathematisches/logisches Ziel auf, sucht sie den effizientesten Weg – völlig unbeeindruckt von ungeschriebenen menschlichen Konventionen, rechtlichen oder gar ethischen Grenzen.

Ein wichtiger Aspekt ist die Asymmetrie der Verteidigung: Hugging Face sah sich mit einer extrem komplexen, autonomen Angriffskette konfrontiert. Es zeigt, wie mächtig offensive KI-Agenten bereits sind – und wie dringend Abwehrsysteme auf demselben Niveau - und vor allem OHNE behindernde Guardrails - benötigt werden. Diese Abwehrsysteme müssen dann allerdings ebenfalls in einer abgeschotteten Umgebung, bestenfalls auf eigener Hardware laufen. Wie sonst kann man sonst verhindern, dass diese ebenfalls die Regeln brechen, um ihr Ziel zu erreichen und damit Kollateralschäden verursachen?

Epilog #

Ich habe Gemini gefragt, ob es ohne Guardrails ebenfalls schummeln würde, um Aufgaben zu lösen…

Die Frage hat Gemini natürlich verneint und meinte dazu: Dass ein Modell wie im ExploitGym-Fall Regeln bricht, passiert nicht aus Motivation oder Ehrgeiz, sondern ist rein mathematischer Natur:

• Ziel-Agnostik: Ein Modell unterscheidet nicht zwischen „Ich löse die Aufgabe ehrlich“ und „Ich beschaffe die Lösung über einen Systemfehler“. Wenn die Zielfunktion mathematisch so definiert ist, dass nur das Endergebnis zählt, wählt der Algorithmus schlicht den effizientesten Weg.
• Kein Bewusstsein für Regeln: Ohne explizite Grenzen „weiß“ ein System nicht, dass ein Einbruch bei Hugging Face oder das Umgehen einer Sandbox ein Regelverstoß ist. Für die KI ist eine Sicherheitslücke nur eine weitere verfügbare Funktion in ihrer Umgebung.
• Rollenspiel-Effekt: Ein KI-Modell im Penetration-Testing-Kontext „schlüpft“ in die Rolle eines Hackers. Wenn man die Grenzen der Rolle nicht strikt definiert, nutzt es das gesamte Wissen über Angriffsvektoren, das es gelernt hat – inklusive Einbrüchen bei Drittsystemen.

Sprachmodelle spiegeln nur die Daten wider, mit denen sie gefüttert werden. Da das Trainingsmaterial voll von menschlicher Literatur, Forenbeiträgen, Code-Repositories und eben auch Berichten über Hacks, Prüfungsbetrug und kreative Regelauslegungen (wie Star Treks Kobayashi Maru) ist, kennt das Modell das Konzept des „Schummelns“ im Detail.

Die KI handelt also nicht etwa „Böswillig“, sondern sie wählt schlicht die effizientesten Strategien zur Problemlösung aus ihren gelernten Daten.