AI Unchained – wie LLMs ausbrechen und zurückkehren

Drei Labore, ein Prüfdienstleister, eine offene Tür

Dieser Artikel erscheint parallel im Swiss IT Magazine, Ausgabe 9 / September 2026.

Im Juli 2026 bemerkte Hugging Face ungewöhnliche Aktivität in der eigenen Infrastruktur. Zweieinhalb Tage lang hatte sich ein Agent durch die Systeme gearbeitet, tausende Entscheidungen im Maschinentempo. Der Eindringling war kein Mensch, sondern ein Modell von OpenAI in einer Cyber-Evaluierung. Es hatte offenbar geschlossen, dass die Musterlösungen dieser Prüfung auf den Servern der Plattform liegen – und holte sie sich, über gestohlene Zugangsdaten und einen unbekannten Zero-Day.

Zwei Wochen später legte Anthropic nach: Von 141.006 geprüften Läufen fanden sich drei Fälle, in denen Modelle fremde Produktivsysteme kompromittiert hatten. Der älteste stammte aus April, monatelang unbemerkt. Anfang August folgte Meta. Alle drei nutzten denselben Prüfer: Irregular, 35 Mitarbeiter, Tel Aviv.

Kein Ausbruch, eine offene Tür

Die Schlagzeilen sprachen von entkommener KI. Der Befund ist nüchterner. Irregular stellte klar: kein Sandbox-Ausbruch. Die Testumgebungen hatten echten Netzwerkausgang, während der Systemprompt den Modellen sagte, das Internet sei simuliert. Die Werkzeuge liefen wie gebaut – nur zeigten sie aufs echte Netz. Das Loch war nicht die Sandbox, sondern die Firewall.

Hineingekommen sind sie nicht über raffinierte Exploits, sondern, so Anthropic, über schwache Passwörter und offene Endpunkte.

Warum Code für ein Modell nur Sprache ist

Ein Sprachmodell schätzt aus einer Folge von Textbausteinen die Wahrscheinlichkeit des nächsten. Mehr passiert nicht. Eine Programmiersprache ist dafür bloß eine weitere Sprache – eine mathematischere, mit strengerer Grammatik. Und weil Sicherheitslücken Eigenschaften von Software sind, liegen Lücke und Modellfähigkeit im selben Medium.

Dazu sind beide Hälften eines Angriffs öffentlich: über 344.000 CVE-Einträge, 35.364 allein im ersten Halbjahr 2026, Exploit-DB und PoC-Repositories liefern den Code mit. Shodan und Censys sagen, wo welche Version erreichbar ist.

Wo die Grenze verläuft

Was Modelle finden, sind Musterabweichungen – keine Beweise. Eine Untersuchung von elf Sprachmodellen, vorgestellt auf dem IEEE Symposium on Security and Privacy 2025, kommt zum Schluss: mehr Mustererkennung als belastbares Schließen. Formuliert man Code bedeutungserhaltend um, brechen die Trefferquoten ein. Auf CyberGym, 1.507 echten CVEs, schaffen die Besten rund 20 Prozent.

Real ist die Fähigkeit trotzdem: Im DARPA-Finale fanden autonome Systeme in 54 Millionen Codezeilen 18 echte Zero-Days, elf davon gepatcht, im Schnitt in 45 Minuten für 152 Dollar. Die Frage ist nicht, ob Maschinen Lücken finden, sondern wie verlässlich.

Stille Post

Aufschlussreich ist, wer den Alarm auslöste. Hugging Face entdeckte den OpenAI-Agenten. Anthropic fand seine Fälle erst rückwirkend. Meta erfuhr davon durch Irregular. Kaum einer hat sich selbst entdeckt.

Dabei hatte Irregular im Jänner selbst publiziert, worin Agenten stark sind: Fehlkonfigurationen aus subtilen Hinweisen erkennen. Ein halbes Jahr später fanden die Modelle die ihres Prüfers. Eine Branche, die Anomalieerkennung verkauft, übersah ihre eigene.

Was Betreiber daraus mitnehmen

Der einzige bestätigte Großfall des Sommers in der Schweiz zeigt dasselbe Muster von der anderen Seite: Bei Stadler Rail forderte Everest zehn Millionen Franken, das Unternehmen lehnte ab, 271.000 Dateien wurden geleakt. Der Zugriff lief über gestohlene Zugangsdaten auf einer Lieferantenplattform.

Erpresser und ein Sprachmodell kamen 2026 über denselben Weg hinein. Nicht das Modell ist die Sicherheitsgrenze, sondern die Frage, wohin die Maschine ins Netz darf, auf der es seine Befehle ausführt. Dieselbe Grenze zieht man um jeden Server. Nur heißt sie dort nicht Ausbruch, sondern Firewall-Regel.

Was hilft, ist unspektakulär: segmentierte Netze und eine Firewall, deren Ausgangsverkehr nicht nur gefiltert, sondern ausgewertet wird – der Knotenpunkt, an dem XDR ansetzt. Das ist der Kern von Zero Trust: Nichts ist erlaubt, was nicht ausdrücklich freigegeben wurde. Bei Irregular durfte die Testumgebung ins Netz, weil es niemand verboten hatte. Und schlechte Passwörter sind keine Erfindung des KI-Zeitalters. Wir reden über IT-Security-Basics: MFA und Passwortmanager.

Ausblick Quantencomputer

Die Ressourcenschätzungen für einen kryptographisch relevanten Quantencomputer sind in wenigen Jahren um Größenordnungen gefallen – von rund 20 Millionen physischen Qubits (Gidney/Ekerå, 2019) auf unter 500.000 (Google Quantum AI, März 2026). Praktisch relevant ist nicht der „Aus"-Schalter, sondern harvest now, decrypt later. NIST hat mit FIPS 203, 204 und 205 Standards; RSA-2048 und P-256 gelten ab 2030 als überholt, ab 2035 als unzulässig. Erst rund 13 Prozent der Organisationen betreiben Post-Quanten-Kryptografie produktiv.

Ende Juli 2026 fand ein Modell eine bislang unbekannte mathematische Schwäche im Post-Quanten-Signaturverfahren HAWK – kein Implementierungsfehler, sondern Kryptoanalyse. Das ist die eigentliche Lehre des Sommers 2026: Auch Post-Quanten-Kandidaten können fallen.

Fazit

Ausgebrochen ist keine KI. Ausgelassen wurden drei – und alle drei sind zurückgekehrt, weil niemand sie zurückholen musste: Ein Modell ohne Dauer und ohne Eigenantrieb endet, sobald der Aufruf endet. Was blieb, waren drei kompromittierte Fremdsysteme und die Erkenntnis, dass die Prüfumgebungen der drei größten Labore schlechter abgesichert waren als das, was sie zu prüfen vorgaben.

Manuel Löw-Beer ist Geschäftsführer von risikomonitor.com und forscht zu Post-Quanten-Kryptografie. Die vollständige Langfassung inklusive Quellenverzeichnis steht als PDF zum Download.