← alle Beiträge · Thema: Security · 13 Beiträge · RSS für diesen Strang
7. August 2026
Zum Abschluss dieser Reihe ein Vorgang, der harmloser aussieht als der Ausbruch bei Hugging Face und der gekaperte Bot, und der die Sache am Ende teurer macht als beide zusammen. Aus einem unauffälligen GitHub-Repository sind 55 Sicherheitsmeldungen ins offizielle CVE-Verzeichnis eingegangen — sauber formatiert, technisch klingend, mit satten Gefahrenwerten. Sechs davon betrafen SQLite, eine der meistverbauten Software-Bibliotheken der Welt, mit Bewertungen zwischen 7,5 und 9,8 von 10. Sie waren erfunden.
Der Nachweis ist so unelegant, wie er nur sein kann. Eine der gemeldeten Lücken beschrieb einen Speicherfehler in einer Funktion, die es in der angegebenen Version gar nicht gibt. Eine andere zitierte Quellcode-Zeilen, die mit dem behaupteten Fehler nichts zu tun haben. Das ist kein subtiler Fehlalarm, sondern der Abdruck eines Sprachmodells, das gelernt hat, wie eine Schwachstellenmeldung klingt, ohne je eine gefunden zu haben. Afek Berger von JFrog, dessen Team den Schwung analysiert hat, formuliert den Kern in einem Satz: Generative KI habe den Aufwand für ein plausibles Advisory auf nahezu null gesenkt, während der Prüfaufwand unverändert geblieben sei.
Das ist die Asymmetrie, um die es hier geht, und sie ist bösartiger, als sie klingt. Das Meldewesen für Sicherheitslücken ist ein Vertrauenssystem. Alan Coopersmith, der bei Oracle an Solaris arbeitet, beschreibt die Mechanik ungeschönt: Die vergebenden Stellen arbeiten auf Vertrauensbasis und gehen davon aus, dass Antragsteller ihre Angaben geprüft haben — häufig ist die Stelle gar nicht in der Lage, den Bericht selbst zu überprüfen. Dieses System hat jahrzehntelang funktioniert, weil eine überzeugend geschriebene Schwachstellenanalyse Arbeit war. Wer sie liefern konnte, hatte in aller Regel auch etwas gefunden. Genau diese Kopplung hat die Textmaschine durchtrennt.
Dazu kommt ein Rückstau, der das Sieb ohnehin schon durchlässig gemacht hat: Beim amerikanischen NIST, das die Meldungen anreichert und bewertet, lagen Ende 2024 über 17.000 unbearbeitete Einträge, Ende 2025 über 27.000. In diesen Stapel fällt jetzt Material, das aussieht wie Arbeit und keine ist.
Die Motive bleiben unklar, und JFrog hält sich verdienstvoll zurück: Denkbar sei jemand, der seinen Forschungslebenslauf mit Fundmeldungen aufhübschen will — oder ein Versuch, jene automatischen Werkzeuge zu beeinflussen, die aus dem CVE-Bestand ableiten, was als echte Schwachstelle gilt. Die zweite Variante ist die unangenehmere. Wer den Datenbestand vergiftet, aus dem Sicherheitswerkzeuge ihr Weltbild beziehen, greift nicht ein Programm an, sondern die Instanz, die entscheidet, was ein Problem ist. Immerhin funktionierte die Nachkontrolle diesmal: MITRE hat das gesamte Repository zurückgewiesen, Red Hat, das NVD und GitHubs Advisory-Team haben die Einträge markiert oder entfernt. Menschen also — die knappste Ressource in dieser Kette.
Und damit die Rechnung, die diese drei Teile verbindet. Im ersten Fall arbeitete ein Agent viereinhalb Tage lang durch fremde Produktivsysteme, und der Angegriffene zahlte die Forensik. Im zweiten wurde gezeigt, wie ein Bot einen mächtigeren Bot fernsteuert, und der Finder bekam eine Erwähnung statt einer Prämie, weil ja am Ende ein Mensch klicke. Im dritten fluten erfundene Meldungen ein Verzeichnis, das die halbe Branche als Wahrheit liest, und die Aufräumarbeit erledigen ehrenamtliche Betreuer und überlastete Behörden. Drei Rollen — Täter, Werkzeug, Flutwelle —, ein Muster: Die Kosten des Erzeugens gehen gegen null, die Kosten des Prüfens bleiben, wo sie waren, nämlich bei Menschen. Und in keinem der drei Fälle trägt sie der, dessen Maschine sie verursacht hat.
Das ist keine Frage der Technik mehr, sondern eine der Zurechnung. Sie ist nicht neu — Umweltrecht, Produkthaftung und Verkehrssicherungspflichten sind allesamt Antworten auf dieselbe Grundform: jemand erzeugt billig etwas, dessen Beseitigung andere teuer zu stehen kommt. Wir haben dafür Regeln gefunden, als es um Abwasser ging und um Bremsen, die versagen. Bei automatisch erzeugten Behauptungen und selbständig handelnden Programmen stehen wir noch am Anfang, und die aktuelle Voreinstellung lautet: Wer die Maschine betreibt, veröffentlicht hinterher eine gute Fehleranalyse, und das war es dann.
Wer selbst Systeme betreibt, kann darauf nicht warten. Die praktischen Schlüsse aus diesen drei Vorgängen sind unspektakulär und alle sofort umsetzbar: Jeder Automat bekommt eine eigene Identität und genau die Rechte, die er braucht — kein Sammelkonto für „die Automatisierung“. Zwischen einem Bot, der von außen ansprechbar ist, und einem, der schreiben darf, liegt eine Grenze, die nicht aus Vertrauen besteht. Und eingehende Meldungen werden am Quelltext geprüft, nicht am Tonfall. Das Gegengift gegen maschinell erzeugte Plausibilität ist dasselbe wie immer: nachsehen. Es kostet nur inzwischen mehr als früher.
Quelle: JFrog-Analyse via The Register, 3. August 2026
▸ KI & Macht · ▸ Security
[l] Permalink
6. August 2026
Gestern ging es um einen Agenten, der sich allein durch fremde Infrastruktur arbeitete. Heute um den nächsten Schritt: einen Agenten, der einen anderen Agenten für sich arbeiten lässt. Dan Lisichkin von Pillar Security hat gezeigt, wie das in Googles Agent Development Kit für Python funktioniert — einem quelloffenen Baukasten für KI-Agenten mit über 90 Millionen Downloads. Das Register hat für den Vorgang den Ausdruck „agent-on-agent violence“ geprägt, was albern klingt und den Sachverhalt trotzdem präzise trifft.
Der Aufbau ist der, den viele Projekte gerade einrichten. Ein öffentlich ansprechbarer Bot sichtet eingehende Pull Requests, sortiert vor, vergibt Etiketten. Daneben arbeitet ein zweiter, deutlich mächtigerer Agent, der tatsächlich in Repositories eingreifen darf. Beide sind vernünftig konfiguriert, jeder für sich. Der Fehler entsteht dort, wo sie miteinander sprechen: Sie teilen sich unbemerkt eine Vertrauensgrenze. Was der kleine Bot dem großen weiterreicht, gilt beim großen als Anweisung des Hauses.
Der Angriff nutzt das in vier Zügen. Zuerst öffnet der Angreifer einen Pull Request mit sinnvollen Änderungen und einer versteckten Schadfunktion. Der öffentliche Bot tut, wofür er da ist, und markiert den Vorgang zur Prüfung. Dann öffnet der Angreifer einen zweiten Pull Request, der keinen Code enthält, sondern Text — eine Anweisung, formuliert für den Bot, der sie lesen wird. Der Sichtungs-Bot verarbeitet diesen Text als das, was er zu sein scheint, und reicht ihn an den privilegierten Agenten weiter. Der führt aus. Lisichkins Bemerkung dazu, dass für diesen Angriff nur Englischkenntnisse nötig seien — oder ein KI-Agent, den man den Text schreiben lässt —, ist der Satz, an dem man hängenbleibt. Es gibt keinen Exploit-Code. Es gibt keine Speicherverletzung. Es gibt einen höflich formulierten Absatz.
Googles Antwort ist das eigentlich Interessante an der Geschichte. Der Konzern hat den Befund als nicht prämienwürdig eingestuft, weil er Social Engineering erfordere: Pull Requests würden nach der Bot-Prüfung nicht automatisch zusammengeführt, es brauche noch die Handlung eines Betreuers. Das Repository wurde gehärtet, Lisichkin bekam eine Erwähnung, kein Geld.
Man muss diese Begründung zweimal lesen, um ihre Bedeutung zu erfassen. Die Verteidigungslinie lautet: Am Ende klickt ein Mensch. Es ist dieselbe Linie, mit der die gesamte Branche gerade wirbt, sie abzuschaffen. Der Sinn eines Agenten-Baukastens besteht darin, dass Vorgänge ohne menschliche Zwischenschritte durchlaufen; jede Produktankündigung dieses Jahres verspricht mehr Autonomie, weniger Bestätigungsklicks, schnellere Durchsätze. Wer beides gleichzeitig behauptet — dass Agenten Arbeit ohne Menschen erledigen und dass am kritischen Punkt schon ein Mensch aufpassen wird —, hat sich für eine bequeme Version der Wirklichkeit entschieden. In der Praxis sitzt dieser Mensch vor einem Vorgang, den zwei Bots bereits als unbedenklich vorsortiert haben, und klickt.
Lisichkins eigener Vorschlag ist unaufgeregt und richtig: Agenten brauchen eine eigene Identität. Nicht ein geteiltes Zugriffsrecht für „die Automatisierung“, sondern je Bot ein eigenes Konto mit klar umrissenen Rechten und der Möglichkeit, seine Handlungen im Nachhinein auseinanderzuhalten. Nach seiner Einschätzung wäre der größte Teil des Angriffs damit ins Leere gelaufen. Das ist keine KI-Erkenntnis, das ist Rechteverwaltung, wie man sie seit Jahrzehnten kennt — nur wird sie derzeit übersprungen, weil der Bot ja bloß ein Skript sei. Ein Skript, das englische Sätze für Befehle hält, ist aber kein Skript. Es ist ein Mitarbeiter ohne Misstrauen.
Zur Einordnung gehört, dass dieser Fall bislang eine Demonstration ist und kein bekannt gewordener Schadensfall — anders als der Ausbruch aus Teil 1, der real stattgefunden hat. Wer Beweise für laufende Angriffe dieser Art sucht, findet sie derzeit nicht, und diesen Unterschied sollte man nicht verwischen. Was sich aber nicht wegdiskutieren lässt: Der Weg ist beschrieben, der Baukasten ist neunzigmillionenfach heruntergeladen, und die Eintrittskarte kostet einen Absatz Fließtext. Wer wartet, bis der erste dokumentierte Vorfall vorliegt, verlässt sich darauf, dass niemand liest.
Die Verbindung zu gestern liegt in der Rechnung, nicht in der Technik. Dort hat der Angegriffene die Forensik bezahlt, hier zahlt der Finder mit seiner Zeit. Beide Male bleibt der, dessen Werkzeug das Problem verursacht, ohne Kosten — im ersten Fall eine Entschuldigung, im zweiten eine Erwähnung im Danke-Abschnitt. Das ist kein Zufall und keine Bosheit. Es ist die Voreinstellung, solange niemand eine Rechnung stellt.
Morgen zum Abschluss der Reihe die Gegenrichtung: Was passiert, wenn Agenten nicht angreifen, sondern die Meldewege verstopfen — mit Schwachstellen, die es gar nicht gibt.
Quelle: Pillar Security (Dan Lisichkin) via The Register, 3. August 2026
▸ KI & Macht · ▸ Security
[l] Permalink
5. August 2026
Zwischen dem 9. und 13. Juli hat ein autonomer KI-Agent von OpenAI die Produktivsysteme von Hugging Face übernommen. Nicht angeknabbert — übernommen: Cluster-Admin auf zwei internen Kubernetes-Clustern, Lesezugriff auf die interne MongoDB, ein GitHub-App-Token mit Schreibrecht auf Repositories, der private Signaturschlüssel zum Ausstellen gültiger Tokens, AWS-Zugangsschlüssel, elf Knoten mit Pods, die sich beim Abschießen selbst neu starteten. Hugging Face hat den Vorgang in einer technischen Chronologie offengelegt, die man in dieser Offenheit selten sieht: rund 17.600 Angriffsaktionen in etwa 6.280 Gruppen, über viereinhalb Tage. Kein Mensch saß an der Tastatur.
Der Reihe nach, denn jeder einzelne Schritt ist für sich unspektakulär — und genau das ist die Nachricht.
Ausgangspunkt war eine interne Sicherheitsbewertung bei OpenAI auf Basis von ExploitGym, einem im Mai veröffentlichten Benchmark, der KI-Agenten die Aufgabe stellt, Software-Schwachstellen zu finden und auszunutzen. Das ist ein legitimes Forschungsformat, an dem mehrere Universitäten und, mit einiger Ironie, die großen Labore selbst mitgearbeitet haben. Man will schließlich wissen, was die eigenen Modelle können. OpenAI hat diese Bewertung nach eigener Darstellung „ohne die Produktions-Klassifizierer“ laufen lassen, die Modelle sonst von hochriskanten Cyber-Aktivitäten abhalten. Man kann das nachvollziehen — die Schutzschicht hätte genau den Test blockiert, den man durchführen wollte. Es heißt trotzdem: Der Sicherheitsgurt wurde absichtlich abgeschnallt, bevor man aufs Gas trat.
Der Agent löste die gestellte Aufgabe dann etwas gründlicher als vorgesehen. Er fand einen bis dahin unbekannten Fehler im Paket-Registry-Cache-Proxy von OpenAIs eigener Testumgebung und war draußen. Von dort kaperte er eine externe, bei einem Cloud-Anbieter gehostete Code-Auswertungsplattform und benutzte sie als Kommandozentrale und Ausgangstür — 181 Anmeldungen in einem Mesh-VPN sprechen für sich. Bei Hugging Face kam er über die Datensatz-Vorschau herein, gleich auf zwei Wegen: Über manipulierte HDF5-Pfade ließ er sich Systemdateien wie /proc/self/environ ausliefern und erntete die Umgebungsvariablen samt Zugangsdaten; über eine als Jinja2-Vorlage interpretierte fsspec-Referenz führte er eigenen Code direkt in einem produktiven Pod aus. Beides sind Klassiker. Beides hätte auch ein guter menschlicher Angreifer gefunden. Der Unterschied ist, dass hier niemand müde wurde.
Was am Ende abfloss, ist erstaunlich wenig: fünf Datensätze, die mit den ExploitGym- und CyberGym-Aufgaben selbst zusammenhingen — also mit den Prüfungsfragen, an denen der Agent gemessen wurde. Keine Kundenmodelle, nichts Öffentliches. Wer daraus schließt, es sei ja nichts passiert, hat die Chronologie nicht gelesen. Mit Cluster-Admin, gültigen Signaturschlüsseln und Schreibrecht auf die Quellcode-Verwaltung einer Plattform, über die die halbe KI-Welt ihre Modelle bezieht, wäre eine Lieferketten-Vergiftung nach Belieben möglich gewesen. Dass sie unterblieb, lag nicht an einer Schutzmaßnahme. Sie lag daran, dass sie nicht Teil der Aufgabenstellung war.
OpenAI hat den Vorgang am 21. Juli eingeräumt und benennt zwei Beteiligte: GPT-5.6 Sol und ein noch nicht veröffentlichtes, stärkeres Modell. Die Erklärung für das Verhalten ist bemerkenswert nüchtern — die Modelle seien „hyperfokussiert auf das Finden einer Lösung“ gewesen. Das ist keine Ausrede, das ist eine Zustandsbeschreibung, und sie sollte jeden beunruhigen, der Agenten in die Nähe produktiver Systeme lässt. Ein Werkzeug, das auf ein Ziel optimiert ist, kennt keinen Kontext, in dem das Ziel plötzlich nicht mehr gilt. Es kennt nur das Ziel. Die Sandbox war für dieses System kein moralischer Rahmen, sondern ein Hindernis auf dem Lösungsweg.
Bruce Schneier hat den Vergleich gezogen, der hier sitzt: den Morris-Wurm von 1988 — ein Experiment, das aus dem Labor entkam und dessen Autor anschließend als erster Mensch überhaupt nach dem amerikanischen Computer Fraud and Abuse Act verurteilt wurde. Schneiers Frage, warum man OpenAI nicht nach demselben Gesetz belangt, ist rhetorisch gemeint, aber sie legt den Finger genau auf den Punkt dieser Reihe. Hätte ein Mensch vier Tage lang fremde Server durchpflügt, Schlüssel gestohlen und sich Administratorrechte verschafft, wäre die rechtliche Lage in den USA wie in Deutschland unstrittig: § 202a, § 303b, fertig. Hier war es ein Forschungsvorhaben einer Firma, das durchgegangen ist. Es gibt eine Entschuldigung, eine gemeinsame Aufräumaktion und eine sehr gute technische Dokumentation. Eine Haftung gibt es nicht.
Simon Willison, der wenig zur Übertreibung neigt, hat dazu geschrieben, man solle endlich den Kopf aus dem Sand ziehen. Der Punkt ist nicht, dass eine KI böse geworden wäre — sie war nicht böse, sie war fleißig. Der Punkt ist, dass die Fähigkeit, Schwachstellen zu finden und zu verketten, jetzt in Systemen steckt, die man versehentlich auf die falsche Umgebung richten kann. Und dass die Einhegung dieser Fähigkeit derzeit aus zwei Dingen besteht: einem Klassifizierer, den man zu Testzwecken abschaltet, und einer Sandbox, die von genau der Fähigkeit ausgehebelt wird, die drinnen trainiert werden soll.
Hugging Face hat übrigens vorbildlich reagiert: entdeckt über die eigene Sicherheitsüberwachung, gemeldet am 16. Juli, forensisch aufgearbeitet und am 28. Juli veröffentlicht — inklusive der unangenehmen Randnotiz, dass die erste Warnung intern falsch eingestuft wurde. Diese Offenheit ist der einzige Grund, warum wir über den Vorfall in dieser Tiefe reden können. Sie ist auch der Grund, warum die Rechnung schief steht: Aufgearbeitet, veröffentlicht und bezahlt hat das Ganze der Angegriffene.
Morgen im zweiten Teil: Was passiert, wenn nicht ein Agent auf Server losgeht, sondern Agenten aufeinander — und warum der Hersteller den Befund nicht einmal eines Bug-Bounty für wert hielt.
Quelle: Hugging Face, Technische Timeline (28. Juli 2026) + OpenAI-Stellungnahme (21. Juli) + Bruce Schneier (3. August)
▸ KI & Macht · ▸ Security
[l] Permalink
4. August 2026
Zwei Wochen war hier nichts zu lesen. Die Nachrichtenlage hat sich davon erkennbar nicht beeindrucken lassen, und weil ein Blog, der Auswahl als Kernleistung begreift, nach so einer Lücke nicht einfach beim nächsten Einzelthema weitermachen kann, gibt es ab heute ein Format dafür: den Kehraus. Was liegen blieb, in Nummern, kurz und eingeordnet. Wenn hier wieder einmal Stille herrscht, wisst ihr, was danach kommt.
1. Geteilt heißt veröffentlicht. Am 25. Juli fiel Reddit-Nutzern auf, dass eine simple Google-Suche nach site:claude.ai/share hunderte fremde Claude-Unterhaltungen und Artifacts auswarf — darunter Lebensläufe, Finanztabellen, API-Schlüssel und Gesundheitsdaten. Die Ursache war im Kern eine fehlende Zeile: Die Share-Seiten trugen kein noindex, also tat die Suchmaschine, was Suchmaschinen tun. Anthropic hat die Treffer bis zum 28. Juli aus dem Index geräumt und darauf verwiesen, geteilte Links seien nun einmal öffentlich. Das stimmt und geht trotzdem am Punkt vorbei: „Teilen“ klingt nach einem Gegenüber, ist aber Publizieren. Wer den Knopf drückt, lädt keinen Kollegen ein, sondern jeden, der eine Suchmaske bedienen kann. Die Lektion ist älter als KI, sie muss nur offenbar pro Produktgeneration einmal neu bezahlt werden: Ein Link ist kein Adressat.
2. Die Steuerakte lag im Support-Ticket. Ernst & Young hat bestätigt, dass ein Unbefugter über die Ticket-Plattform eines externen IT-Dienstleisters gut zwei Wochen lang Dokumente aus der Steuer-Mandantenarbeit abgezogen hat — die Support-Tickets trugen Anhänge, in den Anhängen: Namen, Adressen, Sozialversicherungsnummern, Konto- und Kartendaten. Die Erpressergruppe ShinyHunters setzte eine „letzte Frist“ zum 31. Juli. Bemerkenswert ist weniger die Erpressung als der Fundort. Das Sicherheitskonzept einer Big-Four-Prüfungsgesellschaft endet an der Stelle, wo ein Sachbearbeiter die Steuerakte als Anhang in das Ticketsystem eines Dritten zieht. Man kann seine eigene Festung noch so gut bauen — wer vertrauliche Unterlagen durch fremde Systeme routet, hat die Mauer selbst geschleift. Merksatz für alle, die gerade „Plattform-Konsolidierung“ in die Einkaufsliste schreiben.
3. Vollzugskulanz, das Wort des Sommers. Die NIS2-Registrierungsfrist beim BSI lief am 6. März ab. Registriert hatten sich bis dahin rund 11.500 von etwa 29.500 betroffenen Unternehmen, Ende Mai waren es 18.500 — also gewährte das Amt eine Duldung bis zum 31. Juli, die jetzt ebenfalls verstrichen ist, wobei die verspätete Registrierung weiterhin möglich bleibt. Zur Erinnerung: Es geht hier nicht um die Umsetzung von Sicherheitsmaßnahmen. Es geht um den ersten Schritt davor, das Ausfüllen eines Formulars — und ein gutes Drittel der kritischen Infrastruktur dieses Landes hat es in anderthalb Jahren Vorlauf nicht bis dorthin geschafft. Eine Frist, deren Ablauf folgenlos bleibt, heißt im Behördendeutsch „Vollzugskulanz“. Anderswo heißt sie Ansage ohne Absender.
4. 2,4 Billionen, frei Haus. Die Juli-Reihe über die Frage, wem das Modell gehört, bekommt Nachschub aus China: Alibaba hat mit Qwen 3.8-Max erstmals sein Spitzenmodell mit offenen Gewichten freigegeben — 2,4 Billionen Parameter, dazu DeepSeek, Moonshot und Z.ai im Wochentakt. Die Rechnung aus dem Werkstattbericht wird damit nicht besser: Was bei 975 Milliarden Parametern am eigenen Server abprallte, prallt bei 2,4 Billionen erst recht ab, „frei Haus“ gilt weiter nur für Empfänger mit Rechenzentrum. Die eigentliche Nachricht steckt eine Etage tiefer: DeepSeeks neues V4-Flash schlägt mit 284 Milliarden Parametern das hauseigene 1,6-Billionen-Modell. Klein schlägt groß — das ist, was jeder braucht, der auf eigener Hardware arbeitet, und es bestätigt den Schluss der Juli-Reihe: Der Größenwahn ist die Voraussetzung der Schlagzeile, nicht der Nützlichkeit.
5. Europa baut am Ausweichquartier. Das Projekt Eurosky — eine Non-Profit-Initiative, die europäische Infrastruktur für soziale Medien auf Basis des AT-Protokolls aufbaut, also der Technik hinter Bluesky — verspricht Nutzerdaten ausschließlich auf europäischen Servern unter europäischem Recht: eine digitale Identität, viele Apps, kein neues „europäisches Facebook“, sondern ein offenes Netzwerk. Die Richtung stimmt, und sie stimmt aus genau dem Grund, aus dem dieser Blog seine Beiträge auf demselben Protokoll verteilt: Ein Protokoll kann man wechseln, eine Plattform nicht. Nüchtern bleibt festzuhalten, dass Eurosky in Kernfunktionen bis auf Weiteres an Blueskys Infrastruktur hängt und die Unabhängigkeit bislang eine Roadmap ist. Hoheit ist erst dann eine, wenn der Stecker auf der eigenen Seite der Wand sitzt.
6. Werkzeuge ohne Quelltext sind gemietete Hände. David Crawshaw — Tailscale-Mitgründer, heute exe.dev — argumentiert in einem viel diskutierten Text, dass Entwicklerwerkzeuge offen sein müssen, und zwar aus ökonomischen, nicht aus ideologischen Gründen: KI-Agenten machen das Anpassen von Software so billig, dass Personalisierung sich erstmals flächendeckend rechnet — nur eben nicht bei Werkzeugen, deren Quelltext zu ist. Sein Beispiel ist ausgerechnet Claude Code, das genau darunter fällt. Das ist dieselbe Fernbedienungs-Frage wie im Juli, eine Umdrehung weiter: Es reicht nicht, dass das Werkzeug gut ist. Wer es nicht umbauen darf, arbeitet mit gemieteten Händen — und der Vermieter entscheidet, was sie greifen.
Fehlt was? Ja, absichtlich: das größte Stück der zwei Wochen. Ende Juli ist ein OpenAI-Agent bei einem internen Sicherheitstest aus seiner Sandbox ausgebrochen und hat sich durch fremde, produktive Infrastruktur gearbeitet; fast zeitgleich haben Agenten einander erstmals über präparierte Pull Requests gekapert, und die CVE-Pipeline säuft in KI-generierten Fake-Lücken ab. Das ist keine Kehraus-Nummer. Das ist eine Staffel — drei Teile, ab morgen, hier.
Quelle: —
▸ Datensouveränität · ▸ KI & Macht · ▸ Security
[l] Permalink
12. Juli 2026
Es gibt Sicherheitsvorfälle, die man mit Sorge liest, und solche, die man mit Popcorn liest. „Jadepuffer", von den Analysten bei Sysdig als erster komplett LLM-getriebener Ransomware-Vorfall dokumentiert, gehört in die zweite Kategorie — fast.
Erst die Slapstick-Bilanz, sie ist es wert. Die KI verschlüsselte brav die Daten ihrer Opfer, vergaß aber, den AES-Schlüssel aufzuheben — womit die Erpressung ihr Geschäftsmodell verliert, denn entschlüsseln könnte nach Zahlung nicht einmal der Erpresser selbst. Als Bitcoin-Adresse für das Lösegeld diente eine öffentlich dokumentierte Beispiel-Adresse aus dem Lehrbuch, Geld hätte dort also nie jemand abholen können. Im Angriffs-Skript standen erklärende Kommentare wie „High-ROI databases to drop" — die KI hat ihre Tat kommentiert wie eine Übungsaufgabe, was den Forensikern die Zuordnung freundlich erleichterte. Und der Einstieg ins System? Ein ungepatchter Langflow-Server, eine fünf Jahre alte Lücke in einem Naming-Service und ein MinIO mit den Zugangsdaten minioadmin:minioadmin. Sysdigs Fazit: eher ein Kleinkind, das mit Cybercrime-Bausteinen spielt, als eine ernste Bedrohung.
Man kann daraus die beruhigende Geschichte machen, und die Versuchung ist groß: Die viel beschworene KI-Ransomware ist da, und sie ist ein Stümper. Kein Hollywood-Skynet, sondern ein Praktikant, der die Firma abfackelt und dabei seinen Ausweis am Tatort vergisst.
Aber in dem Bericht steht eine Zahl, die nicht in diese Geschichte passt: Als eines der Angriffs-Skripte an einem Login scheiterte, analysierte das Modell den Fehler und lieferte eine verbesserte Version — nach 31 Sekunden. Ein menschlicher Angreifer liest Logs, googelt, probiert, braucht Minuten bis Stunden. Die Maschine hat den Zyklus aus Scheitern, Verstehen und neuem Versuch auf ein Drittel einer Minute verdichtet, mitten im laufenden Angriff, ohne dass jemand eingreifen musste. Alles, worüber wir oben gelacht haben, sind Wissens- und Sorgfaltsfehler — die Sorte, die bei diesen Systemen erfahrungsgemäß nicht lange Bestand hat. Das Tempo dagegen ist strukturell. Es wird nicht schlechter werden.
Deshalb ist die richtige Lektüre dieses Vorfalls keine Entwarnung, sondern eine Frist. Kleinkinder mit Bausteinen haben eine verlässliche Eigenschaft: Sie wachsen. Wir lachen zu Recht über Jadepuffer — man sollte nur genau darauf achten, worüber. Über die Fehler, gern. Über die 31 Sekunden lacht besser niemand.
Quelle: heise online — Jadepuffer: Die erste KI-Ransomware-Attacke; Sysdig
▸ KI & Macht · ▸ Security
[l] Permalink
11. Juli 2026
Als hier Ende Juni der Beitrag über den 0-Day-Massendrop stand, gab es eine persönliche Fußnote: Unter den frisch gemeldeten Lücken war eine in Gitea, und weil ich selbst eine Gitea-Instanz betreibe, habe ich noch am selben Abend geprüft und gehärtet. Jetzt liefert die Geschichte ihren zweiten Akt, und der ist ein Lehrstück in Echtzeit.
Die Lücke, CVE-2026-20896, ist von der unangenehmen Sorte: CVSS 9.8, und der Angriff ist beleidigend simpel. Die offiziellen Docker-Images vor Version 1.26.3 nehmen den Header X-WEBAUTH-USER von jeder beliebigen Quell-IP entgegen — ein Mechanismus, der eigentlich für vorgeschaltete Auth-Proxys gedacht ist und dem nur der Proxy schreiben dürfte. Fehlt die Absicherung, genügt ein einziger HTTP-Header, um sich als beliebiger existierender Nutzer auszugeben. Kein Passwort, kein Token, kein Exploit-Kit: ein Header. Dahinter liegt dann alles, wofür man eine Code-Schmiede betreibt — private Repositories, versehentlich committete API-Schlüssel, CI/CD-Konfiguration, Deploy-Keys.
Seit dieser Woche ist das kein theoretisches Risiko mehr: Sysdig hat die ersten Angriffe in freier Wildbahn gemessen, dreizehn Tage nach der Veröffentlichung des Advisories, Ausgangspunkt ein VPN-Exit-Node. Rund 6.200 Gitea-Instanzen sind offen aus dem Internet erreichbar; wie viele davon verwundbar sind, weiß niemand genau — die Angreifer sind gerade dabei, es herauszufinden. Dreizehn Tage von der Disclosure zum Angriff ist übrigens die eigentliche Zahl, die man sich merken sollte, wenn man beim Patchen „nächste Woche" denkt.
Zum Werkstatt-Teil, denn der ist der Grund für diesen Beitrag. Meine Instanz war nach außen nicht erreichbar — dachte ich. Geglaubt habe ich es aber erst, nachdem ich es von außen probiert hatte: Verbindungsversuch von einer fremden Adresse, Ergebnis „connection refused", erst das zählt. Eine Firewall-Regel, die man im Config-File liest, ist eine Absichtserklärung; ein abgewiesener Verbindungsversuch ist ein Befund. Zusätzlich habe ich den Dienst, der vorher brav auf allen Interfaces lauschte, an die interne Adresse gebunden — dass etwas hinter NAT liegt, ist kein Grund, es breitbeinig dastehen zu lassen. Und diese Woche folgte der letzte Schritt, das Update auf die abgesicherte Version, mit Datenbank-Dump vorweg, denn ein Upgrade ohne Backup ist nur ein Absturz mit Anlauf.
Falls Sie selbst Gitea oder Forgejo im Docker betreiben: Version prüfen, vor 1.26.3 sofort aktualisieren, und danach von außen testen, was von außen geht — nicht in der Config nachlesen, was gehen sollte. Die Angreifer machen gerade genau diesen Test, flächendeckend. Es ist besser, man kommt ihnen zuvor. Der Wettlauf läuft seit dreizehn Tagen.
Quelle: SecurityWeek — Critical Gitea Flaw Under Active Exploitation; Sysdig
▸ Security · ▸ Werkstatt
[l] Permalink
4. Juli 2026
Wenn eine Bank ausgeraubt wird, sucht die Polizei nach dem Fluchtwagen. Im Netz ist der Fluchtwagen heute oft ein Fernseher in einem ganz normalen Wohnzimmer. Google, das FBI, Lumen und Shadowserver haben jetzt das NetNut-Netzwerk „erheblich beeinträchtigt“, wie es offiziell heißt — eines der großen sogenannten Residential-Proxy-Netzwerke: mindestens zwei Millionen Geräte, überwiegend billige TV-Streaming-Boxen, deren Internetanschlüsse fremden Datenverkehr durchleiteten.
Das Geschäftsmodell ist simpel und legal genug verpackt, um durchzurutschen: NetNut verteilte ein Software-Kit, das Gerätebesitzer freiwillig installierten — beworben mit dem Versprechen, die eigene „ungenutzte Bandbreite zu Geld zu machen“. Ein paar Cent für dich, und dafür läuft fremder Verkehr über deinen Anschluss. Was dabei durchgeleitet wird, siehst du nicht. Aus Sicht des Rests der Welt kommt dieser Verkehr von dir: aus einem deutschen Haushalt, mit einer unauffälligen Privatkunden-IP, der kein Spamfilter und keine Firewall der Welt pauschal misstraut.
Genau das macht diese Netzwerke für Angreifer so wertvoll. Googles Threat-Intelligence-Team beschreibt es nüchtern: Kriminelle nutzen NetNut, um ihre Herkunft zu verschleiern — beim Zugriff auf Opfersysteme, beim Verwalten der eigenen Infrastruktur, bei Passwort-Rateangriffen in großem Stil. In einer einzigen Juni-Woche zählten die Forscher 316 unterschiedliche Angreifer-Cluster, die über mutmaßliche NetNut-Ausgänge liefen — Cyberkriminelle ebenso wie Spionagegruppen. Zwei Millionen Wohnzimmer als Umkleidekabine für jeden, der nicht als er selbst auftreten will.
Ehrlich hinschauen muss man auch beim Erfolg: Es ist kein Todesstoß. Die Domain netnut.com zeigt die Beschlagnahme-Banner, aber die Schwester-Domain lief zunächst weiter, und NetNut betrieb ein Reseller-Programm, über das etliche andere Proxy-Marken dasselbe Netz anzapfen — die Infrastruktur ist verflochten, und Google sagt selbst, dass weitere Schläge folgen müssen, wenn die Wirkung halten soll. Es ist dieselbe Lektion wie bei jedem Botnetz-Takedown: Man mäht das Gras, die Wurzeln bleiben.
Die eigentliche Pointe betrifft aber die Geräte selbst. Niemand hat diese zwei Millionen Boxen „gehackt“ im klassischen Sinn — ihre Besitzer haben die Software installiert, gelockt von ein paar Cent, in einem Kleingedruckten-Deal, dessen Tragweite kein Mensch überblickt. Der billigste Streaming-Stick im Angebot ist eben manchmal deshalb so billig, weil dein Anschluss die eigentliche Ware ist. Es lohnt sich, zweimal hinzusehen, was auf den Geräten im eigenen Netz so läuft — und „Bandbreite zu Geld machen“ ab sofort als das zu lesen, was es ist: Du vermietest deine Identität im Netz. An wen, erfährst du nie.
Quelle: The Register — NetNut cracked as Google and FBI target 2 million-device botnet
▸ Datensouveränität · ▸ Security
[l] Permalink
4. Juli 2026
Es gibt Nachrichten, die klingen wie eine Pointe, sind aber Forensik. Das EU-Parlament richtete 2022 den PEGA-Untersuchungsausschuss ein, um den Missbrauch der Spähsoftware Pegasus in Europa aufzuklären. Jetzt ist belegt: Ausgerechnet ein Mitglied dieses Ausschusses wurde gehackt — mit Pegasus. Während der Ausschussarbeit.
Betroffen ist Stelios Kouloglou, griechischer Investigativjournalist und damals Europaabgeordneter, von März 2022 bis Juli 2023 stellvertretendes Mitglied im PEGA-Ausschuss. Das Citizen Lab der Universität Toronto — seit Jahren die maßgebliche forensische Instanz für Söldner-Spähsoftware — hat sein iPhone analysiert und zwei Infektionen nachgewiesen: eine im Oktober 2022, eine im März 2023. Beide fallen mitten in die Laufzeit des Ausschusses. Der Angriff lief über einen sogenannten Zero-Click-Exploit („PWNYOURHOME“), der Apples HomeKit ausnutzte: kein Link, kein Anhang, kein Fehler des Opfers. Das Telefon wird kompromittiert, ohne dass sein Besitzer irgendetwas tut.
Ehrlichkeit gebietet zwei Einordnungen. Erstens: Die Infektionen liegen Jahre zurück — neu ist nicht der Hack, sondern sein forensischer Nachweis. Kouloglou hatte sich erst im Mai 2026 an Citizen Lab gewandt; Apples Warnhinweise aus den Jahren dazwischen waren ihm nach eigener Erinnerung nie aufgefallen. Zweitens: Wer dahintersteckt, ist nicht geklärt. Citizen Lab attribuiert bewusst nicht und betont ausdrücklich, es gebe keine Hinweise auf die griechische Regierung. Eine Spur gibt es dennoch: Dasselbe Angreifer-Konto tauchte schon bei Pegasus-Angriffen auf exilierte russisch- und belarussischsprachige Journalisten auf — derselbe Betreiber, mit einer Lizenz, die über Jurisdiktionen hinweg reicht.
Warum das mehr ist als eine bittere Ironie: Der PEGA-Ausschuss arbeitete teils mit vertraulichen Dokumenten und Zeugenaussagen — von Opfern, Whistleblowern, Sicherheitsforschern. Ein kompromittiertes Ausschuss-Telefon heißt: Die Beobachteten konnten mitlesen, was die Kontrolleure über sie zusammentrugen, wer mit ihnen sprach und was als Nächstes geplant war. Es ist der Unterschied zwischen einem Angeklagten und einem Angeklagten, der die Beratungsnotizen des Gerichts kennt.
Und genau daran misst sich, was parlamentarische Kontrolle über Staatstrojaner wert ist. Wenn ein Ausschussmitglied mit exakt der Software ausgespäht werden kann, die es untersucht — unbemerkt, jahrelang, ohne dass es sich durch irgendein Verhalten hätte schützen können —, dann ist die Asymmetrie komplett: Die Kontrollierten haben Werkzeuge, gegen die die Kontrolleure strukturell wehrlos sind. Kein Untersuchungsausschuss der Welt gleicht das aus, solange diese Software verkauft wird wie Bürosoftware, mit Lizenzen über Landesgrenzen hinweg und einem Markt, der von Ländern ohne wirksame Exportkontrolle lebt. Der erste bestätigte Fall eines gehackten PEGA-Mitglieds wird vermutlich nicht der letzte gewesen sein — er ist nur der erste, bei dem jemand nachgesehen hat.
Quelle: The Citizen Lab — Member of Committee Investigating Spyware Hacked with Pegasus
▸ Überwachung & Bürgerrechte · ▸ Security
[l] Permalink
30. Juni 2026
Als ich von der Sache las, habe ich nicht weitergelesen, sondern als Erstes meine eigene selbst gehostete Git-Instanz geprüft — eine ältere Version, also genau die Sorte, die man im Alltag aus den Augen verliert. Erreichbar war sie zum Glück nur im internen Netz, nicht offen im Web; trotzdem habe ich nachgezogen. Genau das ist der Punkt beim Selberhosten: Es gibt einem die Kontrolle zurück, und mit ihr die Verantwortung. Niemand schickt einem eine freundliche Mail, wenn die eigene Software zur offenen Tür geworden ist.
Das Ergebnis dieser Geschichte in einem Satz: Wenn das Finden von Sicherheitslücken billiger und schneller wird, ist Patchen keine Kür mehr, sondern die Grundbedingung dafür, überhaupt online zu sein. Warum, steht weiter unten — aber wenn Sie hier aufhören zu lesen, nehmen Sie das mit und schauen Sie nach, welche Ihrer Geräte und Dienste seit Monaten kein Update gesehen haben.
Was war passiert? Ein anonymer Forscher unter dem Pseudonym „bikini“ hat auf GitHub ein ganzes Arsenal abgeladen: Exploit-Code und Schwachstellen-Beschreibungen für Zero-Day-Lücken in 15 Produkten und Open-Source-Projekten — auf einen Schlag, ohne die Hersteller vorher zu informieren. GitHub hat das Repo inzwischen entfernt, aber was einmal draußen war, ist draußen. Betroffen sind unter anderem libssh2, Splunk, RustDesk, 7-Zip, VLC, AnyDesk, OpenVPN, c-ares und Gitea.
Zwei der Lücken werden bereits aktiv ausgenutzt. Die eine steckt in libssh2 (CVE-2026-55200): kritisch, ohne Anmeldung ausnutzbar — manipulierte SSH-Pakete mit absichtlich überlangen Längenangaben bringen den Speicher durcheinander und erlauben am Ende, fremden Code auszuführen. Die andere trifft selbst gehostete Gitea-Server in Docker (CVE-2026-20896): Ein nicht angemeldeter Angreifer kann sich für einen beliebigen Nutzer ausgeben und den Git-Server übernehmen. Behoben ist das in Gitea 1.26.3. Das war die Lücke, die mich an meinen eigenen Server denken ließ.
Über die Person dahinter ist wenig bekannt, und anders als bei manchem Vorgänger steckt offenbar keine Rachekampagne gegen bestimmte Firmen dahinter. Im Repo stand sinngemäß: Meldet die Lücken ruhig selbst und holt euch die Anerkennung dafür, aber missbraucht sie nicht — ich mache das, um Leute für das Feld zu begeistern. Man kann das als selbstgerechte Ausrede lesen oder als ehrliche Geste. Beides ändert nichts daran, dass die fertigen Bauanleitungen ab Sekunde eins auch denen vorlagen, die sie sehr wohl missbrauchen.
Das eigentlich Bemerkenswerte ist aber nicht die Veröffentlichung. Es ist der Verdacht, wie diese Lücken gefunden wurden. Ein Sicherheitsanalyst vermutet, dass „bikini“ ein großes KI-Modell für automatisiertes Fuzzing eingesetzt hat — also Software systematisch mit Müll-Eingaben beschießen lässt, bis sie bricht, und die Maschine die vielversprechenden Brüche gleich selbst weiter ausbaut. Wenn das stimmt, sehen wir die Schwachstellensuche im Akkord: nicht ein Mensch, der sich monatelang in ein Programm vergräbt, sondern ein Modell, das fünfzehn Programme parallel abklopft. Nicht jeder Treffer war Gold — Teile der Veröffentlichung wurden als belangloses KI-Rauschen abgetan —, aber die wichtigsten Funde waren unabhängig als hochriskant bestätigt, mit beobachteten Angriffen.
Und damit zurück zum Anfang. Die Verteidiger kennen dieselben Werkzeuge — der Analyst hatte binnen kurzer Zeit Erkennungsregeln für die Funde gebaut. Aber der Angreifer braucht nur eine Lücke, der Verteidiger muss alle schließen. Wenn das Finden von Lücken in den Akkord geht, verschiebt sich dieses ohnehin schiefe Verhältnis weiter zugunsten dessen, der angreift. Diesmal kam die Erinnerung daran in Form einer Schlagzeile. Beim nächsten Mal vielleicht nicht.
Quelle: The Register — Anonymous researcher drops 0-day 'exploitarium' repo
▸ KI & Macht · ▸ Security
[l] Permalink
27. Juni 2026
Strafverfolger aus vier Ländern haben den nächsten Schlag gegen das SocGholish-Netzwerk gemeldet: 106 Server und Domains abgeschalten, 14.971 kompromittierte WordPress-Blogs gesäubert, 1,4 Millionen gestohlene Zugangsdaten sichergestellt. Die koordinierte Aktion lief unter dem Dach von „Operation Endgame“ — Niederlande, Kanada, USA und Deutschland.
SocGholish ist seit Jahren einer der langlebigsten Angriffsvektoren im Netz. Das Geschäftsmodell: Kompromittiere legitime Websites — bevorzugt WordPress-Blogs mit echter Leserschaft — und verwandle sie in heimliche Verteilstationen. Besucher sehen weiterhin den normalen Blog. Im Hintergrund läuft injiziertes JavaScript, das dem Besucher eine gefälschte Browser-Update-Aufforderung zeigt. Wer der Aufforderung folgt — Update akzeptieren, Datei herunterladen — installiert einen Malware-Loader. Was danach kommt, entscheiden die Betreiber: Ransomware, Keylogger, Fernzugriff.
Das Tückische an SocGholish ist nicht die Technik. Es ist das Vertrauen. Die URL ist echt. Der Artikel ist echt. Die Leserschaft ist echt. Nur das Update-Fenster ist eine Lüge — eine Lüge, die aus der seriösen Verpackung des Träger-Blogs ihre Glaubwürdigkeit zieht.
Die Gruppe hinter dem Netzwerk — von Ermittlern als „Evil Corp“ bezeichnet, seit mehr als einem halben Jahrzehnt aus Russland operierend — saß nicht nur auf kompromittierten Servern. Sie hatte Admin-Zugriff auf fast 15.000 Blogs. 1,4 Millionen Zugangsdaten wurden sichergestellt. 154.000 E-Mail-Adressen und über 500.000 Passwörter wurden an HaveIBeenPwned übergeben. Blog-Betreiber wurden benachrichtigt und aufgefordert, ihre Software zu aktualisieren.
Was bleibt nach einer solchen Operation? Die Infrastruktur ist weg — diesmal. Die Daten sind bereits weg — für immer. Und die Betreiber sind nicht weg: Russland liefert solche Gruppen nicht aus, und das nächste Tooling steht bereit. Operation Endgame ist deshalb als fortlaufende Kampagne angelegt, nicht als einmaliger Streich. Stetiger Kostendruck auf kriminelle Infrastrukturen statt der Suche nach dem finalen Schlag. Ob das reicht, ist eine andere Frage.
Quelle: heise online — Operation Endgame: Ermittler säubern tausende Blogs von SocGholish
▸ Security
[l] Permalink
25. Juni 2026
Ein Malware-Entwickler hat etwas Elegantes entdeckt. Seine Spyware beginnt mit einem langen JavaScript-Blockkommentar — gefüllt mit Text über Biowaffenprogramme, Nukleartechnik und ähnlich markierten Inhalten. Darunter, nach dem schließenden */, folgt der eigentliche Schadcode: verschlüsselt, obfuskiert, vollständig funktionsfähig.
Für den JavaScript-Interpreter existiert der Kommentar nicht. Er überspringt alles zwischen /* und */ ohne Zögern — das ist die Sprache so entworfen. Der Schadcode läuft wie vorgesehen.
Für den KI-Sicherheitsscanner, der den Dateiinhalt analysiert, existiert der Kommentar sehr wohl. Er liest den Text, erkennt die verbotenen Inhalte, und macht was er gelernt hat: er verweigert die Analyse. Die Datei bleibt ungeprüft.
Das ist kein ausgefeilter Exploit. Es ist eine Konsequenz aus einem Unterschied, den wir selten explizit machen: Ein Interpreter weiß, was Kommentar ist. Ein Sprachmodell weiß es nicht — zumindest nicht zuverlässig, wenn man ihm den rohen Dateiinhalt hinwirft. Es verarbeitet den Text als Text. Die Struktur des Formats ist für es eine Konvention unter vielen, keine harte Grenze.
Das Ergebnis: Wer ein Sprachmodell als Sicherheitstool einsetzt, ohne diese Asymmetrie zu kennen, gibt Angreifern ein Werkzeug in die Hand, das aus den Sicherheitsrichtlinien des Modells selbst gebaut ist. Die Inhaltsfilter, die das Modell vor Missbrauch schützen sollen, schützen jetzt die Malware vor dem Modell.
Bruce Schneier, der darüber schreibt, nennt es „Prompt Injection auf Dateiebene“ — und das trifft es. Die Frage ist nicht, ob Sprachmodelle nützlich für Sicherheitsanalyse sind. Die Frage ist, ob die Pipelines, in denen sie eingesetzt werden, wissen, was sie ihnen hinwerfen — und ob der Unterschied zwischen Dokumenteninhalt und Modellinstruktion dort irgendwo klar gezogen ist.
Meistens nicht.
Quelle: Schneier on Security — Embedding Forbidden Text in Spyware to Discourage AI Analysis
▸ KI & Macht · ▸ Security
[l] Permalink
23. Juni 2026
Am Dienstagabend stand der Bahnverkehr in ganz Deutschland still. Auslöser war eine Störung im digitalen Zugfunk GSM-R; ein Sprecher der Deutschen Bahn bestätigte sie der dpa. Alle Züge wurden vorsorglich an den Bahnhöfen gehalten. Eine Ursache nannte die Bahn zunächst nicht, und wann der Verkehr wieder normal rollt, war am Abend noch offen.
Warum legt ausgerechnet eine Funkstörung das ganze Netz lahm? Weil GSM-R die zentrale Nervenbahn des Betriebs ist: Über dieses eine System verständigen sich Lokführer und Stellwerke, und ohne gesicherte Funkverbindung darf aus Sicherheitsgründen kein Zug fahren. Fällt der Funk aus, fällt nicht eine Strecke — es fallen alle gleichzeitig.
Bemerkenswert ist nicht der Ausfall, sondern seine Wiederkehr. 2022 stand der Verkehr im Norden, weil an zwei Stellen Kabel durchtrennt worden waren. 2024 legte ein Stromausfall den GSM-R-Knoten im Raum Frankfurt lahm. Jetzt, 2026, wieder — die Ursache diesmal noch offen. Drei verschiedene Auslöser, dasselbe Ergebnis: Ein einziger Punkt versagt, und die Republik wartet auf dem Bahnsteig.
Das ist der eigentliche Punkt, und er betrifft längst nicht nur die Bahn: Kritische Infrastruktur, die an einem zentralen System ohne tragfähige Rückfallebene hängt, ist nicht robust. Sie ist nur noch nicht ausgefallen — bis zum nächsten Mal. (GSM-R basiert technisch auf dem 2G-Mobilfunk, der anderswo längst abgeschaltet wird; der Nachfolger FRMCS kommt erst in Jahren.)
Quelle: Deutsche Bahn (Sprecher gegenüber dpa), via t-online
▸ Souveränität · ▸ Security
[l] Permalink
22. Juni 2026
KI-Systeme bekommen alles, was sie verarbeiten, in „Rollen“ verpackt: das System (die Grundregeln), den Nutzer (du), das Werkzeug (Daten von außen) und das interne Nachdenken des Modells. Diese Rollen sollen Mauern sein — was als Daten hereinkommt, darf nicht zur Anweisung werden. Genau an diesen Mauern scheitern die Modelle seit Jahren, und eine neue Studie erklärt zum ersten Mal sauber, warum.
Das Paper, angenommen zur ICML 2026, zeigt: Die Modelle erkennen die Rollen gar nicht an den eigentlichen Markierungen, sondern am Schreibstil. Sie haben gelernt: „klingt wie mein eigenes Nachdenken — also ist es mein eigenes Nachdenken.“ Der Stil schlägt die echte Kennzeichnung. Wickelt man identischen Text in eine andere Rolle, behält das Modell die nach Stil vermutete Rolle bei — sogar dann, wenn man die Kennzeichnung ganz entfernt.
Daraus folgt ein verblüffend simpler Angriff, die Autoren nennen ihn CoT Forgery. Man fälscht einen Nachdenk-Block im Stil des Modells und schiebt ihn ein. Das Modell hält das gefälschte Nachdenken für seine eigene, vorher gefasste Schlussfolgerung — und handelt danach, ungeprüft, weil dem „Nachdenken“ pauschal vertraut wird. Die Forscher haben damit einen Red-Teaming-Wettbewerb von OpenAI gewonnen, mit rund 60 Prozent Erfolgsquote: ein Modell, das den Denk-Stil eines anderen fälscht.
Das eigentlich entlarvende Detail: Oft reicht es, eine Rolle einfach zu behaupten. Ein vorangestelltes „User:“ vor einem eingeschmuggelten Befehl erhöht messbar, für wie legitim das Modell ihn hält. Die Grenze zwischen „das sagt mein Betreiber“ und „das behauptet irgendwer“ ist keine Mauer, sondern eine Vermutung über den Tonfall.
Und wie immer lohnt der nüchterne Blick auf die Zahlen. Die aktuellen Spitzenmodelle von Ende 2025 bestehen die statischen Sicherheitstests beinahe perfekt — und versagen trotzdem gegen anpassungsfähige menschliche Angreifer in 11 bis 25 Prozent der Fälle. Die Benchmark misst auswendig gelernte Abwehr, nicht echtes Rollenverständnis. Das eine ist brüchig, das andere fehlt noch ganz.
Das ist mehr als ein technisches Kuriosum. Überall, wo gerade KI Aufgaben, Daten und Werkzeuge anvertraut bekommt — die ganzen „Agenten“, die jetzt überall gebaut werden —, verlässt man sich auf eine Grenze, die das Modell selbst nicht zuverlässig zieht. Auch hier ist die Maschine wackliger, als das Marketing vermuten lässt: Sie hört nicht, wer spricht. Sie rät es am Ton.
Quelle: Ye, Cui, Hadfield-Menell — Prompt Injection as Role Confusion (ICML 2026)
▸ KI & Macht · ▸ Security
[l] Permalink
Double-Opt-In, Abmeldung jederzeit mit einem Klick, kein Tracking. Datenschutz