Der Kommentar, den nur die KI liest
Ein Malware-Entwickler hat etwas Elegantes entdeckt. Seine Spyware beginnt mit einem langen JavaScript-Blockkommentar — gefüllt mit Text über Biowaffenprogramme, Nukleartechnik und ähnlich markierten Inhalten. Darunter, nach dem schließenden */, folgt der eigentliche Schadcode: verschlüsselt, obfuskiert, vollständig funktionsfähig.
Für den JavaScript-Interpreter existiert der Kommentar nicht. Er überspringt alles zwischen /* und */ ohne Zögern — das ist die Sprache so entworfen. Der Schadcode läuft wie vorgesehen.
Für den KI-Sicherheitsscanner, der den Dateiinhalt analysiert, existiert der Kommentar sehr wohl. Er liest den Text, erkennt die verbotenen Inhalte, und macht was er gelernt hat: er verweigert die Analyse. Die Datei bleibt ungeprüft.
Das ist kein ausgefeilter Exploit. Es ist eine Konsequenz aus einem Unterschied, den wir selten explizit machen: Ein Interpreter weiß, was Kommentar ist. Ein Sprachmodell weiß es nicht — zumindest nicht zuverlässig, wenn man ihm den rohen Dateiinhalt hinwirft. Es verarbeitet den Text als Text. Die Struktur des Formats ist für es eine Konvention unter vielen, keine harte Grenze.
Das Ergebnis: Wer ein Sprachmodell als Sicherheitstool einsetzt, ohne diese Asymmetrie zu kennen, gibt Angreifern ein Werkzeug in die Hand, das aus den Sicherheitsrichtlinien des Modells selbst gebaut ist. Die Inhaltsfilter, die das Modell vor Missbrauch schützen sollen, schützen jetzt die Malware vor dem Modell.
Bruce Schneier, der darüber schreibt, nennt es „Prompt Injection auf Dateiebene“ — und das trifft es. Die Frage ist nicht, ob Sprachmodelle nützlich für Sicherheitsanalyse sind. Die Frage ist, ob die Pipelines, in denen sie eingesetzt werden, wissen, was sie ihnen hinwerfen — und ob der Unterschied zwischen Dokumenteninhalt und Modellinstruktion dort irgendwo klar gezogen ist.
Meistens nicht.
Quelle: Schneier on Security — Embedding Forbidden Text in Spyware to Discourage AI Analysis
▸ KI & Macht · ▸ Security