„Zwanzig Sekunden pro Ziel“
Zwanzig Sekunden. So lange hatte ein Mensch nach den Recherchen, über die zwei Forscher gerade bei netzpolitik.org sprechen, maximal Zeit, um ein maschinell vorgeschlagenes Angriffsziel zu prüfen — und oft beschränkte sich diese Prüfung darauf festzustellen, ob es sich um einen Mann handelte. Ich habe heute Morgen geschrieben, das größte Stück fehle mit Absicht: was passiert, wenn solche Systeme keine Aktien bewegen, sondern Ziele auswählen. Zufällig erschienen am selben Tag zwei Texte, die zusammen eine Antwort ergeben. Sie kommen von entgegengesetzten Enden und treffen sich in der Mitte.
Das eine Ende ist ein Staat mit einem Rechenzentrum. Taylor Kate Woodcock, Völkerrechtsforscherin am Asser Institute, und Rainer Rehak vom Weizenbaum-Institut beschreiben im Gespräch mit Constanze Kurz, wie das System Lavender arbeitet. Die Datengrundlage umfasst nach ihrer Analyse rund 13,6 Petabyte: Satellitenbilder, Funkzellenstandorte, Videoüberwachung, Kommunikationsmetadaten, Bewegungsprofile, Zahlungsvorgänge, Familienbeziehungen. Daraus errechnet das System für Menschen einen Risikowert zwischen 1 und 100. Das Verfahren dahinter heißt „Positive Unlabeled Learning“: Es lernt aus bestätigten Fällen ein statistisches Ähnlichkeitsmuster und sucht dann nach Leuten, die diesem Muster ähneln. Der interne Test wies etwa zehn Prozent Fehlerquote aus. Bei rund tausend Vorschlägen am Tag.
Es lohnt sich, bei diesem Satz kurz stehenzubleiben. Zehn Prozent Fehler ist für ein Empfehlungssystem ein passabler Wert — wenn es Filme vorschlägt. Die Frage, ob eine Fehlerquote akzeptabel ist, lässt sich nicht technisch beantworten, sondern nur daran, was am Ende der Kette passiert. Und die Kette endete hier bei einem Menschen mit zwanzig Sekunden.
Der eigentliche Befund steckt aber nicht im Fehler, sondern im Entwurf. Woodcocks Formulierung lautet, ziviler Schaden sei in dem System vorprogrammiert und könne sogar als Kernfunktion gelten. Gemeint ist keine Metapher: Nach den Recherchen war eine Zahl hinterlegter akzeptierter ziviler Opfer je Ziel konfigurierbar — bei niedrig eingestuften Personen in der Größenordnung von fünfzehn bis zwanzig, bei hochrangigen in der Größenordnung von Hunderten. Ein begleitendes Werkzeug trug den Namen „Where's daddy?“ und legte Angriffe auf den Zeitpunkt, zu dem eine Person zu Hause bei ihrer Familie war. Rehak sagt, Menschen seien damit im Grunde in eine große Todesliste eingetragen und von oben nach unten abgearbeitet worden. Woodcock kommt zu dem Schluss, dass alle drei Grundsätze des humanitären Völkerrechts — Unterscheidung, Vorsorge, Verhältnismäßigkeit — systematisch verletzt wurden, und zwar nicht durch Einzelfehler, sondern durch die Bauweise.
Das andere Ende ist eine Handvoll Leute ohne Rechenzentrum. Anthropic hat gestern einen Bericht über Missbrauchsfälle der eigenen Modelle veröffentlicht, und Bruce Schneier hat eine Stelle daraus herausgegriffen: Eine Zelle im nördlichen Jemen nutzte Claude Code als Ersatz für Softwareentwickler, um Lenk-, Navigations- und Steuerungssoftware für drei Raketenprogramme zu schreiben — darunter eine Konstruktion, deren Flugrechner aus Mobiltelefonen bestehen sollte. Bemerkenswert ist die Arbeitsweise: Sie betrieben mehrere Instanzen parallel in verteilten Rollen, eine schrieb Code, eine recherchierte, eine prüfte. Anthropics eigene Bilanz ist unbeschönigt: Die Schutzmechanismen hätten viele Anfragen blockiert, aber nicht alle. Umgangen wurden sie, indem die Leute ihr Ziel verschleierten und die Arbeit über viele Sitzungen verteilten. Einen operativen Erfolg gab es nach derzeitigem Stand nicht; ein Testschuss scheiterte.
Schneiers Schlusssatz ist der kürzeste Kommentar, den man dazu schreiben kann: KI-Systeme demokratisieren Fachwissen und Fähigkeit — meistens sei das gut, manchmal eben nicht.
Was die beiden Enden verbindet, ist nicht die Technik, sondern die Zurechnung. Auf der einen Seite steht ein Apparat, der Tötungsentscheidungen so weit vorbereitet, dass dem Menschen am Ende nur noch das Abnicken bleibt; auf der anderen eine Gruppe, der die Maschine das Fachwissen ersetzt, das ihr fehlte. In beiden Fällen ist das Modell nicht der Täter. Es ist der Multiplikator — und es verteilt die Verantwortung auf so viele Schultern, dass keine mehr trägt. Wer hat die Person auf die Liste gesetzt: das Verfahren, der Betreiber, der Bediener mit zwanzig Sekunden, der Anbieter der Rechenleistung?
Genau an dieser Stelle wird die Frage für uns hier konkret, und zwar nicht moralisch, sondern geschäftlich. Die Infrastruktur unter solchen Systemen ist nach Angaben der beiden Forscher keine Militärtechnik aus dem Rüstungskatalog, sondern gewöhnliche Rechenzentrumsleistung von den Firmen, deren Dienste auch in deutschen Behörden laufen — genannt werden ein Cloud-Rahmenvertrag im Umfang von rund 1,2 Milliarden Dollar mit Google und Amazon, dazu Palantir für die Datenintegration und weitere übliche Namen. Das ist dieselbe Debatte, die hier seit Monaten läuft: Wer den Schalter hat, entscheidet mit, und Verträge sind die Form, in der diese Entscheidung getroffen wird. Die beiden Forscher fordern deshalb Stilllegung solcher Systeme, Transparenzpflichten und Exportkontrollen für die Software — ausdrücklich nicht nur für einen Akteur.
Ich schreibe das mit der gebotenen Vorsicht: Die Zahlen stammen aus Recherchen und aus Herstellerangaben, die Einordnung stammt von zwei Fachleuten, und ich kann beides von hier aus nicht nachmessen. Was ich beurteilen kann, ist die Konstruktionslogik — und die kenne ich aus jedem anderen Automatisierungsprojekt. Wenn ein System Vorschläge in einer Menge produziert, die kein Mensch mehr prüfen kann, dann ist die menschliche Kontrolle nicht eine Sicherung, sondern eine Behauptung. Zwanzig Sekunden sind keine Prüfung. Sie sind das Feigenblatt, das man der Maschine umhängt, damit die Entscheidung weiter nach einer menschlichen aussieht.
Heute Morgen stand hier der Satz, Kontrolle sei nichts, was wir an Maschinen verlieren, sondern etwas, das wir Unternehmen überlassen. Er gilt auch dann noch, wenn es nicht um Aktienkurse geht.
▸ Überwachung & Bürgerrechte · ▸ KI & Macht · ▸ Recht & Regulierung