„600 Gigabyte Freiheit“
Ergebnis vorweg, damit niemand bis zum Schluss lesen muss: Es passt nicht. Nicht knapp, nicht mit Tricks, nicht wenn ich die Platte leerräume. Das Modell mit den vorbildlich offenen Gewichten, um das es in dieser Reihe geht, läuft auf meinem Server nicht — und mein Server ist nicht der Laptop vom Küchentisch.
Was hier steht: zwei NVIDIA L40S mit je 46 Gigabyte Videospeicher, zusammen also 92. Dazu 125 Gigabyte Arbeitsspeicher und eine Terabyte-Platte, von der aktuell 167 Gigabyte frei sind. Darauf laufen ein Llama mit 70 Milliarden Parametern, ein Qwen mit 32, ein destilliertes R1, dazu Embeddings und ein Bildmodell — alles gleichzeitig, alles im Haus, nichts davon geht raus. Für so ziemlich alles, was hier täglich anfällt, reicht das. Diese Maschine ist der Grund, warum ich bei „Souveränität“ nicht bloß mitreden, sondern nachsehen kann.
Jetzt der Abgleich. Ich habe nicht 1,9 Terabyte heruntergeladen, um zu beweisen, dass sie nicht draufpassen — ich habe die Dateiliste bei Hugging Face abgefragt. Sie ist eindeutig: 119 Dateien, davon 108 Shards jenseits eines Gigabytes, zusammen 1.904,8 Gigabyte. Der Download allein ist also elfmal größer als mein freier Plattenplatz. Selbst wenn ich die Platte komplett leerfege — 933 Gigabyte —, fehlt immer noch die Hälfte. Ich könnte dieses Modell nicht speichern. Vom Starten reden wir da noch gar nicht.
Fürs Starten nennt der Hersteller zwei Wege, und beide führen an mir vorbei. Die volle Fassung will 2 Terabyte Videospeicher; das ist Rechenzentrum, darüber muss man nicht diskutieren. Interessanter ist die quantisierte Variante, die den Bedarf auf 600 Gigabyte drückt — immer noch das Sechseinhalbfache dessen, was ich habe, aber wenigstens dieselbe Größenordnung wie ein gut bestückter Serverschrank. Und hier steckt das Detail, das mich beim Nachlesen wirklich aufgeweckt hat: Dieses Format setzt Nvidias Blackwell-Generation voraus. Meine L40S sind Ada Lovelace. Ich könnte mir also nicht einfach mehr davon kaufen und das Problem mit Geld zuschütten — es wäre die falsche Generation. Die Offenheit dieses Modells ist an eine Hardware-Roadmap gekettet, über die weder der Hersteller des Modells noch ich entscheiden.
Bleiben die Notfassungen aus der Bastelszene, die das Ding brutal zusammenquetschen: rund 270 Gigabyte bei einem Bit pro Gewicht, 317 bei zwei. Das ist die Stelle, an der ich am längsten gerechnet habe, weil es fast gegangen wäre. Fast. Videospeicher und Arbeitsspeicher zusammengenommen komme ich auf 217 Gigabyte. Die schonungsloseste Quetschung, die jemand für dieses Modell gebaut hat, liegt 53 Gigabyte darüber. Um ein Modell zu betreiben, das für Rechenzentren gedacht ist, auf einem Sechstel der Hardware, zerstört bis zu einem Bit pro Gewicht — und es reicht immer noch nicht.
Was lernt man daraus? Nicht, dass die Veröffentlichung wertlos wäre. Apache 2.0 auf 975 Milliarden Parameter ist ein echtes Geschenk, und es geht an Leute, die es brauchen: Forschungsgruppen, Firmen mit Serverschrank, die Anbieter, die es ab morgen hosten. Aber die Erzählung, offene Gewichte machten uns unabhängig von den Konzernen, hält dem Blick auf die Rechnung nicht stand. Ich darf dieses Modell besitzen, verkaufen, zerlegen, weitertrainieren — alles, was die Lizenz verspricht. Ich kann es nur nicht anfassen. Ein Recht, das man mangels Kapital nicht ausüben kann, ist juristisch ein Recht und praktisch ein Prospekt.
Die Grenze verläuft eben nicht zwischen offen und geschlossen. Sie verläuft zwischen denen, die ein Rechenzentrum haben, und allen anderen. Und sie ist in den letzten drei Jahren nicht durchlässiger geworden, sondern teurer. Wer mich fragt, was er selbst betreiben soll, bekommt darum weiter dieselbe Antwort wie vor dieser Recherche: das Llama mit 70 Milliarden, das hier seit Monaten seine Arbeit tut, ohne dass je ein Datensatz das Haus verlassen hat. Nicht weil es das beste Modell der Welt wäre. Sondern weil es das beste Modell ist, das mir tatsächlich gehört.
Womit die Frage im Raum steht, die morgen den Schlusspunkt dieser Reihe macht: Wenn Offenheit Hardware voraussetzt, die nur Konzerne haben — wem gehört dann eigentlich das Wissen?
Quelle: Eigene Messung auf VM106; Hugging-Face-API thinkingmachines/Inkling
▸ Souveränität · ▸ Werkstatt