Sieben Milliarden Zahlen und der Grafikspeicher
- LLM
- SLM
Die Modellgröße auf dem Datenblatt ist eine Anzahl von Zahlen, und ob der Rechner sie halten kann, entscheidet sich in Gigabyte Videospeicher.
Was ein Parameter ist
In einem Large Language Model (LLM) ist ein Parameter meist ein Gewicht. Die Grundrechnung lautet: Ausgabe gleich Matrix mal Eingabe plus Versatz. Ein Modell mit 7 Milliarden Parametern, kurz 7B, besteht aus rund sieben Milliarden solcher Zahlen, und Künstliche Intelligenz (AI) ist an dieser Stelle schlicht Speicherbelegung, keine Metapher.
- 1 bis 3 Milliarden. Kurze Aufgaben wie Namen erkennen oder eine Anfrage an das passende Fachmodell schicken. Das sind die Small Language Models (SLM) am Rand.
- 7 bis 9 Milliarden. Antworten aus gefundenen Dokumenten sowie Ausgabe in festem JSON.
- 14 bis 32 Milliarden. Code, SQL und längere Arbeitsabläufe mit Werkzeugen.
- 70 Milliarden und mehr. Das schwere Allgemeinmodell für den Fall, dass die kleineren an der Aufgabe scheitern.
Wie viel Speicher die Zahlen brauchen
Die folgende Tabelle zeigt nur die Gewichte, ohne den Speicher für das laufende Gespräch:
| Genauigkeit | Rechnung | 7 Milliarden Parameter |
|---|---|---|
| 16 Bit (FP16) | Parameterzahl mal 2 GB | etwa 14 GB |
| 8 Bit | Parameterzahl mal 1 GB | etwa 7 GB |
| 4 Bit (AWQ, GGUF) | Parameterzahl mal 0,5 GB | etwa 3,5 GB |
Dazu kommt der KV-Cache, in dem sich das Modell den bisherigen Text merkt, grob 0,5 bis 1 MB pro 1.000 Token und pro gleichzeitiger Anfrage (ein Token ist ein Wortstück). CUDA und das Framework belegen noch einmal etwa 1,5 bis 2,5 GB. Für viele gleichzeitige Nutzer plant man 30 bis 50 Prozent des Videospeichers extra für diesen Cache ein, wenn PagedAttention die Blöcke verwaltet.
Zwei Phasen, zwei Engpässe
Zuerst liest die Karte den ganzen Prompt, und diese Phase hängt an der Rechenleistung. Danach schreibt sie Token für Token, was an der Speicherbandbreite hängt, gemessen in GB pro Sekunde. Als grobe Obergrenze für die Ausgabegeschwindigkeit gilt: Bandbreite in GB/s geteilt durch die Modellgröße im Videospeicher in GB.
Bei Mixture of Experts (MoE) passt die Dateigröße nicht mehr zur Rechenlast: Bei DeepSeek sind von 671 Milliarden Parametern pro Token nur etwa 37 Milliarden aktiv. Die Datei auf der Platte ist groß, doch pro Wort rechnet nur ein Ausschnitt des Netzes.
Welche Karte zu welchem Ort gehört, steht in Beratung vor dem Serverkauf.
