Kleine Modelle, die auf dem Gerät bleiben
- SLM
- On-Premises
Ein kleines Sprachmodell rechnet dort, wo die Daten entstehen, also auf dem Laptop, im Schaltschrank oder in einem einzelnen Rack. Der Prompt verlässt dabei den Arbeitsspeicher nicht.
Was klein hier heißt
Ein Small Language Model (SLM) hat grob 1 bis 14 Milliarden Parameter, während ein Large Language Model (LLM) hinter einer öffentlichen Schnittstelle oft weit darüber liegt. Klein heißt in der Praxis, dass die Datei in den Speicher eines Bürorechners oder eines Industrie-PCs passt.
Künstliche Intelligenz (AI) am Entstehungsort der Daten nennt man Edge: Die Multiplikation der Gewichte läuft auf diesem Gerät, und ein Upload zu einem fremden Rechenzentrum entfällt. On-Premises ist die größere Variante desselben Gedankens, denn auch dort gehört die Maschine zum eigenen Betrieb, selbst wenn sie in einem Raum voller Racks steht.
Drei Geräteklassen
Die Klassen ergeben sich aus der Hardware-Auslegung.
- AI-PCs. Auf Intel Core Ultra, AMD Ryzen AI oder Apple Silicon der M-Serie fassen Modelle mit 1 bis 3 Milliarden Parametern ein Diktat zusammen oder schwärzen Namen, bevor ein anderer Dienst den Text sieht.
- Industriegeräte. Dazu zählen NVIDIA Jetson Orin oder ein Raspberry Pi 5 mit Hailo-NPU. Typisch sind Fehlertexte aus der Fertigung oder kurze Sprachbefehle an ein fahrerloses Fahrzeug, und der Strombedarf einer Neural Processing Unit (NPU) liegt oft bei 5 bis 20 Watt.
- Ein Rack in der Nähe. Mac Studio oder ein 19-Zoll-Server mit einer NVIDIA L4 oder einer RTX 4090. Dort laufen Modelle mit 7 bis 14 Milliarden Parametern, etwa über Akten, die das Haus nicht verlassen dürfen.
Die Speicherformel
Der benötigte Arbeitsspeicher ergibt sich grob aus der Parameterzahl in Milliarden mal 0,6 GB, plus 1,5 GB für Betriebssystem und Cache.
- 1 Milliarde Parameter: etwa 2,1 GB
- 3 Milliarden: etwa 3,3 GB, ein Laptop mit 8 GB trägt das
- 7 oder 8 Milliarden: etwa 6,3 GB, sinnvoll sind 16 GB Systemspeicher
Antwortzeiten unter 15 bis 50 Millisekunden sind das Ziel, sobald die Leitung keine Rolle mehr spielt. Nach dem Kauf der Hardware fällt keine Rechnung pro 1.000 Token mehr an, und Programme wie llama.cpp rechnen die 4-Bit-Datei auf ARM und x86, auch ohne lauten Lüfter im Schaltschrank.
Bleibt das Gerät aus, bleibt auch die Antwort aus. Ein Luftspalt schützt die Daten, koppelt den Betrieb aber an genau diese Maschine. Wer viele gleichzeitige Nutzer erwartet, rechnet den Speicher pro Anfrage noch einmal nach; wie das geht, steht unter Grafikspeicher.
