Das Modell im eigenen Rack
- On-Premises
- LLM
On-Premises bezeichnet den Ort der Rechnung: Die Gewichte liegen auf einer Maschine, die zum eigenen Betrieb gehört, während eine öffentliche API woanders rechnet.
Drei Orte für dieselbe Multiplikation
Ein Large Language Model (LLM) führt überall dieselbe Art von Rechnung aus. Der Unterschied liegt darin, auf welchem Rechner die Gewichte liegen.
Eigenes Rechenzentrum
On-Premises heißt, dass die Maschine im Haus oder in einem Raum steht, den der Betrieb selbst betreibt. Ein Luftspalt ist möglich, es gibt dann also keine Leitung ins öffentliche Netz. Die Anschaffung kostet einmalig viel, Strom und Wartung laufen danach weiter. Banken, Versicherungen und Betreiber kritischer Infrastruktur wählen diesen Ort, wenn ein Prompt das Gelände nicht verlassen darf.
Private Cloud
Das ist ein abgeschottetes Netz bei AWS, Azure oder Google in der Region Frankfurt oder Amsterdam. Bezahlt wird die GPU-Stunde, etwa auf einer NVIDIA H100 oder A100. Die Daten bleiben in diesem Netz, liegen aber auf Hardware des Cloud-Anbieters, und zwar mit Verschlüsselung auf dem Weg (TLS 1.3) und für ruhende Daten (AES-256).
Öffentliche API
OpenAI, Anthropic oder Google rechnen den Prompt in ihrem Prozess. Für einen Prototyp ist das der kurze Weg. Für Produktivdaten braucht der Vertrag Zero Data Retention, das heißt, Prompts und Antworten werden nicht gespeichert, um das Modell zu verbessern. Der Preis steht pro 1.000 Token auf der Rechnung, wobei ein Token ein Wortstück ist und keine ganze Seite.
Offene Gewichte sind eine Datei
Open Weights wie Llama, Qwen oder DeepSeek sind die trainierten Matrizen zum Herunterladen. Wer sie lokal mit vLLM, TensorRT-LLM oder Ollama startet, löst keinen API-Aufruf nach außen aus. Künstliche Intelligenz (AI) telefoniert in diesem Aufbau also nicht nach Hause. Trainingsdaten und Skripte bleiben oft beim Hersteller, Projekte wie OLMo oder BLOOM legen dagegen auch Daten und Code offen, und zwar unter Lizenzen wie Apache 2.0 oder MIT.
vLLM hält viele gleichzeitige Anfragen mit PagedAttention im Speicher: Der Kontext jedes Gesprächs bekommt Speicherblöcke, statt dass eine feste Riesenfläche reserviert wird. Für einen Arbeitsplatz oder ein Gerät am Rand der Fertigung reichen Ollama und llama.cpp.
Wie die Klausel aussieht, wenn die API bleiben soll, erklärt Zero Data Retention.
