Beratung, bevor der Server bestellt wird
- Beratung
- EU AI Act
Die erste Frage lautet, welche Sätze das Gebäude überhaupt verlassen dürfen. Erst danach kommt die Grafikkarte, und zwar mit einer konkreten Zahl für den Videospeicher.
Was im ersten Gespräch feststeht
Beratung legt die Betriebsentscheidungen auf den Tisch, bevor jemand ein Rack bestellt. Künstliche Intelligenz (AI) ist in diesem Gespräch ein konkreter Vorgang, bei dem es um drei Dinge geht: welche Texte verarbeitet werden, welches Modell dafür läuft und an welchem Ort.
Datenweg. Bleibt der Text im Haus, also On-Premises, oder geht er an eine API mit Zero Data Retention? Beides ist eine benennbare Architektur. Teuer wird nur die Unklarheit, weil der Einkauf sonst eine Karte bestellt, die der Datenschutz später nicht betreiben darf.
Gesetz. Fällt der Anwendungsfall im EU AI Act unter hohes Risiko, etwa bei der Bewerberauswahl, oder handelt es sich um einen Handbuch-Chat mit Kennzeichnungspflicht? Je nach Schublade ändern sich Protokollierung und Freigabe.
Wissen. Firmenfakten gelangen über Retrieval-Augmented Generation (RAG) in den Prompt, Ton und Ausgabeformat wie festes JSON über einen LoRA-Adapter. Ein Large Language Model (LLM) wird also auf Form trainiert, während die aktuelle Preisliste als Datei im Index liegt.
Eine Zahl, die die Bestellung sortiert
Für Inferenz in 4 Bit gilt als Faustformel: Der Videospeicher in GB entspricht ungefähr der Parameterzahl in Milliarden geteilt durch 2, plus 4 GB Reserve. Ein Modell mit 7 Milliarden Parametern landet damit bei etwa 7,5 GB. Eine Karte mit 24 GB trägt dieses Modell, aber nicht automatisch zehn gleichzeitige Nutzer mit langem Kontext, weil der KV-Cache pro Anfrage weiteren Speicher belegt, grob 0,5 bis 1 MB pro 1.000 Token.
Die Cloud-Rechnung wächst mit jeder Frage, denn abgerechnet wird pro 1.000 Token. Beim eigenen Gerät fallen dagegen Anschaffung und Stromkosten an. Beide Spalten gehören auf dasselbe Blatt, bevor das Budget unterschrieben wird. Small Language Models (SLM) auf den Endgeräten tauchen in dieser Rechnung erst auf, wenn die Aufgabe in 1 bis 14 Milliarden Parameter passt und die Daten das Gerät nicht verlassen sollen.
Die Reihenfolge im Betrieb
- Im ersten Jahr: Nutzungsregeln, ein gemeinsamer Zugang statt einzelner Schattenkonten und eine Ausgabengrenze an der API.
- Im zweiten Jahr: Dokumentensuche auf SharePoint oder Confluence, dazu der erste LoRA-Adapter für Ton und Format.
- Danach: Programme, die Werkzeuge aufrufen, wobei ein Mensch freigibt, bevor etwas geschrieben oder verschickt wird.
Die Speicherrechnung im Detail steht unter Sieben Milliarden Zahlen.
