Was ein Sprachmodell auf dem Rechner wirklich tut

Der nächste Baustein

Künstliche Intelligenz (AI) meint hier ein Sprachmodell, ein Large Language Model (LLM). Auf der Grafikkarte liegen Milliarden Gewichte, wobei ein Gewicht schlicht eine Zahl in einer Matrix ist. Für jeden Textbaustein, den man Token nennt, läuft dieselbe Grundrechnung: Die Eingabe wird mit diesen Zahlen multipliziert, ein Versatz wird addiert, und am Ende steht eine Punktzahl für jedes mögliche nächste Token.

Nach dem Satzanfang „Die Rechnung bitte an die“ hält das Modell „Buchhaltung“ für wahrscheinlicher als „Kartoffel“, weil diese Reihenfolge in den Trainingsdaten oft vorkam. Das Programm schlägt den Satz also nicht in einer Datenbank nach, sondern hat die alten Texte in Wahrscheinlichkeiten verdichtet.

Was dabei auf der Karte passiert

Zuerst zerlegt die Software den Text in Token, wobei „Buchhaltung“ je nach Vokabular des Modells ein Token sein kann, aber auch zwei. Jeder Token wird zu einer Zahlenzeile, die die Schichten des Netzes durchläuft, und am Ausgang liegt für jeden Eintrag im Vokabular eine Punktzahl. Bei Temperatur 0 nimmt die Software fast immer die höchste Punktzahl, hängt den Token an und rechnet erneut, bis ein Stopp-Token kommt oder die eingestellte Länge erreicht ist. Eine höhere Temperatur mischt seltenere Token darunter. Geht es um eine Auskunft aus Akten, bleibt die Temperatur niedrig, damit derselbe Prompt nicht jedes Mal einen anderen Satz liefert.

Ein Modell mit 7 Milliarden Parametern braucht in 16-Bit-Zahlen etwa 14 GB Videospeicher. In 4-Bit-Kompression, etwa GGUF oder AWQ, sind es rund 3,5 GB, hinzu kommt Platz für den bisherigen Text, den sogenannten KV-Cache. Wie die Gigabyte zustande kommen, steht im Beitrag Sieben Milliarden Zahlen und der Grafikspeicher.

API oder Datei im Haus

Bei einer geschlossenen Schnittstelle, etwa von OpenAI oder Anthropic, verlässt der Prompt das Gebäude. Bei offenen Gewichten, etwa Llama von Meta, Qwen von Alibaba oder DeepSeek, liegt dagegen eine Datei mit Matrizen auf dem eigenen Server, und wer sie mit Ollama oder vLLM ohne externen Aufruf startet, schickt keinen Prompt nach draußen. Die Trainingsdaten bleiben bei diesen Modellen oft beim Hersteller: Offen sind die Gewichte, das Rezept dahinter liegt weiter beim Anbieter.

Eine Personalnummer, die in keinem Trainingstext vorkam, kann das Modell nicht nachschlagen. Deshalb legt man die Akte daneben und gibt dem Modell den gefundenen Absatz mit. Dieses Verfahren heißt Retrieval-Augmented Generation (RAG).

Der nächste Beitrag zeigt, wie RAG den Absatz heraussucht, bevor das Modell formuliert.