LoRA: ein Post-it auf dem Modell, kein Neudruck

Neudruck gegen Notizzettel

Klassisches Feintuning schreibt alle Gewichte eines Large Language Model (LLM) neu. Bei einem Modell mit 7 Milliarden Parametern fallen im Training etwa 16 Byte pro Parameter an, nämlich für die Gewichte selbst, die Gradienten, die Zustände des Adam-Optimierers und eine genaue Master-Kopie. Das ergibt über 120 GB Videospeicher und damit mindestens zwei NVIDIA A100.

Low-Rank Adaptation (LoRA) lässt das Grundmodell dagegen unangetastet und nur lesbar. Trainiert werden lediglich zwei schmale Matrizen, A und B, deren Produkt die Änderung ergibt; ihr Rang liegt oft bei 8 oder 16. Künstliche Intelligenz (AI) erhält so eine dünne Schicht Gewohnheit, ohne dass die Datei des Grundmodells angefasst wird.

Wie stark die Zahl schrumpft

Eine Matrix mit 4096 mal 4096 Einträgen hat 16,7 Millionen Zahlen. Bei Rang 8 oder 16 bleiben davon 65.536 trainierbare Zahlen, also 99,6 Prozent weniger Werte, die der Optimierer anfassen muss.

Quantized LoRA (QLoRA) lädt das Grundmodell in 4 Bit im Format NF4, was bei 7 Milliarden Parametern etwa 3,5 GB entspricht, während die Adapter in höherer Genauigkeit bleiben. Zusammen liegen Modell und Training bei 6 bis 8 GB Videospeicher und passen damit auf eine Grafikkarte, wie sie auch in einer Workstation steckt.

Eine Basis, mehrere Abteilungen

Im Betrieb kann ein Grundmodell in 16 Bit etwa 14 GB belegen. Jede Abteilung hängt einen Adapter von 20 bis 100 MB daran, etwa Personal, IT, Recht oder Finanzen. Für die produktive Antwort lassen sich die Adapterzahlen in die Basis addieren, sodass pro Token null Millisekunden zusätzliche Rechenzeit anfallen, weil keine zweite Matrix mehr nebenher läuft.

LoRA ändert Form und Ton, etwa den Zwang zu einem festen JSON, während Firmenfakten in Retrieval-Augmented Generation (RAG) bleiben.

Wer Akten in die Gewichte trainiert, bekommt sie nur schlecht wieder heraus. Den Weg für Dokumente beschreibt Nachschlagen statt Auswendiglernen.