Nachschlagen statt Auswendiglernen
- RAG
- LLM
Firmenfakten gehören in eine Ablage: RAG sucht den passenden Absatz heraus und legt ihn dem Sprachmodell in den Prompt, noch bevor die Antwort entsteht.
Geschlossene und offene Klausur
Ein Large Language Model (LLM) schreibt aus dem, was in seinen Gewichten steckt. Das gleicht einer geschlossenen Klausur, in der man sich ohne Unterlagen erinnern muss. Retrieval-Augmented Generation (RAG) ist dagegen die offene Klausur: Das Modell bekommt die Textstellen, die zur Frage passen, und formuliert daraus seine Antwort.
Künstliche Intelligenz (AI) wird dadurch nicht zur Datenbank. Die Datenbank steht daneben, und das Modell bleibt für die Sprache zuständig.
Der Weg eines PDFs
- Das Dokument wird in Stücke geschnitten, oft von etwa 512 Token mit Überlappung (ein Token ist ein Wortstück). Die Überlappung hält Sätze zusammen, die sonst an der Schnittkante zerfallen würden.
- Ein Embedding-Modell macht aus jedem Stück eine Zahlenliste, einen Vektor.
- Die Vektoren landen in einer Datenbank, zum Beispiel Qdrant oder pgvector in PostgreSQL.
- Auch die Frage wird zum Vektor. Die Suche liefert die Stücke mit der höchsten Kosinus-Ähnlichkeit, also mit der ähnlichsten Richtung im Zahlenraum.
- Diese Stücke werden in den Prompt gesetzt, und das LLM schreibt die Antwort daraus.
Ein Systemtext kann die Grenze festlegen, etwa mit der Anweisung, ausschließlich anhand der mitgegebenen Stellen zu antworten. Fehlt die passende Stelle, sagt das Modell das, statt eine Zahl zu schätzen. Weil der gefundene Absatz seine Herkunft noch trägt, kann die Antwort auch die Seite nennen.
Warum Fakten nicht in die Gewichte gehören
Ein neues Training kann alte Verknüpfungen überschreiben, wofür es den Namen catastrophic forgetting gibt. Eine neue PDF-Datei ist dagegen im Index in Sekunden suchbar, während ein Trainingslauf auf Grafikkarten Stunden bis Tage dauert.
Zugriffsrechte hängen am Dokument, sodass die Personalabteilung andere Stücke sieht als der Vertrieb. Im fertig trainierten Modell steckt das Wissen dagegen in denselben Gewichten für alle, und eine Prüfung pro Akte gibt es dort nicht.
| Kriterium | RAG | Feintuning |
|---|---|---|
| Zweck | aktuelle Firmenfakten | Form und Ton |
| Aktualisierung | neue Datei im Index | neuer Trainingslauf |
| Quelle in der Antwort | Absatz und Seite | keine Fußnote |
Ein Modell trainiert man auf Form und Ton, Firmenwissen kommt über RAG.
Den Ton einer Abteilung ändert man getrennt davon mit einem kleinen Adapter, wie es LoRA: ein Post-it auf dem Modell beschreibt.
