Blog
Was auf dem Rechner passiert
Diese Beiträge erklären Künstliche Intelligenz (AI) für Menschen, die ein System freigeben, also für Geschäftsführung, Betriebsrat und Einkauf. Ein Large Language Model (LLM) schätzt den nächsten Textbaustein, während Retrieval-Augmented Generation (RAG) den passenden Absatz aus den eigenen Akten holt. Small Language Models (SLM) rechnen direkt auf dem Gerät, und LoRA ändert den Ton mit einem kleinen Adapter. Der EU AI Act ordnet den Anwendungsfall ein, On-Premises und Zero Data Retention legen fest, wo der Prompt liegt. Beratung klärt diese Punkte, bevor Hardware bestellt wird.
MagazinLLM-Inferenzkosten fressen Margen: Die Token-Ökonomie im B2B-Marketing
Mein Vorschlag: Wir brauchen dringend eine neue, feste Kennzahl im Performance-Controlling, den TCPC (Token Cost per Conversion). Wie viel Euro an reinen Inferenz- und Token-Kosten fließen tatsächlich in einen einzelnen qualifizierten Abschluss?
- TCPC
- ROTE
- TE-ROAS
- Token-Ökonomie
- B2B
MagazinDie Token-Falle im B2C-Handel: Wenn smarte Chatbots heimlich die Marge auffressen
Es ist 03:14 Uhr nachts in einem deutschen Onlineshop. Ein Kunde chattet zwanzig Minuten lang mit dem KI-Shopping-Assistenten und bestellt Socken für 12,99 Euro. Die Inferenzkosten für diesen einen Kauf: 3,40 Euro – die Bruttomarge ist weg.
- TCPO
- Token-Falle
- E-Commerce
- B2C
- Edge-SLM
GrundlagenDie Wörter aus dem Meeting stehen jetzt in der KI-Enzyklopädie
LLM, RAG, LoRA, On-Premises: Im Meeting fallen die Kürzel, doch die Erklärung fehlt. Die KI-Enzyklopädie sammelt sie an einem Ort, für Leser ohne Vorkenntnis.
- KI-Enzyklopädie
- Nachschlagewerk
- LLM
- RAG
SicherheitWenn das Dokument dem Modell Befehle gibt
Ein Sprachmodell trennt Auftrag und Zitat nur schlecht. Deshalb kann ein Absatz in der Wissensablage wie ein Befehl wirken, obwohl ihn niemand ins Eingabefeld getippt hat.
- RAG
- LLM
HardwareSieben Milliarden Zahlen und der Grafikspeicher
Die Modellgröße auf dem Datenblatt ist eine Anzahl von Zahlen, und ob der Rechner sie halten kann, entscheidet sich in Gigabyte Videospeicher.
- LLM
- SLM
BeratungBeratung, bevor der Server bestellt wird
Die erste Frage lautet, welche Sätze das Gebäude überhaupt verlassen dürfen. Erst danach kommt die Grafikkarte, und zwar mit einer konkreten Zahl für den Videospeicher.
- Beratung
- EU AI Act
DatenschutzZero Data Retention: der Prompt bleibt nicht liegen
Wer eine öffentliche Modellschnittstelle nutzt, schickt Sätze an einen fremden Rechner. Zero Data Retention regelt, ob diese Sätze danach noch existieren.
- Zero Data Retention
- EU AI Act
BetriebDas Modell im eigenen Rack
On-Premises bezeichnet den Ort der Rechnung: Die Gewichte liegen auf einer Maschine, die zum eigenen Betrieb gehört, während eine öffentliche API woanders rechnet.
- On-Premises
- LLM
RegulierungDer EU AI Act sortiert den Anwendungsfall
Dieselbe Modelldatei ist im Chat über ein Maschinenhandbuch etwas anderes als in der Bewerberauswahl, denn der EU AI Act knüpft an die Verwendung an.
- EU AI Act
- Beratung
AnpassungLoRA: ein Post-it auf dem Modell, kein Neudruck
Den Ton einer Abteilung erreicht man mit zwei schmalen Matrizen. Die Milliarden Gewichte des Grundmodells bleiben dabei unverändert lesbar und werden nicht neu gesetzt.
- LoRA
- LLM
HardwareKleine Modelle, die auf dem Gerät bleiben
Ein kleines Sprachmodell rechnet dort, wo die Daten entstehen, also auf dem Laptop, im Schaltschrank oder in einem einzelnen Rack. Der Prompt verlässt dabei den Arbeitsspeicher nicht.
- SLM
- On-Premises
WissenssystemeNachschlagen statt Auswendiglernen
Firmenfakten gehören in eine Ablage: RAG sucht den passenden Absatz heraus und legt ihn dem Sprachmodell in den Prompt, noch bevor die Antwort entsteht.
- RAG
- LLM
GrundlagenWas ein Sprachmodell auf dem Rechner wirklich tut
Ein Sprachmodell antwortet, indem es den jeweils nächsten Textbaustein schätzt. Die dafür nötigen Milliarden Zahlen liegen im Speicher der Grafikkarte und nicht in einer Akte.
- Künstliche Intelligenz
- LLM