Retrieval-Augmented Generation

Retrieval-Augmented Generation, abgekürzt RAG, heißt: Bevor ein Modell antwortet, werden passende Inhalte aus einer eigenen Sammlung gesucht und in den Prompt gelegt. Die Antwort entsteht dann aus Frage und gefundenen Textstellen zusammen. Der Ansatz stammt aus einer Arbeit von 2020, die abrufbares Wissen mit einem erzeugenden Modell verbunden hat. Lewis et al.

Drei Schritte, die unabhängig scheitern können

Eine Übersichtsarbeit beschreibt den Grundablauf als Indexierung, Abruf und Generierung: Dokumente werden aufbereitet, in Abschnitte zerlegt und eingebettet, zu einer Frage werden die ähnlichsten Abschnitte geholt, und aus Frage plus Abschnitten formuliert das Modell die Antwort. Gao et al.

Der Nutzen liegt auf der Hand: Das Modell kann über Inhalte sprechen, die es nie gesehen hat, etwa interne Richtlinien, und die Antwort lässt sich mit Fundstellen belegen. Aktualisiert wird durch Nachlegen von Dokumenten, nicht durch Training.

So kannst du dir das vorstellen

RAG ist eine Prüfung mit offenem Buch. Die Kandidatin muss nicht alles auswendig wissen, aber sie muss die richtige Seite aufschlagen. Schlägt sie die falsche Seite auf, schreibt sie eine flüssige Antwort auf Grundlage des falschen Textes. Das Bild erklärt die Arbeitsteilung von Suchen und Formulieren, es verspricht keine Richtigkeit.

Was es in der Praxis bedeutet

Die Qualität entscheidet sich fast immer beim Suchen, nicht beim Formulieren. Wenn Antworten unbrauchbar sind, liegt es meist an den Abschnitten, die gefunden wurden, oder daran, dass die passende Stelle gar nicht gefunden wurde. Wer RAG bewertet, sollte sich deshalb zuerst die abgerufenen Stellen ansehen, nicht nur die Antwort.

Zweitens ersetzt RAG keine Ordnung in den Daten. Veraltete Dokumente, doppelte Fassungen und fehlende Zugriffsregeln schlagen direkt in die Antworten durch, weil das System nicht weiß, welche Version gilt.

Wo es verwechselt wird

RAG ist kein Training: Das Modell lernt nichts dazu, die Inhalte stehen nur im Prompt. Und es ist nicht dasselbe wie eine Suchmaschine mit Zusammenfassung, weil die Antwort aus mehreren Stellen zusammengesetzt wird und dabei Fehler entstehen können.

Verwandte Begriffe

Naive RAG, Retriever, Chunk, Grounding, Semantic Search, Agentic RAG.