Self-RAG

Self-RAG ist ein Verfahren, bei dem ein Modell selbst entscheidet, wann es sucht, und seine eigenen Zwischenergebnisse bewertet. Es wird darauf trainiert, bei Bedarf Passagen abzurufen, diese auf Nützlichkeit zu prüfen und die eigene Ausgabe daraufhin zu beurteilen, ob sie von den Passagen gedeckt ist. Asai et al.

Nicht jede Frage braucht eine Suche

Der Ausgangspunkt ist eine Beobachtung: Eine feste Zahl von Passagen bei jeder Frage abzurufen, schadet, wenn gar keine Suche nötig ist oder die Treffer nicht passen. Die Antwort wird dann durch Material verschlechtert, das nichts beiträgt.

Self-RAG verlegt diese Entscheidung in das Modell, das dafür eigens trainiert wird und Bewertungsmarken mit ausgibt. Das unterscheidet es von Ansätzen, die einen getrennten Prüfschritt davorschalten. Yan et al.

So kannst du dir das vorstellen

Jemand beantwortet eine Frage und merkt selbst, wann er nachschlagen muss und wann nicht, und sagt am Ende dazu, worauf seine Aussage beruht. Das Bild erklärt die Selbstprüfung, es verspricht nicht, dass die Selbsteinschätzung zutrifft.

Was es in der Praxis bedeutet

Für eigene Projekte ist das Verfahren aufwendig, weil es ein trainiertes Modell voraussetzt. Der Gedanke dahinter lässt sich aber übernehmen, und zwar an zwei Stellen: eine Entscheidung vorab, ob eine Suche überhaupt nötig ist, und eine Prüfung danach, ob die Antwort von den gefundenen Stellen gedeckt ist.

Die Grenze ist dieselbe wie bei jeder Selbstbewertung durch ein Modell. Sie ist billig und schnell, aber sie ist nicht unabhängig: Ein Modell, das eine Passage falsch versteht, bewertet sie auch falsch als passend.

Wo es verwechselt wird

Self-RAG ist kein Prompt-Trick, sondern ein Trainingsansatz. Und Selbstbewertung ist keine Prüfung durch einen Dritten, auch wenn beides in Berichten oft gleich aussieht.

Verwandte Begriffe

Corrective RAG, Agentic RAG, Groundedness, Retrieval-Augmented Generation, LLM-as-a-Judge.