Sparse Retrieval

Sparse Retrieval ist der Abruf über dünn besetzte Repräsentationen. Jedes Dokument wird dabei als Vektor über den gesamten Wortschatz dargestellt, in dem fast alle Einträge null sind: Nur die Wörter, die wirklich vorkommen, tragen einen Wert. Daher der Name, dünn besetzt.

Der Wortschatz ist die Achse

Bei einem Wortschatz von einer halben Million Formen hat jedes Dokument formal eine halbe Million Dimensionen, von denen vielleicht zweihundert belegt sind. Das klingt unhandlich, ist aber der Grund für die Geschwindigkeit: Man speichert nur die belegten Stellen und findet über einen umgekehrten Index sofort alle Dokumente zu einem Wort.

Die bekannteste Gewichtung dieser Einträge ist BM25. Manning, Raghavan, Schütze In der Forschung dient sparse retrieval als Gegenbegriff zum Abruf über dichte Repräsentationen. Karpukhin et al.

So kannst du dir das vorstellen

Stell dir eine Strichliste mit einer Zeile je Wort der Sprache vor. Für ein einzelnes Dokument sind fast alle Zeilen leer. Genau diese Leere macht die Liste handhabbar, weil man nur die gefüllten Zeilen anfassen muss. Das Bild erklärt die Darstellung, nicht die Bewertung der Treffer.

Was es in der Praxis bedeutet

Der praktische Vorteil ist die Nachvollziehbarkeit. Du kannst zu jedem Treffer sagen, welches Wort ihn verursacht hat, und die Suche verhält sich bei einer kleinen Änderung der Anfrage vorhersagbar. Für Fachbereiche mit festem Vokabular, etwa Recht oder Technik, ist das oft mehr wert als Bedeutungsähnlichkeit.

Es gibt inzwischen auch gelernte dünne Darstellungen, die zusätzliche Begriffe in die Repräsentation aufnehmen und damit Synonyme abdecken, ohne den Index aufzugeben. Sie sitzen zwischen den beiden Welten.

Wo es verwechselt wird

Dünn besetzt bezieht sich auf die Darstellung, nicht auf die Menge der Treffer. Und Sparse Retrieval ist nicht dasselbe wie BM25: BM25 ist eine Gewichtung innerhalb dieses Ansatzes.

Verwandte Begriffe

BM25, Lexical Search, Dense Retrieval, Hybrid Search, Retriever.