Embeddings, Suche und Retrieval-Augmented Generation
Hypothetical Document Embeddings
Heißt auch HyDE.
Hypothetische Antwort erzeugen und als Grundlage der Suche einbetten.
Hypothetical Document Embeddings, abgekürzt HyDE, dreht die Suche um. Statt die Frage einzubetten, lässt das Verfahren zuerst ein Modell eine erfundene Antwort schreiben und bettet diese ein. Der so entstandene Vektor zeigt auf eine Gegend im Bestand, in der ähnliche echte Dokumente liegen, und diese werden abgerufen. Gao et al.: HyDE
Eine erfundene Antwort sieht Antworten ähnlicher als eine Frage
Der Grund für den Umweg ist ein Formunterschied. Eine kurze Frage und ein erklärender Absatz sehen im Vektorraum verschieden aus, auch wenn sie inhaltlich zusammengehören. Ein erfundener Absatz sieht einem echten Absatz dagegen ähnlich.
Dass die erfundene Antwort falsche Angaben enthalten kann, ist dabei einkalkuliert: Sie wird nie ausgeliefert, sondern nur zur Suche benutzt, und der Vergleich mit dem echten Bestand filtert die falschen Details heraus. In der Übersichtsliteratur steht das Verfahren bei den Techniken zur Umformung der Anfrage. Gao et al.: RAG Survey
So kannst du dir das vorstellen
Jemand sucht in einer Bibliothek nach einer Antwort und schreibt sich vorher auf, wie die Antwort ungefähr klingen müsste. Mit diesem Zettel geht er durch die Regale und vergleicht. Ob auf dem Zettel Unsinn steht, ist egal, solange die Tonlage stimmt. Das Bild erklärt den Umweg, es verspricht keine besseren Treffer.
Was es in der Praxis bedeutet
Der Nutzen zeigt sich vor allem, wenn kein passendes Suchmodell für die eigene Domäne trainiert wurde. Der Preis ist ein zusätzlicher Modellaufruf vor jeder Suche, also mehr Wartezeit und mehr Kosten je Frage.
Riskant wird es bei Fragen, die das Modell aus eigenem Wissen falsch beantwortet: Die erfundene Antwort zeigt dann in die falsche Richtung, und die Suche findet zuverlässig das Falsche. Bei firmeninternen Sachverhalten ohne Bezug zum Allgemeinwissen ist der Ansatz deshalb mit Vorsicht zu genießen.
Wo es verwechselt wird
HyDE erweitert nicht die Frage um Synonyme, sondern ersetzt sie für die Suche durch einen erzeugten Text. Und die erfundene Antwort ist kein Ergebnis, sondern nur ein Suchschlüssel.
Verwandte Begriffe
Dense Retrieval, Retriever, RAG-Fusion, Semantic Search, Embedding.