Precision@k

Precision@k gibt an, welcher Anteil der ersten k Treffer wirklich relevant ist. Recall@k gibt an, welcher Anteil aller relevanten Dokumente unter den ersten k auftaucht. Beide Maße stammen aus der Informationssuche und beziehen sich immer auf eine bestimmte Listenlänge. Manning, Raghavan, Schütze

Zwei Fragen, die oft verwechselt werden

Die eine Frage lautet: Wie viel von dem, was ich zeige, taugt? Die andere: Wie viel von dem, was es gibt, habe ich gefunden? Für Systeme mit Abruf ist die zweite meist die wichtigere, weil eine fehlende Stelle nicht mehr aufholbar ist. In der Forschung zu Passagensuche wird deshalb oft die Trefferquote unter den ersten zwanzig Passagen berichtet. Karpukhin et al.

Das k ist dabei kein Detail: Dieselbe Suche hat bei k gleich drei andere Werte als bei k gleich zwanzig, und ohne Angabe des k ist eine Zahl bedeutungslos.

So kannst du dir das vorstellen

Du schickst jemanden mit einer Einkaufsliste los. Die erste Frage ist, wie viel von dem, was er mitbringt, auf der Liste stand. Die zweite, wie viel von der Liste er überhaupt gefunden hat. Beides kann weit auseinanderliegen. Das Bild erklärt die Blickrichtung der Maße, nicht ihre Berechnung.

Was es in der Praxis bedeutet

Für die Bewertung eines Retrievers ist Recall@k bei dem k, das später in den Prompt geht, die wichtigste Zahl. Sie sagt, ob die richtige Stelle überhaupt ankommt. Precision@k wird danach wichtig, wenn du die Menge im Prompt senken willst, ohne die richtige Stelle zu verlieren.

Beide Maße brauchen eine Vorarbeit: Für eine Menge echter Fragen muss festgehalten sein, welche Abschnitte als relevant gelten. Ohne diese Zuordnung lässt sich Retrieval nicht messen, sondern nur beurteilen.

Wo es verwechselt wird

Precision und Recall bewerten die Suche, nicht die erzeugte Antwort. Und ein guter Wert bei großem k sagt wenig, wenn das System später nur drei Abschnitte weiterreicht.

Verwandte Begriffe

Retrieval Top-k, Retriever, Reranking, Evaluation, Dense Retrieval.