Chunk Size

Chunk Size ist die Länge der Abschnitte, in die Dokumente zerlegt werden, meist gemessen in Tokens. Chunk Overlap ist die Überlappung: Der nächste Abschnitt beginnt einige Sätze vor dem Ende des vorigen, damit ein Gedanke nicht an der Schnittkante zerfällt. Übliche Abschnitte umfassen einige hundert Tokens. Anthropic: Contextual Retrieval

Klein findet genau, groß erklärt besser

Kleine Abschnitte treffen genauer, weil ein kurzer Text nur von einer Sache handelt und sein Vektor entsprechend eindeutig ist. Dafür fehlt dem Modell hinterher der Zusammenhang, und es braucht mehr Treffer, um eine Frage zu beantworten.

Große Abschnitte bringen Zusammenhang mit, verwässern aber die Repräsentation: Ein Abschnitt über fünf Themen liegt im Vektorraum zwischen allen fünf und wird für keines davon gut gefunden. Er belegt außerdem mehr Platz im Kontextfenster. Die Wahl der Schnittstrategie zählt deshalb zu den Stellschrauben der Indexierung. Gao et al.

So kannst du dir das vorstellen

Die Frage gleicht der Wahl der Zettelgröße beim Exzerpieren. Karteikarten sind leicht zu sortieren und sagen wenig. Ganze Seiten sagen viel und lassen sich schlecht sortieren. Das Bild erklärt die Abwägung, es nennt keine richtige Größe.

Was es in der Praxis bedeutet

Eine allgemein richtige Größe gibt es nicht, weil sie von der Textsorte abhängt. Verträge und Handbücher mit klaren Abschnitten vertragen größere Einheiten, Chats und Tickets kleinere. Die brauchbare Vorgehensweise ist deshalb: an inhaltlichen Grenzen schneiden, zwei oder drei Varianten aufbauen und mit denselben echten Fragen vergleichen.

Überlappung hilft gegen zerschnittene Sätze, kostet aber Speicher und erzeugt Doppeltreffer, die eine Nachbewertung wieder aussortieren muss. Zu beachten ist zudem, dass die Größe an das Embedding-Modell gebunden ist: Jedes Modell verarbeitet nur eine begrenzte Eingabelänge, alles darüber wird abgeschnitten.

Wo es verwechselt wird

Die Abschnittsgröße ist nicht das Kontextfenster: Sie bestimmt die Einheiten der Suche, nicht die Kapazität des Modells. Und mehr Überlappung ersetzt keine sinnvolle Schnittstelle.

Verwandte Begriffe

Chunk, Embedding, Retrieval Top-k, Context Window, Retriever, Reranking.