---
term: "Verbatim Memorization"
slug: "verbatim-memorization"
glossar_id: "G548"
variants: []
category: "interpretierbarkeit-und-fortgeschrittene-alignment-risiken"
marker: ""
short: "Wörtliches Wiedergeben hinreichend langer Trainingssequenzen."
sources:
  - label: "Carlini et al.: Quantifying Memorization Across Neural Language Models"
    url: "https://arxiv.org/abs/2202.07646"
  - label: "Yao et al.: Editing Large Language Models"
    url: "https://arxiv.org/abs/2305.13172"
status: "entwurf"
updated: "2026-09-21"
---

Verbatim Memorization heißt, dass ein Modell Passagen aus seinen Trainingsdaten Wort für Wort wiedergibt, statt sie neu zu formulieren. Nachgewiesen wird das, indem man ein Modell mit dem Anfang einer bekannten Passage anstößt und prüft, ob die Fortsetzung mit dem Original übereinstimmt. [Carlini et al.](https://arxiv.org/abs/2202.07646)

## Drei Faktoren erhöhen die Wahrscheinlichkeit

Die Untersuchung beschreibt klare Zusammenhänge: Größere Modelle merken sich mehr, häufiger wiederholte Passagen werden eher wiedergegeben, und je länger der vorgegebene Anfang, desto eher setzt das Modell wörtlich fort. Alle drei Effekte wachsen deutlich, nicht nur geringfügig.

Die Folgen liegen auf drei Ebenen. Datenschutz, wenn personenbezogene Angaben aus Trainingsdaten auftauchen. Urheberrecht, wenn geschützte Texte wörtlich erscheinen. Und Bewertung, weil ein Modell Testaufgaben aus dem Training wiedergeben kann, statt sie zu lösen.

## So kannst du dir das vorstellen

Jemand, der tausend Bücher gelesen hat und meistens sinngemäß zusammenfasst. Bei Passagen, die ihm oft begegnet sind, rutscht der Wortlaut heraus. Das Bild erklärt den Unterschied zwischen Wiedergabe und Formulierung, es setzt Modelle nicht mit Menschen gleich.

## Was es in der Praxis konkret bedeutet

Wenn du Modelltexte veröffentlichst, ist eine Plagiatsprüfung bei längeren Passagen sinnvoll, besonders bei bekannten Themen mit viel Standardliteratur. Für vertrauliche Daten folgt: Was in Trainingsdaten gelangt, kann später ausgegeben werden, weshalb Anonymisierung vor dem Training zählt und nicht nachträgliche Filter. Und beim Einsatz eigener Modelle mit sensiblen Daten gehört diese Prüfung in die Abnahme.

## Wo es verwechselt wird

Wörtliche Wiedergabe ist nicht dasselbe wie Wissen: Das Modell kann eine Passage reproduzieren, ohne sie anwenden zu können. Und sie lässt sich nicht durch nachträgliche Bearbeitung einzelner Fakten beseitigen, denn die Passage steckt verteilt in den Gewichten. [Yao et al.](https://arxiv.org/abs/2305.13172)

## Verwandte Begriffe

**Benchmark Contamination**, **Training**, **Knowledge Editing**, **Data Exfiltration**, **Hallucination**, **Model Card**.