---
term: "BLEU"
slug: "bleu"
glossar_id: "G334"
variants: []
category: "evaluation-messgroessen-und-benchmark-fallen"
marker: "Technik"
short: "Überlappungsbasierte Metrik, insbesondere für maschinelle Übersetzung."
sources:
  - label: "Papineni et al.: BLEU, a Method for Automatic Evaluation of Machine Translation"
    url: "https://aclanthology.org/P02-1040/"
  - label: "Liang et al.: Holistic Evaluation of Language Models"
    url: "https://arxiv.org/abs/2211.09110"
status: "entwurf"
updated: "2026-09-21"
---

BLEU ist ein Maß für maschinelle Übersetzung, das zählt, wie viele Wortfolgen einer erzeugten Übersetzung auch in einer oder mehreren Referenzübersetzungen vorkommen. Es wurde 2002 vorgeschlagen, um die teure menschliche Bewertung von Übersetzungen durch eine schnelle, wiederholbare Zahl zu ergänzen. [Papineni et al.](https://aclanthology.org/P02-1040/)

## Gezählt werden Wortfolgen, nicht Bedeutungen

Gemessen wird die Überlappung von Folgen aus einem, zwei, drei und vier Wörtern, ergänzt um eine Strafe für zu kurze Ausgaben. Damit erfasst BLEU Wortwahl und ein Stück Satzbau, aber nicht, ob der Sinn getroffen ist.

Die Folgen sind bekannt: Eine sinngemäß richtige Übersetzung mit anderen Wörtern bekommt einen niedrigen Wert, eine wörtliche Übersetzung mit falschem Sinn einen hohen. Heutige Bewertungsrahmen stellen solche Maße deshalb neben andere Kennzahlen statt sie allein zu berichten. [Liang et al.](https://arxiv.org/abs/2211.09110)

## So kannst du dir das vorstellen

BLEU vergleicht zwei Texte wie ein Lehrer, der nur prüft, welche Wörter der Musterlösung vorkommen. Das geht schnell und trifft oft ungefähr, bestraft aber jede eigenständige Formulierung. Das Bild erklärt die Messweise, es sagt nichts über die Qualität der Übersetzung.

## Was es in der Praxis bedeutet

Für Anwendungen mit Sprachmodellen ist BLEU selten die richtige Wahl, weil dort meist offene Antworten entstehen, für die es keine wörtliche Referenz gibt. Wo es noch auftaucht, lohnt der Blick darauf, wie viele Referenzen verwendet wurden: Mit mehreren Referenzen steigen die Werte, und Vergleiche über verschiedene Aufbauten hinweg werden dadurch fragwürdig.

Wer Übersetzungen im eigenen Betrieb prüfen will, kommt mit einer Handvoll fachlich beurteilter Beispiele weiter als mit einer Zahl.

## Wo es verwechselt wird

BLEU misst Ähnlichkeit zu einer Referenz, nicht Richtigkeit. Und es ist nicht für Zusammenfassungen gedacht, dafür wurden andere Maße entwickelt.

## Verwandte Begriffe

**ROUGE**, **Exact Match**, **Automatic Evaluation**, **Golden Response**, **Evaluation**.