Speech Recognition

Spracherkennung überführt Audio in Text. Der Umbruch kam mit Modellen, die auf sehr großen, wenig aufbereiteten Datenmengen trainiert wurden: 680.000 Stunden mehrsprachiges Material in einer bekannten Arbeit von 2022. Solche Modelle arbeiten ohne Anpassung auf viele Sprachen und Aufnahmesituationen. Radford et al.

Robustheit statt Bestwerte auf einem Datensatz

Der Unterschied zu früheren Systemen liegt weniger in der Genauigkeit unter Idealbedingungen als in der Streuung. Ältere Systeme waren auf bestimmte Bedingungen trainiert und brachen bei Hintergrundgeräuschen, Akzenten oder Telefonqualität ein. Breites, ungefiltertes Training macht die Leistung gleichmäßiger, auch ohne Anpassung an den Einsatzfall. Radford et al.: CLIP

Typische Schwachstellen bleiben: Eigennamen, Fachbegriffe, Zahlen und die Unterscheidung mehrerer Sprecher. Und solche Modelle können Passagen erfinden, wenn das Audio unverständlich oder still ist.

So kannst du dir das vorstellen

Ein Zuhörer, der viele Dialekte und Nebengeräusche gewohnt ist. Er versteht fast überall etwas, und bei unverständlichen Stellen ergänzt er sinngemäß, statt eine Lücke zu lassen. Das Bild erklärt die Fehlerart, es unterstellt keine Absicht.

Was es in der Praxis konkret bedeutet

Für Protokolle und Untertitel ist die Qualität heute ausreichend, wenn ein Mensch gegenliest. Kritisch sind erfundene Passagen bei stillen Abschnitten, weshalb lange Pausen vor der Verarbeitung entfernt werden sollten. Fachbegriffe und Eigennamen lassen sich über eine Vokabelliste im Prompt verbessern, sofern das Werkzeug das unterstützt. Und für vertrauliche Gespräche ist lokale Verarbeitung möglich, denn brauchbare Modelle laufen auf Alltagshardware.

Wo es verwechselt wird

Spracherkennung liefert Text, nicht Verständnis. Zusammenfassung und Aufgabenextraktion sind ein zweiter Schritt mit einem Sprachmodell. Und die Erkennung von Sprechern ist eine eigene Aufgabe, die viele Modelle nicht mitbringen.

Verwandte Begriffe

Audio Generation, Modality, Hallucination, Local LLM, Vision-Language Model, Video Generation.