Training, Daten und Modellanpassung
Self-Supervised Learning
Heißt auch Selbstüberwachtes Lernen.
Lernen mit aus den Daten selbst abgeleiteten Trainingszielen.
Self-Supervised Learning, auf Deutsch selbstüberwachtes Lernen, erzeugt Trainingsaufgaben und Zielwerte aus den vorhandenen Daten selbst. (Hugging Face Glossary) Bei Sprachmodellen kann das beispielsweise bedeuten, ein verdecktes Wort oder das nächste Token vorherzusagen. (Hugging Face Glossary)
So kannst du dir das vorstellen
Nimm den Beispielsatz „Die Ware wird morgen geliefert“. Du könntest ein Wort verdecken und das Modell die Lücke ergänzen lassen. Die ursprüngliche Textstelle liefert bereits die Musterlösung; niemand müsste für diesen einzelnen Satz eine zusätzliche Antwort verfassen.
Eine andere Übung wäre, nur den Satzanfang zu zeigen und den folgenden Textbestandteil vorhersagen zu lassen. Das sind vereinfachte Beispiele für zwei Aufgabenarten, keine Festlegung darauf, wie ein konkreter Tokenizer den Satz zerlegen würde.
Woher die Überwachung kommt
„Self“ bezieht sich auf die Herkunft des Lernsignals: Eingabe und Ziel werden aus dem Datenmaterial abgeleitet. (Hugging Face Glossary) Das Verfahren hat trotzdem ein festgelegtes Trainingsziel und eine Verlustfunktion, mit der Vorhersagen bewertet und Parameter angepasst werden. (Google ML Glossary)
Es bezeichnet daher weder selbstbestimmtes Lernen noch eine automatische Entscheidung des Modells darüber, welche Fähigkeiten es erwerben möchte. Auch die Wahl der Daten und der Aufgabe solltest du als eigenständige Gestaltungsentscheidungen behandeln.
Keine Qualitätsgarantie für den Datenbestand
Selbstüberwachtes Vortraining kann die Grundlage für späteres aufgabenspezifisches Fine-Tuning schaffen; das ist ein wichtiges Einsatzmuster vortrainierter Modelle. (Hugging Face Glossary) Die Trainingsaufgabe und die spätere Geschäftsaufgabe solltest du trotzdem getrennt bewerten.
Wenn du etwa technische Dokumentation als Lernmaterial erwägst, prüfe zusätzlich Aktualität, Dubletten und widersprüchliche Anweisungen. Eine aus dem Text gewonnene Musterlösung sagt zunächst, was dort steht; sie ist kein eigenständiger Beleg dafür, dass der Inhalt fachlich richtig oder für deine Anwendung geeignet ist.
Verwandte Begriffe
Für die Abgrenzung helfen Pretraining, Causal Language Model, Masked Language Model, Loss und Supervised Fine-Tuning.