Grundbegriffe und Modelltypen
Small Language Model
Heißt auch SLM oder Kleines Sprachmodell.
Kompakteres Sprachmodell; keine allgemeingültige Größengrenze.
Ein Small Language Model, kurz SLM, ist ein vergleichsweise kompaktes Sprachmodell, das weniger Speicher und Rechenleistung benötigt als größere Modelle. (IBM) Die Bezeichnung ist relativ: Statt einer überall verbindlichen Grenze werden unterschiedliche Größenbereiche und Einsatzschwerpunkte beschrieben. (IBM)
So kannst du dir das vorstellen
Für die Fahrt zu einem Kunden mit einer Werkzeugtasche brauchst du keinen schweren Lastwagen. Ein kleineres Fahrzeug könnte die Aufgabe besser erfüllen, weil es zum Transportbedarf und zu den örtlichen Bedingungen passt.
Das ist ein hilfreiches Bild für die Modellauswahl. Wenn die Aufgabe eng umrissen ist, lohnt ein Test mit einer kompakteren Lösung. Die Analogie hat aber eine Grenze: Bei Sprachmodellen sagt die Größe allein noch nicht, wie zuverlässig ein konkreter Auftrag gelöst wird.
Ein möglicher Einsatz
Angenommen, kurze Servicenotizen sollen in fünf festgelegte Kategorien sortiert werden. Die Texte sind ähnlich aufgebaut, die Ausgabe ist knapp und die möglichen Kategorien sind bekannt.
Für diese Aufgabe könntest du ein kleines und ein größeres Modell mit denselben echten Beispielen vergleichen. Interessant wären die richtigen Zuordnungen, die Fälle mit Unsicherheit und der Aufwand für den Betrieb. Ein allgemeiner Wissensvergleich würde für diese Entscheidung nur einen Teil der nötigen Informationen liefern.
SLMs werden unter anderem für ressourcenbegrenzte Umgebungen, mobile Anwendungen und lokale Verarbeitung eingesetzt. (IBM) „Klein“ bedeutet allerdings nicht automatisch, dass jedes Modell auf jedem Bürorechner sinnvoll betrieben werden kann.
Wo die Grenzen liegen
Kleinere Modelle können bei komplexen Aufgaben und breiter Generalisierung gegenüber größeren Modellen Einschränkungen haben; auch Halluzinationen bleiben möglich. (IBM) Das Argument für ein SLM sollte deshalb lauten: Es bewältigt unsere Aufgabe unter unseren Bedingungen ausreichend gut.
Ein weiterer Punkt ist die Größenangabe selbst. Notiere für einen Vergleich Parameterzahl, benötigten Speicher, verwendetes Zahlenformat und tatsächlich gemessene Laufzeit. Die Aufschrift „Small“ ist dafür nur ein Ausgangspunkt.
Verwandte Begriffe
Large Language Model, Quantisierung, Distillation, Local LLM, Modellgewichte und Inferenz erklären die technischen und betrieblichen Zusammenhänge. Für den Eigenbetrieb sind Speicherbedarf und Quantisierung besonders relevant.