Was sind kleine Sprachmodelle?

Kleine Sprachmodelle oder SLMs sind Sprachmodelle, die mit weniger Parametern und geringeren Rechenanforderungen entwickelt wurden als die großen Modelle, die an der Grenze verwendet werden. Sie können zusammenfassen, Informationen extrahieren, Texte umschreiben, Inhalte klassifizieren und gezielte Fragen beantworten, oft mit geringerer Latenz, Speicherverbrauch und Energie pro Token.

Es gibt keinen offiziellen Parameterschwellenwert, ab dem ein Modell „klein“ wird. Der Begriff ist relativ zur Hardware, zum Zeitraum und zum Vergleich. Ein Modell, das auf ein Telefon passt, ist im Vergleich zu einem Rechenzentrumsmodell eindeutig klein, aber zwei Anbieter verwenden die Bezeichnung möglicherweise unterschiedlich. Die nützlichen Fragen sind, wie viel vom Modell aktiv ist, welche Hardware es benötigt und ob es Ihre Aufgabe zuverlässig erledigt.

Ein Sprachmodell kann nützlich sein, ohne riesig zu sein

Sprachmodelle lernen numerische Muster aus Texten und nutzen diese, um Token vorherzusagen. Größere Modelle können mehr Parameter speichern und eignen sich häufig gut für ein breiteres Spektrum unbekannter Aufgaben. Sie benötigen außerdem mehr Speicher und Rechenleistung für das Training und den Einsatz.

Kleine Modelle tauschen etwas Breite gegen Effizienz. Sorgfältige Trainingsdaten, Destillation und gezielte Feinabstimmung können eine starke Leistung bei allgemeinen oder begrenzten Aufgaben aufrechterhalten. Microsofts Technischer Bericht zu Phi-3beschreibt beispielsweise ein Modell mit 3.8 Milliarden Parametern, das für die Bereitstellung auf einem Telefon geeignet ist. Seine Benchmark-Ergebnisse gehören zu diesem Modell und Testsatz; Sie beweisen nicht, dass jedes kleine Modell mit einem größeren konkurrieren kann.

„Klein“ beschreibt daher eine Ressourcenklasse, keine Qualitätsgarantie. Ein kompaktes Modell kann beim Extrahieren hervorragend sein, aber bei der schwierigen Argumentation schlecht sein, genauso wie ein großes Modell für die routinemäßige Formatierung unnötig sein kann.

Auch das Vergleichsdatum sollte angegeben werden. Was vor einigen Jahren noch als kompakt galt, kann heute aufgrund verbesserter Hardware und Modelldesigns normal aussehen.

Warum kleine Modelle meist weniger Energie benötigen

In einem herkömmlichen dichten Transformator erfordert die Generierung eines Tokens Berechnungen für die meisten Gewichte des Modells. Weniger Parameter bedeuten im Allgemeinen, dass weniger Werte durch den Speicher verschoben und weniger Operationen ausgeführt werden müssen. Ein kompaktes Modell kann auch auf kleinerer Hardware laufen und innerhalb eines bestimmten Speicherbudgets mehr Anfragen bedienen.

Deshalb ist die Modellgröße ein sinnvoller Umwelthebel. Es ist kein Leistungsmesser. Numerische Präzision, Sequenzlänge, Chargenbildung, Beschleunigererzeugung und Softwareoptimierung verändern die Energie pro Ergebnis. Ein schlecht genutztes kleines Modell kann Kapazität verschwenden, während ein größeres Modell, das einmal erfolgreich ist, wiederholte fehlgeschlagene Aufrufe eines schwächeren Modells schlagen kann.

Unser Artikel zum Thema So reduzieren Sie Ihren KI-CO2-Fußabdruck nutzt die praktische Regel: Wählen Sie das kleinste Modell, das die gesamte Aufgabe zuverlässig erledigt. Zählen Sie Wiederholungsversuche und Korrekturen, anstatt einen einzelnen Token zu vergleichen.

Die Eingabelänge kann den Vorteil schmälern. Die Verarbeitung eines großen Dokuments auf einem kompakten Modell ist immer noch ein erheblicher Arbeitsaufwand, sodass die Kontextdisziplin bei jeder Modellgröße nützlich bleibt.

Wie kleine Modelle leistungsfähig gemacht werden

Modellersteller können mehr als nur Ebenen entfernen. Sie kuratieren Trainingsdaten, sodass begrenzte Kapazität für nützliche Muster aufgewendet wird, unterrichten kleinere Modelle anhand der Ergebnisse oder Darstellungen größerer Lehrer und optimieren sie für bestimmte Bereiche. Durch die Quantisierung werden Gewichte mit geringerer Präzision gespeichert und berechnet, wodurch der Speicher reduziert und häufig die Schlussfolgerung beschleunigt wird.

Beim Beschneiden werden Gewichte oder Strukturen entfernt, die als wenig hilfreich erachtet werden. Der Abruf kann relevante Dokumente zum Zeitpunkt der Anforderung bereitstellen, anstatt das Modell aufzufordern, sich alle Fakten zu merken. Ein gutes Anwendungsdesign schränkt das Problem durch strukturierte Eingaben, Tools und Validierung ein.

Jede Technik hat Kompromisse. Die Destillation kann die Einschränkungen des Lehrers reproduzieren. Eine aggressive Quantisierung kann die Qualität beeinträchtigen. Eine enge Feinabstimmung kann das allgemeine Verhalten schwächen. Ansprüche sollten anhand der tatsächlichen Aufgabe, Sprache und Sicherheitsanforderungen getestet werden und nicht allein aus der Parameteranzahl abgeleitet werden.

Auswertungsdaten erfordern eine ähnliche Sorgfalt. Ein Modell kann leistungsfähig erscheinen, weil sein Schulungsmaterial sich mit einem Benchmark überschneidet, während es an frischen Beispielen aus der Anwendung, für die es gedacht ist, scheitert.

Wo kleine Sprachmodelle gut funktionieren

Konzentriertes, wiederholtes Arbeiten ist das natürliche Terrain. Beispiele hierfür sind das Klassifizieren von Support-Tickets, das Extrahieren von Feldern aus bekannten Dokumenttypen, das Vorschlagen kurzer Antworten, das Umschreiben von Texten in einen Hausstil und das Beantworten von Fragen aus einer kontrollierten Wissensdatenbank. Eine geringere Latenz und geringere Kosten können eine lokale oder Edge-Bereitstellung praktisch machen.

Die lokale Ausführung kann den Datenschutz verbessern, da die Daten das Gerät nicht verlassen müssen, obwohl das tatsächliche Netzwerkverhalten der Anwendung immer noch von Bedeutung ist. Außerdem kann dadurch ein ständiger Netzwerkzugriff vermieden werden. Lokale Rückschlüsse sind nicht automatisch kohlenstoffärmer: Ein alter Laptop, der langsam arbeitet, verbraucht möglicherweise mehr Energie als ein effizienter gemeinsam genutzter Server, und der verkörperte Fußabdruck des Geräts bleibt erhalten.

Kleine Modelle sind bei komplexen mehrstufigen Überlegungen, unklarem Wissen, langen Dokumenten und schwierigem Code weniger zuverlässig. Eine Eskalation ist sinnvoll, wenn Tests ergeben, dass die Aufgabe ihre Leistungsfähigkeit übersteigt. Nachhaltiges Design bedeutet kein Verbot großer Modelle; es handelt sich um bewusstes Routing.

Die Grenze kann für Benutzer sichtbar gemacht werden. Ein Dienst kann erklären, dass Routinearbeiten sein schnelles Modell nutzen, und ein absichtliches Upgrade für Fälle anbieten, in denen mehr Überlegung die Verzögerung und die Ressourcen wert ist.

Klein, spärlich und spezialisiert sind keine Synonyme

Ein kleines Sprachmodell hat einen relativ geringen Gesamtbedarf an Parametern und Speicher. Ein spezialisiertes Modell wird für einen engen Bereich trainiert oder optimiert, unabhängig von seiner Größe. Ein spärliches Modell enthält viele Parameter, aktiviert jedoch nur einige davon für eine bestimmte Eingabe.

Die letzte Kategorie umfasst Mix-of-Experten-Modelle. Sie können eine große Gesamtparameteranzahl haben, während für jedes Token eine kleinere aktive Teilmenge verwendet wird. Compute mag einem kleineren, dichten Modell ähneln, aber alle Experten müssen dennoch gespeichert und verteilt werden, damit Speicher und Kommunikation nicht verschwinden.

Wenn ein Anbieter ein „kleines“ oder „effizientes“ Modell bewirbt, fragen Sie nach Gesamt- und Aktivparametern, Hardwareanforderungen, Tokens pro Sekunde, Energiegrenze und Aufgabenqualität. Kein einziges Label beantwortet all diese Fragen.

Unterscheiden Sie außerdem zwischen einer herunterladbaren Modelldatei und dem für die Ausführung erforderlichen Speicher. Arbeitskontext, Caches und Anwendungsprozesse können die Bereitstellung größer machen, als die Gewichtungen allein vermuten lassen.

Wie wählt man verantwortungsbewusst einen aus?

Erstellen Sie einen repräsentativen Bewertungssatz, einschließlich schwieriger und sicherheitsrelevanter Beispiele. Testen Sie den kleinsten Kandidaten, zeichnen Sie Erfolg, Latenz und geschätzte oder gemessene Energie auf und vergleichen Sie dann das nächste Modell unter denselben Bedingungen. Beziehen Sie Abruf, Toolaufrufe, Wiederholungsversuche und menschliche Korrekturen ein.

Überwachen Sie bei Organisationen die Verteilung nach dem Start. Ein Router, der den Großteil des Routinedatenverkehrs an ein kleines Modell und echte Ausnahmen an ein größeres Modell sendet, kann die Qualität bewahren, ohne jede Anfrage standardmäßig auf maximale Rechenleistung zu stellen. Ein praktischer Leitfaden für nachhaltige KI deckt die Messung und Steuerung dieses Musters ab.

Treechat Verwendet kleinere Modelle für alltägliche Fragen und bietet bei Bedarf größere Funktionen. Der Empfang pro Antwort schätzt die Betriebsenergie aus der Modell- und Token-Nutzung, fügt einen veröffentlichten Rechenzentrums-Overhead hinzu und wendet einen angegebenen Netzfaktor an. Es handelt sich nicht um eine direkte Hardwaremessung. Die aktuellen Faktoren und Einschränkungen liegen bei /methodology.

Kleine Sprachmodelle sind wichtig, da für viele alltägliche Spracharbeiten nicht das größte verfügbare System erforderlich ist. Im Rahmen ihrer Grenzen können sie KI schneller, günstiger und weniger energieintensiv machen. Als Marketingetikett ohne Aufgabentests oder Messung verwendet, sagt „klein“ sehr wenig aus.