Expertenmix, einfach erklärt

Ein Mixed-of-Experts-Modell (MoE) enthält mehrere spezialisierte neuronale Netzwerkblöcke und einen Router, der auswählt, welche Blöcke die einzelnen Token verarbeiten. Anstatt jeden Parameter für jeden Schritt zu aktivieren, wird nur eine ausgewählte Teilmenge verwendet. Dadurch kann ein Modell über eine große Gesamtkapazität verfügen, ohne dass für jeden Token die vollen arithmetischen Kosten eines dichten Modells mit derselben Gesamtgröße bezahlt werden müssen.

MoE bedeutet nicht „viele vollständige KIs diskutieren über eine Antwort“, und es macht die Berechnung nicht frei. Die Experten müssen weiterhin im Speicher gespeichert werden, das Routing erfordert Arbeit und das Verschieben von Token zwischen Chips kann die Kommunikationskosten erhöhen. Aktive Parameter, Hardware-Layout, Auslastung und Ausgabelänge sind wichtiger als die Gesamtsumme allein.

Stellen Sie sich einen Workshop mit gemeinsamer Aufnahme vor

Stellen Sie sich eine Werkstatt mit mehreren Fachbänken vor. Jeder Artikel wird über dieselbe Rezeption eingegeben. Ein Dispatcher prüft es und sendet es an eine oder zwei Bänke, die er für am nützlichsten hält. Die ganze Werkstatt verfügt über viele Werkzeuge, aber für diesen Artikel wird nur ein kleiner Satz verwendet.

In einem Transformer MoE verarbeiten die gemeinsam genutzten Teile des Netzwerks weiterhin jedes Token. Auf bestimmten Ebenen bewertet ein Router die verfügbaren Experten und wählt einige aus. Bei diesen Experten handelt es sich in der Regel eher um Feed-Forward-Blöcke als um vollständige Modelle mit für Menschen lesbaren Berufen. Ein Experte ist nicht zuverlässig „der Poesieexperte“ und ein anderer „der Mathematikexperte“, selbst wenn sich während der Ausbildung eine Spezialisierung herausbildet.

Die ausgewählten Ausgaben werden kombiniert und die Verarbeitung wird fortgesetzt. Die Entscheidung erfolgt wiederholt, oft für jedes Token und auf mehreren Ebenen, sodass benachbarte Wörter unterschiedliche Wege nehmen können.

Die Auswahlmöglichkeiten des Routers sind numerisch und nicht eine bewusste Übergabe. Experten lernen durch Schulungen, und ihre Rollen können sich überschneiden oder für Menschen schwierig zu interpretieren sein.

Dichte und spärliche Modelle nutzen die Kapazität unterschiedlich

Ein dichtes Sprachmodell verwendet im Großen und Ganzen denselben Parametersatz für jedes Token. Eine Erhöhung der Parameteranzahl erhöht im Allgemeinen den Rechen- und Speicherverkehr, der bei jedem Generierungsschritt erforderlich ist. Ein spärliches MoE kann die Gesamtparameter erhöhen und gleichzeitig die aktive Teilmenge relativ stabil halten.

Die Transformer-Papier wechseln Vereinfachte diese Idee, indem jedes Token an einen Experten auf seinen MoE-Ebenen weitergeleitet wurde. Seine Experimente ergaben unter den Bedingungen der Autoren ein schnelleres Vortraining als dichte Vergleichsmodelle. Diese Ergebnisse zeigen das Potenzial der Architektur; Sie sind kein universelles Energieverhältnis für aktuelle Chat-Produkte.

Diese Unterscheidung erklärt, warum die Gesamtparameteranzahl irreführend sein kann. Ein als sehr groß beworbenes MoE kann Berechnungen mit weitaus weniger Parametern pro Token durchführen. Die inaktiven Experten belegen jedoch immer noch den Beschleunigerspeicher und müssen möglicherweise auf mehrere Maschinen verteilt werden.

Aktive Parameterzahlen benötigen ebenfalls Kontext. Die Ebenen „Geteilte Aufmerksamkeit“ und „Einbettung“ werden weiterhin ausgeführt, sodass die ausgewählten Expertengewichte nicht unbedingt die gesamte aktive Arbeitslast des Modells darstellen.

Der Router muss Experten beschäftigen

Wenn der Router die meisten Token an denselben Experten sendet, wird dieser Experte in eine Warteschlange gestellt, während andere ungenutzt bleiben. Die Schulung nutzt daher Ausgleichsmechanismen, die die Verteilung des Datenverkehrs auf die Experten fördern. Systeme legen außerdem Kapazitätsgrenzen dafür fest, wie viele Token ein Experte in einem Stapel akzeptiert.

Das Routing kann zu Beginn des Trainings instabil sein. Experten lernen möglicherweise ähnliche Funktionen oder einige erhalten möglicherweise zu wenige Daten. Ingenieure optimieren Hilfsverluste, Kapazität, Lärm und Platzierung, um die Balance zu verbessern, ohne die Modellqualität zu beeinträchtigen.

Das Servieren bringt ein physisches Problem mit sich: Ausgewählte Experten leben möglicherweise auf unterschiedlichen Beschleunigern. Anschließend werden die Token über ein Hochgeschwindigkeitsnetzwerk zwischen gemeinsam genutzten Schichten und Expertenblöcken übertragen. Die Kommunikation kann die Geschwindigkeit einschränken und die Energie erhöhen, insbesondere bei kleinen Chargen oder schlechter Platzierung. Sparse-Arithmetik ist nur ein Teil der Maschine.

Kapazitätsgrenzen stellen einen weiteren Kompromiss dar. Das Löschen, Verzögern oder Umleiten überschüssiger Token kann den Durchsatz schützen, die Implementierung muss jedoch die Antwortqualität bei ungleichmäßigem realem Datenverkehr bewahren.

Warum MoE effizient sein kann

MoE bietet mehr Repräsentationskapazität, ohne jedes Mal das gesamte Netzwerk zu aktivieren. Bei einer Zielqualität kann dies das Training oder die Inferenzberechnung im Vergleich zu einem ähnlich leistungsfähigen dichten Modell reduzieren. Es kann auch verschiedenen Experten ermöglichen, nützliche Muster aus verschiedenen Sprachen oder Bereichen zu lernen.

Effizienz hängt von der Umsetzung ab. Große Mengen können Experten beschäftigen und die Kommunikation lohnenswert machen. Die Quantisierung kann den Speicherverkehr verringern. Gutes Routing und eine gute Hardware-Topologie reduzieren die Überlastung. Ein Modell mit geringer Auslastung kann diese Vorteile möglicherweise nicht realisieren.

Am wichtigsten ist, dass eine geringere Rechenleistung pro Token nicht garantiert, dass weniger Energie pro abgeschlossener Aufgabe verbraucht wird. Längere Ausgaben, Wiederholungsversuche, große Kontextfenster und Agententools können die architektonischen Einsparungen aufwiegen. So reduzieren Sie Ihren KI-CO2-Fußabdruck konzentriert sich auf den gesamten Auftrag und nicht auf eine attraktive Musterimmobilie.

Betriebsmessungen sind daher, sofern verfügbar, einer Schätzung in Papierform vorzuziehen. Leistung, Latenz und Erfolg sollten auf derselben Hardware, denselben Batch-Bedingungen und repräsentativen Anforderungen verglichen werden.

Warum MoE nicht dasselbe ist wie ein kleines Modell

A kleines Sprachmodell hat weniger Gesamtparameter und passt oft auf bescheidene Hardware. Ein MoE kann eine sehr große Sammlung von Experten enthalten, aber nur wenige aktivieren. Die Berechnung eines einzelnen Tokens kann kleiner erscheinen als seine Gesamtgröße, dennoch können seine Speicherung und Bereitstellung umfangreich bleiben.

Dies ist für Umweltschätzungen von Bedeutung. Eine Berechnung, die nur auf Gesamtparametern basiert, kann die aktive Berechnung überbewerten. Eine Lösung, die nur auf aktiven Parametern basiert, kann Speicher, Netzwerk, Leerlaufkapazität und unterstützende Infrastruktur außer Acht lassen. Keine der beiden Zahlen allein ist eine Messung der Anlagenleistung.

Fragen Sie beim Vergleich von Modellen nach Gesamtparametern, aktiven Parametern pro Token, numerischer Präzision, typischem Kontext und Ausgabelänge sowie der verwendeten Hardware. Testen Sie dann Qualität und Energie für dieselbe vollständige Aufgabe.

Bei der lokalen Bereitstellung kann der Gesamtspeicher die Bindungseinschränkung darstellen, selbst wenn die aktive Berechnung überschaubar erscheint. Bei begrenzter Hardware kann ein dichtes Kompaktmodell die praktischere Option sein.

Was MoE für Benutzer ändert

Benutzer können das Routing innerhalb eines gehosteten Modells normalerweise nicht steuern. Sie können die Anfrage steuern: Stellen Sie relevanten Kontext bereit, fordern Sie eine angemessene Ausgabe und vermeiden Sie unnötige Neugenerierungen. Modellanbieter steuern Expertenplatzierung, Stapelverarbeitung, Kapazität und Hardwareeffizienz.

Für einen breiten Dienst kann ein MoE-Modell eine gute Wahl sein, da es Kapazität mit geringer Aktivierung kombiniert. Für eine einfache Extraktion, die ein kompaktes, dichtes Modell bewältigen kann, kann es immer noch zu viel sein. Grüne KI bedeutet, zwischen Architekturen zu wählen, die auf dem gelieferten Wert und den gemessenen Ressourcen basieren, und nicht davon auszugehen, dass Sparse immer gewinnt.

Treechat In der Quittung wird die Betriebsenergie anhand des ausgewählten Modells und der Tokenanzahl geschätzt und dann der angegebene Overhead für das Rechenzentrum hinzugefügt. Da die Anbieter kein Live-Experten-Routing oder eine Leistung pro Antwort bereitstellen, handelt es sich weiterhin um eine modellbasierte Annäherung. Die Annahmen und Ausschlüsse werden unter veröffentlicht /methodology.

Die einfache Zusammenfassung ist, dass die Mischung von Experten den Wissensumfang eines Modells von der Menge, die es gleichzeitig funktioniert, unterscheidet. Dadurch kann eine große Kapazität recheneffizienter werden, aber Speicher, Kommunikation und tatsächliches Workload-Verhalten bestimmen, ob aus dem Versprechen eine tatsächliche Einsparung wird.