Mélange d'experts, expliqué simplement

Un modèle mixte d'experts, ou MoE, contient plusieurs blocs de réseaux neuronaux spécialisés et un routeur qui choisit ceux qui gèrent chaque jeton. Au lieu d'activer chaque paramètre pour chaque étape, il utilise uniquement un sous-ensemble sélectionné. Cela permet à un modèle d'avoir une grande capacité totale sans payer le coût arithmétique total d'un modèle dense de même taille totale sur chaque jeton.

Le MoE ne signifie pas « de nombreuses IA complètes débattant d’une réponse » et il ne rend pas le calcul gratuit. Les experts doivent toujours être stockés en mémoire, le routage demande du travail et le déplacement de jetons entre les puces peut augmenter les coûts de communication. Les paramètres actifs, la disposition du matériel, l’utilisation et la longueur de sortie comptent plus que le seul total global.

Pensez à un atelier avec apport partagé

Imaginez un atelier avec plusieurs bancs spécialisés. Chaque article entre par la même réception. Un répartiteur l'examine et l'envoie à un ou deux bancs jugés les plus utiles. L'ensemble de l'atelier possède de nombreux outils, mais seul un petit ensemble est utilisé pour cet article.

Dans un transformateur MoE, les parties partagées du réseau traitent toujours chaque jeton. À certaines couches, un routeur note les experts disponibles et en sélectionne quelques-uns. Ces experts sont généralement des blocs de rétroaction plutôt que des modèles complets avec des professions lisibles par l'homme. Un expert n’est pas forcément « l’expert en poésie » et un autre « l’expert en mathématiques », même si une spécialisation apparaît au cours de la formation.

Les sorties sélectionnées sont combinées et le traitement continue. La décision se produit à plusieurs reprises, souvent pour chaque jeton et à plusieurs niveaux, de sorte que les mots adjacents peuvent emprunter des itinéraires différents.

Les choix du routeur sont numériques plutôt que conscients. Les experts apprennent grâce à la formation, et leurs rôles peuvent se chevaucher ou être difficiles à interpréter clairement.

Les modèles denses et clairsemés dépensent leur capacité différemment

Un modèle de langage dense utilise globalement le même jeu de paramètres pour chaque jeton. L'augmentation de son nombre de paramètres augmente généralement le trafic de calcul et de mémoire requis à chaque étape de génération. Un MoE clairsemé peut augmenter les paramètres totaux tout en gardant le sous-ensemble actif relativement stable.

Le Papier transformateur de commutation a simplifié cette idée en acheminant chaque jeton vers un expert au niveau de ses couches MoE. Ses expériences ont rapporté un pré-entraînement plus rapide que les modèles de comparaison denses dans les conditions des auteurs. Ces résultats démontrent le potentiel de l’architecture ; ils ne constituent pas un ratio énergétique universel pour les produits de chat actuels.

Cette distinction explique pourquoi le nombre total de paramètres peut induire en erreur. Un MoE annoncé comme très grand peut effectuer des opérations arithmétiques sur beaucoup moins de paramètres par jeton. Mais les experts inactifs occupent toujours la mémoire de l’accélérateur et devront peut-être être répartis sur plusieurs machines.

Les chiffres des paramètres actifs nécessitent également un contexte. Les couches d’attention partagée et d’intégration sont toujours exécutées, de sorte que les pondérations expertes sélectionnées ne représentent pas nécessairement la totalité de la charge de travail active du modèle.

Le routeur doit occuper les experts

Si le routeur envoie la plupart des jetons au même expert, cet expert devient une file d'attente tandis que les autres restent inactifs. La formation utilise donc des mécanismes d’équilibrage qui favorisent la répartition du trafic entre experts. Les systèmes fixent également des limites de capacité pour le nombre de jetons qu'un expert accepte dans un lot.

Le routage peut être instable au début de la formation. Les experts peuvent apprendre des fonctions similaires ou certains peuvent recevoir trop peu de données. Les ingénieurs ajustent les pertes auxiliaires, la capacité, le bruit et le placement pour améliorer l'équilibre sans nuire à la qualité du modèle.

Servir ajoute un problème physique : les experts sélectionnés peuvent vivre sur des accélérateurs différents. Les jetons voyagent ensuite sur un réseau à haut débit entre des couches partagées et des blocs experts. La communication peut limiter la vitesse et augmenter l'énergie, en particulier avec de petits lots ou un mauvais placement. L’arithmétique éparse n’est qu’une partie de la machine.

Les limites de capacité créent un autre compromis. L'abandon, le retard ou le réacheminement des jetons excédentaires peuvent protéger le débit, mais la mise en œuvre doit préserver la qualité des réponses dans un trafic réel inégal.

Pourquoi le MoE peut être efficace

Le MoE offre une plus grande capacité de représentation sans activer l’ensemble du réseau à chaque fois. Pour une qualité cible, cela peut réduire le calcul d’entraînement ou d’inférence par rapport à un modèle dense aux capacités similaires. Cela peut également permettre à différents experts d’apprendre des modèles utiles provenant de langues ou de domaines variés.

L'efficacité dépend de la mise en œuvre. Des lots importants peuvent occuper les experts et rendre la communication intéressante. La quantification peut réduire le trafic mémoire. Un bon routage et une bonne topologie matérielle réduisent la congestion. Un modèle utilisé avec une faible utilisation peut ne pas parvenir à réaliser ces gains.

Plus important encore, un calcul inférieur par jeton ne garantit pas une énergie inférieure par tâche terminée. Des sorties plus longues, des tentatives, des fenêtres contextuelles plus volumineuses et des outils d'agent peuvent compenser les économies architecturales. Comment réduire l'empreinte carbone de votre IA se concentre sur l’ensemble du travail plutôt que sur une propriété modèle attrayante.

Les mesures opérationnelles sont donc préférables à une estimation papier lorsqu’elle est disponible. La puissance, la latence et le succès doivent être comparés sur le même matériel, les mêmes conditions de lots et les mêmes demandes représentatives.

Pourquoi MoE n'est pas la même chose qu'un petit modèle

Un petit modèle de langage a moins de paramètres totaux et peut souvent s'adapter à un matériel modeste. Un MoE peut contenir un très grand nombre d’experts mais n’en activer que quelques-uns. Son calcul pour un jeton peut paraître plus petit que sa taille totale, mais son stockage et son déploiement peuvent rester importants.

Cela est important pour les estimations environnementales. Un calcul basé uniquement sur les paramètres totaux peut surestimer le calcul actif. Une solution basée uniquement sur des paramètres actifs peut omettre la mémoire, la mise en réseau, la capacité inutilisée et l'infrastructure de support. Aucun de ces chiffres ne constitue à lui seul une mesure de la puissance d’une installation.

Lorsque vous comparez des modèles, demandez le total des paramètres, les paramètres actifs par jeton, la précision numérique, le contexte typique et la longueur de sortie, ainsi que le matériel utilisé. Testez ensuite la qualité et l'énergie pour la même tâche complète.

Pour un déploiement local, la mémoire totale peut être la contrainte contraignante même lorsque le calcul actif semble gérable. Un modèle compact et dense peut être l’option la plus pratique sur un matériel limité.

Ce que le MoE change pour les utilisateurs

Les utilisateurs ne peuvent généralement pas contrôler le routage dans un modèle hébergé. Ils peuvent contrôler la demande autour d'elle : fournir un contexte pertinent, demander un rendement proportionné et éviter les régénérations inutiles. Les fournisseurs de modèles contrôlent le placement des experts, les lots, la capacité et l'efficacité du matériel.

Un modèle MoE peut être un bon choix pour un service étendu car il combine capacité et activation éparse. Cela peut encore être excessif pour une simple extraction que peut gérer un modèle compact et dense. IA verte signifie choisir entre des architectures basées sur la valeur fournie et les ressources mesurées, sans supposer que le parcimonie l'emporte toujours.

Treechat Le reçu de estime l'énergie opérationnelle à l'aide du modèle sélectionné et du nombre de jetons, puis ajoute les frais généraux indiqués pour le centre de données. Étant donné que les fournisseurs n’exposent pas de routage expert en direct ni de puissance par réponse, cela reste une approximation basée sur un modèle. Les hypothèses et exclusions sont publiées sur /methodology.

Le résumé simple est que le mélange d'experts sépare ce qu'un modèle sait de ce qu'il fonctionne en même temps. Cela peut rendre les grandes capacités plus efficaces sur le plan informatique, mais la mémoire, la communication et le comportement réel de la charge de travail déterminent si la promesse se transforme en réelle économie.