Mix di esperti, spiegato in modo semplice

Un modello misto di esperti, o MoE, contiene diversi blocchi di rete neurale specializzati e un router che sceglie quali gestiscono ciascun token. Invece di attivare ogni parametro per ogni passaggio, utilizza solo un sottoinsieme selezionato. Ciò consente a un modello di avere una grande capacità totale senza pagare l'intero costo aritmetico di un modello denso della stessa dimensione totale su ogni gettone.

MoE non significa “molte IA complete che discutono una risposta” e non rende il calcolo gratuito. Gli esperti devono ancora essere archiviati in memoria, il routing richiede lavoro e lo spostamento dei token tra i chip può aggiungere costi di comunicazione. I parametri attivi, il layout dell'hardware, l'utilizzo e la lunghezza dell'output contano più del solo totale del titolo.

Pensa a un workshop con assunzione condivisa

Immagina un'officina con diversi banchi specializzati. Ogni articolo entra attraverso la stessa reception. Un centralinista lo esamina e lo invia a uno o due banchi ritenuti più utili. L'intero laboratorio possiede molti strumenti, ma per quell'oggetto viene utilizzato solo un piccolo set.

In un MoE trasformatore, le parti condivise della rete elaborano ancora ciascun token. A determinati livelli, un router assegna un punteggio agli esperti disponibili e ne seleziona alcuni. Questi esperti sono solitamente blocchi feed-forward piuttosto che modelli completi con professioni leggibili dall'uomo. Un esperto non è affidabile “l’esperto di poesia” e un altro “l’esperto di matematica”, anche se la specializzazione emerge durante la formazione.

Gli output selezionati vengono combinati e l'elaborazione continua. La decisione avviene ripetutamente, spesso per ogni token e su più livelli, quindi le parole adiacenti possono prendere percorsi diversi.

Le scelte del router sono numeriche piuttosto che un trasferimento consapevole. Gli esperti imparano attraverso la formazione e i loro ruoli possono sovrapporsi o essere difficili da interpretare in modo chiaro per le persone.

I modelli densi e sparsi spendono la capacità in modo diverso

Un modello linguistico denso utilizza sostanzialmente lo stesso set di parametri per ogni token. L'aumento del conteggio dei parametri generalmente aumenta il calcolo e il traffico di memoria richiesti in ogni fase di generazione. Un MoE sparso può aumentare i parametri totali mantenendo il sottoinsieme attivo relativamente stabile.

IL Passa la carta del trasformatore ha semplificato questa idea instradando ciascun token a un esperto nei suoi livelli MoE. I suoi esperimenti hanno riportato un pre-addestramento più rapido rispetto ai modelli di confronto densi nelle condizioni degli autori. Questi risultati dimostrano il potenziale dell’architettura; non rappresentano un rapporto energetico universale per gli attuali prodotti di chat.

Questa distinzione spiega perché il conteggio totale dei parametri può essere fuorviante. Un MoE pubblicizzato come molto grande può eseguire operazioni aritmetiche su molti meno parametri per token. Ma gli esperti inattivi occupano ancora la memoria dell’acceleratore e potrebbe essere necessario distribuirli su tutte le macchine.

Anche le cifre dei parametri attivi necessitano di contesto. L'attenzione condivisa e i livelli di incorporamento continuano a essere eseguiti, quindi i pesi esperti selezionati non rappresentano necessariamente l'intero carico di lavoro attivo del modello.

Il router deve tenere occupati gli esperti

Se il router invia la maggior parte dei token allo stesso esperto, quell'esperto diventa una coda mentre gli altri restano inattivi. La formazione utilizza quindi meccanismi di bilanciamento che incoraggiano la diffusione del traffico tra gli esperti. I sistemi stabiliscono anche limiti di capacità per il numero di token che un esperto accetta in un batch.

Il routing può essere instabile all'inizio dell'allenamento. Gli esperti potrebbero apprendere funzioni simili o alcuni potrebbero ricevere dati insufficienti. Gli ingegneri ottimizzano le perdite ausiliarie, la capacità, il rumore e il posizionamento per migliorare il bilanciamento senza danneggiare la qualità del modello.

Il servizio aggiunge un problema fisico: esperti selezionati possono vivere su acceleratori diversi. I token viaggiano quindi attraverso una rete ad alta velocità tra livelli condivisi e blocchi esperti. La comunicazione può limitare la velocità e aumentare l'energia, soprattutto con lotti piccoli o posizionamento inadeguato. L’aritmetica sparsa è solo una parte della macchina.

I limiti di capacità creano un altro compromesso. L'eliminazione, il ritardo o il reindirizzamento dei token in eccesso può proteggere il throughput, ma l'implementazione deve preservare la qualità della risposta in condizioni di traffico reale irregolare.

Perché il Ministero dell'Ambiente può essere efficiente

Il Ministero degli Esteri offre una maggiore capacità di rappresentanza senza attivare ogni volta l'intera rete. Per una qualità target, ciò può ridurre l'addestramento o il calcolo dell'inferenza rispetto a un modello denso con capacità simili. Può anche consentire a diversi esperti di apprendere modelli utili da vari linguaggi o domini.

L'efficienza dipende dall'implementazione. Grandi lotti possono tenere occupati gli esperti e rendere utile la comunicazione. La quantizzazione può ridurre il traffico di memoria. Un buon routing e una buona topologia hardware riducono la congestione. Un modello servito a basso utilizzo potrebbe non riuscire a realizzare questi guadagni.

Ancora più importante, un calcolo inferiore per token non garantisce una minore energia per attività completata. Output più lunghi, tentativi, finestre di contesto di grandi dimensioni e strumenti agente possono superare i risparmi sull'architettura. Come ridurre l'impronta di carbonio dell'IA si concentra sull'intero lavoro piuttosto che su una proprietà modello attraente.

Le misurazioni operative sono quindi preferibili ad una stima cartacea quando disponibile. Potenza, latenza e successo dovrebbero essere confrontati sullo stesso hardware, condizioni batch e richieste rappresentative.

Perché MoE non è la stessa cosa di un modello piccolo

UN modello linguistico piccolo ha meno parametri totali e spesso può adattarsi a hardware modesto. Un Ministero dell'Ambiente può contenere un vasto insieme di esperti ma attivarne solo alcuni. La sua aritmetica per un token può sembrare inferiore alla sua dimensione totale, ma la sua conservazione e distribuzione possono rimanere sostanziali.

Questo è importante per le stime ambientali. Un calcolo basato solo sui parametri totali può sovrastimare il calcolo attivo. Uno basato solo su parametri attivi può omettere memoria, rete, capacità inattiva e infrastruttura di supporto. Nessuno dei due numeri da solo è una misurazione della potenza della struttura.

Quando si confrontano i modelli, chiedere i parametri totali, i parametri attivi per token, la precisione numerica, il contesto tipico, la lunghezza dell'output e l'hardware utilizzato. Quindi testa la qualità e l'energia per lo stesso compito completo.

Per la distribuzione locale, la memoria totale può rappresentare il vincolo vincolante anche quando il calcolo attivo sembra gestibile. Un modello compatto e denso può essere l'opzione più pratica su hardware limitato.

Cosa cambia MoE per gli utenti

Gli utenti solitamente non possono controllare il routing all'interno di un modello ospitato. Possono controllare la richiesta attorno ad esso: fornire un contesto pertinente, chiedere risultati proporzionati ed evitare rigenerazioni inutili. I fornitori di modelli controllano il posizionamento degli esperti, il batching, la capacità e l'efficienza dell'hardware.

Un modello MoE può essere una buona scelta per un servizio ampio perché combina capacità con attivazione sparsa. Potrebbe essere comunque eccessivo per un'estrazione semplice che un modello compatto e denso può gestire. IA verde significa scegliere tra architetture basate sul valore fornito e sulle risorse misurate, senza dare per scontato che la scarsa sia sempre vincente.

La ricevuta di Treechat stima l'energia operativa utilizzando il modello selezionato e i conteggi dei token, quindi aggiunge le spese generali dichiarate del data center. Poiché i fornitori non espongono il routing degli esperti in tempo reale o il potere per risposta, rimane un'approssimazione basata su modello. Le ipotesi e le esclusioni sono pubblicate su /methodology.

Il semplice riassunto è che il mix di esperti separa quanto sa un modello da quanto funziona contemporaneamente. Ciò può rendere le grandi capacità più efficienti dal punto di vista computazionale, ma la memoria, la comunicazione e il comportamento del carico di lavoro reale determinano se la promessa diventa un risparmio effettivo.