I piccoli modelli di intelligenza artificiale consumano meno energia?

I modelli di intelligenza artificiale di piccole dimensioni solitamente utilizzano meno energia per token rispetto ai modelli di grandi dimensioni in condizioni comparabili. Generalmente eseguono meno calcoli e spostano meno dati dei parametri nella memoria. Ciò rende le dimensioni del modello una delle leve più pratiche per ridurre l’energia dell’intelligenza artificiale quotidiana.

Ma “piccolo” non è una misura completa. Un modello più grande e ben ottimizzato su hardware moderno a volte può svolgere un compito in modo efficiente, mentre un modello piccolo che funziona male o che ripete tentativi falliti può sprecare energia. Architettura, precisione numerica, lunghezza di input e output, batching e sovraccarico del data center influiscono tutti sul risultato. La giusta affermazione è quindi: scegliere il modello più piccolo in grado di completare in modo affidabile l'attività, quindi misurare o stimare l'intero lavoro.

Perché meno parametri di solito aiutano

I parametri sono i valori numerici appresi che un modello utilizza per trasformare un input e prevedere un output. Per un modello di linguaggio denso, ogni token generato implica operazioni su gran parte del modello e lo spostamento di pesi dalla memoria. Ridurre il numero di parametri solitamente riduce entrambi i tipi di lavoro.

I modelli più piccoli possono anche adattarsi più facilmente a meno acceleratori. Ciò può ridurre la comunicazione tra i chip e rendere più semplice il servizio. Quando un servizio gestisce molti utenti insieme, l'invio in batch può distribuire il sovraccarico fisso su più risposte.

Questi sono motivi fisici, non una garanzia allegata all'etichetta di un prodotto. Un fornitore deve comunque rivelare o stimare il modello, l'hardware e l'utilizzo rilevanti se vuole quantificare un risparmio.

Il conteggio dei parametri non racconta tutta la storia

Un modello può essere compresso attraverso una precisione numerica inferiore, spesso chiamata quantizzazione. Può essere sfoltito, distillato da un insegnante più grande o addestrato a utilizzare il calcolo in modo più selettivo. I kernel del software e la progettazione dell'acceleratore determinano anche l'efficienza con cui le operazioni teoriche diventano risposte reali.

I modelli misti di esperti rendono la dimensione del titolo particolarmente complicata. Possono contenere molti parametri totali ma attivare solo un sottoinsieme per ciascun token. Il calcolo attivo può assomigliare a un modello più piccolo anche se il modello archiviato è di grandi dimensioni. Il routing, la memoria e la comunicazione consumano ancora risorse, quindi i “parametri attivi” sono informativi ma non rappresentano un valore energetico completo.

Anche la lunghezza dell'output può sovrastare un semplice confronto delle dimensioni. Un modello piccolo che genera 4,000 gettoni può svolgere un lavoro totale maggiore rispetto a un modello più grande che fornisce una risposta corretta da 200 gettoni.

Le prove supportano la corrispondenza dei modelli con le attività

Luccioni, Jernite e Strubell hanno confrontato il consumo di energia in una serie di attività di apprendimento automatico Elaborazione assetata di energia. Nelle condizioni valutate, i modelli generativi per scopi generali erano più ad alta intensità energetica rispetto ai sistemi specifici per molte attività. Il punto più ampio del documento è più utile che memorizzare un numero di riferimento: la scelta del modello e del compito cambia materialmente l’energia di inferenza.

Tali prove non stabiliscono un rapporto per ogni chatbot attuale. L'hardware e i modelli cambiano, le richieste di benchmark differiscono dal traffico in tempo reale e un classificatore specializzato non può sostituire un assistente generale per il lavoro a tempo indeterminato. Aiuta a evitare un modello generativo di grandi dimensioni quando uno strumento ristretto ed efficiente risolve il problema.

Lo stesso principio vale all'interno della chat: la riscrittura e le spiegazioni di routine potrebbero non aver bisogno del modello riservato al ragionamento complesso.

Capacità e tentativi rientrano nel calcolo

L'energia per tentativo non è sempre l'energia per attività completata. Se un modello fraintende le istruzioni, inventa dettagli o non riesce a gestire il contesto, gli utenti possono rigenerare, riformulare ed eventualmente cambiare modello. Quei tentativi contano.

Al contrario, inviare per impostazione predefinita ogni richiesta al sistema disponibile più capace richiede calcoli aggiuntivi su lavori che non ne traggono vantaggio. Un buon router può inserire richieste comuni su un modello più piccolo e intensificarle solo quando la complessità dell'attività lo richiede. L'utente dovrebbe anche essere in grado di scegliere l'opzione più grande quando la precisione o la capacità sono importanti.

Questo è il collegamento pratico tra la dimensione del modello e perché l’intelligenza artificiale utilizza così tanta energia: il carico computazionale dipende sia dalla macchina che dal lavoro ad essa richiesto.

L'addestramento di un modello più piccolo richiede generalmente meno calcoli rispetto all'addestramento da zero di uno comparabile più grande, a parità di altre condizioni. In pratica, lo sviluppo può includere ricerche di architettura, esecuzioni fallite, messa a punto e distillazione da un altro modello. Le divulgazioni pubbliche raramente forniscono un totale completo del ciclo di vita.

Dopo il rilascio, l'inferenza cresce con l'utilizzo. Un modello piccolo molto popolare può consumare complessivamente più elettricità operativa rispetto a uno grande usato raramente. Ciò non rende il modello piccolo inefficiente per risposta; mostra perché l’efficienza per attività e la domanda a livello di sistema rispondono a domande diverse.

La nostra guida a Addestramento dell'intelligenza artificiale rispetto alle emissioni di inferenza spiega perché nessuna percentuale fissa può dividere i due senza conoscere l’utilizzo nel corso della vita di un modello.

A cosa servono i modelli piccoli

I modelli di piccole dimensioni sono spesso particolarmente adatti per la riscrittura, il riassunto di testi moderati, la classificazione, l'estrazione, le spiegazioni semplici, il brainstorming e i modelli di codifica comuni. Gestirli localmente può anche aiutare la privacy, sebbene l’efficienza energetica di un laptop rispetto a un server ben utilizzato dipenda dall’hardware e dal carico di lavoro.

I modelli più grandi possono guadagnare denaro per ragionamenti difficili in più fasi, codice specializzato, contesto molto lungo o attività in cui una prima risposta più debole crea costose rielaborazioni umane. La scelta ambientale è quella di non accettare la scarsa qualità. Serve per evitare di pagare il premio di calcolo del modello di frontiera in cui la capacità non cambia il risultato.

IL costo energetico di un messaggio AI necessita quindi di un modello e di un conteggio di token, non solo della parola “AI”.

Come fare un confronto equo

Confronta i modelli con la stessa attività, soglia di qualità e durata dell'output. Includi tentativi falliti. Indicare se le cifre riguardano l'energia del chip o l'energia totale della struttura e se l'utilizzo dell'hardware è comparabile. Evitare di trasformare i rapporti dei parametri direttamente in rapporti energetici senza prove.

Treechat utilizza per impostazione predefinita un modello più piccolo per le domande quotidiane e consente all'utente di scegliere un'opzione più grande quando l'attività lo richiede. La sua ricevuta stima l'energia operativa derivante dal modello e dall'utilizzo dei token, con un'indennità dichiarata per le spese generali del data center. Si tratta di un confronto modellato, non di una lettura diretta del contatore; il metodo attuale è pubblicato su /methodology.

Quindi sì: i modelli piccoli normalmente utilizzano meno energia per un’inferenza comparabile. Il loro vero vantaggio appare quando sono ben serviti, producono una risposta utile senza tentativi e sostituiscono il lavoro di un modello più ampio, non quando “piccolo” viene trattato come una magica etichetta di sostenibilità.