Perché l’intelligenza artificiale consuma così tanta energia?

L’intelligenza artificiale utilizza una notevole quantità di energia perché produrre una risposta richiede molte operazioni numeriche su chip specializzati, spostando ripetutamente i dati del modello attraverso la memoria, quindi supportando l’hardware con reti, conversione di potenza e raffreddamento. Modelli di grandi dimensioni, prompt lunghi e output lunghi generalmente richiedono più lavoro. La formazione aggiunge un costo energetico separato e concentrato; servire milioni di richieste successive ne aggiunge una continua.

Non tutte le attività dell’IA sono grandi. Secondo stime recenti, un piccolo modello di testo che risponde a una breve domanda può utilizzare una frazione di wattora. La preoccupazione è la combinazione di modelli impegnativi, utilizzo crescente e strutture costruite con una densità di potenza insolita. L’Agenzia internazionale per l’energia afferma che i server accelerati, guidati principalmente dall’adozione dell’intelligenza artificiale, sono una delle principali fonti di crescita prevista dell’energia elettrica nei data center nel suo paese. Analisi energetica e AI.

Una risposta è una catena di calcoli

I modelli linguistici memorizzano le relazioni numeriche apprese nei parametri. Quando arriva un prompt, i processori combinano l'input con quei parametri attraverso operazioni di matrice di grandi dimensioni. Il modello quindi prevede un token, lo aggiunge al contesto e ripete il processo per il token successivo.

Questo ciclo token per token è il motivo per cui la lunghezza dell'output è importante. Chiedere una risposta concisa e chiedere un libro non sono lo stesso lavoro. Anche l'input è importante: una lunga conversazione o un documento caricato devono essere elaborati prima e durante la generazione. Alcuni sistemi di ragionamento producono anche token interni che l'utente non vede mai.

L'elettricità esatta dipende da qualcosa di più del semplice conteggio dei parametri. L’architettura del modello, la precisione numerica, l’accesso alla memoria, i kernel del software e la generazione dell’acceleratore influiscono tutti sulla quantità di lavoro utile fornito per watt.

Il chip non “conosce” semplicemente il modello senza lavoro fisico. I parametri e i valori intermedi devono spostarsi tra la memoria a larghezza di banda elevata e i processori. La capacità di memoria e la larghezza di banda possono diventare limiti, soprattutto per i modelli di grandi dimensioni. Mantenere l’hardware alimentato con i dati costa energia anche quando l’aritmetica stessa è altamente ottimizzata.

Ciò aiuta a spiegare perché un modello più piccolo o compresso può essere efficiente. Se è necessario leggere meno pesi ed eseguire meno operazioni per ciascun token, il carico di lavoro può diminuire. I modelli misti di esperti possono anche attivare solo una parte dei parametri totali per un token, sebbene la progettazione del routing e del servizio sia ancora importante.

La questione pratica è trattata i piccoli modelli di intelligenza artificiale consumano meno energia?. La dimensione è un segnale importante, ma non è una misurazione completa della potenza.

L'hardware AI è ad alta densità di potenza

I moderni acceleratori sono progettati per eseguire un numero enorme di operazioni in parallelo. Un rack pieno di questi server può assorbire molta più energia di un rack di server convenzionali. L'addestramento e il servizio collegano anche molti chip attraverso reti veloci, che aggiungono la propria domanda di elettricità.

L’IEA rileva che i data center incentrati sull’intelligenza artificiale possono avere carichi molto grandi e concentrati geograficamente. Ciò crea un problema di pianificazione diverso a causa della stessa quantità di consumi sparsi in un paese. Le connessioni alla rete, le sottostazioni e la generazione devono essere disponibili nel luogo e nel momento giusti.

EPRI Scenari di potenziamento dell'intelligence riflettono l’incertezza: la futura domanda di data center negli Stati Uniti cambia ampiamente a seconda delle ipotesi di sviluppo e utilizzo. Le previsioni sull’energia elettrica vanno quindi lette come percorsi condizionati, non come promesse.

Anche l'edificio attorno ai chip utilizza energia

I server sono solo una parte di un data center. Il raffreddamento rimuove il calore. Pompe e ventilatori muovono aria o liquidi. I sistemi di alimentazione convertono l’elettricità e forniscono backup. Lo storage, i processori convenzionali e le apparecchiature di rete coordinano il carico di lavoro.

Gli analisti spesso riassumono questi costi generali con l'efficacia dell'utilizzo dell'energia, o PUE: l'elettricità totale della struttura divisa per l'elettricità utilizzata dalle apparecchiature IT. Un PUE pari a 1 significherebbe assenza di spese generali, cosa che le strutture reali non possono raggiungere. Un PUE inferiore è migliore, ma non dice quanto sia efficiente il modello di intelligenza artificiale stesso.

Questo confine è importante quando si confronta il costo energetico di un messaggio AI. Una stima basata solo sul chip e una stima a livello di struttura possono differire anche se entrambi i calcoli sono internamente validi.

La formazione è ampia; l'inferenza è implacabile

L'addestramento espone un modello a enormi set di dati e ne aggiorna i parametri su molti processori. Può durare giorni o più, con esperimenti ed esecuzioni di addestramento scartate che aggiungono lavoro oltre l'esecuzione finale riuscita. I totali pubblici sono rari e confrontare i dati relativi alla formazione principale è difficile quando i confini di hardware, ubicazione e contabilità differiscono.

L'inferenza è più piccola per attività, ma avviene ogni volta che qualcuno lo chiede. Un modello molto utilizzato alla fine può consumare di più attraverso l'inferenza che con l'addestramento; un modello leggermente usato potrebbe non esserlo. Le funzionalità che effettuano più chiamate (ricerca, agenti, analisi di immagini o autocontrollo ripetuto) possono trasformare un'azione visibile in diversi lavori di backend.

Questo è il motivo per cui “one prompt” non è un’unità tecnica durevole. Ciò che fa il servizio dopo il prompt è importante almeno quanto le parole digitate prima.

Un’intelligenza artificiale più efficiente può ancora significare più elettricità

L’efficienza dell’intelligenza artificiale sta migliorando grazie a chip, quantizzazione, scarsità, batching e progettazione di modelli migliori. Luccioni, Jernite e Strubell confronto dei carichi di lavoro di inferenza mostra anche che la scelta del compito e del modello è importante: i sistemi generativi per scopi generali possono richiedere sostanzialmente più energia rispetto ai modelli specifici per il compito per i compiti valutati.

Eppure una risposta più economica può portare a più risposte. L’intelligenza artificiale viene aggiunta alla ricerca, ai software per ufficio, alla codifica, all’assistenza clienti e alla generazione di media. La domanda totale aumenta se il numero di compiti cresce più velocemente di quanto diminuisce l’energia per compito. Ecco perché il miglioramento dell’efficienza e l’aumento del consumo di elettricità possono essere entrambi veri.

Il caso di base dell’IEA prevede che il consumo globale di elettricità dei data center aumenterà da circa 415 TWh nel 2024 a circa 945 TWh nel 2030. Attribuisce la crescita all’intelligenza artificiale così come ad altri servizi digitali, quindi il totale non dovrebbe essere rietichettato come sola intelligenza artificiale.

Quali utenti e servizi possono cambiare

A livello di servizio, le leve principali sono la scelta del modello più piccolo, il miglioramento dell’utilizzo, la limitazione degli interventi non necessari sugli strumenti, l’utilizzo di hardware efficiente e l’individuazione del lavoro flessibile dove è disponibile elettricità a basse emissioni di carbonio. A livello utente, istruzioni concise, limiti di output ragionevoli e l'utilizzo di software ordinario quando svolge il lavoro possono evitare calcoli inutili.

Treechat indirizza le domande quotidiane a un modello più piccolo e stima l'energia di ogni risposta dall'utilizzo del modello e del token. La ricevuta include un'indennità dichiarata per le spese generali del data center; resta una stima perché i fornitori non espongono un contatore per ogni risposta. Nostro metodologia elenca le ipotesi attuali.

L’intelligenza artificiale utilizza l’energia per comprensibili ragioni fisiche, non perché i suggerimenti vengano misteriosamente convertiti in inquinamento. La risposta utile è rendere visibile il lavoro computazionale, ridurlo ove possibile e riservare sistemi più grandi al lavoro che ne ha realmente bisogno.