Addestramento dell'intelligenza artificiale rispetto alle emissioni di inferenza

Le emissioni di addestramento dell’IA provengono dal calcolo concentrato utilizzato per creare o aggiornare sostanzialmente un modello. Le emissioni di inferenza provengono dall'utilizzo di quel modello ogni volta che qualcuno richiede una risposta, una previsione o un'immagine. La formazione può essere un lavoro una tantum molto importante; l’inferenza è più piccola per attività ma si ripete per tutta la vita distribuita del modello.

Né è sempre la quota maggiore. Un modello popolare che serve un traffico enorme può accumulare più emissioni di inferenza che formazione. Un modello costoso e poco utilizzato può rimanere dominato dalla formazione. Il risultato dipende anche dall’efficienza dell’hardware, dalla durata delle attività, dai costi generali del data center e dall’intensità di carbonio dell’elettricità. Qualsiasi affermazione universale come “la formazione rappresenta il 90% delle emissioni di intelligenza artificiale” dovrebbe essere trattata con cautela a meno che non ne siano allegati il ​​modello, il periodo di tempo e il limite contabile.

Cosa succede durante l'allenamento

La formazione alimenta i dati attraverso un modello, confronta i suoi risultati con un obiettivo di apprendimento e aggiorna i parametri. Questo ciclo viene ripetuto in molti lotti su cluster di acceleratori. Le grandi tirature utilizzano anche reti, storage e raffreddamento ad alta velocità.

La fase di formazione finale non rappresenta necessariamente l'intero percorso di sviluppo. I team testano le architetture, ottimizzano le impostazioni, preparano i dati e talvolta abbandonano le esecuzioni. La messa a punto e gli aggiornamenti successivi del modello aggiungono più calcoli. Il reporting pubblico può includere solo il percorso di successo, un programma di ricerca più ampio o nulla di specifico del modello.

Il carbonio dipende quindi da dove e quando avviene questo lavoro. Un percorso di allenamento misurato in megawattora non può essere convertito in emissioni senza presupporre la fornitura di elettricità.

Cosa succede durante l'inferenza

L'inferenza utilizza i parametri addestrati senza aggiornarli. Per un modello linguistico, il servizio elabora il prompt e prevede i token di output uno per uno. Un contesto e un output più lunghi generalmente richiedono più lavoro. Le funzionalità di ragionamento, ricerca e agente possono attivare token nascosti o più chiamate.

Il servizio comporta anche complicazioni operative. L'hardware potrebbe attendere il traffico, le richieste potrebbero essere raggruppate e i modelli potrebbero essere suddivisi tra acceleratori. Un server molto utilizzato può distribuire il sovraccarico fisso su più risposte rispetto a uno poco utilizzato. Raffreddamento, networking e conversione di potenza aumentano la domanda della struttura.

Luccioni, Jernite e Strubell confronto di inferenza hanno riscontrato variazioni sostanziali tra compiti e tipi di modelli, rafforzando il fatto che “un’inferenza” non è un’unità energetica standard.

L'uso a vita decide l'equilibrio

Immagina l'allenamento come un equilibrio iniziale e l'inferenza come un metro che aumenta ad ogni utilizzo. Il punto in cui l'inferenza supera la formazione dipende dall'impronta di formazione iniziale divisa per l'energia operativa per richiesta. Entrambi i numeri sono incerti e il volume delle richieste per tutta la durata non è conoscibile al momento del lancio.

Ciò rende fragile l'allocazione della formazione per messaggio. Dividi per il traffico totale previsto e l'impronta allocata cambia quando l'adozione differisce dalla previsione o il modello viene ritirato anticipatamente. Può essere utile per l'analisi degli scenari, ma non deve essere descritto come l'elettricità consumata quando un particolare utente ha premuto Invio.

La nostra guida a quanta CO2 produce l’AI mantiene questa visione del ciclo di vita assegnato separata da una stima della risposta operativa.

La distillazione addestra un modello più piccolo a riprodurre il comportamento utile di uno più grande. Ciò aggiunge calcoli di sviluppo ma potrebbe ridurre l’energia per molte inferenze future. Anche la quantizzazione o la potatura possono richiedere una preparazione riducendo i costi di servizio. Se il commercio ripaga dipende dalla scala.

Al contrario, addestrare un modello generale altamente capace può evitare di addestrarne molti modelli ristretti, ma servirlo per compiti semplici può essere uno spreco. Indirizzare le richieste comuni a un modello più piccolo e riservare il sistema di grandi dimensioni per lavori difficili può ridurre la domanda continua.

I piccoli modelli di intelligenza artificiale consumano meno energia? esamina il motivo per cui la risposta è generalmente sì per attività comparabili, mentre capacità e tentativi rientrano ancora nel totale.

La contabilità del carbonio cambia entrambi i lati

Due cicli di allenamento con la stessa energia possono avere emissioni diverse su reti diverse. L'inferenza può essere distribuita geograficamente, quindi la sua intensità di carbonio può variare a seconda delle regioni e delle ore. I contratti di energia rinnovabile possono modificare il reporting aziendale basato sul mercato senza modificare in ogni momento il mix fisico della rete.

Le emissioni incorporate complicano ulteriormente la divisione. La produzione di un cluster di formazione dovrebbe essere assegnata alla formazione, anche se l’hardware successivamente serve per l’inferenza? Come dovrebbe essere allocato un edificio con data center condiviso tra carichi di lavoro convenzionali e IA? Non esiste una risposta libera dal contesto.

IL Impronta di carbonio dell’IA è quindi più ampio dell'elettricità di formazione più inferenza. Chip, edifici e catene di fornitura devono comparire da qualche parte in una valutazione dell’intero ciclo di vita.

Perché le previsioni di sistema raramente li separano in modo netto

I pianificatori della rete vedono la domanda della struttura. Un data center può addestrare un modello mentre ne serve molti altri ed esegue carichi di lavoro cloud non basati sull'intelligenza artificiale. Gli annunci pubblici sulla capacità non sempre rivelano l’utilizzo o il mix del carico di lavoro.

L'Agenzia internazionale per l'energia stima che i data center globali utilizzino circa 415 TWh nel 2024 e prevede circa 945 TWh nel 2030 nel suo caso base. Identifica i server accelerati, guidati principalmente dall’intelligenza artificiale, come una delle principali fonti di crescita. Tali cifre contengono formazione, inferenza e servizi non legati all’intelligenza artificiale piuttosto che una suddivisione netta.

Questa visione combinata è adatta per la pianificazione elettrica. Non può dire all'utente quanta parte di una risposta appartiene a una sessione di allenamento passata.

Su quali emissioni conviene concentrarsi?

Gli sviluppatori di modelli dovrebbero rivelare l'energia di formazione, l'ubicazione, l'hardware e l'ambito di sviluppo; migliorare l’efficienza della formazione; ed evitare corse doppie non necessarie. Gli operatori dei servizi dovrebbero tenere traccia delle inferenze, utilizzare modelli di dimensioni adeguate, aumentare l’utilizzo, ridurre i token inutili e ottenere elettricità a basse emissioni di carbonio. Le emissioni dell’hardware e dell’edilizia necessitano di piani di riduzione propri.

Gli utenti hanno maggiore influenza sull’inferenza: scelgono un modello adatto, limitano l’output non necessario ed evitano generazioni ripetute. Non possono modificare retroattivamente l'esecuzione della formazione, ma la domanda può influenzare quali fornitori di sistemi implementano.

Treechat La ricevuta per risposta di stima l’inferenza operativa piuttosto che allocare formazione storica o emissioni incorporate. Utilizza conteggi di modelli e token con presupposti pubblicati di data center e rete. Quel confine più stretto è esplicito sul nostro pagina della metodologia.

La formazione contro l'inferenza non è una competizione con un vincitore permanente. Riportare separatamente la fase iniziale concentrata, la fase operativa di accumulo e il ciclo di vita più ampio. Quindi le decisioni possono indirizzare le emissioni che possono effettivamente cambiare.