Cosa succede quando invii un messaggio AI?

Quando invii un messaggio AI, il servizio lo trasmette a un data center, formatta la conversazione, converte il testo in token e instrada la richiesta a un modello. Il modello elabora l'input, prevede un token di output e ripete tale previsione fino al completamento della risposta. Il servizio ritrasmette questi token sul tuo schermo.

L’elettricità viene utilizzata lungo tutta la catena: apparecchiature di rete, CPU, memoria e acceleratori funzionano, mentre i sistemi di raffreddamento e di alimentazione supportano la struttura. Una breve risposta testuale può comportare una chiamata modello. La ricerca, i file caricati, le modalità di ragionamento, le immagini o gli agenti possono attivare diversi sistemi. Ecco perché “un messaggio” non è un’unità fissa di energia, carbonio o acqua.

L'app prepara e invia la richiesta

Premendo invia si crea una richiesta di rete contenente il tuo nuovo messaggio e qualunque contesto il servizio decida di includere. Potrebbe trattarsi di conversazioni recenti, istruzioni di sistema, impostazioni del modello e riferimenti a file o strumenti. I buoni servizi crittografano la connessione, autenticano la sessione e applicano controlli di dimensione o di sicurezza prima dell'elaborazione del modello.

Il testo viaggia attraverso la rete locale, l’infrastruttura Internet e i server periferici o applicativi del provider. Per una normale chat, il calcolo del data center di solito domina la stima operativa, ma la rete non è letteralmente esente da impatti. L’assegnazione esatta è difficile perché l’infrastruttura è condivisa.

La privacy è separata dall’energia. Un assistente efficiente può comunque avere termini di fidelizzazione o formazione inadeguati. Non incollare informazioni personali, scolastiche o aziendali sensibili a meno che il servizio e la tua policy non lo consentano. Una guida per studenti sull’impatto ambientale dell’IA copre quel giudizio più ampio per l'uso in classe.

Anche lo screening di sicurezza può aggiungere elaborazione, sebbene i fornitori raramente la assegnino a risposte individuali.

Il testo diventa token leggibili dal modello

I modelli linguistici non ricevono le frasi esattamente come le vedono le persone. Un tokenizzatore mappa il testo in pezzi numerati chiamati token. Un token può essere una parola, parte di una parola, un segno di punteggiatura o un indicatore di controllo speciale. Il servizio applica anche un modello di chat che distingue i turni di sistema, utente e assistente.

Abbracciare il viso documentazione del tokenizzatore mostra come i messaggi di chat formattati diventano ID di input e maschere di attenzione pronte per un modello. Modelli diversi possono tokenizzare la stessa frase in modo diverso, quindi il conteggio delle parole è solo un proxy approssimativo per l'input computazionale.

La lunga cronologia delle chat, i documenti incollati e le pagine Web recuperate aggiungono token. I provider possono troncare, riassumere o memorizzare nella cache parte del contesto, ma il loro comportamento non è sempre pubblico. Un input chiaro e pertinente riduce l'elaborazione non necessaria e può allo stesso tempo migliorare la risposta. È più utile che ossessionarsi se una parola educata aggiunge un segno.

Un router sceglie ciò che viene eseguito

Alcuni servizi inviano ogni richiesta a un modello. Altri seguono il percorso in base alla complessità, all'abbonamento, alla latenza, alla lingua, alla politica di sicurezza o alla funzionalità richiesta. Una semplice domanda può riguardare un piccolo modello; un ragionamento difficile può passare a uno più ampio. La ricerca e l'analisi dei file possono aggiungere sistemi di recupero prima che inizi la generazione.

Gli assistenti che utilizzano gli strumenti possono eseguire un ciclo: chiedere al modello cosa fare, chiamare la ricerca o il codice, restituire il risultato dello strumento al modello e generare o verificare una risposta. L'interfaccia può presentare l'intero flusso di lavoro come un unico messaggio anche se si sono verificati diversi lavori di backend.

Questa variazione nascosta rende deboli i confronti relativi ai soli marchi. Scegliere un assistente AI in base al consumo di energia raccomanda di verificare se i fornitori rendono pubblici i modelli di routing, gli strumenti opzionali e i limiti delle loro cifre. Senza tali informazioni, una media per messaggio è un indicatore piuttosto che una misurazione della tua particolare richiesta.

La decisione del router può avere più importanza di qualche parola in più nel prompt.

Il modello elabora il prompt

L'inferenza inizia con una fase di precompilazione. Il modello elabora i token di input, eseguendo operazioni sulla matrice tra i suoi livelli e creando dati di attenzione intermedi che possono essere riutilizzati durante la generazione. Un prompt più lungo generalmente aumenta questo lavoro iniziale e la memoria richiesta per il suo contesto.

L'architettura Transformer utilizza l'attenzione per mettere in relazione i token in una sequenza, come introdotto nel documento di ricerca L'attenzione è tutto ciò di cui hai bisogno. I moderni modelli di chat aggiungono molti miglioramenti ingegneristici, ma le operazioni numeriche di grandi dimensioni e lo spostamento dei dati del modello attraverso la memoria rimangono centrali.

Acceleratori come GPU o TPU eseguono queste operazioni in parallelo. CPU host, RAM e interconnessioni ad alta velocità coordinano il carico di lavoro. I fornitori possono raggruppare più utenti insieme per migliorare l'utilizzo. Ciò può ridurre l’energia per risposta, sebbene possa aumentare il tempo di attesa e rendere incompleti i semplici calcoli “potenza del chip moltiplicata per secondi”.

I kernel del software e la precisione numerica influiscono anche sulla quantità di lavoro utile completato dallo stesso hardware.

La risposta viene generata e trasmessa in streaming

Dopo la precompilazione, il modello produce un output in modo autoregressivo: calcola le probabilità per il token successivo, ne seleziona uno in base alle sue regole di decodifica, lo aggiunge al contesto e lo ripete. I ricercatori di Google descrivono chiaramente il vincolo di base: generare più token di output normalmente richiede l'esecuzione di modelli seriali, anche se tecniche come la decodifica speculativa possono accelerare il processo.

Questo è il motivo per cui la lunghezza dell'output è importante. "Dammi tre punti elenco" e "scrivi un rapporto dettagliato" richiedono quantità di generazione diverse. I sistemi di ragionamento possono anche creare token interni che non vengono visualizzati, mentre la generazione di immagini e video utilizza nuovamente processi diversi.

Il server può restituire ogni pezzo completato così come appare, creando l'effetto di digitazione. Lo streaming rende l'interfaccia veloce ma non significa che la risposta completa sia stata calcolata in anticipo. La generazione si interrompe quando il modello emette un indicatore di fine, raggiunge un limite, uno strumento la interrompe o l'utente annulla.

La struttura supporta il calcolo

I server trasformano l’elettricità in calcolo e calore. Ventilatori, pompe, refrigeratori o torri di raffreddamento rimuovono quel calore. La conversione dell'energia, i gruppi di continuità, il networking e l'illuminazione aggiungono costi generali alla struttura. Efficacia nell'utilizzo dell'energia esprime l'energia totale del data center divisa per l'energia IT, ma non misura la qualità del modello, il carbonio o l'acqua.

Il carbonio operativo dipende dall’elettricità che fornisce il sito. L'acqua può essere consumata direttamente per il raffreddamento e indirettamente per la produzione di energia. La produzione di hardware e la costruzione di edifici aggiungono impatti al di fuori della maggior parte delle stime per messaggio. Un’allocazione completa del ciclo di vita è molto più difficile che stimare l’inferenza operativa.

La risposta può anche essere registrata, memorizzata nella cache o archiviata nella cronologia chat in base alle impostazioni del servizio. Tali azioni utilizzano l’infrastruttura, ma i fornitori raramente espongono informazioni sufficienti per assegnarle esattamente a una risposta. Una contabilità onesta dichiara ciò che esclude invece di nascondere l’incertezza dietro i decimali.

Le impostazioni di conservazione possono quindi essere importanti per la privacy anche quando il loro effetto energetico non può essere isolato.

Cosa può e non può dire la ricevuta del messaggio

Una ricevuta utile può registrare il modello, i token di input e output e se è stato utilizzato un sistema più grande. Può quindi applicare una stima energetica e un costo generale del data center divulgato. Ciò crea un confronto coerente all'interno del servizio, anche quando alla risposta individuale non è collegato alcun misuratore di potenza.

Treechat segue questo approccio. Suo metodologia descrive una stima operativa basata su modello utilizzando informazioni sul modello e sui token, il PUE dichiarato e un fattore medio di carbonio della rete. Il risultato dell'acqua deriva dall'energia stimata. Non si tratta di una lettura della struttura e non include tutti gli impatti del ciclo di vita.

Per domande più comuni su tali confini, vedere il Domande frequenti sull'impatto ambientale dell'IA. La lezione pratica è semplice: con un clic si può avviare una catena di lavoro. Utilizza lo strumento più semplice e il modello più piccolo, mantieni il contesto pertinente, richiedi l'output di cui hai bisogno e tratta qualsiasi cifra per messaggio come una stima con un limite denominato.