Câtă energie are a ChatGPT utilizarea interogarilor?

Răspunsul scurt este că o interogare de text normală utilizează probabil o fracțiune de watt-oră, dar nu există un universal „ChatGPT interogare”. O solicitare de a repara o propoziție și o sarcină de cercetare profundă care citește zeci de surse sunt joburi de calcul diferite. Tratarea lor ca fiind interschimbabile face ca orice figură cu aspect precis să fie mai puțin utilă decât pare.

Asta nu înseamnă că nu știm nimic. În 2025, OpenAI directorul executiv Sam Altman a scris că o medie ChatGPT interogarea folosește despre 0.34 wați-oră. Aproximativ în același timp, cercetătorii independenți de la Epoch AI au estimat aproximativ 0.3 wați-oră pentru un standard GPT-4o interogare. Acordul este notabil, dar nu este același lucru cu o măsurare publică, auditată independent. Altman nu a publicat calculul din spatele cifrei sale, în timp ce Epoch a trebuit să facă presupuneri cu privire la model, hardware, utilizare și număr de jetoane.

Deci 0.3–0.34 Wh este un punct de referință util pentru un schimb de text obișnuit de tipul descris de acele estimări. Nu este o citire a contorului pentru solicitarea dvs. specială și nu ar trebui să fie întinsă pentru a acoperi fiecare mod sau model.

De ce o interogare poate fi foarte diferită de alta

Un răspuns AI este generat token cu token. În linii mari, mai multe intrări pentru proces și mai multe rezultate pentru a genera înseamnă mai multă muncă. Un scurt răspuns concret se poate termina rapid. O conversație lungă duce mai departe contextul anterior. Încărcarea unui document substanțial adaugă un cost inițial de procesare. Un model de raționament poate genera jetoane de lucru ascunse înainte de a afișa un răspuns. Instrumentele de căutare, generarea de imagini și agenții pot apela mai multe sisteme decât unul singur.

Exemplele lucrate de Epoch fac clar dimensiunea acestei variații. Modelul său a introdus o interogare cu o intrare de 10,000 de jetoane în jur 2.5 Wh și unul cu o intrare de 100,000 de jetoane aproape de 40 Wh, conform ipotezelor sale declarate. Acestea nu sunt estimări pentru chatul mediu. Ele arată de ce cuvântul „interogare” este prea grosier în sine.

Modelul conteaza si el. Un model mai mic efectuează, în general, mai puține calcule pe token generat decât unul mare, deși arhitectura, cuantizarea, optimizarea hardware și software complică comparația. Modelele de amestec de experți activează doar o parte din numărul total de parametri pentru fiecare token. Acceleratoarele moderne pot lucra mai mult pe unitate de electricitate decât hardware-ul mai vechi. Lotarea eficientă permite unui server să gestioneze mai mulți utilizatori împreună, dar un server gol sau puțin utilizat poate fi mai puțin eficient pe răspuns.

Apoi există centrul de date din jurul cipurilor. Răcirea, conectarea în rețea și conversia energiei consumă și energie electrică. Cercetătorii țin cont de obicei de aceste cheltuieli generale cu un factor de eficiență a consumului de energie. Rezultatul depinde, de asemenea, de unde și când este generată electricitatea: un watt-oră are aceeași energie peste tot, dar emisiile asociate variază în funcție de mixul rețelei.

Ce se numără de fapt?

Majoritatea cifrelor pe interogare descriu electricitatea operațională pentru deducere: energia utilizată în timp ce serviciul produce un răspuns, plus o anumită alocație pentru supraîncărcarea centrului de date. Acestea pot să nu includă telefonul sau laptopul utilizatorului, transmisia în rețea, stocarea, formarea modelelor, fabricarea cipurilor și clădirilor sau infrastructura pregătită între solicitări.

Nu există o singură limită corectă pentru fiecare întrebare. Dacă comparați două opțiuni de inferență, energia operațională per răspuns este utilă. Dacă pregătiți un inventar de carbon la nivel de companie, o limită mai largă a ciclului de viață poate fi mai potrivită. Problemele încep atunci când o estimare restrânsă este prezentată ca întreg costul de mediu – sau când o estimare amplă este comparată cu una restrânsă.

Antrenamentul merită un tratament separat. Este un loc de muncă mare, ocazional, al cărui impact poate fi alocat unui număr necunoscut de utilizări viitoare. Împărțiți-l la mai multe mesaje și cota sa per mesaj se micșorează; include un model care se înlocuiește rapid și se ridică. O alocare poate ajuta la contabilitate, dar nu este electricitate extrasă în momentul în care apăsați trimite.

Aceeași precauție este valabilă pentru apă și carbon. Utilizarea apei depinde de tehnologia de răcire și de lanțul de alimentare cu energie electrică. Carbonul depinde de locație, moment și dacă contabilitatea utilizează mixul fizic al rețelei sau achizițiile contractuale de energie regenerabilă. Transformarea Wh în grame de carbon fără a preciza acele alegeri ascunde o incertitudine importantă.

Cum a călătorit vechea cifră de 3 Wh

De câțiva ani, articolele spuneau adesea a ChatGPT cererea a folosit aproximativ 3 Wh, uneori asociată cu afirmația că aceasta a fost de zece ori a Google caută. Cifra provine dintr-o estimare timpurie folosind hardware A100 mai vechi, a GPT-3.5-scale model și un presupus de 2,000 de jetoane de ieșire. Epoch AI explică de ce consideră aceste ipoteze nereprezentative pentru utilizarea modernă tipică metodologie și comparație.

Actualizarea unei estimări atunci când hardware-ul și serviciile se schimbă este o bună practică. Nu demonstrează că utilizarea energiei AI este irelevantă. Înseamnă că un număr popular pe interogare a îmbătrânit prost.

Comparația cu căutarea pe web este șocantă din alt motiv: cifra de căutare frecvent citată provine Google în 2009. Căutarea implică acum infrastructură diferită și, uneori, include rezumate generate. Punerea unei estimări AI recente lângă o estimare de căutare veche creează un raport aparent simplu din măsurători diferite.

Cum sunt folosite greșit numerele în ambele direcții

O utilizare greșită este să luați o estimare de vârf sau învechită, să o înmulțiți cu un număr mare de solicitări imaginate și să prezentați rezultatul ca un total măsurat. Acest lucru poate exagera utilizarea textului obișnuit și poate distrage atenția de la sarcinile de lucru care sunt cu adevărat mai intense.

Utilizarea greșită opusă începe cu o medie scăzută și concluzionează că nu este nimic de luat în considerare. O cantitate mică, înmulțită prin utilizarea mare și în creștere, este încă cererea sistemului. The Activitatea Agenției Internaționale pentru Energie în domeniul energiei și IA se uită la cererea centrului de date la acel nivel de sistem. Eficiența pe interogare și creșterea totală a energiei electrice pot fi ambele adevărate atunci când utilizarea se extinde și noile sarcini necesită mai mult calcul.

O altă greșeală este precizia falsă. „0.34 Wh” sună măsurat cu două zecimale, dar declarația publică descrie o medie într-un amestec nedezvăluit de solicitări. Este mai cinstit să păstrezi contextul și incertitudinea decât să le transformi într-o constantă universală.

Cum Treechat estimează un mesaj

Treechat nu poate citi un contor de putere atașat la fiecare răspuns. Furnizorii nu expun acea măsurătoare. În schimb, estimăm și etichetăm rezultatul ca o estimare.

Calculul nostru începe cu modelul utilizat și tokenurile procesate și generate. Acesta aplică o metodologie energetică bazată pe modele publice, adaugă costul general al centrului de date și convertește electricitatea în emisii estimate folosind o intensitate medie a carbonului din rețea. Ipotezele și constantele curente sunt stabilite pe baza noastră pagina de metodologie.

În mod implicit, direcționăm cererile de zi cu zi către un model mai mic, deoarece alegerea modelului este o pârghie pe care o putem trage efectiv. Afișăm, de asemenea, o chitanță estimată pe răspuns, în loc să revendicăm o măsurare exactă. Acolo unde dovezile sunt incomplete, ne îndreptăm împotriva noastră. Preferăm mai degrabă să ne pretindem o economie decât să facem o promisiune clară pe care datele de bază nu le pot suporta.

Răspunsul cel mai defensibil, deci, nu este „a ChatGPT interogarea folosește exact X". Este: interogările de text obișnuite par să se afle în jurul unei fracțiuni de watt-oră conform estimărilor publice recente, în timp ce munca în context lung, raționament și instrumente grele pot folosi mult mai mult. Întrebați ce model, câte simboluri, ce hardware și ce limită. Fără aceste detalii, numărul este un indicator, nu un fapt despre fiecare interogare.