Costul energiei unui mesaj AI

Pentru un schimb de text normal, cele mai bune estimări publice recente sugerează un cost al energiei de aproximativ o fracțiune de watt-oră – nu o sumă fixă ​​pentru fiecare mesaj AI. OpenAI directorul executiv Sam Altman a declarat o medie ChatGPT interogarea folosește despre 0.34 wați-oră, în timp ce Epoch AI a estimat independent aproximativ 0.3 Wh pentru un tipic GPT-4o interogare.

Aceste cifre sunt puncte de referință utile, nu măsurători directe ale mesajului dvs. O rescrie pe două rânduri, o analiză lungă a documentului și o sarcină de cercetare care utilizează instrumente pot arăta ca o acțiune de trimitere, în timp ce necesită cantități foarte diferite de calcul. Modelul, lungimea intrării, lungimea ieșirii, raționamentul ascuns, hardware-ul și supraîncărcarea centrului de date afectează totalul.

„Un mesaj” ascunde mai multe unități

Un mesaj are o intrare: noul dumneavoastră prompt, instrucțiuni de sistem și adesea conversația anterioară. De asemenea, are o ieșire, generată câte un jeton la un moment dat. Intrările mai lungi necesită mai multă procesare; ieșirile mai lungi mențin modelul să funcționeze pentru mai mulți pași de generație.

Mesajul vizibil poate declanșa mai multe apeluri model. Cercetarea web poate căuta, prelua pagini, le poate sintetiza și verifica rezultatul. Un agent poate scrie cod, inspecta o eroare și încearcă din nou. Crearea imaginii folosește un proces de calcul diferit de text. O medie de servicii combină o combinație a acestor locuri de muncă, în timp ce o estimare lucrată descrie de obicei una anume.

Înainte de a utiliza o cifră pe mesaj, întrebați ce fel de mesaj reprezintă. Fără această definiție, unitatea este convenabilă, dar slabă.

De unde provine estimarea fracțiunii de watt-oră

Numărul de 0.34 Wh al lui Altman este o declarație a companiei fără un calcul publicat. Cifra de aproximativ 0.3 Wh a lui Epoch este o estimare modelată cu ipoteze despre GPT-4o, hardware, utilizare și un număr tipic de jetoane. Acordul dintre ei este liniștitor, dar nu este același lucru cu accesul independent la OpenAI contoarele de putere ale lui.

Epoch a modelat, de asemenea, cât de mult contextul schimbă rezultatul. Exemplele sale cresc semnificativ pentru intrări de zeci de mii de jetoane. Asta nu face ca aceste exemple să fie tipice; demonstrează de ce o constantă universală eșuează.

Revizuirea noastră mai profundă a câtă energie a ChatGPT utilizări de interogare explică ipotezele și de ce textul obișnuit nu ar trebui folosit ca proxy pentru fiecare caracteristică AI.

De ce vechea estimare de 3 Wh este o valoare implicită slabă

Ani de zile, articolele au repetat o estimare de aproximativ 3 Wh per ChatGPT interogare. A venit din ipoteze care implică hardware mai vechi, a GPT-3.5-scale model și o ieșire foarte lungă. Epocii comparație cu estimările anterioare susține că aceste intrări nu reprezintă un chat modern tipic.

Lecția nu este că toată munca anterioară a fost o prostie. Estimările trebuie să aleagă un model, generarea hardware și forma cererii, iar acele intrări îmbătrânesc rapid. Eroarea vine atunci când un scenariu devine un fapt etern.

Greșeala inversă este de a trata noua medie scăzută ca o dovadă că toată utilizarea AI este neglijabilă. Cererea totală depinde și de numărul de mesaje și de sosirea unor funcții mai intensive.

Un watt-oră măsoară energia. Nu vă spune ce centrală electrică a furnizat-o sau emisiile asociate cu generarea. Transformarea energiei electrice în carbon necesită o ipoteză privind intensitatea carbonului în rețea legată de o locație și, în mod ideal, de un timp. Contractele de energie regenerabilă ale companiei adaugă un alt nivel contabil.

Apa este din nou diferită. Unele instalații folosesc apa direct pentru răcire, în timp ce generarea de energie electrică poate avea o amprentă de apă indirectă. Designul de răcire, climatul și amestecul de rețea contează. Este înșelător să atașați o cantitate universală de apă la fiecare mesaj AI din același motiv pentru care un număr de energie universal eșuează.

Amprenta de carbon AI explicată separă electricitatea operațională de emisiile încorporate în cipuri și clădiri, care sunt în mod normal în afara unei estimări de inferență pe mesaj.

Modelele mai mici pot modifica costul

Pentru același număr de simboluri și condiții de servire comparabile, un model mai mic efectuează, în general, mai puține calcule decât un model dens mare. Cuantizarea, arhitecturile de amestec de experți și cipurile mai noi pot reduce munca și mai mult. Lotarea eficientă poate partaja infrastructura pentru mai multe solicitări.

Dar rezultatul util contează. Dacă un model mic eșuează și utilizatorul repetă solicitarea de patru ori înainte de a trece la unul mai mare, este posibil ca alegerea eficientă nominală să nu minimizeze întreaga sarcină. Un model specializat îngust poate fi atât mai mic, cât și mai bun pentru locul de muncă prevăzut; o sarcină dificilă de raționament poate justifica un sistem mai mare.

Acesta este motivul pentru care utilizarea energiei la modele mici ar trebui luată în considerare alături de potrivirea sarcinii, nu folosită ca o regulă că cea mai mică opțiune câștigă întotdeauna.

Ceea ce este în mod normal omis

Cele mai multe estimări ale mesajelor acoperă electricitatea prin inferență și uneori cheltuielile generale ale centrului de date. De obicei, omit instruirea, experimentele de dezvoltare a modelelor, fabricarea cipurilor, construcția centrelor de date, echipamentele de rețea în afara unității și dispozitivul utilizatorului. De asemenea, pot omite capacitatea inactivă menținută pregătită pentru cererea de vârf.

Nu există o singură limită obligatorie pentru fiecare întrebare. Energia operațională este adecvată atunci când se compară două moduri de a servi un răspuns. Impactul ciclului de viață este mai potrivit atunci când se evaluează o companie sau un model în timp. Ceea ce contează este denumirea graniței și nu prezentarea unei estimări restrânse ca o amprentă completă.

La scară de sistem, AIE perspectiva energiei electrice a centrului de date include cererea de infrastructură și proiectează o creștere puternică, AI fiind un motor major. Nu oferă o conversie universală a mesajelor.

Cum Treechat calculează încasarea acestuia

Treechat estimează mai degrabă decât măsoară fiecare răspuns. Calculul folosește modelul selectat, numărul de jetoane de intrare și de ieșire, apoi adaugă un factor de supraîncărcare a centrului de date publicat. Acesta convertește acea energie în emisii estimate cu o ipoteză de rețea medie declarată. Constantele, abordarea rotunjirii și omisiunile cunoscute sunt la noi pagina de metodologie.

Acea chitanță este cel mai bine citită comparativ: un răspuns mai scurt de la un model mai mic ar trebui să arate, de obicei, o energie operațională estimată mai puțin decât un răspuns lung de la unul mai mare. Nu este suficient de precis pentru a certifica impactul întregului ciclu de viață al niciunuia.

Așadar, costul energiei unui mesaj text AI obișnuit este plauzibil de aproximativ o fracțiune de watt-oră conform estimărilor publice recente. Pentru un anumit mesaj, răspunsul sincer este o gamă modelată, modelată după ceea ce a făcut sistemul de fapt după ce ați apăsat pe trimitere.