De energiekosten van één AI-bericht

Voor een normale sms-uitwisseling suggereren de beste recente publieke schattingen energiekosten van grofweg een fractie van een wattuur – en niet een vast bedrag voor elk AI-bericht. OpenAI CEO Sam Altman heeft een gemiddelde aangegeven ChatGPT zoekopdracht gebruikt ongeveer 0.34 wattuur, terwijl Epoch AI onafhankelijk ongeveer schatte 0.3 Wh voor een gemiddelde GPT-4o vraag.

Die cijfers zijn nuttige referentiepunten, geen directe metingen van uw boodschap. Een herschrijving in twee regels, een lange documentanalyse en een onderzoekstaak waarbij gebruik wordt gemaakt van een tool kunnen allemaal op één verzendactie lijken, terwijl ze heel verschillende hoeveelheden rekenkracht vereisen. Model, invoerlengte, uitvoerlengte, verborgen redenering, hardware en datacenteroverhead hebben allemaal invloed op het totaal.

“Eén bericht” verbergt meerdere eenheden

Een bericht heeft een invoer: uw nieuwe prompt, systeeminstructies en vaak een eerder gesprek. Het heeft ook een uitvoer, die één token tegelijk wordt gegenereerd. Langere invoer vereist meer verwerking; langere outputs zorgen ervoor dat het model blijft werken voor meer generatiestappen.

Het zichtbare bericht kan meer dan één modeloproep activeren. Webonderzoek kan pagina's zoeken, ophalen, synthetiseren en het resultaat controleren. Een agent kan code schrijven, een fout inspecteren en het opnieuw proberen. Bij het maken van afbeeldingen wordt een ander rekenproces gebruikt dan bij tekst. Een servicegemiddelde combineert een mix van deze banen, terwijl een uitgewerkte schatting meestal een bepaalde baan beschrijft.

Voordat u een cijfer per bericht gebruikt, moet u zich afvragen wat voor soort bericht het vertegenwoordigt. Zonder die definitie is de eenheid handig maar zwak.

Waar de schatting van een fractie van een wattuur vandaan komt

Het 0.34 Wh-nummer van Altman is een bedrijfsverklaring zonder gepubliceerde berekening. Het cijfer van grofweg 0.3 Wh van Epoch is een gemodelleerde schatting met aannames over GPT-4o, hardware, gebruik en een typisch aantal tokens. Een overeenkomst tussen hen is geruststellend, maar is niet hetzelfde als onafhankelijke toegang tot OpenAI’s vermogensmeters.

Epoch heeft ook gemodelleerd hoe langer de context het resultaat verandert. De voorbeelden stijgen aanzienlijk voor de invoer van tienduizenden tokens. Dat maakt deze voorbeelden niet typisch; het laat zien waarom een ​​universele constante faalt.

Onze diepere beoordeling van hoeveel energie A ChatGPT vraag gebruikt legt de aannames uit en waarom gewone tekst niet mag worden gebruikt als proxy voor elke AI-functie.

Waarom de oude schatting van 3 Wh een slechte standaard is

Jarenlang herhaalden artikelen een schatting van ongeveer 3 Wh per ChatGPT vraag. Het kwam voort uit aannames met betrekking tot oudere hardware, a GPT-3.5-scale model en een zeer lange productie. Tijdperk vergelijking met eerdere schattingen stelt dat deze input geen typische moderne chat vertegenwoordigt.

De les is niet dat al het eerdere werk dwaas was. Schattingen moeten een model, hardwaregeneratie en verzoekvorm kiezen, en die input veroudert snel. De fout ontstaat wanneer een scenario een eeuwig feit wordt.

De omgekeerde fout is om het nieuwere lage gemiddelde te beschouwen als bewijs dat al het AI-gebruik verwaarloosbaar is. De totale vraag is ook afhankelijk van het aantal berichten en de komst van intensievere features.

Een wattuur meet energie. Het vertelt u niet welke energiecentrale deze heeft geleverd of welke emissies met de opwekking gepaard gaan. Het omzetten van elektriciteit in koolstof vereist een aanname van de koolstofintensiteit van het netwerk, gekoppeld aan een locatie en, idealiter, een tijd. Contracten voor duurzame energie van bedrijven voegen nog een boekhoudkundige laag toe.

Water is weer anders. Sommige faciliteiten gebruiken water direct voor koeling, terwijl elektriciteitsopwekking een indirecte watervoetafdruk kan hebben. Koelontwerp, klimaat en netwerkmix zijn allemaal van belang. Het is misleidend om aan elk AI-bericht één universele waterhoeveelheid toe te voegen, om dezelfde reden dat een universeel energienummer faalt.

AI-koolstofvoetafdruk uitgelegd scheidt operationele elektriciteit van ingebedde emissies in chips en gebouwen, die normaal gesproken buiten de schatting per bericht vallen.

Kleinere modellen kunnen de kosten veranderen

Voor hetzelfde tokenaantal en vergelijkbare servicevoorwaarden voert een kleiner model doorgaans minder berekeningen uit dan een groot compact model. Kwantisering, een mix van experts-architecturen en nieuwere chips kunnen het werk verder verminderen. Efficiënte batching kan de infrastructuur over meerdere verzoeken verdelen.

Maar nuttige output is belangrijk. Als een klein model faalt en de gebruiker de prompt vier keer herhaalt voordat hij overschakelt naar een groter model, is het mogelijk dat de nominaal efficiënte keuze niet de hele taak minimaliseert. Een smal gespecialiseerd model kan zowel kleiner als beter zijn voor de beoogde taak; een moeilijke redeneertaak kan een groter systeem rechtvaardigen.

Dit is waarom energieverbruik van kleine modellen moet worden beschouwd naast de taakgeschiktheid, en niet als regel dat de kleinste optie altijd wint.

Wat normaal gesproken wordt weggelaten

De meeste berichtschattingen hebben betrekking op elektriciteit en soms op datacenteroverhead. Meestal laten ze training, modelontwikkelingsexperimenten, chipfabricage, datacenterconstructie, netwerkapparatuur buiten de faciliteit en het apparaat van de gebruiker achterwege. Ze kunnen ook onbenutte capaciteit achterwege laten die gereed is voor piekvraag.

Er is niet één verplichte grens voor elke vraag. Operationele energie is geschikt als je twee manieren vergelijkt om een ​​antwoord te bieden. De impact op de levenscyclus is geschikter bij het beoordelen van een bedrijf of model in de loop van de tijd. Waar het om gaat is het benoemen van de grens en het niet presenteren van een smalle schatting als een volledige voetafdruk.

Op systeemschaal: die van het IEA elektriciteitsvooruitzichten voor datacenters omvat de vraag naar infrastructuur en voorspelt een sterke groei, waarbij AI een belangrijke motor is. Het biedt geen universele berichtconversie.

Hoe Treechat berekent de ontvangst ervan

Treechat schat in plaats van elk antwoord te meten. Bij de berekening wordt gebruik gemaakt van het geselecteerde model, het aantal invoer- en uitvoertokens en wordt vervolgens een gepubliceerde overheadfactor voor het datacentrum toegevoegd. Het zet die energie om in geschatte emissies met een aangegeven gemiddelde netaanname. De constanten, afrondingsaanpak en bekende weglatingen zijn voor onze rekening methodologie pagina.

Dat ontvangstbewijs kan het beste relatief worden gelezen: een kortere respons van een kleiner model zou doorgaans minder geschatte operationele energie moeten opleveren dan een lange respons van een groter model. Het is niet nauwkeurig genoeg om de volledige levenscyclusimpact van beide te certificeren.

Dus de energiekosten van een gewoon AI-sms-bericht liggen volgens recente publieke schattingen aannemelijk rond een fractie van een wattuur. Voor een specifiek bericht is het eerlijke antwoord een gemodelleerd bereik, gevormd door wat het systeem feitelijk deed nadat u op verzenden had gedrukt.