Varför använder AI så mycket energi?

AI använder avsevärd energi eftersom att producera ett svar kräver många numeriska operationer på specialiserade chips, upprepade gånger flytta modelldata genom minnet och sedan stödja den hårdvaran med nätverk, kraftomvandling och kylning. Stora modeller, långa uppmaningar och långa utgångar kräver i allmänhet mer arbete. Träning tillför en separat, koncentrerad energikostnad; betjänar miljontals senare förfrågningar lägger till en fortsatt.

Inte varje AI-uppgift är stor. En liten textmodell som svarar på en kort fråga kan använda en bråkdel av en wattimme enligt de senaste uppskattningarna. Oron är kombinationen av krävande modeller, växande användning och anläggningar byggda med ovanlig effekttäthet. Internationella energibyrån säger att accelererade servrar, främst drivna av AI-antagande, är en viktig källa till den förväntade elektricitetstillväxten i datacenter Energi- och AI-analys.

Ett svar är en kedja av beräkningar

Språkmodeller lagrar inlärda numeriska samband i parametrar. När en prompt kommer, kombinerar processorer indata med dessa parametrar genom stora matrisoperationer. Modellen förutsäger sedan en token, lägger till den i sammanhanget och upprepar processen för nästa token.

Den token-by-token-loopen är anledningen till att utdatalängden spelar roll. Att be om ett kortfattat svar och att be om en bok är inte samma jobb. Input är också viktigt: en lång konversation eller ett uppladdat dokument måste bearbetas före och under genereringen. Vissa resonemangssystem producerar också interna tokens som användaren aldrig ser.

Den exakta elektriciteten beror på mer än parameterräkning. Modellarkitektur, numerisk precision, minnesåtkomst, mjukvarukärnor och acceleratorgenereringen påverkar alla hur mycket användbart arbete som levereras per watt.

Chipet "känner" inte bara modellen utan fysiskt arbete. Parametrar och mellanvärden måste flyttas mellan högbandsminne och processorer. Minneskapacitet och bandbredd kan bli begränsningar, särskilt för stora modeller. Att hålla hårdvaran matad med data kostar energi även när själva aritmetiken är mycket optimerad.

Detta hjälper till att förklara varför en mindre eller komprimerad modell kan vara effektiv. Om färre vikter behöver läsas och färre operationer utförs för varje token, kan arbetsbelastningen minska. Blandning av expertmodeller kan också aktivera endast en del av sina totala parametrar för en token, även om routing och serveringsdesign fortfarande spelar roll.

Den praktiska frågan tas upp i använder små AI-modeller mindre energi?. Storlek är en viktig signal, men det är inte en fullständig effektmätning.

AI-hårdvara är krafttät

Moderna acceleratorer är designade för att utföra enorma antal operationer parallellt. Ett rack fyllt med dem kan dra mycket mer kraft än ett rack med konventionella servrar. Utbildning och servering kopplar också ihop många chips genom snabba nätverk, som tillför sin egen elbehov.

IEA noterar att AI-fokuserade datacenter kan ha mycket stora, geografiskt koncentrerade belastningar. Detta skapar ett annat planeringsproblem än samma mängd konsumtion utspridda över ett land. Nätanslutningar, transformatorstationer och produktion måste vara tillgängliga vid rätt plats och tid.

EPRI:s Powering Intelligence-scenarier återspeglar osäkerheten: framtida efterfrågan på datacenter i USA förändras i stor utsträckning beroende på utveckling och användningsantaganden. Elprognoser läses därför bäst som villkorade vägar, inte löften.

Byggnaden runt chipsen använder också ström

Servrar är bara en del av ett datacenter. Kylning tar bort värme. Pumpar och fläktar flyttar luft eller vätska. Kraftsystem konverterar el och ger backup. Lagring, konventionella processorer och nätverksutrustning samordnar arbetsbelastningen.

Analytiker sammanfattar ofta denna omkostnad med energianvändningseffektivitet, eller PUE: total anläggningsel dividerad med el som används av IT-utrustning. En PUE på 1 skulle innebära ingen overhead, vilket verkliga faciliteter inte kan uppnå. En lägre PUE är bättre, men det säger inte hur effektiv AI-modellen i sig är.

Denna gräns spelar roll när man jämför energikostnaden för ett AI-meddelande. En uppskattning av enbart chip och en uppskattning på anläggningsnivå kan skilja sig åt även om båda beräkningarna är internt sunda.

Utbildningen är stor; slutsatsen är obeveklig

Utbildning exponerar en modell för enorma datamängder och uppdaterar dess parametrar över många processorer. Det kan köras i dagar eller längre, med experiment och kasserade träningskörningar som lägger till arbete utöver den slutliga framgångsrika löpningen. Offentliga summor är sällsynta, och det är svårt att jämföra utbildningssiffror när det gäller hårdvara, plats och redovisningsgränser.

Slutledning är mindre per uppgift men sker varje gång någon frågar. En mycket använd modell kan så småningom konsumera mer genom slutledning än träning; en lätt använd modell kanske inte. Funktioner som gör flera samtal – sökning, agenter, bildanalys eller upprepad självkontroll – kan förvandla en synlig åtgärd till flera backend-jobb.

Det är därför "one prompt" inte är en hållbar teknisk enhet. Vad tjänsten gör efter uppmaningen är minst lika viktigt som orden som skrivits före den.

Effektivare AI kan fortfarande innebära mer elektricitet

AI-effektiviteten förbättras genom bättre chips, kvantisering, sparsitet, batchning och modelldesign. Luccioni, Jernite och Strubell's jämförelse av slutledningsarbetsbelastningar visar också att val av uppgift och modell spelar roll: generativa system för generella ändamål kan kräva betydligt mer energi än uppgiftsspecifika modeller för de utvärderade uppgifterna.

Ändå kan ett billigare svar leda till fler svar. AI läggs till i sökning, kontorsprogram, kodning, kundsupport och mediagenerering. Den totala efterfrågan ökar om antalet uppgifter växer snabbare än energin per uppgift minskar. Så kan både förbättrad effektivitet och ökad elanvändning vara sant.

IEA:s basfall förutspår att den globala elförbrukningen för datacenter ökar från cirka 415 TWh 2024 till cirka 945 TWh 2030. Det tillskriver tillväxten till AI såväl som andra digitala tjänster, så den totala summan bör inte ommärkas som AI enbart.

Vad användare och tjänster kan förändra

På servicenivån är huvudspakarna att välja den minsta kapabla modellen, förbättra användningen, begränsa onödiga verktygsanrop, använda effektiv hårdvara och lokalisera flexibelt arbete där el med lägre koldioxidutsläpp är tillgänglig. På användarnivå kan kortfattade uppmaningar, vettiga uteffektgränser och att använda vanlig programvara när den gör jobbet undvika onödiga beräkningar.

Treechat dirigerar vardagliga frågor till en mindre modell och uppskattar energin för varje svar från modell- och tokenanvändning. Kvittot inkluderar en angiven ersättning för datacenterkostnader; det förblir en uppskattning eftersom leverantörer inte exponerar en mätare för varje svar. Vår metodik listar de nuvarande antagandena.

AI använder energi av förståeliga fysiska skäl, inte för att uppmaningar mystiskt omvandlas till föroreningar. Det användbara svaret är att göra beräkningsjobbet synligt, minska det där det är möjligt och reservera större system för arbete som verkligen behöver dem.