Waarom gebruikt AI zoveel energie?

AI verbruikt aanzienlijke energie omdat het produceren van een antwoord veel numerieke bewerkingen op gespecialiseerde chips vereist, waarbij modelgegevens herhaaldelijk door het geheugen worden verplaatst en vervolgens die hardware wordt ondersteund met netwerken, stroomconversie en koeling. Grote modellen, lange prompts en lange uitvoer vereisen over het algemeen meer werk. Training brengt afzonderlijke, geconcentreerde energiekosten met zich mee; het bedienen van miljoenen latere verzoeken voegt een doorlopende aanvraag toe.

Niet elke AI-taak is groot. Een klein tekstmodel dat een korte vraag beantwoordt, kan volgens recente schattingen een fractie van een wattuur gebruiken. De zorg is de combinatie van veeleisende modellen, groeiend gebruik en faciliteiten gebouwd met een ongebruikelijke vermogensdichtheid. Het Internationaal Energieagentschap zegt dat versnelde servers, voornamelijk aangedreven door de adoptie van AI, een belangrijke bron zijn van de verwachte groei van de elektriciteitsproductie in datacentra in zijn land. Energie- en AI-analyse.

Een antwoord is een reeks berekeningen

Taalmodellen slaan geleerde numerieke relaties op in parameters. Wanneer er een prompt binnenkomt, combineren processors de invoer met die parameters via grote matrixbewerkingen. Het model voorspelt vervolgens een token, voegt het toe aan de context en herhaalt het proces voor het volgende token.

Die token-voor-token-lus is de reden waarom de uitvoerlengte ertoe doet. Een bondig antwoord vragen en een boek vragen is niet hetzelfde. Ook input is belangrijk: een lang gesprek of geüpload document moet vóór en tijdens het genereren worden verwerkt. Sommige redeneersystemen produceren ook interne tokens die de gebruiker nooit ziet.

De exacte elektriciteit hangt van meer dan alleen het aantal parameters af. Modelarchitectuur, numerieke precisie, geheugentoegang, softwarekernels en de generatie van de accelerator hebben allemaal invloed op hoeveel nuttig werk er per watt wordt geleverd.

De chip ‘kent’ het model niet simpelweg zonder fysiek werk. Parameters en tussenwaarden moeten bewegen tussen geheugen en processors met hoge bandbreedte. Geheugencapaciteit en bandbreedte kunnen beperkingen worden, vooral voor grote modellen. Het voeden van hardware met data kost energie, zelfs als de rekenkunde zelf sterk geoptimaliseerd is.

Dit helpt verklaren waarom een kleiner of gecomprimeerd model efficiënt kan zijn. Als er minder gewichten moeten worden gelezen en minder bewerkingen per token moeten worden uitgevoerd, kan de werkdruk afnemen. Mixture-of-experts-modellen kunnen ook slechts een deel van hun totale parameters voor een token activeren, hoewel het ontwerp van routering en bediening er nog steeds toe doet.

De praktische vraag komt aan bod Verbruiken kleine AI-modellen minder energie?. Grootte is een belangrijk signaal, maar het is geen volledige vermogensmeting.

AI-hardware is energierijk

Moderne versnellers zijn ontworpen om enorme aantallen operaties parallel uit te voeren. Een rack dat ermee gevuld is, kan veel meer stroom verbruiken dan een rack met conventionele servers. Training en service verbinden ook veel chips via snelle netwerken, die hun eigen elektriciteitsvraag toevoegen.

Het IEA merkt op dat op AI gerichte datacenters zeer grote, geografisch geconcentreerde belastingen kunnen hebben. Dit creëert een ander planningsprobleem dan dezelfde hoeveelheid consumptie verspreid over een land. Netaansluitingen, onderstations en opwekking moeten op de juiste locatie en tijd beschikbaar zijn.

EPRI's Powering Intelligence-scenario's weerspiegelen de onzekerheid: de toekomstige vraag naar datacentra in de VS verandert sterk, afhankelijk van de aannames over ontwikkeling en gebruik. Elektriciteitsvoorspellingen kunnen daarom het beste worden gelezen als voorwaardelijke paden, niet als beloften.

Het gebouw rond de chips gebruikt ook stroom

Servers zijn slechts een onderdeel van een datacenter. Door te koelen wordt warmte afgevoerd. Pompen en ventilatoren verplaatsen lucht of vloeistof. Energiesystemen zetten elektriciteit om en zorgen voor back-up. Opslag, conventionele processors en netwerkapparatuur coördineren de werklast.

Analisten vatten deze overhead vaak samen met de effectiviteit van het energieverbruik, of PUE: de totale elektriciteit in de faciliteit gedeeld door het elektriciteitsverbruik door IT-apparatuur. Een PUE van 1 zou betekenen dat er geen overhead is, wat met echte faciliteiten niet mogelijk is. Een lagere PUE is beter, maar zegt niet hoe efficiënt het AI-model zelf is.

Deze grens is van belang bij het vergelijken de energiekosten van één AI-bericht. Een schatting op basis van alleen een chip en een schatting op faciliteitsniveau kunnen verschillen, ook al zijn beide berekeningen intern betrouwbaar.

De training is groot; gevolgtrekking is meedogenloos

Door training wordt een model blootgesteld aan enorme datasets en worden de parameters ervan bij veel processors bijgewerkt. Het kan dagen of langer duren, waarbij experimenten en afgedankte trainingsruns extra werk toevoegen na de laatste succesvolle run. Publieke totalen zijn zeldzaam, en het vergelijken van de belangrijkste trainingscijfers is moeilijk wanneer hardware, locatie en boekhoudkundige grenzen verschillen.

Inferentie is kleiner per taak, maar gebeurt elke keer dat iemand erom vraagt. Een intensief gebruikt model kan uiteindelijk meer verbruiken door middel van gevolgtrekkingen dan door training; een licht gebruikt model misschien niet. Functies die meerdere oproepen uitvoeren (zoeken, agenten, beeldanalyse of herhaalde zelfcontrole) kunnen één zichtbare actie omzetten in meerdere backend-taken.

Dit is de reden waarom “één prompt” geen duurzame technische eenheid is. Wat de service na de prompt doet, is minstens zo belangrijk als de woorden die ervoor worden getypt.

Efficiëntere AI kan nog steeds meer elektriciteit betekenen

De AI-efficiëntie verbetert door betere chips, kwantisering, spaarzaamheid, batching en modelontwerp. Luccioni, Jernit en Strubell's vergelijking van inferentiewerklasten laat ook zien dat taak- en modelkeuze ertoe doen: generatieve systemen voor algemene doeleinden kunnen aanzienlijk meer energie vergen dan taakspecifieke modellen voor de geëvalueerde taken.

Toch kan een goedkoper antwoord tot meer antwoorden leiden. AI wordt toegevoegd aan zoeken, kantoorsoftware, codering, klantenondersteuning en mediageneratie. De totale vraag stijgt als het aantal taken sneller groeit dan de energie per taak daalt. Dat is hoe verbeterde efficiëntie en stijgend elektriciteitsverbruik beide waar kunnen zijn.

Het basisscenario van het IEA voorspelt dat het mondiale elektriciteitsverbruik in datacentra zal stijgen van ongeveer 415 TWh in 2024 naar ongeveer 945 TWh in 2030. Het IEA schrijft de groei toe aan zowel AI als andere digitale diensten, dus het totaal mag niet alleen als AI worden bestempeld.

Wat gebruikers en services kunnen veranderen

Op serviceniveau zijn de belangrijkste hefbomen het kiezen van het kleinste capabele model, het verbeteren van het gebruik, het beperken van onnodige gereedschapsaanroepen, het gebruiken van efficiënte hardware en het lokaliseren van flexibel werk waar koolstofarme elektriciteit beschikbaar is. Op gebruikersniveau kunnen beknopte aanwijzingen, verstandige uitvoerlimieten en het gebruik van gewone software wanneer deze het werk doet onnodige berekeningen voorkomen.

Treechat routeert alledaagse vragen naar een kleiner model en schat de energie van elk antwoord op basis van model- en tokengebruik. Op de bon is een aangegeven vergoeding voor overhead van het datacenter opgenomen; het blijft een schatting omdat aanbieders niet voor elk antwoord een meter blootstellen. Onze methodologie geeft een overzicht van de huidige aannames.

AI gebruikt energie om begrijpelijke fysieke redenen, niet omdat aanwijzingen op mysterieuze wijze worden omgezet in vervuiling. Het nuttige antwoord is om de computationele taak zichtbaar te maken, deze waar mogelijk te verminderen en grotere systemen te reserveren voor werk dat ze echt nodig heeft.