Dlaczego sztuczna inteligencja zużywa tak dużo energii?

Sztuczna inteligencja zużywa znaczną ilość energii, ponieważ uzyskanie odpowiedzi wymaga wielu operacji numerycznych na wyspecjalizowanych chipach, wielokrotnego przenoszenia danych modelu przez pamięć, a następnie wspierania tego sprzętu za pomocą sieci, konwersji mocy i chłodzenia. Duże modele, długie podpowiedzi i długie wyniki zazwyczaj wymagają więcej pracy. Szkolenie dodaje oddzielny, skoncentrowany koszt energii; obsługa milionów późniejszych żądań dodaje żądanie ciągłe.

Nie każde zadanie AI jest duże. Według ostatnich szacunków model z małym tekstem odpowiadający na krótkie pytanie może zużywać ułamek watogodziny. Problemem jest połączenie wymagających modeli, rosnącego zastosowania i obiektów budowanych przy niezwykłej gęstości mocy. Międzynarodowa Agencja Energetyczna twierdzi, że przyspieszone serwery, napędzane głównie sztuczną inteligencją, są głównym źródłem prognozowanego wzrostu zużycia energii elektrycznej w centrach danych w jej Analiza energii i sztucznej inteligencji.

Odpowiedzią jest ciąg obliczeń

Modele językowe przechowują wyuczone zależności numeryczne w parametrach. Kiedy nadejdzie monit, procesory łączą dane wejściowe z tymi parametrami za pomocą operacji na dużych macierzach. Następnie model przewiduje token, dodaje go do kontekstu i powtarza proces dla następnego tokena.

Ta pętla „znacznik po tokenie” jest powodem, dla którego długość wyjściowa ma znaczenie. Pytanie o zwięzłą odpowiedź i proszenie o książkę to nie to samo zadanie. Dane wejściowe też mają znaczenie: długa rozmowa lub przesłany dokument muszą zostać przetworzone przed i w trakcie generowania. Niektóre systemy wnioskowania generują również wewnętrzne tokeny, których użytkownik nigdy nie widzi.

Dokładna energia elektryczna zależy od więcej niż liczby parametrów. Architektura modelu, precyzja numeryczna, dostęp do pamięci, jądra oprogramowania i generacja akceleratorów wpływają na ilość użytecznej pracy dostarczanej na wat.

Chip nie „zna” modelu po prostu bez pracy fizycznej. Parametry i wartości pośrednie muszą przemieszczać się pomiędzy pamięcią o dużej przepustowości a procesorami. Pojemność pamięci i przepustowość mogą stać się ograniczeniami, szczególnie w przypadku dużych modeli. Zasilanie sprzętu danymi kosztuje energię, nawet jeśli sama arytmetyka jest wysoce zoptymalizowana.

Pomaga to wyjaśnić, dlaczego mniejszy lub skompresowany model może być wydajny. Jeśli trzeba odczytać mniej wag i wykonać mniej operacji dla każdego tokena, obciążenie może spaść. Modele składające się z mieszanki ekspertów mogą również aktywować tylko część swoich całkowitych parametrów dla tokena, chociaż projekt routingu i obsługi nadal ma znaczenie.

Kwestia praktyczna jest omówiona w czy małe modele AI zużywają mniej energii?. Rozmiar jest ważnym sygnałem, ale nie jest pełnym pomiarem mocy.

Sprzęt AI charakteryzuje się dużą gęstością mocy

Nowoczesne akceleratory są zaprojektowane do wykonywania ogromnej liczby operacji równolegle. Szafa wypełniona nimi może pobierać znacznie więcej energii niż szafa z konwencjonalnymi serwerami. Szkolenia i obsługa łączą także wiele chipów za pośrednictwem szybkich sieci, które dodają własne zapotrzebowanie na energię elektryczną.

IEA zauważa, że centra danych zorientowane na sztuczną inteligencję mogą obsługiwać bardzo duże, skoncentrowane geograficznie obciążenia. Stwarza to inny problem planowania w przypadku tej samej ilości konsumpcji rozproszonej po całym kraju. Połączenia sieciowe, podstacje i generatory muszą być dostępne we właściwym miejscu i czasie.

EPRI Scenariusze wspomagania inteligencji odzwierciedlają niepewność: przyszły popyt na centra danych w USA znacznie się zmienia w zależności od założeń dotyczących rozwoju i użytkowania. Prognozy dotyczące energii elektrycznej najlepiej zatem czytać jako ścieżki warunkowe, a nie obietnice.

Budynek wokół chipów również zużywa energię

Serwery są tylko częścią centrum danych. Chłodzenie usuwa ciepło. Pompy i wentylatory tłoczą powietrze lub ciecz. Systemy elektroenergetyczne przetwarzają energię elektryczną i zapewniają rezerwę. Pamięć masowa, konwencjonalne procesory i sprzęt sieciowy koordynują obciążenie.

Analitycy często podsumowują ten narzut efektywnością wykorzystania energii, czyli PUE: całkowita energia elektryczna obiektu podzielona przez energię elektryczną zużywaną przez sprzęt IT. PUE wynoszący 1 oznaczałby brak kosztów ogólnych, czego nie są w stanie osiągnąć rzeczywiste obiekty. Im niższy PUE, tym lepiej, ale nie mówi to o tym, jak wydajny jest sam model AI.

Ta granica ma znaczenie przy porównywaniu koszt energii jednej wiadomości AI. Szacunki oparte wyłącznie na chipie i szacunki na poziomie obiektu mogą się różnić, nawet jeśli oba obliczenia są wewnętrznie prawidłowe.

Szkolenie jest duże; wnioskowanie jest nieubłagane

Szkolenie udostępnia model ogromnym zbiorom danych i aktualizuje jego parametry na wielu procesorach. Może trwać kilka dni lub dłużej, a eksperymenty i odrzucone przebiegi treningowe dodają pracy wykraczającej poza końcowy pomyślny przebieg. Publiczne sumy są rzadkie, a porównywanie głównych danych ze szkoleń jest trudne, gdy sprzęt, lokalizacja i granice księgowe różnią się.

Wnioskowanie jest mniejsze w przypadku każdego zadania, ale ma miejsce za każdym razem, gdy ktoś pyta. Często używany model może ostatecznie zużyć więcej na drodze wnioskowania niż na szkoleniu; lekko używany model może nie. Funkcje, które wykonują wiele wywołań — wyszukiwanie, agenci, analiza obrazu lub wielokrotna samokontrola — mogą zamienić jedną widoczną akcję w kilka zadań zaplecza.

Dlatego „jeden monit” nie jest trwałą jednostką techniczną. To, co usługa robi po monicie, jest co najmniej tak samo ważne, jak słowa wpisane przed nią.

Bardziej wydajna sztuczna inteligencja może nadal oznaczać więcej energii elektrycznej

Wydajność sztucznej inteligencji poprawia się dzięki lepszym chipom, kwantyzacji, rzadkości, grupowaniu i projektowaniu modeli. Luccioni, Jernite i Strubell’s porównanie obciążeń związanych z wnioskowaniem pokazuje również, że wybór zadania i modelu ma znaczenie: systemy generatywne ogólnego przeznaczenia mogą wymagać znacznie więcej energii do ocenianych zadań niż modele specyficzne dla konkretnego zadania.

Jednak tańsza odpowiedź może prowadzić do większej liczby odpowiedzi. Sztuczna inteligencja jest dodawana do wyszukiwania, oprogramowania biurowego, kodowania, obsługi klienta i generowania multimediów. Całkowite zapotrzebowanie wzrasta, jeśli liczba zadań rośnie szybciej niż energia przypadająca na zadanie spada. W ten sposób poprawa wydajności i rosnące zużycie energii elektrycznej mogą być prawdą.

Podstawowy scenariusz IEA przewiduje, że globalne zużycie energii elektrycznej w centrach danych wzrośnie z około 415 TWh w 2024 r. do około 945 TWh w 2030 r. Przypisuje ten wzrost sztucznej inteligencji oraz innym usługom cyfrowym, dlatego całości nie należy oznaczać wyłącznie sztucznej inteligencji.

Co użytkownicy i usługi mogą zmienić

Na poziomie usług głównymi czynnikami są wybór najmniejszego, wydajnego modelu, poprawa wykorzystania, ograniczenie niepotrzebnych wezwań do narzędzi, wykorzystanie wydajnego sprzętu i umiejscowienie elastycznej pracy tam, gdzie dostępna jest energia elektryczna o niższej emisji dwutlenku węgla. Na poziomie użytkownika zwięzłe podpowiedzi, rozsądne ograniczenia wydajności i używanie zwykłego oprogramowania podczas wykonywania zadania mogą pozwolić uniknąć niepotrzebnych obliczeń.

Treechat kieruje codzienne pytania do mniejszego modelu i szacuje energię każdej odpowiedzi na podstawie modelu i użycia tokena. Rachunek obejmuje określony dodatek na koszty ogólne centrum danych; pozostaje to szacunkiem, ponieważ dostawcy nie udostępniają licznika dla każdej odpowiedzi. Nasz metodologia wymienia aktualne założenia.

Sztuczna inteligencja wykorzystuje energię ze zrozumiałych powodów fizycznych, a nie dlatego, że podpowiedzi w tajemniczy sposób zamieniają się w zanieczyszczenie. Przydatną reakcją jest uwidocznienie zadań obliczeniowych, ograniczenie ich tam, gdzie to możliwe i zarezerwowanie większych systemów do pracy, która ich naprawdę potrzebuje.