Szkolenie AI a emisje wnioskowania

Emisje szkoleniowe AI pochodzą ze skoncentrowanych obliczeń wykorzystywanych do tworzenia lub istotnej aktualizacji modelu. Emisje wnioskowań wynikają z obsługi tego modelu za każdym razem, gdy ktoś prosi o odpowiedź, prognozę lub obraz. Szkolenie może być bardzo dużym, jednorazowym zadaniem; wnioskowanie jest mniejsze w przypadku każdego zadania, ale powtarza się przez cały okres użytkowania modelu.

Nie zawsze jest to większy udział. Popularny model obsługujący ogromny ruch może akumulować więcej emisji wnioskowań niż trening. Kosztowny model, który jest rzadko używany, może pozostać zdominowany przez szkolenie. Wynik zależy również od wydajności sprzętu, długości zadania, kosztów ogólnych centrum danych i emisji gazów cieplarnianych przez energię elektryczną. Wszelkie uniwersalne stwierdzenia, takie jak „szkolenia stanowią 90% emisji sztucznej inteligencji”, należy traktować ostrożnie, chyba że dołączony jest ich model, okres czasu i granica rozliczeniowa.

Co się dzieje podczas treningu

Szkolenie przekazuje dane przez model, porównuje wyniki z celem uczenia się i aktualizuje parametry. Cykl ten powtarza się w wielu seriach w klastrach akceleratorów. W dużych seriach wykorzystuje się także szybkie sieci, pamięć masową i chłodzenie.

Końcowy przebieg szkolenia niekoniecznie oznacza pełny ślad programistyczny. Zespoły testują architektury, dostrajają ustawienia, przygotowują dane, a czasem rezygnują z uruchamiania. Dostrajanie i późniejsze aktualizacje modelu dodają więcej obliczeń. Sprawozdania publiczne mogą obejmować jedynie udany przebieg, szerszy program badawczy lub w ogóle nie obejmować żadnego modelu.

Węgiel zależy zatem od tego, gdzie i kiedy nastąpi ta praca. Biegu treningowego mierzonego w megawatogodzinach nie można przeliczyć na emisję bez założenia dotyczącego dostawy energii elektrycznej.

Co się dzieje podczas wnioskowania

Wnioskowanie używa przeszkolonych parametrów bez ich aktualizowania. W przypadku modelu językowego usługa przetwarza monit i przewiduje jeden po drugim tokeny wyjściowe. Dłuższy kontekst i wynik zazwyczaj wymagają więcej pracy. Funkcje rozumowania, wyszukiwania i agenta mogą wyzwalać ukryte tokeny lub kilka połączeń.

Serwowanie wiąże się również z komplikacjami operacyjnymi. Sprzęt może czekać na ruch, żądania mogą być grupowane, a modele mogą być dzielone pomiędzy akceleratory. Mocno wykorzystywany serwer może rozłożyć stałe obciążenie na większą liczbę odpowiedzi niż serwer słabo używany. Chłodzenie, łączność sieciowa i konwersja mocy zwiększają zapotrzebowanie obiektu.

Luccioni, Jernite i Strubell’s porównanie wniosków odkryli znaczne różnice między zadaniami i typami modeli, co potwierdza, że „jedno wnioskowanie” nie jest standardową jednostką energii.

O równowadze decyduje całe życie

Wyobraź sobie trening jako wstępną równowagę i wnioskowanie jako licznik, który rośnie z każdym użyciem. Punkt, w którym wnioskowanie wyprzedza szkolenie, zależy od początkowego śladu szkoleniowego podzielonego przez energię operacyjną na żądanie. Obie liczby są niepewne, a liczba żądań w całym okresie istnienia jest nieznana w momencie uruchomienia.

To sprawia, że alokacja szkoleń dla poszczególnych wiadomości jest niestabilna. Podziel przez przewidywany ruch w całym okresie użytkowania i przydzielone zmiany zasięgu, gdy wdrożenie różni się od prognozy lub model zostanie wcześniej wycofany. Może to być przydatne do analizy scenariuszy, ale nie należy go opisywać jako energii elektrycznej zużytej, gdy konkretny użytkownik nacisnął przycisk „wyślij”.

Nasz przewodnik po ile CO2 wytwarza sztuczna inteligencja oddziela ten przydzielony widok cyklu życia od szacunkowej reakcji operacyjnej.

Destylacja uczy mniejszy model odtworzenia użytecznego zachowania z większego. To dodaje obliczenia rozwojowe, ale może zmniejszyć energię w wielu przyszłych wnioskach. Kwantyzacja lub przycinanie może również wymagać przygotowania, jednocześnie obniżając koszty serwowania. To, czy handel się opłaci, zależy od skali.

I odwrotnie, szkolenie bardzo wydajnego modelu ogólnego może pozwolić na uniknięcie szkolenia wielu wąskich, ale służenie mu do prostych zadań może być marnotrawstwem. Kierowanie typowych żądań do mniejszego modelu i rezerwowanie dużego systemu do trudnych zadań może zmniejszyć ciągłe zapotrzebowanie.

Czy małe modele AI zużywają mniej energii? sprawdza, dlaczego odpowiedź na porównywalne zadanie jest zazwyczaj twierdząca, podczas gdy możliwości i ponowne próby nadal zaliczają się do sumy.

Rachunek emisji dwutlenku węgla zmienia obie strony

Dwa przebiegi szkoleniowe o tej samej energii mogą powodować różne emisje w różnych sieciach. Wnioskowanie może być rozproszone geograficznie, więc intensywność emisji dwutlenku węgla może różnić się w zależności od regionu i godziny. Umowy na energię odnawialną mogą zmieniać raportowanie spółek oparte na zasadach rynkowych bez zmiany w każdym momencie struktury fizycznej sieci.

Ucieleśnione emisje jeszcze bardziej komplikują podział. Czy klaster szkoleniowy powinien być przypisany do szkolenia, nawet jeśli sprzęt później służy do wnioskowania? W jaki sposób należy rozmieścić współdzielony budynek centrum danych pomiędzy sztuczną inteligencją i konwencjonalnymi obciążeniami? Nie ma odpowiedzi pozbawionej kontekstu.

The Ślad węglowy sztucznej inteligencji jest zatem szerszy niż trening i wnioskowanie elektryczne. Chipsy, budynki i łańcuchy dostaw muszą pojawić się gdzieś w pełnej ocenie cyklu życia.

Dlaczego prognozy systemowe rzadko je wyraźnie rozdzielają

Planiści sieci widzą zapotrzebowanie na obiekt. Centrum danych może trenować jeden model, obsługując kilka innych i uruchamiając obciążenia w chmurze inne niż sztuczna inteligencja. Ogłoszenia dotyczące pojemności publicznej nie zawsze ujawniają wykorzystanie lub strukturę obciążenia.

Międzynarodowa Agencja Energetyczna szacuje, że globalne centra danych wykorzystywały ok 415 TWh w 2024 r i projektuje około 945 TWh w 2030 r. w scenariuszu podstawowym. Wskazuje, że przyspieszone serwery, napędzane głównie przez sztuczną inteligencję, są głównym źródłem wzrostu. Liczby te obejmują szkolenia, wnioskowanie i usługi inne niż sztuczna inteligencja, a nie czysty podział.

Ten łączny pogląd jest odpowiedni do planowania energii elektrycznej. Nie może powiedzieć użytkownikowi, jaka część jednej odpowiedzi należy do poprzedniego przebiegu szkoleniowego.

Na jakich emisjach należy się skupić?

Twórcy modelu powinni ujawnić energię szkoleniową, lokalizację, sprzęt i zakres rozwoju; poprawić efektywność szkolenia; i unikaj niepotrzebnych duplikatów. Operatorzy usług powinni śledzić wnioskowanie, stosować modele o odpowiedniej wielkości, zwiększać wykorzystanie, ograniczać niepotrzebne tokeny i uzyskiwać energię elektryczną o niższej emisji dwutlenku węgla. Emisje ze sprzętu i budynków wymagają własnych planów redukcji.

Użytkownicy mają większy wpływ na wnioskowanie: wybierając odpowiedni model, ograniczając niepotrzebne wyniki i unikając powtarzających się generacji. Nie mogą z mocą wsteczną zmienić przebiegu szkolenia, ale popyt może mieć wpływ na to, którzy dostawcy systemów zostaną wdrożeni.

Treechat Pokwitowanie za odpowiedź szacuje wnioski operacyjne, a nie przydzielanie szkoleń historycznych lub ucieleśnionych emisji. Wykorzystuje liczbę modeli i tokenów z opublikowanymi założeniami dotyczącymi centrum danych i sieci. Ta węższa granica jest wyraźna w naszym przypadku strona metodologiczna.

Trening kontra wnioskowanie nie jest rywalizacją z jednym stałym zwycięzcą. Należy oddzielnie zgłosić skoncentrowaną fazę wstępną, akumulacyjną fazę operacyjną i szerszy cykl życia. Następnie decyzje będą mogły dotyczyć emisji, które faktycznie mogą zmienić.