Koszt energii jednej wiadomości AI

W przypadku normalnej wymiany SMS-ów najlepsze, najnowsze publiczne szacunki wskazują, że koszt energii wynosi mniej więcej ułamek watogodziny, a nie stałą kwotę dla każdej wiadomości AI. OpenAI dyrektor naczelny Sam Altman stwierdził średnią ChatGPT zapytanie używa około 0.34 watogodzin, podczas gdy Epoch AI niezależnie oszacowało ok 0.3 Wh dla typowego GPT-4o zapytanie.

Liczby te stanowią przydatne punkty odniesienia, a nie bezpośrednie pomiary Twojego przekazu. Przepisanie dwóch wierszy, analiza długiego dokumentu i zadanie badawcze z wykorzystaniem narzędzi mogą wyglądać jak jedna akcja wysyłania, wymagając jednak bardzo różnej ilości obliczeń. Model, długość wejściowa, długość wyjściowa, ukryte rozumowanie, narzut sprzętowy i centrum danych – wszystko to wpływa na całość.

„Jedna wiadomość” kryje w sobie kilka jednostek

Wiadomość zawiera dane wejściowe: nowy monit, instrukcje systemowe i często poprzednią rozmowę. Ma również wyjście, generowane po jednym tokenie na raz. Dłuższe dane wejściowe wymagają większego przetwarzania; dłuższe wyjścia sprawiają, że model działa w większej liczbie etapów generowania.

Widoczny komunikat może wywołać więcej niż jedno wywołanie modelu. Badania internetowe mogą wyszukiwać, pobierać strony, syntetyzować je i sprawdzać wyniki. Agent może napisać kod, sprawdzić błąd i spróbować ponownie. Tworzenie obrazu wykorzystuje inny proces obliczeniowy niż tekst. Średnia wartość usługi łączy w sobie pewną kombinację tych stanowisk, podczas gdy szacunkowe szacunki zazwyczaj opisują konkretną pracę.

Zanim użyjesz liczby przypadającej na wiadomość, zapytaj, jaki rodzaj wiadomości reprezentuje. Bez tej definicji jednostka jest wygodna, ale słaba.

Skąd pochodzi oszacowanie ułamka watogodziny

Liczba Altmana 0.34 Wh to oświadczenie firmy bez opublikowanych obliczeń. Wartość Epoch wynosząca około 0.3 Wh to modelowe oszacowanie z założeniami dotyczącymi ok GPT-4o, sprzęt, wykorzystanie i typową liczbę tokenów. Porozumienie między nimi uspokaja, ale to nie to samo, co niezależny dostęp OpenAI mierniki mocy.

W firmie Epoch modelowano także, jak dłuższy kontekst zmienia wynik. Jego przykłady znacznie rosną w przypadku danych wejściowych dziesiątek tysięcy tokenów. Nie czyni to tych przykładów typowymi; pokazuje, dlaczego stała uniwersalna zawodzi.

Nasza głębsza recenzja ile energii A ChatGPT wykorzystuje zapytanie wyjaśnia założenia i dlaczego zwykły tekst nie powinien być używany jako zastępstwo dla każdej funkcji AI.

Dlaczego stare szacunki dotyczące 3 Wh są słabą wartością domyślną

Przez lata w artykułach powtarzano szacunki dotyczące około 3 Wh na ChatGPT zapytanie. Wynikało to z założeń dotyczących starszego sprzętu, a GPT-3.5-scale model i bardzo długi wynik. Epoka w porównaniu z wcześniejszymi szacunkami twierdzi, że te dane wejściowe nie reprezentują typowego współczesnego czatu.

Lekcja nie jest taka, że cała wcześniejsza praca była głupia. Szacunki muszą wybrać model, generację sprzętu i kształt żądania, a te dane wejściowe szybko się starzeją. Błąd pojawia się, gdy scenariusz staje się wiecznym faktem.

Odwrotnym błędem jest traktowanie nowszej niskiej średniej jako dowodu na to, że wszelkie wykorzystanie sztucznej inteligencji jest znikome. Całkowity popyt zależy również od liczby wiadomości i pojawienia się bardziej intensywnych funkcji.

Watogodzina mierzy energię. Nie podano w nim, która elektrownia go dostarczyła, ani jakie emisje związane są z wytwarzaniem. Przekształcenie energii elektrycznej w węgiel wymaga założenia dotyczącego intensywności emisji dwutlenku węgla w sieci powiązanej z lokalizacją i, w idealnym przypadku, czasem. Przedsiębiorstwa kontrakty na energię odnawialną dodają kolejny poziom księgowy.

Woda znów jest inna. Niektóre obiekty wykorzystują wodę bezpośrednio do chłodzenia, podczas gdy wytwarzanie energii elektrycznej może wiązać się z pośrednim śladem wodnym. Projekt chłodzenia, klimat i połączenie sieci mają znaczenie. Dołączanie jednej uniwersalnej ilości wody do każdego komunikatu AI jest mylące z tego samego powodu, dla którego uniwersalny numer energii zawodzi.

Wyjaśniono ślad węglowy AI oddziela energię elektryczną od emisji zawartych w chipach i budynkach, które zwykle nie są szacowane na podstawie wnioskowania na podstawie wiadomości.

Mniejsze modele mogą zmienić koszt

W przypadku tej samej liczby tokenów i porównywalnych warunków wyświetlania mniejszy model zazwyczaj wykonuje mniej obliczeń niż duży, gęsty model. Kwantyzacja, architektury złożone z różnych specjalistów i nowsze chipy mogą jeszcze bardziej skrócić pracę. Efektywne przetwarzanie wsadowe umożliwia współdzielenie infrastruktury w ramach kilku żądań.

Ale użyteczny wynik ma znaczenie. Jeśli mały model zawiedzie i użytkownik powtórzy monit cztery razy przed przejściem na większy, nominalnie skuteczny wybór może nie zminimalizować całego zadania. Wąski, wyspecjalizowany model może być zarówno mniejszy, jak i lepszy do zamierzonego zadania; trudne zadanie rozumowania może uzasadniać większy system.

Oto dlaczego zużycie energii w małym modelu należy brać pod uwagę obok dopasowania zadania, a nie stosować jako reguły, że najmniejsza opcja zawsze wygrywa.

To, co zwykle jest pomijane

Większość szacunków dotyczących komunikatów obejmuje energię elektryczną wnioskowania i czasami obciążenie centrum danych. Zwykle pomijają szkolenia, eksperymenty związane z opracowywaniem modeli, produkcję chipów, budowę centrum danych, sprzęt sieciowy poza obiektem i urządzenie użytkownika. Mogą również pominąć niewykorzystane moce utrzymywane w gotowości na szczytowe zapotrzebowanie.

Nie ma jednej obowiązkowej granicy dla każdego pytania. Energia operacyjna jest właściwa przy porównywaniu dwóch sposobów udzielenia odpowiedzi. Wpływ na cykl życia jest bardziej odpowiedni przy ocenie firmy lub modelu w czasie. Liczy się nazwanie granicy, a nie przedstawianie wąskich szacunków w postaci pełnego śladu.

W skali systemowej IEA prognozy dotyczące energii elektrycznej w centrach danych uwzględnia zapotrzebowanie na infrastrukturę i przewiduje silny wzrost, przy czym główną siłą napędową będzie sztuczna inteligencja. Nie zapewnia uniwersalnej konwersji wiadomości.

Jak Treechat oblicza swój odbiór

Treechat szacuje, a nie mierzy każdą odpowiedź. Do obliczeń wykorzystuje się wybrany model oraz liczbę tokenów wejściowych i wyjściowych, a następnie dodaje się opublikowany współczynnik narzutu centrum danych. Przekształca tę energię w szacunkową emisję przy podanych średnich założeniach dotyczących sieci. Stałe, podejście zaokrąglające i znane pominięcia są na naszym poziomie strona metodologiczna.

Potwierdzenie to najlepiej odczytać porównawczo: krótsza reakcja mniejszego modelu powinna zazwyczaj wykazywać mniej szacowanej energii operacyjnej niż długa reakcja większego modelu. Nie jest wystarczająco precyzyjny, aby poświadczyć wpływ któregokolwiek z nich na pełny cykl życia.

Zatem według ostatnich publicznych szacunków koszt energii jednej zwykłej wiadomości tekstowej AI prawdopodobnie wynosi ułamek watogodziny. W przypadku konkretnej wiadomości szczerą odpowiedzią jest modelowany zakres ukształtowany na podstawie tego, co faktycznie zrobił system po naciśnięciu przycisku „Wyślij”.