Czy dziękowanie AI kosztuje energię?

Tak. Jeśli wyślesz „dziękuję” jako nową wiadomość AI, usługa przetworzy rozmowę i wygeneruje kolejną odpowiedź, więc zużywa trochę dodatkowego prądu. W przypadku zwykłej wymiany krótkich wiadomości tekstowych najlepsze publiczne szacunki sugerują, że koszt wynosi prawdopodobnie ułamek watogodziny, chociaż nie ma uniwersalnych wartości odnoszących się do każdego modelu i usługi.

To prawdziwa energia, ale nie jest to użyteczny powód, aby czuć się winnym z powodu podstawowej uprzejmości. Długie wyniki, ogromne okna kontekstowe, powtarzające się generacje, tworzenie obrazów i wideo, agenci korzystający z wielu narzędzi oraz możliwość kierowania każdego zadania do dużego modelu mogą mieć znacznie większe różnice. Jeśli mówienie „dziękuję” sprawia, że ​​interakcja wydaje się naturalna, odpowiedzialną odpowiedzią jest perspektywa, a nie kampania przeciwko dwóm uprzejmym słowom.

Co się stanie po naciśnięciu przycisku Wyślij

Sztuczna inteligencja nie doświadcza wdzięczności, ale system obliczeniowy i tak traktuje „dziękuję” jako prośbę. Pakuje nowy tekst z instrukcjami systemowymi i historią rozmów, wysyła te dane wejściowe do modelu i generuje odpowiedź typu „Nie ma za co”.

Modele językowe generują ten token odpowiedzi po tokenie. Krótkie dane wyjściowe pomagają zachować niewielki rozmiar zadania, ale dane wejściowe mogą zawierać więcej niż tylko widoczną frazę. W dłuższej rozmowie usługa może ponownie przetworzyć pokaźny kontekst. Dostawcy mogą buforować części powtarzającego się monitu, chociaż efekt energetyczny zależy od implementacji.

Zatem koszt krańcowy nie jest po prostu energią elektryczną wydatkowaną na dwa słowa wejściowe. Jest to koszt kolejnego wnioskowania na temat kontekstu, jaki faktycznie dostarcza system.

Ile to energii?

OpenAI dyrektor naczelny Sam Altman stwierdził, że jest to średnia ChatGPT zapytanie używa około 0.34 watogodzin. Epoch AI niezależnie szacuje się na ok 0.3 Wh dla typowego GPT-4o zapytanie, zgodnie z założeniami dotyczącymi tokenów, sprzętu i wykorzystania.

Krótkie podziękowania i krótka odpowiedź mogą być poniżej średniej ogólnej usługi, ale nie ma wystarczających pomiarów publicznych, aby przypisać im wiarygodną liczbę. Model może być mniejszy lub większy; rozmowa może być krótka lub długa; centrum danych może być dobrze wykorzystane lub nie.

Nasze wyjaśnienie koszt energii jednej wiadomości AI pokazuje, dlaczego typ żądania jest bardziej przydatny niż samo słowo „wiadomość”.

Uprzejmość nie jest główną dźwignią

Dyskusja na temat środowiska może w dziwny sposób skupić się na indywidualnej etykiecie, ponieważ jest widoczna i łatwa do moralizowania. Infrastruktura i projekt produktu są mniej widoczne, ale bardziej konsekwentne: jaki model zostaje wybrany, jak długo działa, jak efektywnie jest obsługiwany i czy jedno kliknięcie uruchamia łańcuch połączeń.

Międzynarodowa Agencja Energetyczna Raport dotyczący energii i sztucznej inteligencji przewiduje silny wzrost zużycia energii elektrycznej w centrach danych, napędzany głównie sztuczną inteligencją i innymi usługami cyfrowymi. Ten problem na poziomie systemu nie zostanie rozwiązany przez zmuszanie użytkowników do nagłego kończenia rozmów.

Usługi mogą zrobić większą różnicę, zlecając rutynową pracę sprawnym małym modelom, ograniczając niepotrzebne ponowne próby i zapewniając ludziom rozsądną kontrolę nad wynikami i narzędziami.

Ludzie korzystają z interfejsów konwersacyjnych zarówno społecznie, jak i instrumentalnie. Uprzejmość może pomóc dzieciom nabrać nawyku pisania, nauczyć się komunikacji opartej na szacunku lub po prostu sprawić, że korzystanie z oprogramowania będzie mniej nieprzyjemne. Uprzejma odpowiedź może również wyjaśnić, że zadanie zostało ukończone, co może mieć znaczenie w wieloetapowym przepływie pracy.

Nie ma potrzeby udawać, że te korzyści powodują zniknięcie elektryczności. Chodzi o proporcjonalność. Rutynowo poświęcamy niewielkie ilości energii na opinie dotyczące interfejsu, ponieważ pomaga to ludziom zrozumieć system i zaufać mu. Celem środowiskowym nie jest zerowa interakcja cyfrowa; jest to użyteczna praca, której skutki są mniej możliwe do uniknięcia.

To rozróżnienie ma znaczenie także w debatach nt ile energii elektrycznej zużywa sztuczna inteligencja: wiadomości osobiste i całkowite zapotrzebowanie na infrastrukturę są ze sobą powiązane, ale nie są tą samą kwestią polityczną.

Lepsze sposoby na ograniczenie niepotrzebnej pracy sztucznej inteligencji

Jeśli chcesz zmniejszyć zużycie energii bez zachowywania się politycznie, połącz powiązane instrukcje w jeden przejrzysty monit. Zapytaj o długość wyjściową, której faktycznie potrzebujesz. Zatrzymajcie pokolenie, które w oczywisty sposób zmierza w złym kierunku. Użyj wyszukiwania, kalkulatora lub zwykłego oprogramowania, gdy generowanie nic nie wnosi. Wybierz mniejszy model do prostej pracy.

Unikaj wklejania całego dokumentu, gdy jedna sekcja jest istotna, i rozpocznij nową rozmowę, gdy stary kontekst już nie pomaga. W przypadku złożonych prac zaplanowanie żądania może zapobiec kilku nieudanym generacjom. Żadne z nich nie musi stać się testem czystości; są to po prostu sposoby dostosowania obliczeń do wartości.

Ta sama zasada wyjaśnia dlaczego mniejsze modele AI często zużywają mniej energii: ograniczenie pracy ma największe znaczenie, gdy wynik nadal odpowiada potrzebom.

A co z milionami podziękowań?

Każde małe działanie może stać się istotne na bardzo dużą skalę. Jednak pomnożenie niepewnej średniej na wiadomość przez wyimaginowaną liczbę globalną nie tworzy mierzalnych statystyk. Nie mamy publicznych danych na temat tego, ile wiadomości ma charakter czystej grzeczności, jakie modele na nie odpowiadają ani ile niosą ze sobą kontekstu.

Zagregowane efekty są powodem, dla którego dostawcy optymalizują krótkie potwierdzenia — być może przy użyciu mniejszych modeli, odpowiedzi w pamięci podręcznej lub zachowania interfejsu lokalnego. Nie stanowią one solidnej podstawy do zawstydzania indywidualnego użytkownika. Projekt szeroko wdrożonej usługi kontroluje domyślny koszt każdej interakcji.

Bardziej przydatne jest pytanie, czy system wykorzystuje ścieżkę odpowiedzi o odpowiedniej wielkości, niż to, czy jedna osoba była zbyt uprzejma.

Jak Treechat traktuje dodatkową wiadomość

Treechat liczy wysłane podziękowanie jak każda inna wymiana asystentów i pokazuje szacowany wpływ na odpowiedź. W oszacowaniu wykorzystano liczbę modeli i tokenów, dodano określony narzut centrum danych i zastosowano opublikowane założenia dotyczące sieci. To nie jest pomiar bezpośredni. Kalkulacja i jej limity dostępne są pod adresem /methodology.

Jeśli chcesz podziękować, powiedz to. Kosztuje to trochę energii, ponieważ następuje kolejne wnioskowanie. Następnie miej na uwadze skalę: wybór proporcjonalnych modeli i unikanie naprawdę niepotrzebnej pracy wymagającej dużych obliczeń to lepsze dźwignie niż pozbawianie rozmowy zwykłego ludzkiego ciepła.