Jak zmniejszyć ślad węglowy AI

Aby zmniejszyć ślad węglowy sztucznej inteligencji, najpierw unikaj sztucznej inteligencji tam, gdzie wystarczy prostsze narzędzie, a następnie wybierz najmniejszy model, który niezawodnie wykona zadanie. Koncentruj podpowiedzi i kontekst, żądaj tylko potrzebnych wyników i unikaj powtarzających się pokoleń. Do użytku zwykłego lub organizacyjnego preferuj usługi, które ujawniają metody pozyskiwania energii, wykorzystują wydajny sprzęt i pozyskują energię elektryczną o niższej emisji dwutlenku węgla w wiarygodny sposób.

Ta kolejność ma znaczenie. Zakup offsetu lub sfinansowanie drzewa może wesprzeć prace klimatyczne, ale nie powoduje usunięcia energii elektrycznej, wody ani sprzętu wykorzystywanego w pierwotnych obliczeniach. Na pierwszym miejscu jest redukcja bezpośrednia. Nie ma wiarygodnej uniwersalnej wartości emisji dwutlenku węgla na monit, dlatego skoncentruj się na wyborach, które ograniczają podstawową pracę i poproś dostawców o wskazanie swoich granic.

Zacznij od zadania, a nie od modelu

Najniższą opcją obliczeniową jest często wyszukiwanie, kalkulator, zapytanie do bazy danych, szablon lub zwykły program. Generatywna sztuczna inteligencja jest przydatna, gdy zadanie rzeczywiście wymaga interpretacji, opracowania lub syntezy; jest marnotrawstwem, gdy jedynie odtwarza wynik, który już masz.

Przed otwarciem czatu określ jego wynik. Potrzebujesz dwuzdaniowego podsumowania, sprawdzonej kalkulacji lub dopracowanego raportu? Przejrzysty punkt końcowy zapobiega przekształcaniu podpowiedzi eksploracyjnych w dziesiątki jednorazowych wersji. Użyj dobrej odpowiedzi ponownie, zamiast ją ponownie generować w celu wprowadzenia drobnych zmian w sformułowaniach.

Jeśli celem jest eksploracja, ustal z góry granicę: limit czasu, liczbę alternatyw lub decyzję, którą musi podjąć sesja.

Nie jest to argument za unikaniem cennych prac nad sztuczną inteligencją. Jest to test proporcjonalności. UNESCO Zalecenie w sprawie etyki sztucznej inteligencji zwraca się do podmiotów zajmujących się sztuczną inteligencją, aby preferowały metody oszczędzające dane, energię i zasoby oraz aby oceniały wpływ na środowisko w całym cyklu życia. Użyj wystarczającej liczby obliczeń, aby rozwiązać prawdziwy problem, a nie domyślnie dostępne maksimum.

Wybierz najmniejszy model, który się sprawdzi

Mniejsze modele zazwyczaj wykonują mniej operacji i przenoszą mniej danych dla każdego wygenerowanego tokena. Do rutynowego przepisywania, klasyfikacji, ekstrakcji i prostych pytań, które mogą znacznie zmniejszyć zużycie energii. Nasze wyjaśnienie małe modele językowe wyjaśnia, skąd bierze się ta przewaga.

„Najmniejszy” to nie to samo, co „mały za wszelką cenę”. Jeśli słaby model generuje błędy i powtórzysz zadanie pięć razy, może ono być mniej wydajne niż jedna pomyślna odpowiedź z silniejszego modelu. Zacznij od małego, sprawdź wynik i przejdź dalej dopiero wtedy, gdy zadanie wykaże, że wymaga większych możliwości.

Wyspecjalizowane modele mogą być również lepsze niż systemy czatów ogólnego przeznaczenia. W opublikowanym porównaniu naukowcy odkryli, że systemy specyficzne dla danego zadania zużywały mniej energii niż modele generatywne ogólnego przeznaczenia dla ocenianych przez siebie zadań. Te wyniki testów porównawczych nie stanowią uniwersalnego rankingu produktów, ale potwierdzają praktyczną zasadę: dopasuj możliwości do działania.

Jeśli w ramach usługi dostępnych jest kilka modeli do wyboru, ustaw lżejszą opcję jako domyślną, zamiast wymagać nowej decyzji środowiskowej przy każdym monitie.

Zmniejsz liczbę żetonów i ukrytą dodatkową pracę

Długie wejścia i wyjścia wymagają więcej obliczeń. Usuń nieistotną historię rozmów, załącz tylko istotne strony i zapytaj o długość, którą faktycznie przeczytasz. „Daj mi pięć opcji” jest zwykle tańsze niż poproszenie o pięćdziesiąt i odrzucenie czterdziestu pięciu.

Zwięzłe podpowiedzi są przydatne, gdy zapobiegają dwuznacznościom, ale sama zwięzłość nie jest celem. Niedoprecyzowane żądanie może spowodować wprowadzenie poprawek i ponownych prób. Uwzględnij niezbędne fakty raz, ustal przejrzysty format i zakończ, gdy odpowiedź będzie wystarczająco dobra.

Zwróć uwagę na tryby, które rozszerzają jedno widoczne żądanie na kilka zadań backendu. Badania internetowe, agenci, generowanie obrazów, wideo i wielokrotna samokontrola mogą wymagać zastosowania wielu modeli lub narzędzi. Stosuj je, gdy ich dodatkowa wartość uzasadnia pracę. Przekształcenie każdego zwykłego pytania w dogłębne badania jest obliczeniowym odpowiednikiem przejazdu ciężarówką w celu odebrania jednej koperty.

Przesyłane treści zasługują na taką samą dyscyplinę. Przycięcie obrazu lub wybranie odpowiednich stron dokumentu pozwala uniknąć przetwarzania materiału, który nie ma wpływu na odpowiedź.

Ulepszaj system, a nie tylko pojedyncze podpowiedzi

Organizacje mają silniejsze dźwignie niż indywidualni użytkownicy. Mierz żądania według modelu, zadania, liczby tokenów i współczynnika powodzenia. Buforuj powtarzające się wyniki, grupuj odpowiednie zadania, usuwaj zduplikowane wywołania i ustalaj rozsądne limity wyjściowe. Skieruj proste prace do mniejszych modeli i zarezerwuj bardziej wydajne systemy na wyjątki.

Wykorzystanie ma znaczenie, ponieważ udostępniony sprzęt może pobierać energię w czasie oczekiwania. Wydajne przetwarzanie wsadowe i automatyczne skalowanie mogą rozłożyć energię pomocniczą na bardziej użyteczną pracę. Wybór sprzętu, precyzja numeryczna, kwantyzacja i architektura modelu również wpływają na energię elektryczną wymaganą do uzyskania wyniku. Modele będące mieszanką ekspertówna przykład aktywują tylko część swoich parametrów dla tokena, chociaż koszty pamięci i sieci pozostają.

Śledź jakość obok energii. Model o niższym zużyciu energii, który nie przejdzie kontroli bezpieczeństwa lub wytwarza bezużyteczną moc, nie stanowi trwałego ulepszenia. Użyj stabilnego zestawu ewaluacyjnego i porównaj kompletne zadania, w tym ponowne próby, wywołania narzędzi i poprawki ręczne.

Ustaw budżety i średnie. Maksymalny limit tokenów, limit wywołań narzędzi i miesięczny alert dotyczący wolumenu mogą wyłapać marnotrawstwo, które ukrywa dobry wskaźnik wydajności na żądanie.

Preferuj czystszą energię elektryczną bez mylenia twierdzeń

Kiedy obliczenia zostaną zmniejszone, miejsce i czas ich wykonywania ma wpływ na emisję gazów cieplarnianych. Ta sama kilowatogodzina może być powiązana z bardzo różnymi emisjami w różnych sieciach. Elastyczne szkolenie i wnioskowanie wsadowe można przesunąć w kierunku regionów lub godzin, w których występuje więcej energii elektrycznej o niskiej emisji dwutlenku węgla.

Roszczenia dostawcy wymagają ostrożności. Międzynarodowa Agencja Energetyczna zauważa, że ​​dopasowanie rocznego zużycia energii do zakupów energii odnawialnej nie oznacza, że ​​centrum danych będzie korzystało z energii odnawialnej w każdej godzinie. Jego przegląd centrów danych odróżnia roczne dopasowanie umowne od dostawy fizycznej.

Poszukaj informacji uwzględniających lokalizację lub godzinę, nowej czystej generacji i jasnego opisu resztkowej mocy sieci. Nasz przewodnik po centra danych wykorzystujące energię odnawialną dla sztucznej inteligencji wyjaśnia te różnice. Czyste zamówienia publiczne mogą obniżyć emisję; nie eliminuje to produkcji wiórów, konstrukcji ani zużycia wody.

W przypadku elastycznych obciążeń organizacyjnych planowanie również może mieć znaczenie. Szkolenie, indeksowanie i analizę wsadową można odsunąć od okresów o dużej emisji, podczas gdy żądania interaktywne zwykle mają mniejszą swobodę oczekiwania. Harmonogram uwzględniający emisję gazów cieplarnianych nigdy nie powinien zagrażać bezpieczeństwu, obowiązkom w zakresie usług ani zasadom przechowywania danych.

Zmierz zdefiniowaną jednostkę i opublikuj limity

Przydatny ślad ma granicę i mianownik: na przykład na ukończone zadanie, na tysiąc żądań lub na klienta. Uwzględnij eksploatacyjną energię elektryczną, wykorzystaną intensywność emisji dwutlenku węgla i przydział sprzętu, jeśli to możliwe. Należy określić, czy dane liczbowe są mierzone, modelowane czy szacowane.

Fundacja Zielonego Oprogramowania Specyfikacja intensywności emisji dwutlenku węgla w oprogramowaniu łączy energię operacyjną, intensywność emisji dwutlenku węgla specyficzną dla lokalizacji i emisję sprzętu wbudowanego na jednostkę funkcjonalną. Utrzymuje również przesunięcia poza partyturą. Jest to solidna dyscyplina, nawet jeśli nie są dostępne pełne dane dostawcy: mierz konsekwentnie, ujawniaj luki i ulepszaj system fizyczny.

Treechat stosuje tę samą hierarchię w węższym otoczeniu konsumenckim. Kieruje codzienne pytania do mniejszych modeli i szacuje energię wynikającą z użycia modelu i tokena. Potwierdzenie zawiera określone założenia dotyczące centrum danych i sieci; nie jest to odczyt licznika ani ślad w pełnym cyklu życia. Aktualna metoda jest opublikowana pod adresem /methodology.

Zmniejszanie śladu węglowego sztucznej inteligencji nie polega zatem na doskonałej osobistej arytmetyce, lecz na powtarzających się, dających się obronić wyborach: korzystaj ze sztucznej inteligencji celowo, dostosowuj model do odpowiedniej wielkości, ograniczaj pracę, preferuj wiarygodną infrastrukturę niskoemisyjną i traktuj każdy wpływ na klimat oddzielnie od emisji, które wciąż generujesz. To jest praktyczny rdzeń zielona sztuczna inteligencja.