Czy małe modele AI zużywają mniej energii?

Małe modele AI zwykle zużywają mniej energii na token niż duże modele w porównywalnych warunkach. Zwykle wykonują mniej obliczeń i przenoszą mniej danych parametrów przez pamięć. To sprawia, że ​​rozmiar modelu jest jedną z najbardziej praktycznych dźwigni zmniejszania energii codziennej sztucznej inteligencji.

Ale „mały” nie jest pełnym pomiarem. Dobrze zoptymalizowany większy model na nowoczesnym sprzęcie może czasami skutecznie spełniać swoje zadanie, podczas gdy mały model działa słabo lub powtarza nieudane próby może powodować marnowanie energii. Architektura, precyzja numeryczna, długość wejściowa i wyjściowa, przetwarzanie wsadowe i obciążenie centrum danych – wszystko to wpływa na wynik. Słuszne jest zatem założenie: wybrać najmniejszy model, który rzetelnie wykona zadanie, a następnie zmierzyć lub oszacować całe zadanie.

Dlaczego mniej parametrów zwykle pomaga

Parametry to wyuczone wartości liczbowe, których model używa do przekształcania danych wejściowych i przewidywania wyników. W przypadku modelu o gęstym języku każdy wygenerowany token obejmuje operacje na dużej części modelu i przenoszenie wag z pamięci. Zmniejszenie liczby parametrów zwykle zmniejsza oba rodzaje pracy.

Mniejsze modele można również łatwiej zmieścić na mniejszej liczbie akceleratorów. Może to ograniczyć komunikację między chipami i ułatwić serwowanie. Gdy usługa obsługuje wielu użytkowników jednocześnie, przetwarzanie wsadowe może rozłożyć stały narzut na kilka odpowiedzi.

Są to przyczyny fizyczne, a nie gwarancja dołączona do etykiety produktu. Dostawca nadal musi ujawnić lub oszacować odpowiedni model, sprzęt i zastosowanie, jeśli chce określić ilościowo oszczędności.

Liczba parametrów nie mówi całej historii

Model można skompresować poprzez niższą precyzję numeryczną, często nazywaną kwantyzacją. Można go przyciąć, wydestylować od większego nauczyciela lub przeszkolić w bardziej selektywnym korzystaniu z obliczeń. Jądra oprogramowania i konstrukcja akceleratorów określają również, jak skutecznie teoretyczne operacje stają się rzeczywistymi odpowiedziami.

Modele składające się z mieszanki ekspertów sprawiają, że rozmiar nagłówka jest szczególnie trudny. Mogą zawierać wiele parametrów całkowitych, ale aktywują tylko podzbiór dla każdego tokena. Aktywne obliczenia mogą przypominać mniejszy model, nawet jeśli przechowywany model jest duży. Routing, pamięć i komunikacja nadal zużywają zasoby, więc „aktywne parametry” mają charakter informacyjny, ale nie stanowią pełnej wartości zużycia energii.

Długość wyjściowa może również przytłoczyć proste porównanie rozmiarów. Mały model generujący 4,000 tokenów może wykonać łącznie więcej pracy niż większy model dający poprawną odpowiedź składającą się z 200 tokenów.

Dowody potwierdzają dopasowanie modeli do zadań

Luccioni, Jernite i Strubell porównali zużycie energii w szeregu zadań związanych z uczeniem maszynowym Przetwarzanie energochłonne. W ocenianych warunkach modele generatywne ogólnego przeznaczenia były w przypadku wielu zadań bardziej energochłonne niż systemy specyficzne dla konkretnego zadania. Szerszy punkt artykułu jest bardziej użyteczny niż zapamiętywanie jednego numeru wzorcowego: wybór modelu i zadania istotnie zmienia energię wnioskowania.

Dowody te nie ustalają jednego współczynnika dla każdego obecnego chatbota. Sprzęt i modele zmieniają się, podpowiedzi testów porównawczych różnią się od ruchu na żywo, a wyspecjalizowany klasyfikator nie może zastąpić ogólnego asystenta do pracy otwartej. Wspiera unikanie dużego modelu generatywnego, gdy wąskie, wydajne narzędzie rozwiązuje problem.

Ta sama zasada obowiązuje na czacie: rutynowe przepisywanie i wyjaśnienia mogą nie wymagać modelu zarezerwowanego dla złożonego rozumowania.

W obliczeniach uwzględniana jest zdolność i liczba ponownych prób

Energia na próbę nie zawsze jest energią na ukończone zadanie. Jeśli model źle rozumie instrukcje, wymyśla szczegóły lub nie potrafi zarządzać kontekstem, użytkownicy mogą zregenerować, sformułować inaczej i ostatecznie zmienić model. Liczą się te ponowne próby.

I odwrotnie, domyślne skierowanie każdego żądania do najbardziej wydajnego dostępnego systemu wymaga dodatkowych obliczeń dla zadań, które z tego nie korzystają. Dobry router może umieszczać typowe żądania w mniejszym modelu i eskalować tylko wtedy, gdy wymaga tego złożoność zadania. Użytkownik powinien także mieć możliwość wyboru większej opcji, gdy liczy się dokładność lub możliwości.

Jest to praktyczne powiązanie pomiędzy rozmiarem modelu i dlaczego sztuczna inteligencja zużywa tak dużo energii: obciążenie obliczeniowe zależy zarówno od maszyny, jak i od stawianego jej zadania.

Uczenie mniejszego modelu zazwyczaj wymaga mniej obliczeń niż trenowanie od zera porównywalnego większego modelu, a poza tym wszystkie pozostałe są takie same. W praktyce rozwój może obejmować wyszukiwanie architektury, nieudane przebiegi, dostrajanie i destylację z innego modelu. Publiczne ujawnienia rzadko obejmują pełny cykl życia.

Po wydaniu wnioskowanie rośnie wraz z użyciem. Bardzo popularny mały model może łącznie zużywać więcej energii elektrycznej niż rzadko używany duży. Nie oznacza to, że mały model jest nieefektywny w przeliczeniu na odpowiedź; pokazuje, dlaczego wydajność w przeliczeniu na zadanie i zapotrzebowanie całego systemu odpowiadają na różne pytania.

Nasz przewodnik po Szkolenie AI a emisje wnioskowań wyjaśnia, dlaczego żaden stały procent nie może podzielić tych dwóch wartości, jeśli nie znamy czasu użytkowania modelu przez cały okres jego użytkowania.

Do czego nadają się małe modele

Małe modele często dobrze nadają się do przepisywania, podsumowywania umiarkowanego tekstu, klasyfikacji, ekstrakcji, prostych wyjaśnień, burzy mózgów i typowych wzorców kodowania. Uruchamianie ich lokalnie może również pomóc zachować prywatność, chociaż wydajność energetyczna laptopa w porównaniu z dobrze wykorzystywanym serwerem zależy od sprzętu i obciążenia.

Większe modele mogą zarabiać na trudnym wieloetapowym rozumowaniu, specjalistycznym kodzie, bardzo długim kontekście lub zadaniach, w których słabsza pierwsza odpowiedź powoduje kosztowne przeróbki wykonywane przez człowieka. Decyzja środowiskowa nie polega na akceptowaniu złej jakości. Ma to na celu uniknięcie płacenia dodatkowej opłaty za obliczenia w modelu pionierskim, w przypadku gdy możliwości nie zmieniają wyniku.

The koszt energii jednej wiadomości AI dlatego potrzebny jest model i liczba tokenów, a nie tylko słowo „AI”.

Jak dokonać uczciwego porównania

Porównaj modele dotyczące tego samego zadania, progu jakości i długości wyjściowej. Uwzględnij nieudane próby. Określ, czy liczby obejmują energię chipów, czy całkowitą energię obiektu i czy wykorzystanie sprzętu jest porównywalne. Unikaj przekształcania współczynników parametrów bezpośrednio w współczynniki energii bez dowodów.

Treechat domyślnie używa mniejszego modelu do codziennych pytań i pozwala użytkownikowi wybrać większą opcję, gdy zadanie tego potrzebuje. Na rachunku oszacowano energię operacyjną wynikającą z wykorzystania modelu i tokena, z ujawnionym uwzględnieniem kosztów ogólnych centrum danych. Jest to porównanie modelowe, a nie bezpośredni odczyt licznika; aktualna metoda jest opublikowana pod adresem /methodology.

Zatem tak: małe modele zwykle zużywają mniej energii do porównywalnych wnioskowań. Ich prawdziwa przewaga pojawia się, gdy są dobrze obsłużone, dają użyteczną odpowiedź bez ponownych prób i zastępują prace nad większymi modelami – a nie wtedy, gdy „mały” jest traktowany jako magiczna etykieta zrównoważonego rozwoju.