Co się stanie, gdy wyślesz wiadomość AI?

Kiedy wysyłasz wiadomość AI, usługa przesyła ją do centrum danych, formatuje rozmowę, konwertuje tekst na tokeny i kieruje żądanie do modelu. Model przetwarza dane wejściowe, przewiduje token wyjściowy i powtarza tę prognozę, aż do uzyskania pełnej odpowiedzi. Usługa przesyła strumieniowo te tokeny z powrotem na Twój ekran.

Energia elektryczna jest wykorzystywana w całym łańcuchu: sprzęt sieciowy, procesory, pamięć i akceleratory działają, a systemy chłodzenia i zasilania obsługują obiekt. Krótka odpowiedź SMS może obejmować jedno wzorcowe połączenie. Wyszukiwanie, przesłane pliki, tryby rozumowania, obrazy lub agenci mogą uruchomić kilka systemów. Dlatego „jedna wiadomość” nie jest stałą jednostką energii, węgla czy wody.

Aplikacja przygotowuje i wysyła żądanie

Naciśnięcie przycisku Wyślij powoduje utworzenie żądania sieciowego zawierającego nową wiadomość i kontekst, który usługa zdecyduje się uwzględnić. Mogą to być niedawne rozmowy, instrukcje systemowe, ustawienia modelu i odniesienia do plików lub narzędzi. Dobre usługi szyfrują połączenie, uwierzytelniają sesję i sprawdzają rozmiar lub bezpieczeństwo przed przetwarzaniem modelu.

Tekst przemieszcza się przez sieć lokalną, infrastrukturę internetową oraz serwery brzegowe lub aplikacyjne dostawcy. W przypadku zwykłego czatu obliczenia centrum danych zwykle dominują w szacunkach operacyjnych, ale sieć nie jest dosłownie wolna od wpływów. Dokładny przydział jest trudny, ponieważ infrastruktura jest współdzielona.

Prywatność jest oddzielona od energii. Skuteczny asystent może nadal mieć nieodpowiednie warunki utrzymania lub szkolenia. Nie wklejaj poufnych informacji osobistych, szkolnych ani firmowych, chyba że usługa i zasady na to pozwalają. Przewodnik dla studentów na temat wpływu sztucznej inteligencji na środowisko obejmuje tę szerszą ocenę dotyczącą użytku w klasie.

Kontrola bezpieczeństwa może również dodać przetwarzanie, chociaż dostawcy rzadko przydzielają je do poszczególnych odpowiedzi.

Tekst staje się tokenami czytelnymi dla modelu

Modele językowe nie otrzymują zdań dokładnie tak, jak je widzą ludzie. Tokenizator mapuje tekst na ponumerowane fragmenty zwane tokenami. Tokenem może być słowo, część słowa, znak interpunkcyjny lub specjalny znacznik kontrolny. Usługa stosuje również szablon czatu, który rozróżnia tury systemowe, użytkownika i asystenta.

Przytulanie twarzy dokumentacja tokenizera pokazuje, jak sformatowane wiadomości czatu stają się identyfikatorami wejściowymi i maskami uwagi gotowymi dla modelu. Różne modele mogą różnie tokenizować to samo zdanie, więc liczba słów jest jedynie przybliżonym przybliżeniem dla danych wejściowych obliczeniowych.

Długa historia czatów, wklejone dokumenty i pobrane strony internetowe dodają tokeny. Dostawcy mogą obcinać, podsumowywać lub buforować pewien kontekst, ale ich zachowanie nie zawsze jest publiczne. Jasne, istotne dane wejściowe ograniczają niepotrzebne przetwarzanie i mogą jednocześnie poprawić odpowiedź. Jest to bardziej przydatne niż obsesja na punkcie tego, czy grzeczne słowo dodaje jeden żeton.

Router wybiera, co działa

Niektóre usługi wysyłają każde żądanie do jednego modelu. Inne kierują się według złożoności, subskrypcji, opóźnienia, języka, zasad bezpieczeństwa lub żądanej funkcji. Proste pytanie może dotyczyć małego modelu; trudne rozumowanie może przejść do szerszego. Wyszukiwanie i analiza plików mogą dodać systemy wyszukiwania przed rozpoczęciem generowania.

Asystenci korzystający z narzędzi mogą uruchamiać pętlę: zapytać model, co ma zrobić, wywołać wyszukiwanie lub kod, zwrócić wynik narzędzia do modelu i wygenerować lub sprawdzić odpowiedź. Interfejs może przedstawić cały przepływ pracy jako jedną wiadomość, nawet jeśli wystąpiło kilka zadań backendu.

Ta ukryta różnica sprawia, że porównania dotyczące wyłącznie marek są słabe. Wybór asystenta AI według zużycia energii zaleca sprawdzenie, czy dostawcy ujawniają routing modelu, opcjonalne narzędzia i granice wokół swoich liczb. Bez tych informacji średnia dla wiadomości jest raczej drogowskazem niż miarą konkretnego żądania.

Decyzja routera może mieć większe znaczenie niż kilka dodatkowych słów w komunikacie.

Model przetwarza monit

Wnioskowanie rozpoczyna się od fazy wstępnej. Model przetwarza tokeny wejściowe, wykonując operacje macierzowe na swoich warstwach i tworząc pośrednie dane dotyczące uwagi, które można ponownie wykorzystać podczas generowania. Dłuższy monit zazwyczaj zwiększa tę początkową pracę i pamięć wymaganą dla jego kontekstu.

Architektura Transformera skupia uwagę na powiązaniu tokenów w sekwencję, jak przedstawiono w artykule badawczym Uwaga jest wszystkim, czego potrzebujesz. Nowoczesne modele czatu dodają wiele udoskonaleń inżynieryjnych, ale najważniejsze pozostają duże operacje numeryczne i przenoszenie danych modelu przez pamięć.

Akceleratory, takie jak procesory graficzne lub TPU, wykonują te operacje równolegle. Procesory hosta, pamięć RAM i szybkie połączenia wzajemne koordynują obciążenie. Dostawcy mogą grupować kilku użytkowników, aby poprawić wykorzystanie. Może to obniżyć energię na odpowiedź, chociaż może wydłużyć czas oczekiwania i sprawić, że proste obliczenia „moc chipa pomnożona przez sekundy” będą niekompletne.

Jądra oprogramowania i precyzja numeryczna również wpływają na to, ile użytecznej pracy wykonuje ten sam sprzęt.

Odpowiedź jest generowana i przesyłana strumieniowo

Po wstępnym wypełnieniu model generuje dane wyjściowe w sposób autoregresyjny: oblicza prawdopodobieństwa dla następnego tokenu, wybiera go zgodnie ze swoimi regułami dekodowania, dodaje go do kontekstu i powtarza. Google badacze jasno opisują podstawowe ograniczenie: generowanie wielu tokenów wyjściowych zwykle wymaga uruchomienia modelu szeregowego, mimo że techniki takie jak dekodowanie spekulatywne mogą przyspieszyć ten proces.

Dlatego długość wyjściowa ma znaczenie. „Daj mi trzy naboje” i „napisz szczegółowy raport” wymagają różnej ilości generacji. Systemy wnioskowania mogą również tworzyć wewnętrzne tokeny, które nie są wyświetlane, podczas gdy generowanie obrazu i wideo ponownie wykorzystuje różne procesy.

Serwer może odesłać każdy ukończony element w takiej postaci, w jakiej się pojawia, tworząc efekt pisania. Przesyłanie strumieniowe sprawia, że ​​interfejs wydaje się szybki, ale nie oznacza, że ​​pełna odpowiedź została obliczona z wyprzedzeniem. Generowanie zatrzymuje się, gdy model wyemituje znacznik końcowy, osiągnie limit, narzędzie je przerwie lub użytkownik anuluje.

Urządzenie obsługuje obliczenia

Serwery zamieniają energię elektryczną w obliczenia i ciepło. Wentylatory, pompy, agregaty chłodnicze lub wieże chłodnicze usuwają to ciepło. Konwersja zasilania, zasilanie bezprzerwowe, łączność sieciowa i oświetlenie zwiększają koszty ogólne obiektu. Efektywność wykorzystania energii wyraża całkowitą energię centrum danych podzieloną przez energię IT, ale nie mierzy jakości modelu, emisji dwutlenku węgla ani wody.

Węgiel operacyjny zależy od energii elektrycznej dostarczającej zakład. Wodę można zużywać bezpośrednio do chłodzenia i pośrednio do wytwarzania energii. Produkcja sprzętu i konstrukcja budynków mają wpływ wykraczający poza większość szacunków dotyczących wiadomości. Pełna alokacja cyklu życia jest znacznie trudniejsza niż oszacowanie wnioskowania operacyjnego.

Odpowiedź może być również rejestrowana, buforowana lub przechowywana w historii czatów, zgodnie z ustawieniami usługi. Działania te wykorzystują infrastrukturę, ale dostawcy rzadko udostępniają wystarczającą ilość informacji, aby przypisać je precyzyjnie do jednej odpowiedzi. Uczciwa rachunkowość stwierdza to, co wyklucza, zamiast ukrywać niepewność za ułamkami dziesiętnymi.

Ustawienia przechowywania mogą zatem mieć znaczenie dla prywatności, nawet jeśli nie można wyodrębnić ich wpływu energetycznego.

Co potwierdzenie wiadomości może, a czego nie może powiedzieć

Przydatny paragon może rejestrować model, tokeny wejściowe i wyjściowe oraz to, czy użyto większego systemu. Następnie może zastosować oszacowanie zużycia energii i ujawnione koszty ogólne centrum danych. Zapewnia to spójne porównanie w ramach usługi, nawet jeśli do indywidualnej odpowiedzi nie jest dołączony miernik mocy.

Treechat podąża za tym podejściem. Jego metodologia opisuje szacunki operacyjne oparte na modelu, wykorzystujące informacje o modelu i tokenie, podane PUE i średni współczynnik emisji dwutlenku węgla w sieci. Wynik dla wody oblicza się na podstawie szacunkowej energii. Nie jest to odczyt dotyczący obiektu i nie uwzględnia wpływu każdego cyklu życia.

Więcej typowych pytań dotyczących tych granic można znaleźć w artykule Często zadawane pytania dotyczące wpływu sztucznej inteligencji na środowisko. Praktyczna lekcja jest prosta: jedno kliknięcie może rozpocząć łańcuch pracy. Użyj najprostszego narzędzia i najmniejszego, zdolnego modelu, zachowaj odpowiedni kontekst, zażądaj potrzebnych danych wyjściowych i traktuj każdą liczbę przypadającą na wiadomość jako szacunkową z nazwaną granicą.