Modelele mici AI folosesc mai puțină energie?

Modelele mici AI folosesc de obicei mai puțină energie pe token decât modelele mari în condiții comparabile. În general, efectuează mai puține calcule și mută mai puține date de parametri prin memorie. Acest lucru face ca dimensiunea modelului să fie una dintre cele mai practice pârghii pentru reducerea energiei AI de zi cu zi.

Dar „mic” nu este o măsurătoare completă. Un model mai mare bine optimizat pe hardware modern poate îndeplini uneori o sarcină eficient, în timp ce un model mic care funcționează prost sau repetă încercări eșuate poate risipi energie. Arhitectura, precizia numerică, lungimea de intrare și ieșire, loturile și supraîncărcarea centrului de date afectează rezultatul. Prin urmare, afirmația corectă este: alegeți cel mai mic model care poate finaliza sarcina în mod fiabil, apoi măsurați sau estimați întreaga lucrare.

De ce mai puțini parametri ajută de obicei

Parametrii sunt valorile numerice învățate pe care un model le folosește pentru a transforma o intrare și a prezice o ieșire. Pentru un model de limbaj dens, fiecare token generat implică operații în mare parte din model și mișcarea greutăților din memorie. Reducerea numărului de parametri reduce de obicei ambele tipuri de muncă.

De asemenea, modelele mai mici se pot potrivi mai ușor pe mai puține acceleratoare. Acest lucru poate reduce comunicarea dintre jetoane și poate simplifica servirea. Atunci când un serviciu se ocupă de mulți utilizatori împreună, loturile se pot răspândi pe mai multe răspunsuri.

Acestea sunt motive fizice, nu o garanție atașată etichetei unui produs. Un furnizor trebuie să dezvăluie sau să estimeze modelul relevant, hardware-ul și utilizarea dacă dorește să cuantifice o economie.

Numărul de parametri nu spune întreaga poveste

Un model poate fi comprimat printr-o precizie numerică mai mică, adesea numită cuantizare. Poate fi tăiat, distilat de la un profesor mai mare sau instruit pentru a utiliza calculul mai selectiv. Nucleele software și designul acceleratorului determină, de asemenea, cât de eficient devin operațiunile teoretice răspunsuri reale.

Modelele mixte de experți fac dimensiunea titlului deosebit de dificilă. Ele pot conține mulți parametri totali, dar activează doar un subset pentru fiecare jeton. Calculul activ poate să semene cu un model mai mic, chiar dacă modelul stocat este mare. Rutarea, memoria și comunicarea încă consumă resurse, așa că „parametrii activi” sunt informative, dar nu o cifră completă de energie.

Lungimea de ieșire poate copleși și o simplă comparație a dimensiunilor. Un model mic care generează 4,000 de jetoane poate face mai multă muncă decât un model mai mare, oferind un răspuns corect de 200 de jetoane.

Dovezile sprijină potrivirea modelelor la sarcini

Luccioni, Jernite și Strubell au comparat utilizarea energiei într-o serie de sarcini de învățare automată în Procesare cu foame de putere. În condițiile lor evaluate, modelele generative de uz general consumau mai mult energie decât sistemele specifice sarcinilor pentru multe sarcini. Punctul mai larg al lucrării este mai util decât memorarea unui număr de referință: alegerea modelului și a sarcinii schimbă material energia de inferență.

Aceste dovezi nu stabilesc un raport pentru fiecare chatbot actual. Hardware-ul și modelele se schimbă, solicitările de referință diferă de traficul în direct, iar un clasificator specializat nu poate înlocui un asistent general pentru munca nelimitată. Susține evitarea unui model generativ mare atunci când un instrument îngust și eficient rezolvă problema.

Același principiu se aplică în chat: rescrierea de rutină și explicațiile pot să nu aibă nevoie de modelul rezervat raționamentului complex.

Capacitatea și reîncercările aparțin calculului

Energia per încercare nu este întotdeauna energie per sarcină finalizată. Dacă un model înțelege greșit instrucțiunile, inventează detalii sau nu poate gestiona contextul, utilizatorii pot regenera, reformula și eventual schimba modelele. Acele reîncercări contează.

Dimpotrivă, stabilirea implicită a fiecărei cereri către cel mai capabil sistem disponibil cheltuiește calcule suplimentare pentru joburi care nu beneficiază de el. Un router bun poate plasa cereri comune pe un model mai mic și poate escalada doar atunci când complexitatea sarcinii o justifică. De asemenea, utilizatorul ar trebui să poată alege opțiunea mai mare atunci când precizia sau capacitatea contează.

Aceasta este legătura practică între dimensiunea modelului și de ce AI folosește atât de multă energie: sarcina de calcul depinde atât de mașină, cât și de jobul care i se cere.

Antrenarea unui model mai mic necesită, în general, mai puține calcule decât antrenarea unui model mai mare comparabil de la zero, toate celelalte sunt egale. În practică, dezvoltarea poate include căutări de arhitectură, rulări eșuate, reglaj fin și distilare dintr-un alt model. Dezvăluirile publice rareori oferă un total ciclului de viață complet.

După lansare, inferența crește odată cu utilizarea. Un model mic foarte popular poate consuma mai multă energie electrică operațională în total decât unul mare rar folosit. Asta nu face ca modelul mic să fie ineficient pe răspuns; arată de ce eficiența în funcție de sarcină și cererea la nivelul întregului sistem răspund la diferite întrebări.

Ghidul nostru pentru Antrenamentul AI versus emisiile de inferență explică de ce niciun procent fix nu le poate împărți pe cele două fără a cunoaște utilizarea pe durata de viață a unui model.

La ce modele mici sunt bune

Modelele mici sunt adesea potrivite pentru rescriere, rezumare a textului moderat, clasificare, extragere, explicații directe, brainstorming și modele comune de codare. Rularea lor local poate ajuta și la confidențialitate, deși eficiența electrică a unui laptop față de un server bine utilizat depinde de hardware și de volumul de lucru.

Modelele mai mari își pot câștiga costul pentru raționament dificil în mai mulți pași, cod specializat, context foarte lung sau sarcini în care un prim răspuns mai slab creează o reluare umană costisitoare. Alegerea mediului este de a nu accepta calitatea proastă. Este de a evita plata primei de calcul pentru modelul de frontieră în cazul în care capacitatea nu schimbă rezultatul.

The costul energiei unui mesaj AI prin urmare, are nevoie de un număr de modele și de simboluri, nu doar de cuvântul „AI”.

Cum să faci o comparație corectă

Comparați modele pentru aceeași sarcină, prag de calitate și lungime de ieșire. Includeți încercările eșuate. Indicați dacă cifrele acoperă energia cipului sau energia totală a instalației și dacă utilizarea hardware-ului este comparabilă. Evitați să transformați rapoartele parametrilor direct în rapoarte de energie fără dovezi.

Treechat folosește un model mai mic pentru întrebările de zi cu zi în mod implicit și permite utilizatorului să aleagă o opțiune mai mare atunci când sarcina are nevoie. Chitanța sa estimează energia operațională din utilizarea modelului și a simbolului, cu o alocație dezvăluită pentru cheltuielile generale ale centrului de date. Este o comparație modelată, nu o citire directă a contorului; metoda actuală este publicată la /methodology.

Deci da: modelele mici folosesc în mod normal mai puțină energie pentru inferențe comparabile. Avantajul lor real apare atunci când sunt bine serviți, produc un răspuns util fără reîncercări și înlocuiesc modelele mai mari – nu atunci când „mic” este tratat ca o etichetă magică de sustenabilitate.