Vad är små språkmodeller?

Små språkmodeller, eller SLM, är språkmodeller som är designade med färre parametrar och lägre beräkningskrav än de stora modellerna som används vid gränsen. De kan sammanfatta, extrahera information, skriva om text, klassificera innehåll och svara på fokuserade frågor, ofta med lägre latens, minnesanvändning och energi per token.

Det finns ingen officiell parametertröskel vid vilken en modell blir "liten". Termen är relativt till hårdvara, period och jämförelse. En modell som passar på en telefon är helt klart liten bredvid en datacentermodell, men två leverantörer kan använda etiketten på olika sätt. De användbara frågorna är hur mycket av modellen som är aktiv, vilken hårdvara den behöver och om den slutför din uppgift på ett tillförlitligt sätt.

En språkmodell kan vara användbar utan att vara enorm

Språkmodeller lär sig numeriska mönster från text och använder dem för att förutsäga tokens. Större modeller kan hålla fler parametrar och presterar ofta bra över ett bredare utbud av okända uppgifter. De kräver också mer minne och beräkning för att träna och tjäna.

Små modeller byter ut lite bredd för effektivitet. Noggrann träningsdata, destillation och fokuserad finjustering kan bibehålla starka prestanda på vanliga eller smala uppgifter. Microsofts Phi-3 teknisk rapport, till exempel, beskriver en modell med 3.8 miljarder parametrar utformad för att vara tillräckligt kapabel för driftsättning på en telefon. Dess benchmarkresultat tillhör den modellen och testsetet; de bevisar inte att varje liten modell konkurrerar med en större.

"Liten" beskriver därför en resursklass, inte en kvalitetsgaranti. En kompakt modell kan vara utmärkt på extrahering och dålig på svåra resonemang, precis som en stor modell kan vara onödig för rutinformatering.

Jämförelsedatum bör också anges. Det som räknades som kompakt för flera år sedan kan se vanligt ut nu när hårdvara och modelldesign förbättras.

Varför små modeller vanligtvis behöver mindre energi

I en konventionell tät transformator kräver generering av en token beräkningar över de flesta av modellens vikter. Färre parametrar betyder i allmänhet färre värden att flytta genom minnet och färre operationer att utföra. En kompakt modell kan också köras på mindre hårdvara och betjäna fler förfrågningar inom en given minnesbudget.

Det är därför modellstorleken är en användbar miljöhävstång. Det är inte en effektmätare. Numerisk precision, sekvenslängd, batchning, acceleratorgenerering och mjukvaruoptimering förändrar energi per resultat. En dåligt utnyttjad liten modell kan slösa med kapacitet, medan en större modell som lyckas en gång kan slå upprepade misslyckade anrop till en svagare.

Vår artikel om hur du minskar ditt AI-koldioxidavtryck använder den praktiska regeln: välj den minsta modellen som på ett tillförlitligt sätt slutför hela uppgiften. Räkna försök och korrigeringar istället för att jämföra en isolerad token.

Ingångslängden kan minska fördelen. Att bearbeta ett stort dokument på en kompakt modell är fortfarande ett stort arbete, så sammanhangsdisciplin är fortfarande användbar i alla modellstorlekar.

Hur små modeller görs kapabla

Modellbyggare gör mer än att ta bort lager. De sammanställer utbildningsdata så att begränsad kapacitet spenderas på användbara mönster, lär ut mindre modeller från utdata eller representationer från större lärare och finjusterar dem för särskilda domäner. Kvantisering lagrar och beräknar vikter med lägre precision, vilket minskar minnet och ofta accelererar slutledningar.

Beskärning tar bort vikter eller strukturer som bedöms bidra lite. Hämtning kan tillhandahålla relevanta dokument vid begäran istället för att be modellen att memorera alla fakta. Bra applikationsdesign begränsar problemet med strukturerade input, verktyg och validering.

Varje teknik har avvägningar. Destillation kan reproducera begränsningar hos läraren. Aggressiv kvantisering kan försämra kvaliteten. Snäv finjustering kan försvaga det allmänna beteendet. Påståenden bör testas på den faktiska uppgiften, språk och säkerhetskrav, inte härledas från enbart parameterräkning.

Utvärderingsdata behöver liknande vård. En modell kan se kapabel ut eftersom dess utbildningsmaterial överlappar ett riktmärke, samtidigt som den misslyckas med nya exempel från applikationen den är avsedd att tjäna.

Där små språkmodeller fungerar bra

Fokuserat, upprepat arbete är det naturliga territoriet. Exempel är att klassificera supportärenden, extrahera fält från kända dokumenttyper, föreslå korta svar, skriva om text till en husstil och svara på frågor från en kontrollerad kunskapsbas. Lägre latens och kostnad kan göra lokal eller edge-distribution praktisk.

Att köra lokalt kan förbättra integriteten eftersom data inte behöver lämna enheten, även om programmets faktiska nätverksbeteende fortfarande spelar roll. Det kan också undvika kontinuerlig nätverksåtkomst. Lokal slutledning är inte automatiskt koldioxidsnål: en gammal bärbar dator som gör ett långsamt jobb kan använda mer energi än en effektiv delad server, och enhetens förkroppsligade fotavtryck kvarstår.

Små modeller är mindre pålitliga för komplexa flerstegsresonemang, oklar kunskap, långa dokument och svår kod. Upptrappning är förnuftig när testning visar att uppgiften överstiger deras förmåga. Hållbar design är inte ett förbud mot stora modeller; det är avsiktlig routing.

Gränsen kan göras synlig för användarna. En tjänst kan förklara att rutinarbete använder sin snabba modell och erbjuda en avsiktlig uppgradering för fall där större resonemang är värt förseningen och resurserna.

Liten, sparsam och specialiserad är inte synonymer

En liten språkmodell har ett relativt blygsamt totalt fotavtryck i parametrar och minne. En specialiserad modell är tränad eller trimmad för en smal domän, oavsett storlek. En sparsam modell innehåller många parametrar men aktiverar bara några av dem för en given ingång.

Den sista kategorin inkluderar blandning av expertmodeller. De kan ha ett stort totalt parameterantal samtidigt som de använder en mindre aktiv delmängd för varje token. Compute kan likna en mindre tät modell, men alla experter måste fortfarande lagras och distribueras, så minne och kommunikation försvinner inte.

När en leverantör marknadsför en "liten" eller "effektiv" modell, fråga efter totala och aktiva parametrar, hårdvarukrav, tokens per sekund, energigräns och uppgiftens kvalitet. Ingen etikett svarar på alla dessa frågor.

Skilj även en nedladdningsbar modellfil från det minne som krävs medan den körs. Arbetssammanhang, cachar och applikationsprocesser kan göra distributionen större än vad enbart vikterna antyder.

Hur man väljer en ansvarsfullt

Bygg en representativ utvärderingsuppsättning, inklusive svåra och säkerhetskänsliga exempel. Testa den minsta kandidaten, registrera framgång, latens och uppskattad eller uppmätt energi, jämför sedan nästa modell med samma villkor. Inkludera hämtning, verktygsanrop, återförsök och mänsklig korrigering.

För organisationer, övervaka distributionen efter lansering. En router som skickar den mesta rutintrafiken till en liten modell och äkta undantag till en större kan bevara kvaliteten utan att standardisera varje begäran till maximal beräkning. En praktisk guide till hållbar AI täcker mätningen och styrningen kring det mönstret.

Treechat använder mindre modeller för vardagliga frågor och erbjuder större kapacitet när det behövs. Dess kvitto per svar uppskattar driftsenergi från modell- och tokenanvändning, lägger till en publicerad datacenteroverhead och tillämpar en angiven rutnätsfaktor. Det är inte direkt hårdvarumätning. De nuvarande faktorerna och begränsningarna är vid /methodology.

Små språkmodeller spelar roll eftersom mycket vardagligt språkarbete inte kräver det största tillgängliga systemet. Används inom sina gränser kan de göra AI snabbare, billigare och mindre energikrävande. Används som marknadsföringsetikett utan uppgiftstestning eller mätning, säger "liten" väldigt lite.