O que são modelos de linguagem pequena?

Modelos de linguagem pequena, ou SLMs, são modelos de linguagem projetados com menos parâmetros e requisitos computacionais mais baixos do que os modelos grandes usados ​​na fronteira. Eles podem resumir, extrair informações, reescrever textos, classificar conteúdo e responder perguntas específicas, muitas vezes com menor latência, uso de memória e energia por token.

Não existe um limite de parâmetro oficial no qual um modelo se torna “pequeno”. O termo é relativo ao hardware, período e comparação. Um modelo que cabe em um telefone é claramente pequeno em comparação com um modelo de data center, mas dois provedores podem aplicar o rótulo de maneira diferente. As questões úteis são quanto do modelo está ativo, de que hardware ele precisa e se ele conclui sua tarefa de maneira confiável.

Um modelo de linguagem pode ser útil sem ser enorme

Os modelos de linguagem aprendem padrões numéricos do texto e os utilizam para prever tokens. Modelos maiores podem conter mais parâmetros e geralmente apresentam bom desempenho em uma ampla gama de tarefas desconhecidas. Eles também exigem mais memória e computação para treinar e servir.

Modelos pequenos trocam alguma amplitude por eficiência. Dados de treinamento cuidadosos, destilação e ajuste fino focado podem preservar um forte desempenho em tarefas comuns ou restritas. da Microsoft Relatório técnico Phi-3, por exemplo, descreve um modelo de 3.8 bilhões de parâmetros projetado para ser capaz de ser implantado em um telefone. Seus resultados de benchmark pertencem a esse modelo e conjunto de testes; eles não provam que todo modelo pequeno rivaliza com um modelo maior.

“Pequeno”, portanto, descreve uma classe de recursos, não uma garantia de qualidade. Um modelo compacto pode ser excelente em extração e pobre em raciocínio difícil, assim como um modelo grande pode ser desnecessário para formatação de rotina.

A data de comparação também deve ser indicada. O que era considerado compacto há vários anos pode parecer comum agora, à medida que o hardware e o design do modelo melhoram.

Por que modelos pequenos geralmente precisam de menos energia

Em um transformador denso convencional, a geração de um token requer cálculos na maioria dos pesos do modelo. Menos parâmetros geralmente significam menos valores para mover pela memória e menos operações para executar. Um modelo compacto também pode ser executado em hardware menor e atender a mais solicitações dentro de um determinado orçamento de memória.

É por isso que o tamanho do modelo é uma alavanca ambiental útil. Não é um medidor de energia. Precisão numérica, comprimento de sequência, lote, geração de acelerador e otimização de software alteram a energia por resultado. Um modelo pequeno mal utilizado pode desperdiçar capacidade, enquanto um modelo maior que tenha sucesso uma vez pode superar repetidas chamadas fracassadas para um modelo mais fraco.

Nosso artigo sobre como reduzir sua pegada de carbono de IA usa a regra prática: escolha o menor modelo que conclua toda a tarefa de maneira confiável. Conte novas tentativas e correções em vez de comparar um token isolado.

O comprimento da entrada pode diminuir a vantagem. Processar um documento enorme em um modelo compacto ainda é um trabalho substancial, portanto a disciplina de contexto continua útil em todos os tamanhos de modelo.

Como modelos pequenos são capazes

Os construtores de modelos fazem mais do que remover camadas. Eles selecionam dados de treinamento para que uma capacidade limitada seja gasta em padrões úteis, ensinam modelos menores a partir dos resultados ou representações de professores maiores e os ajustam para domínios específicos. A quantização armazena e calcula pesos com menor precisão, reduzindo a memória e muitas vezes acelerando a inferência.

A poda remove pesos ou estruturas consideradas de pouca contribuição. A recuperação pode fornecer documentos relevantes no momento da solicitação, em vez de pedir ao modelo para memorizar todos os fatos. Um bom design de aplicação restringe o problema com entradas estruturadas, ferramentas e validação.

Cada técnica tem vantagens e desvantagens. A destilação pode reproduzir limitações do professor. A quantização agressiva pode reduzir a qualidade. O ajuste fino restrito pode enfraquecer o comportamento geral. As afirmações devem ser testadas na tarefa real, no idioma e nos requisitos de segurança, e não inferidas apenas pela contagem de parâmetros.

Os dados de avaliação necessitam de cuidados semelhantes. Um modelo pode parecer capaz porque seu material de treinamento se sobrepõe a um benchmark, ao mesmo tempo que falha em novos exemplos da aplicação que deve servir.

Onde modelos de linguagem pequena funcionam bem

O trabalho focado e repetido é o território natural. Os exemplos incluem classificação de tickets de suporte, extração de campos de tipos de documentos conhecidos, sugestão de respostas curtas, reescrita de texto em estilo próprio e resposta a perguntas de uma base de conhecimento controlada. Latência e custo mais baixos podem tornar prática a implantação local ou na borda.

A execução local pode melhorar a privacidade porque os dados não precisam sair do dispositivo, embora o comportamento real da rede do aplicativo ainda seja importante. Também pode evitar o acesso contínuo à rede. A inferência local não é automaticamente de baixo carbono: um portátil antigo que faz um trabalho lento pode utilizar mais energia do que um servidor partilhado eficiente, e a pegada incorporada do dispositivo permanece.

Modelos pequenos são menos confiáveis para raciocínio complexo em várias etapas, conhecimento obscuro, documentos longos e códigos difíceis. O escalonamento é sensato quando os testes mostram que a tarefa excede sua capacidade. O design sustentável não proíbe modelos grandes; é um roteamento deliberado.

O limite pode ficar visível para os usuários. Um serviço pode explicar que o trabalho rotineiro utiliza seu modelo rápido e oferecer uma atualização intencional para casos em que maior raciocínio vale o atraso e os recursos.

Pequeno, esparso e especializado não são sinônimos

Um modelo de linguagem pequeno tem uma pegada total relativamente modesta em parâmetros e memória. Um modelo especializado é treinado ou ajustado para um domínio restrito, qualquer que seja seu tamanho. Um modelo esparso contém muitos parâmetros, mas ativa apenas alguns deles para uma determinada entrada.

Essa última categoria inclui modelos de mistura de especialistas. Eles podem ter uma grande contagem total de parâmetros enquanto usam um subconjunto ativo menor para cada token. A computação pode parecer um modelo menor e denso, mas todos os especialistas ainda precisam ser armazenados e distribuídos, para que a memória e a comunicação não desapareçam.

Quando um provedor promove um modelo “pequeno” ou “eficiente”, solicite parâmetros totais e ativos, requisitos de hardware, tokens por segundo, limite de energia e qualidade da tarefa. Nenhum rótulo responde a todas essas perguntas.

Distinga também um arquivo de modelo para download da memória necessária enquanto ele é executado. O contexto de trabalho, os caches e os processos de aplicação podem tornar a implantação maior do que os pesos por si só sugerem.

Como escolher um com responsabilidade

Crie um conjunto de avaliação representativo, incluindo exemplos difíceis e sensíveis à segurança. Teste o menor candidato, registre o sucesso, a latência e a energia estimada ou medida e compare o próximo modelo usando as mesmas condições. Inclui recuperação, chamadas de ferramentas, novas tentativas e correção humana.

Para organizações, monitore a distribuição após o lançamento. Um roteador que envia a maior parte do tráfego de rotina para um modelo pequeno e exceções genuínas para um modelo maior pode preservar a qualidade sem padronizar cada solicitação para a computação máxima. Um guia prático para IA sustentável abrange a medição e a governança em torno desse padrão.

Treechat usa modelos menores para questões cotidianas e oferece maior capacidade quando necessário. Seu recebimento por resposta estima a energia operacional do uso do modelo e do token, adiciona uma sobrecarga publicada ao data center e aplica um fator de rede declarado. Não é uma medição direta de hardware. Os fatores e limitações atuais estão em /methodology.

Modelos de linguagem pequenos são importantes porque grande parte do trabalho linguístico cotidiano não requer o maior sistema disponível. Utilizados dentro dos seus limites, podem tornar a IA mais rápida, mais barata e menos intensiva em energia. Usado como rótulo de marketing sem testes ou medições, “pequeno” diz muito pouco.