Treinamento de IA versus emissões de inferência

As emissões de treinamento em IA provêm da computação concentrada usada para criar ou atualizar substancialmente um modelo. As emissões de inferência vêm da operação desse modelo cada vez que alguém solicita uma resposta, previsão ou imagem. O treinamento pode ser uma tarefa única e muito grande; a inferência é menor por tarefa, mas se repete ao longo da vida útil implantada do modelo.

Nem sempre é a parcela maior. Um modelo popular que atende a um tráfego enorme pode acumular mais emissões de inferência do que treinamento. Um modelo dispendioso e pouco utilizado pode continuar dominado pela formação. O resultado também depende da eficiência do hardware, da duração da tarefa, da sobrecarga do data center e da intensidade de carbono da eletricidade. Qualquer afirmação universal como “a formação representa 90% das emissões da IA” deve ser tratada com cautela, a menos que o seu modelo, período de tempo e limite contabilístico sejam anexados.

O que acontece durante o treinamento

O treinamento alimenta dados por meio de um modelo, compara seus resultados com um objetivo de aprendizagem e atualiza parâmetros. Esse ciclo é repetido em muitos lotes em clusters de aceleradores. Grandes execuções também usam rede, armazenamento e refrigeração de alta velocidade.

A execução final do treinamento não representa necessariamente a pegada de desenvolvimento completa. As equipes testam arquiteturas, ajustam configurações, preparam dados e às vezes abandonam execuções. O ajuste fino e as atualizações posteriores do modelo adicionam mais computação. Os relatórios públicos podem incluir apenas a execução bem-sucedida, um programa de pesquisa mais amplo ou nada específico do modelo.

O carbono depende então de onde e quando esse trabalho ocorre. Uma corrida de treino medida em megawatts-hora não pode ser convertida em emissões sem uma suposição de fornecimento de electricidade.

O que acontece durante a inferência

A inferência usa os parâmetros treinados sem atualizá-los. Para um modelo de linguagem, o serviço processa o prompt e prevê os tokens de saída um por um. Contexto e resultados mais longos geralmente exigem mais trabalho. Recursos de raciocínio, pesquisa e agente podem acionar tokens ocultos ou diversas chamadas.

Servir também traz complicações operacionais. O hardware pode esperar pelo tráfego, as solicitações podem ser agrupadas e os modelos podem ser divididos entre aceleradores. Um servidor muito utilizado pode espalhar sobrecarga fixa por mais respostas do que um servidor pouco usado. O resfriamento, a rede e a conversão de energia aumentam a demanda das instalações.

Luccioni, Jernite e Strubell's comparação de inferência encontraram variação substancial entre tarefas e tipos de modelos, reforçando que “uma inferência” não é uma unidade de energia padrão.

O uso vitalício decide o equilíbrio

Imagine o treinamento como um equilíbrio inicial e a inferência como um medidor que aumenta a cada uso. O ponto em que a inferência ultrapassa o treinamento depende da pegada inicial do treinamento dividida pela energia operacional por solicitação. Ambos os números são incertos e o volume de solicitações vitalícias é desconhecido no lançamento.

Isso torna frágil a alocação de treinamento por mensagem. Divida pelo tráfego vitalício previsto e pela área ocupada alocada muda quando a adoção difere da previsão ou o modelo é desativado antecipadamente. Pode ser útil para análise de cenários, mas não deve ser descrito como eletricidade consumida quando um determinado usuário pressionou enviar.

Nosso guia para quanto CO2 AI produz mantém esta visão do ciclo de vida alocada separada de uma estimativa de resposta operacional.

A destilação treina um modelo menor para reproduzir o comportamento útil de um modelo maior. Isso adiciona computação de desenvolvimento, mas pode reduzir a energia em muitas inferências futuras. A quantização ou poda também pode exigir preparação, ao mesmo tempo que reduz os custos de serviço. Se o comércio compensa depende da escala.

Por outro lado, treinar um modelo geral altamente capaz pode evitar o treinamento de muitos modelos restritos, mas servi-lo para tarefas simples pode ser um desperdício. Encaminhar solicitações comuns para um modelo menor e reservar o sistema grande para trabalhos difíceis pode reduzir a demanda contínua.

Os pequenos modelos de IA usam menos energia? examina por que a resposta geralmente é sim para tarefas comparáveis, enquanto a capacidade e as novas tentativas ainda pertencem ao total.

A contabilização do carbono muda ambos os lados

Duas corridas de treinamento com energia igual podem ter emissões diferentes em redes diferentes. A inferência pode ser distribuída geograficamente, portanto a sua intensidade de carbono pode variar entre regiões e horas. Os contratos de energias renováveis ​​podem alterar os relatórios das empresas com base no mercado sem alterar a combinação da rede física a cada momento.

As emissões incorporadas complicam ainda mais a divisão. A fabricação de um cluster de treinamento deve ser atribuída ao treinamento, mesmo que o hardware posteriormente sirva para inferência? Como um edifício de data center compartilhado deve ser alocado entre cargas de trabalho convencionais e de IA? Não há resposta livre de contexto.

O Pegada de carbono da IA é, portanto, mais amplo do que treinamento mais eletricidade de inferência. Chips, edifícios e cadeias de abastecimento devem aparecer em algum lugar de uma avaliação completa do ciclo de vida.

Por que as previsões do sistema raramente os separam de forma clara

Os planejadores da rede veem a demanda das instalações. Um data center pode treinar um modelo enquanto atende vários outros e executa cargas de trabalho em nuvem que não sejam de IA. Os anúncios públicos de capacidade nem sempre revelam a utilização ou a combinação da carga de trabalho.

A Agência Internacional de Energia estima que os data centers globais usaram cerca de 415 TWh em 2024 e projeta cerca de 945 TWh em 2030 no seu caso base. Identifica servidores acelerados, impulsionados principalmente pela IA, como uma importante fonte de crescimento. Esses números contêm treinamento, inferência e serviços não relacionados à IA, em vez de uma divisão clara.

Essa visão combinada é adequada para o planejamento elétrico. Ele não pode dizer ao usuário quanto de uma resposta pertence a uma execução de treinamento anterior.

Em quais emissões você deve se concentrar?

Os desenvolvedores de modelos devem divulgar a energia do treinamento, localização, hardware e escopo de desenvolvimento; melhorar a eficiência do treinamento; e evite execuções duplicadas desnecessárias. Os operadores de serviços devem acompanhar a inferência, utilizar modelos de tamanho adequado, aumentar a utilização, reduzir fichas desnecessárias e obter eletricidade com baixo teor de carbono. As emissões de hardware e construção precisam dos seus próprios planos de redução.

Os usuários têm mais influência sobre a inferência: escolhendo um modelo adequado, limitando resultados desnecessários e evitando gerações repetidas. Eles não podem alterar retroativamente a execução do treinamento, mas a demanda pode influenciar quais fornecedores de sistemas implantarão.

Treechat O recebimento por resposta de s estima a inferência operacional em vez de alocar treinamento histórico ou emissões incorporadas. Ele usa contagens de modelos e tokens com pressupostos publicados de data center e grade. Essa fronteira mais estreita é explícita em nosso página de metodologia.

Treinamento versus inferência não é uma competição com um vencedor permanente. Relate separadamente a fase inicial concentrada, a fase operacional acumulativa e o ciclo de vida mais amplo. Então as decisões podem visar as emissões que podem realmente alterar.