Por que a IA usa tanta energia?

A IA utiliza energia substancial porque a produção de uma resposta requer muitas operações numéricas em chips especializados, movendo repetidamente os dados do modelo através da memória e, em seguida, apoiando esse hardware com rede, conversão de energia e resfriamento. Modelos grandes, prompts longos e saídas longas geralmente exigem mais trabalho. O treinamento acrescenta um custo de energia separado e concentrado; atender milhões de solicitações posteriores adiciona uma solicitação contínua.

Nem todas as tarefas de IA são grandes. Um pequeno modelo de texto que responde a uma pergunta curta pode consumir uma fração de watt-hora de acordo com estimativas recentes. A preocupação é a combinação de modelos exigentes, uso crescente e instalações construídas com densidade de potência incomum. A Agência Internacional de Energia afirma que os servidores acelerados, impulsionados principalmente pela adopção da IA, são uma importante fonte de crescimento projectado da electricidade nos centros de dados nos seus países. Análise de energia e IA.

Uma resposta é uma cadeia de cálculos

Os modelos de linguagem armazenam relações numéricas aprendidas em parâmetros. Quando chega um prompt, os processadores combinam a entrada com esses parâmetros por meio de grandes operações matriciais. O modelo então prevê um token, adiciona-o ao contexto e repete o processo para o próximo token.

Esse loop token por token é o motivo pelo qual o comprimento da saída é importante. Pedir uma resposta concisa e pedir um livro não são a mesma coisa. A entrada também é importante: uma longa conversa ou documento carregado deve ser processado antes e durante a geração. Alguns sistemas de raciocínio também produzem tokens internos que o usuário nunca vê.

A eletricidade exata depende de mais do que apenas uma contagem de parâmetros. A arquitetura do modelo, a precisão numérica, o acesso à memória, os kernels de software e a geração do acelerador afetam a quantidade de trabalho útil entregue por watt.

O chip não “conhece” simplesmente o modelo sem trabalho físico. Parâmetros e valores intermediários precisam se mover entre memórias e processadores de alta largura de banda. A capacidade de memória e a largura de banda podem tornar-se restrições, especialmente para modelos grandes. Manter o hardware alimentado com dados custa energia, mesmo quando a aritmética em si é altamente otimizada.

Isso ajuda a explicar por que um modelo menor ou compactado pode ser eficiente. Se menos pesos precisarem ser lidos e menos operações executadas para cada token, a carga de trabalho poderá cair. Os modelos de mistura de especialistas também podem ativar apenas uma parte de seus parâmetros totais para um token, embora o design de roteamento e serviço ainda seja importante.

A questão prática é abordada em os pequenos modelos de IA usam menos energia?. O tamanho é um sinal importante, mas não é uma medida completa de potência.

O hardware de IA é denso em energia

Os aceleradores modernos são projetados para realizar um grande número de operações em paralelo. Um rack cheio deles pode consumir muito mais energia do que um rack de servidores convencionais. O treinamento e o atendimento também conectam muitos chips por meio de redes rápidas, que agregam sua própria demanda de eletricidade.

A IEA observa que os data centers focados em IA podem ter cargas muito grandes e geograficamente concentradas. Isto cria um problema de planeamento diferente da mesma quantidade de consumo espalhada por um país. As ligações à rede, as subestações e a geração têm de estar disponíveis no local e no momento certos.

EPRI's Potenciando cenários de inteligência reflectem a incerteza: a procura futura dos centros de dados nos EUA muda amplamente, dependendo dos pressupostos de desenvolvimento e utilização. As previsões de electricidade são, portanto, melhor interpretadas como caminhos condicionais e não como promessas.

A construção em torno dos chips também consome energia

Os servidores são apenas parte de um data center. O resfriamento remove o calor. Bombas e ventiladores movimentam ar ou líquido. Os sistemas de energia convertem eletricidade e fornecem backup. Armazenamento, processadores convencionais e equipamentos de rede coordenam a carga de trabalho.

Os analistas costumam resumir essa sobrecarga com a eficácia do uso de energia, ou PUE: eletricidade total da instalação dividida pela eletricidade usada pelos equipamentos de TI. Um PUE de 1 significaria nenhuma sobrecarga, o que as instalações reais não podem alcançar. Um PUE mais baixo é melhor, mas não indica quão eficiente é o modelo de IA em si.

Este limite é importante quando se compara o custo de energia de uma mensagem de IA. Uma estimativa apenas de chip e uma estimativa em nível de instalação podem diferir, mesmo que ambos os cálculos sejam internamente corretos.

O treinamento é grande; a inferência é implacável

O treinamento expõe um modelo a enormes conjuntos de dados e atualiza seus parâmetros em vários processadores. Ele pode durar dias ou mais, com experimentos e execuções de treinamento descartadas adicionando trabalho além da execução final bem-sucedida. Os totais públicos são raros e é difícil comparar os números principais do treinamento quando os limites de hardware, localização e contabilidade diferem.

A inferência é menor por tarefa, mas acontece sempre que alguém pergunta. Um modelo muito utilizado pode eventualmente consumir mais por inferência do que por treinamento; um modelo pouco usado pode não. Recursos que fazem múltiplas chamadas (pesquisa, agentes, análise de imagens ou autoverificação repetida) podem transformar uma ação visível em vários trabalhos de back-end.

É por isso que “um prompt” não é uma unidade técnica durável. O que o serviço faz após o prompt é pelo menos tão importante quanto as palavras digitadas antes dele.

IA mais eficiente ainda pode significar mais eletricidade

A eficiência da IA está melhorando através de melhores chips, quantização, dispersão, lotes e design de modelo. Luccioni, Jernite e Strubell's comparação de cargas de trabalho de inferência também mostra que a escolha de tarefas e modelos é importante: sistemas generativos de uso geral podem exigir substancialmente mais energia do que modelos específicos de tarefas para as tarefas avaliadas.

No entanto, uma resposta mais barata pode levar a mais respostas. A IA está sendo adicionada à pesquisa, software de escritório, codificação, suporte ao cliente e geração de mídia. A demanda total aumenta se o número de tarefas crescer mais rápido do que a energia por tarefa diminuir. É assim que a melhoria da eficiência e o aumento do consumo de electricidade podem ser verdadeiros.

O cenário base da AIE prevê que o consumo global de electricidade nos centros de dados aumente de cerca de 415 TWh em 2024 para cerca de 945 TWh em 2030. Atribui o crescimento à IA, bem como a outros serviços digitais, pelo que o total não deve ser rotulado apenas como IA.

O que usuários e serviços podem mudar

Ao nível do serviço, as principais alavancas são a escolha do modelo com menor capacidade, a melhoria da utilização, a limitação das chamadas desnecessárias de ferramentas, a utilização de hardware eficiente e a localização de trabalho flexível onde esteja disponível eletricidade com baixo teor de carbono. No nível do usuário, prompts concisos, limites de saída sensatos e o uso de software comum ao realizar o trabalho podem evitar cálculos desnecessários.

Treechat encaminha as perguntas do dia a dia para um modelo menor e estima a energia de cada resposta a partir do uso do modelo e do token. O recibo inclui uma provisão declarada para despesas gerais do data center; continua sendo uma estimativa porque os provedores não expõem um medidor para cada resposta. Nosso metodologia lista as suposições atuais.

A IA utiliza energia por razões físicas compreensíveis, não porque os estímulos sejam misteriosamente convertidos em poluição. A resposta útil é tornar o trabalho computacional visível, reduzi-lo sempre que possível e reservar sistemas maiores para trabalhos que realmente necessitem deles.