Formation IA vs émissions d'inférence

Les émissions de formation de l’IA proviennent du calcul concentré utilisé pour créer ou mettre à jour substantiellement un modèle. Les émissions d’inférence proviennent de l’exploitation de ce modèle chaque fois que quelqu’un demande une réponse, une prédiction ou une image. La formation peut être une tâche ponctuelle très importante ; l’inférence est plus petite par tâche mais se répète tout au long de la durée de déploiement du modèle.

La part la plus importante n’est pas non plus toujours la même. Un modèle populaire servant un trafic énorme peut accumuler plus d’émissions d’inférence que la formation. Un modèle coûteux et peu utilisé risque de rester dominé par la formation. Le résultat dépend également de l’efficacité du matériel, de la durée des tâches, des frais généraux du centre de données et de l’intensité carbone de l’électricité. Toute affirmation universelle telle que « la formation représente 90% des émissions de l’IA » doit être traitée avec prudence à moins que son modèle, sa période temporelle et ses limites comptables ne soient joints.

Que se passe-t-il pendant l'entraînement

La formation alimente les données via un modèle, compare ses résultats avec un objectif d'apprentissage et met à jour les paramètres. Ce cycle est répété sur de nombreux lots sur des clusters d'accélérateurs. Les grandes séries utilisent également un réseau, un stockage et un refroidissement à haut débit.

La formation finale ne représente pas nécessairement l’empreinte complète du développement. Les équipes testent les architectures, ajustent les paramètres, préparent les données et abandonnent parfois les exécutions. Les réglages fins et les mises à jour ultérieures du modèle ajoutent davantage de calculs. Les rapports publics peuvent inclure uniquement l'exécution réussie, un programme de recherche plus large ou rien de spécifique au modèle.

Le carbone dépend alors du lieu et du moment où ce travail a lieu. Un entraînement mesuré en mégawattheures ne peut pas être converti en émissions sans une hypothèse d’approvisionnement en électricité.

Que se passe-t-il pendant l'inférence

L'inférence utilise les paramètres entraînés sans les mettre à jour. Pour un modèle de langage, le service traite l'invite et prédit les jetons de sortie un par un. Un contexte et des résultats plus longs nécessitent généralement plus de travail. Les fonctionnalités de raisonnement, de recherche et d'agent peuvent déclencher des jetons cachés ou plusieurs appels.

Servir comporte également des complications opérationnelles. Le matériel peut attendre le trafic, les requêtes peuvent être regroupées et les modèles peuvent être répartis entre accélérateurs. Un serveur très utilisé peut répartir la surcharge fixe sur plus de réponses qu'un serveur peu utilisé. Le refroidissement, la mise en réseau et la conversion d'énergie augmentent la demande en matière d'installations.

Luccioni, Jernite et Strubell comparaison d'inférence ont trouvé des variations substantielles entre les tâches et les types de modèles, renforçant le fait qu’« une inférence » n’est pas une unité énergétique standard.

L'utilisation à vie décide de l'équilibre

Imaginez l’entraînement comme un équilibre initial et l’inférence comme un compteur qui augmente à chaque utilisation. Le moment auquel l’inférence dépasse la formation dépend de l’empreinte de formation initiale divisée par l’énergie opérationnelle par demande. Les deux chiffres sont incertains et le volume des requêtes à vie est inconnaissable au lancement.

Cela rend fragile l’allocation de formation par message. Divisez par le trafic prévu sur la durée de vie et l'empreinte allouée change lorsque l'adoption diffère des prévisions ou que le modèle est retiré prématurément. Cela peut être utile pour l'analyse de scénarios, mais cela ne doit pas être décrit comme de l'électricité consommée lorsqu'un utilisateur particulier a appuyé sur envoyer.

Notre guide pour combien de CO2 l'IA produit maintient cette vue du cycle de vie allouée distincte d'une estimation de la réponse opérationnelle.

La distillation entraîne un modèle plus petit pour reproduire le comportement utile d'un modèle plus grand. Cela ajoute du calcul de développement mais peut réduire l'énergie dans de nombreuses inférences futures. La quantification ou l'élagage peuvent également nécessiter une préparation tout en réduisant les coûts de service. La rentabilité du commerce dépend de l’échelle.

À l’inverse, former un modèle général très performant peut éviter d’en former de nombreux modèles restreints, mais le servir pour des tâches simples peut s’avérer inutile. Le routage des requêtes courantes vers un modèle plus petit et la réservation du grand système pour les travaux difficiles peuvent réduire la demande continue.

Les petits modèles d’IA consomment-ils moins d’énergie ? examine pourquoi la réponse est généralement oui pour une tâche comparable, alors que la capacité et les tentatives font toujours partie du total.

La comptabilité carbone change des deux côtés

Deux parcours de formation à énergie égale peuvent avoir des émissions différentes sur des réseaux différents. L’inférence peut être géographiquement répartie, de sorte que son intensité carbone peut varier selon les régions et les heures. Les contrats d’énergie renouvelable peuvent modifier les rapports des entreprises basés sur le marché sans modifier à chaque instant le mix physique du réseau.

Les émissions intrinsèques compliquent encore davantage la répartition. La fabrication d'un cluster de formation doit-elle être affectée à la formation, même si le matériel sert ultérieurement à l'inférence ? Comment un bâtiment de centre de données partagé doit-il être réparti entre les charges de travail IA et conventionnelles ? Il n’y a pas de réponse sans contexte.

Le Empreinte carbone de l'IA est donc plus large que la formation plus l’électricité d’inférence. Les puces, les bâtiments et les chaînes d'approvisionnement doivent apparaître quelque part dans une évaluation complète du cycle de vie.

Pourquoi les prévisions système les séparent rarement clairement

Les planificateurs de réseau voient la demande en matière d’installations. Un centre de données peut entraîner un modèle tout en en servant plusieurs autres et en exécutant des charges de travail cloud non IA. Les annonces publiques de capacité ne révèlent pas toujours l’utilisation ou la répartition des charges de travail.

L'Agence internationale de l'énergie estime que les centres de données mondiaux ont utilisé environ 415 TWh en 2024 et prévoit environ 945 TWh en 2030 dans son scénario de base. Il identifie les serveurs accélérés, principalement pilotés par l’IA, comme une source majeure de croissance. Ces chiffres contiennent des services de formation, d’inférence et non liés à l’IA plutôt qu’une répartition nette.

Cette vue combinée convient à la planification électrique. Il ne peut pas indiquer à un utilisateur quelle part d'une réponse appartient à une session de formation précédente.

Sur quelles émissions faut-il se concentrer ?

Les développeurs de modèles doivent divulguer l’énergie, l’emplacement, le matériel et la portée de la formation ; améliorer l'efficacité de la formation ; et évitez les doublons inutiles. Les opérateurs de services devraient suivre l’inférence, utiliser des modèles de taille appropriée, accroître l’utilisation, réduire les jetons inutiles et obtenir une électricité à faible émission de carbone. Les émissions du matériel et de la construction nécessitent leurs propres plans de réduction.

Les utilisateurs ont plus d'influence sur l'inférence : choisir un modèle approprié, limiter les sorties inutiles et éviter les générations répétées. Ils ne peuvent pas modifier rétroactivement le déroulement de la formation, mais la demande peut influencer les systèmes déployés par les fournisseurs.

Treechat Le reçu par réponse de estime l’inférence opérationnelle plutôt que d’attribuer une formation historique ou des émissions intrinsèques. Il utilise un nombre de modèles et de jetons avec des hypothèses publiées sur les centres de données et les grilles. Cette frontière plus étroite est explicite sur notre page méthodologie.

La formation contre l'inférence n'est pas un concours avec un gagnant permanent. Déclarez séparément la phase initiale concentrée, la phase opérationnelle cumulative et le cycle de vie plus large. Les décisions peuvent alors cibler les émissions qu’elles peuvent réellement modifier.