Die Energiekosten einer KI-Nachricht

Für einen normalen Textaustausch gehen die besten aktuellen öffentlichen Schätzungen von Energiekosten von etwa einem Bruchteil einer Wattstunde aus – kein fester Betrag für jede KI-Nachricht. OpenAI CEO Sam Altman hat einen Durchschnitt angegeben ChatGPT Abfrage verwendet ungefähr 0.34 Wattstunden, während Epoch AI unabhängig etwa schätzte 0.3 Wh für einen typischen GPT-4o Abfrage.

Diese Zahlen sind nützliche Anhaltspunkte und keine direkten Messungen Ihrer Botschaft. Ein zweizeiliges Umschreiben, eine lange Dokumentanalyse und eine Rechercheaufgabe unter Verwendung von Tools können alle wie eine einzige Sendeaktion aussehen, erfordern aber sehr unterschiedliche Rechenmengen. Modell, Eingabelänge, Ausgabelänge, versteckte Argumentation, Hardware und Rechenzentrums-Overhead wirken sich alle auf die Gesamtsumme aus.

„Eine Nachricht“ verbirgt mehrere Einheiten

Eine Nachricht hat eine Eingabe: Ihre neue Eingabeaufforderung, Systemanweisungen und oft auch eine vorherige Konversation. Es verfügt auch über eine Ausgabe, bei der jeweils ein Token generiert wird. Längere Eingaben erfordern mehr Verarbeitung; Längere Ausgaben sorgen dafür, dass das Modell für mehr Generierungsschritte funktioniert.

Die sichtbare Nachricht kann mehr als einen Modellaufruf auslösen. Web-Recherche kann Seiten durchsuchen, abrufen, synthetisieren und das Ergebnis überprüfen. Ein Agent könnte Code schreiben, einen Fehler untersuchen und es erneut versuchen. Bei der Bilderstellung kommt ein anderer Rechenprozess zum Einsatz als bei der Texterstellung. Ein Service-Durchschnitt vereint eine Mischung dieser Jobs, während ein Arbeitsvoranschlag normalerweise einen bestimmten Job beschreibt.

Bevor Sie eine Zahl pro Nachricht verwenden, fragen Sie, welche Art von Nachricht sie darstellt. Ohne diese Definition ist das Gerät praktisch, aber schwach.

Woher die Bruchteil-Wattstunden-Schätzung kommt

Altmans 0.34-Wh-Zahl ist eine Unternehmensaussage ohne veröffentlichte Berechnung. Der von Epoch angegebene Wert von etwa 0.3 Wh ist eine modellierte Schätzung mit Annahmen über GPT-4o, Hardware, Auslastung und eine typische Anzahl an Token. Die Einigung zwischen ihnen ist beruhigend, aber sie ist nicht dasselbe wie ein unabhängiger Zugriff darauf OpenAI s Leistungsmesser.

Epoch hat auch modelliert, wie ein längerer Kontext das Ergebnis verändert. Seine Beispiele steigen bei Eingaben von Zehntausenden von Token deutlich an. Das macht diese Beispiele nicht typisch; Es zeigt, warum eine universelle Konstante versagt.

Unsere ausführlichere Rezension von wie viel Energie a ChatGPT Abfrage verwendet erklärt die Annahmen und warum gewöhnlicher Text nicht als Proxy für jede KI-Funktion verwendet werden sollte.

Warum die alte 3-Wh-Schätzung ein schlechter Standardwert ist

Jahrelang wiederholten Artikel eine Schätzung von etwa 3 Wh pro Jahr ChatGPT Abfrage. Es beruhte auf Annahmen, die ältere Hardware betrafen, u. a GPT-3.5-scale Modell und eine sehr lange Leistung. Epochen Vergleich mit früheren Schätzungen argumentiert, dass diese Eingaben keinen typischen modernen Chat darstellen.

Die Lehre ist nicht, dass alle früheren Arbeiten dumm waren. Schätzungen müssen ein Modell, eine Hardwaregeneration und eine Anforderungsform auswählen, und diese Eingaben altern schnell. Der Fehler entsteht, wenn ein Szenario zu einer ewigen Tatsache wird.

Der umgekehrte Fehler besteht darin, den neueren niedrigen Durchschnitt als Beweis dafür zu betrachten, dass der gesamte KI-Einsatz vernachlässigbar ist. Die Gesamtnachfrage hängt auch von der Anzahl der Nachrichten und der Einführung intensiverer Funktionen ab.

Eine Wattstunde misst Energie. Es sagt Ihnen nichts darüber aus, welches Kraftwerk es geliefert hat oder welche Emissionen mit der Erzeugung verbunden sind. Die Umwandlung von Strom in Kohlenstoff erfordert eine Annahme der Kohlenstoffintensität im Netz, die an einen Ort und im Idealfall an eine Zeit gebunden ist. Unternehmensverträge für erneuerbare Energien fügen eine weitere Abrechnungsebene hinzu.

Wasser ist wieder anders. Einige Anlagen nutzen Wasser direkt zur Kühlung, während die Stromerzeugung einen indirekten Wasser-Fußabdruck verursachen kann. Kühldesign, Klima und Netzmix spielen eine Rolle. Es ist irreführend, jeder KI-Nachricht eine universelle Wassermenge hinzuzufügen, und zwar aus demselben Grund, aus dem eine universelle Energiezahl fehlschlägt.

Der CO2-Fußabdruck von KI erklärt trennt den Betriebsstrom von den in Chips und Gebäuden enthaltenen Emissionen, die normalerweise außerhalb einer Inferenzschätzung pro Nachricht liegen.

Kleinere Modelle können die Kosten verändern

Bei gleicher Tokenanzahl und vergleichbaren Bereitstellungsbedingungen führt ein kleineres Modell im Allgemeinen weniger Berechnungen durch als ein großes, dichtes Modell. Quantisierung, Mixed-of-Expert-Architekturen und neuere Chips können den Aufwand weiter reduzieren. Durch effizientes Batching kann die Infrastruktur über mehrere Anfragen hinweg gemeinsam genutzt werden.

Aber nützliche Ergebnisse sind wichtig. Wenn ein kleines Modell ausfällt und der Benutzer die Eingabeaufforderung viermal wiederholt, bevor er zu einem größeren Modell wechselt, minimiert die nominell effiziente Wahl möglicherweise nicht die gesamte Aufgabe. Ein schmales Spezialmodell kann sowohl kleiner als auch besser für die vorgesehene Aufgabe sein; Eine schwierige Argumentationsaufgabe kann ein größeres System rechtfertigen.

Deshalb Energieverbrauch kleiner Modelle sollte neben der Aufgabenanpassung berücksichtigt werden und nicht als Regel verwendet werden, dass immer die kleinste Option gewinnt.

Was normalerweise weggelassen wird

Die meisten Nachrichtenschätzungen beziehen sich auf den Schlussfolgerungsstrom und manchmal auch auf den Overhead des Rechenzentrums. Sie lassen in der Regel Schulungen, Modellentwicklungsexperimente, Chipherstellung, den Bau von Rechenzentren, Netzwerkgeräte außerhalb der Anlage und das Gerät des Benutzers außer Acht. Sie können auch auf ungenutzte Kapazitäten verzichten, die für Spitzenbedarf bereitgehalten werden.

Es gibt keine einheitliche verbindliche Grenze für jede Frage. Die operative Energie ist angemessen, wenn man zwei Möglichkeiten vergleicht, einer Reaktion zu dienen. Bei der Bewertung eines Unternehmens oder Modells im Zeitverlauf ist die Auswirkung auf den Lebenszyklus besser geeignet. Entscheidend ist, die Grenze zu benennen und nicht eine enge Schätzung als vollständigen Fußabdruck darzustellen.

Auf Systemebene die IEA Stromaussichten für Rechenzentren umfasst die Infrastrukturnachfrage und prognostiziert ein starkes Wachstum, wobei KI ein wichtiger Treiber ist. Es bietet keine universelle Nachrichtenkonvertierung.

Wie Treechat berechnet seinen Erhalt

Treechat schätzt jede Antwort, anstatt sie zu messen. Die Berechnung verwendet das ausgewählte Modell sowie die Anzahl der Eingabe- und Ausgabe-Tokens und fügt dann einen veröffentlichten Overhead-Faktor für das Rechenzentrum hinzu. Es wandelt diese Energie in geschätzte Emissionen mit einer angegebenen durchschnittlichen Netzannahme um. Die Konstanten, der Rundungsansatz und bekannte Auslassungen liegen bei uns Seite zur Methodik.

Diese Quittung lässt sich am besten vergleichend lesen: Eine kürzere Antwort eines kleineren Modells sollte normalerweise weniger geschätzte Betriebsenergie anzeigen als eine lange Antwort eines größeren Modells. Es ist nicht präzise genug, um die gesamten Auswirkungen auf den gesamten Lebenszyklus zu zertifizieren.

Nach jüngsten öffentlichen Schätzungen liegen die Energiekosten einer gewöhnlichen KI-Textnachricht also plausibel bei etwa einem Bruchteil einer Wattstunde. Für eine bestimmte Nachricht ist die ehrliche Antwort ein modellierter Bereich, der davon abhängt, was das System tatsächlich getan hat, nachdem Sie auf „Senden“ geklickt haben.