تكلفة الطاقة لرسالة واحدة من الذكاء الاصطناعي

بالنسبة لتبادل الرسائل النصية العادية، تشير أفضل التقديرات العامة الحديثة إلى تكلفة طاقة تبلغ جزءًا صغيرًا تقريبًا من واط ساعة - وليس مبلغًا ثابتًا لكل رسالة من رسائل الذكاء الاصطناعي. OpenAI صرح الرئيس التنفيذي سام التمان بالمتوسط ChatGPT يستخدم الاستعلام حول 0.34 واط/ساعة، في حين قدرت Epoch AI بشكل مستقل حوالي 0.3 واط للنموذجي GPT-4o الاستعلام.

هذه الأرقام هي نقاط مرجعية مفيدة، وليست قياسات مباشرة لرسالتك. قد تبدو عملية إعادة الكتابة المكونة من سطرين، وتحليل المستندات الطويلة، ومهمة البحث باستخدام الأداة وكأنها إجراء إرسال واحد بينما تتطلب كميات مختلفة جدًا من الحوسبة. يؤثر النموذج وطول الإدخال وطول الإخراج والمنطق المخفي والأجهزة ونفقات مركز البيانات على الإجمالي.

"رسالة واحدة" تخفي عدة وحدات

تحتوي الرسالة على مدخلات: المطالبة الجديدة وتعليمات النظام والمحادثة السابقة غالبًا. كما أن لديها مخرجات، يتم إنشاء رمز مميز واحد في كل مرة. تحتاج المدخلات الأطول إلى مزيد من المعالجة؛ تحافظ المخرجات الأطول على عمل النموذج لمزيد من خطوات التوليد.

قد تؤدي الرسالة المرئية إلى تشغيل أكثر من استدعاء نموذج واحد. يمكن لأبحاث الويب البحث واسترجاع الصفحات وتوليفها والتحقق من النتيجة. قد يكتب الوكيل تعليمات برمجية ويفحص الخطأ ويحاول مرة أخرى. يستخدم إنشاء الصور عملية حسابية مختلفة عن النص. ويمزج متوسط ​​الخدمة بين مزيج من هذه الوظائف، في حين أن التقدير العملي عادة ما يصف وظيفة معينة.

قبل استخدام رقم لكل رسالة، اسأل عن نوع الرسالة التي يمثلها. وبدون هذا التعريف، تكون الوحدة مريحة ولكنها ضعيفة.

من أين يأتي تقدير جزء من واط ساعة

رقم Altman 0.34 Wh هو بيان شركة بدون حسابات منشورة. إن رقم Epoch البالغ 0.3 واط في الساعة تقريبًا هو تقدير نموذجي مع افتراضات حول GPT-4o والأجهزة والاستخدام والعدد النموذجي من الرموز المميزة. الاتفاق بينهما أمر مطمئن، لكنه ليس مثل الوصول المستقل OpenAI عدادات الطاقة.

صممت Epoch أيضًا المدة التي يغير فيها السياق النتيجة. ترتفع أمثلتها بشكل ملحوظ بالنسبة لمدخلات عشرات الآلاف من الرموز المميزة. وهذا لا يجعل تلك الأمثلة نموذجية؛ فهو يوضح سبب فشل الثابت العالمي.

مراجعتنا الأعمق لـ كم من الطاقة أ ChatGPT استخدامات الاستعلام يشرح الافتراضات ولماذا لا ينبغي استخدام النص العادي كبديل لكل ميزة من ميزات الذكاء الاصطناعي.

لماذا يعد تقدير 3 وات القديم تقديرًا افتراضيًا ضعيفًا؟

لسنوات، كررت المقالات تقديرًا بحوالي 3 واط في الساعة ChatGPT الاستعلام. لقد جاء من الافتراضات المتعلقة بالأجهزة القديمة، أ GPT-3.5-scale نموذج وانتاج طويل جدا. العصر مقارنة مع التقديرات السابقة يجادل بأن هذه المدخلات لا تمثل محادثة حديثة نموذجية.

الدرس المستفاد ليس أن كل الأعمال السابقة كانت حمقاء. يجب أن تختار التقديرات النموذج، وتوليد الأجهزة، وشكل الطلب، وتتقادم هذه المدخلات بسرعة. ويأتي الخطأ عندما يصبح السيناريو حقيقة أبدية.

الخطأ العكسي هو التعامل مع المتوسط المنخفض الأحدث كدليل على أن جميع استخدامات الذكاء الاصطناعي لا تذكر. يعتمد إجمالي الطلب أيضًا على عدد الرسائل ووصول ميزات أكثر كثافة.

واط ساعة يقيس الطاقة. ولا يخبرك بمحطة توليد الطاقة التي زودتها بها أو الانبعاثات المرتبطة بالتوليد. يتطلب تحويل الكهرباء إلى كربون افتراضًا لكثافة الكربون في الشبكة مرتبطًا بالموقع، ومن الناحية المثالية، بالوقت. تضيف عقود الطاقة المتجددة للشركة طبقة محاسبية أخرى.

الماء مختلف مرة أخرى. تستخدم بعض المرافق المياه مباشرة للتبريد، في حين يمكن أن يكون لتوليد الكهرباء بصمة مائية غير مباشرة. تصميم التبريد والمناخ والشبكة مزيج من كل شيء. من المضلل إرفاق كمية مياه عالمية واحدة بكل رسالة من رسائل الذكاء الاصطناعي لنفس سبب فشل رقم الطاقة العالمي.

شرح البصمة الكربونية للذكاء الاصطناعي يفصل الكهرباء التشغيلية عن الانبعاثات المضمنة في الرقائق والمباني، والتي عادة ما تكون خارج تقدير الاستدلال لكل رسالة.

نماذج أصغر يمكن أن تغير التكلفة

بالنسبة لنفس أعداد الرموز المميزة وظروف التقديم القابلة للمقارنة، يقوم النموذج الأصغر عمومًا بإجراء عمليات حسابية أقل من النموذج الكبير الكثيف. يمكن أن يؤدي القياس الكمي والهندسة المعمارية المختلطة للخبراء والرقائق الأحدث إلى تقليل العمل بشكل أكبر. يمكن للتجميع الفعال مشاركة البنية التحتية عبر عدة طلبات.

لكن المخرجات المفيدة مهمة. إذا فشل نموذج صغير وكرر المستخدم المطالبة أربع مرات قبل التبديل إلى نموذج أكبر، فقد لا يؤدي الاختيار الفعال اسميًا إلى تقليل المهمة بأكملها. يمكن أن يكون النموذج المتخصص الضيق أصغر حجمًا وأفضل للوظيفة المقصودة منه؛ مهمة التفكير الصعبة قد تبرر نظامًا أكبر.

هذا هو السبب استخدام الطاقة نموذج صغير يجب أن يتم اعتبارها جنبًا إلى جنب مع ملاءمة المهمة، ولا يتم استخدامها كقاعدة مفادها أن الخيار الأصغر هو الذي يفوز دائمًا.

ما يترك عادة

تغطي معظم تقديرات الرسائل كهرباء الاستدلال وأحيانًا النفقات العامة لمركز البيانات. وعادةً ما يتجاهلون التدريب، وتجارب تطوير النماذج، وتصنيع الرقائق، وبناء مراكز البيانات، ومعدات الشبكات خارج المنشأة، وجهاز المستخدم. وقد يحذفون أيضًا القدرة الخاملة التي تبقى جاهزة لذروة الطلب.

لا يوجد حد إلزامي واحد لكل سؤال. تعتبر الطاقة التشغيلية مناسبة عند مقارنة طريقتين لخدمة الاستجابة. يعد تأثير دورة الحياة أكثر ملاءمة عند تقييم شركة أو نموذج مع مرور الوقت. ما يهم هو تسمية الحدود وعدم تقديم تقدير ضيق كمساحة كاملة.

على نطاق النظام، وكالة الطاقة الدولية توقعات الكهرباء لمركز البيانات يتضمن الطلب على البنية التحتية ويتوقع نموًا قويًا، حيث يكون الذكاء الاصطناعي محركًا رئيسيًا. لا يوفر تحويل رسالة عالمية.

كيف Treechat يحسب استلامها

Treechat تقديرات بدلا من قياس كل إجابة. تستخدم عملية الحساب النموذج المحدد، وعدد الرموز المميزة للإدخال والإخراج، ثم تضيف عامل النفقات العامة المنشور لمركز البيانات. فهو يحول تلك الطاقة إلى انبعاثات مقدرة مع افتراض متوسط ​​الشبكة المحدد. الثوابت ونهج التقريب والإغفالات المعروفة موجودة لدينا صفحة المنهجية.

من الأفضل قراءة هذا الإيصال نسبيًا: فالاستجابة الأقصر من نموذج أصغر يجب أن تُظهر عادةً طاقة تشغيلية تقديرية أقل من الاستجابة الطويلة من نموذج أكبر. إنها ليست دقيقة بما يكفي لتأكيد التأثير الكامل لدورة الحياة لأي منهما.

لذا فإن تكلفة الطاقة لرسالة نصية عادية تعمل بالذكاء الاصطناعي تبلغ حوالي جزء صغير من واط ساعة وفقًا للتقديرات العامة الأخيرة. بالنسبة لرسالة معينة، تكون الإجابة الصادقة عبارة عن نطاق نموذجي يتشكل وفقًا لما فعله النظام بالفعل بعد الضغط على إرسال.