في منتدى Fellows Forum يوم 23 سبتمبر، قدّر بوريس باور، رئيس الأبحاث التطبيقية في OpenAI، أن 80–90% من أبحاث الشركة تركز على «GPT-7 وGPT-8 وما بعدهما». وطرح هذا التقدير وهو يشرح كيف توازن OpenAI بين العمل على المنتجات الحالية والبحث في نماذج أكثر قدرة. وهذا تقديره في حوار عام؛ ولم تنشر OpenAI توزيعًا لموارد الأبحاث يمكن التحقق منه.

التغيير الأبرز

  • ما الذي تغيّر: وصف باور مسارين مترابطين: تحسين النماذج التي يستخدمها الناس الآن، وإجراء أبحاث تستهدف أجيالًا لاحقة. وقدّر أن المسار الثاني يستحوذ على معظم أبحاث OpenAI.
  • لماذا يهم ذلك: يمكن لنموذج كبير أقوى أن يوفر أمثلة تدريبية لنموذج أصغر وأقل تكلفة يؤدي مهمة محددة. وهذا سبب يدفع المطورين إلى متابعة أبحاث النماذج المتقدمة حتى عندما يعتمدون على نماذج أصغر في منتجاتهم.
  • ما الذي ينبغي متابعته: قد تكشف إصدارات النماذج المستقبلية والإفصاحات التقنية ما إذا كانت التطورات في النماذج الكبيرة تنتقل إلى النماذج الأصغر. ولم يتضمن الحوار مواعيد إصدار GPT-7 أو GPT-8 أو مواصفاتهما أو نتائج لهما.

السياق الذي طرح فيه التقدير

كان باور يجيب عن سؤال من زاكاري ليبتون حول كيفية انتقال طلبات العملاء إلى الأبحاث. وقال إن OpenAI تستطيع تحسين سلوك معين، مثل استخدام الأدوات، ببيانات تدريب متخصصة وأبحاث تطبيقية. ووفقًا لشرحه، تعالج التحديثات التدريجية ضمن جيل النموذج احتياجات كهذه غالبًا. أما الجيل الجديد من النماذج الأكبر، فيمكنه، بحسب رأيه، تغيير طبيعة الإصلاحات المتخصصة التي تظل ضرورية. ووصف بعض الاستثمارات الحالية بأنها وسيلة للتعلم والتحسن بوتيرة أسرع اليوم، حتى إن لم تكن استراتيجية طويلة الأجل.

وأدى هذا التمييز إلى ملاحظة نسبة 80–90% عند الدقيقة 1:32:52 من تسجيل منتدى Fellows Forum. وكان باور يتحدث عن الأبحاث في OpenAI، لا عن أبحاث فريقه وحده. ولا يقدم التسجيل ولا المواد المنشورة من OpenAI تعريفًا للأبحاث التي يشملها العد، أو فترة زمنية، أو ميزانية، أو عدد موظفين، أو منهجية للوصول إلى التقدير. لذا ينبغي فهم الرقم على أنه وصف باور للأولويات، لا مقياس مدقق للإنفاق أو التوظيف في الشركة.

وذكر باور GPT-7 وGPT-8 مثالين على الأجيال اللاحقة. ولم يعلن عن أي من النموذجين، أو يكشف عن محطة تطوير، أو يحدد موعدًا للإصدار. ويعرض دليل نماذج OpenAI الحالي نماذج GPT-6 Astra وSol وLuna؛ وهو يوفر سياقًا عامًا للأسماء التي استخدمها باور، لكنه لا يقدم دليلًا على وضع الأجيال اللاحقة.

لماذا تحدث عن التقطير

بعد التقدير مباشرة، وصف باور نموذج GPT-6 Astra كبيرًا يعلّم نموذج GPT Luna أصغر. وكانت فكرته أن النموذج الكبير القوي يستطيع توفير أمثلة لتدريب نموذج أصغر. وقد كان يشرح نهجًا بحثيًا، لا يوثق أن نموذج Luna محددًا ومتاحًا للجمهور دُرّب فعلًا على Astra.

دليل الضبط الدقيق الخاضع للإشراف من OpenAI يشرح الآلية: يتحقق المطور أولًا من أداء نموذج أكبر جيدًا في مهمة محددة، ثم يحتفظ بالمخرجات المناسبة ويستخدمها أمثلة تدريبية لنموذج أصغر، ويقيّم النموذج الأصغر في المهمة نفسها. وتقول OpenAI إن ذلك قد يقرّب أداء النموذج الأصغر من أداء النموذج الأكبر في مهمة محددة. ولا يعني ذلك أن النموذج الأصغر يرث جميع قدرات النموذج الذي درّبه. كما يصف إعلان OpenAI عن تقطير النماذج العملية التكرارية للتقييم وحفظ المخرجات والضبط الدقيق.

للفكرة تاريخ أطول. ففي ورقة بحثية صدرت عام 2015، درس جيفري هينتون وأوريول فينيالس وجيف دين نقل المعرفة من أنظمة أكبر إلى نموذج أسهل في النشر. وتشرح تلك الدراسة مفهوم المعلّم والمتعلّم؛ لكنها لا تتناول توزيع أبحاث OpenAI الحالية.

وهذا يوضح الصلة التي رسمها باور بين الأبحاث المتقدمة والنماذج العملية. فالمعلّم الأكثر قدرة يستطيع إنتاج مواد تدريب مفيدة لأنظمة متخصصة وأقل تكلفة. ويتوقف نجاح ذلك على المهمة والأمثلة المختارة والتقييم. ولم يقدم باور نتائج تقطير أو قياسات مقارنة لمثالي Astra وLuna.

ويكشف تقدير باور عن رأيه في المجالات التي تتوقع OpenAI أن تحقق أكبر قيمة بحثية. ويثبت الدليل العلني أنه أدلى بهذا التصريح وأن التقنية العامة التي أشار إليها معروفة. لكنه لا يثبت كيفية توزيع موارد OpenAI فعليًا ولا ما الذي سيقدمه جيل GPT مستقبلي.