23 सितंबर के Fellows Forum में, OpenAI के अनुप्रयुक्त शोध प्रमुख Boris Power ने अनुमान लगाया कि कंपनी का 80–90% शोध “GPT-7, GPT-8 और आगे” पर केंद्रित है। उन्होंने यह आँकड़ा मौजूदा उत्पादों के काम और अधिक सक्षम मॉडलों के शोध में संतुलन समझाते हुए दिया। यह सार्वजनिक बातचीत में उनका अनुमान है; OpenAI ने इसकी तुलना के लिए शोध-वितरण का विवरण प्रकाशित नहीं किया।

बड़ा बदलाव

  • क्या बदला: Power ने दो जुड़े रास्तों का वर्णन किया: आज इस्तेमाल हो रहे मॉडलों में सुधार और आगे की पीढ़ियों के लिए शोध। उनके अनुमान में OpenAI के अधिकांश शोध का हिस्सा बाद वाला है।
  • यह क्यों मायने रखता है: कोई अधिक सक्षम बड़ा मॉडल किसी तय काम के लिए छोटे, सस्ते मॉडल के प्रशिक्षण उदाहरण दे सकता है। इसलिए उत्पादों में छोटे मॉडल इस्तेमाल करने वाले डेवलपरों के लिए भी अत्याधुनिक शोध पर नज़र रखने का कारण है।
  • क्या देखना है: भविष्य के मॉडल और तकनीकी खुलासे बता सकते हैं कि बड़े मॉडलों की प्रगति छोटे मॉडलों तक पहुँचती है या नहीं। साक्षात्कार में GPT-7 या GPT-8 की रिलीज़ तारीख़, विशेषताएँ या नतीजे नहीं दिए गए।

अनुमान का संदर्भ

Power, Zachary Lipton के इस सवाल का जवाब दे रहे थे कि ग्राहकों के अनुरोध शोध में कैसे लौटते हैं। उन्होंने कहा कि OpenAI विशेष प्रशिक्षण डेटा और अनुप्रयुक्त शोध से टूल इस्तेमाल जैसे किसी खास व्यवहार में सुधार कर सकता है। उनके विवरण में एक ही मॉडल पीढ़ी के भीतर छोटे अपडेट अक्सर ऐसी ज़रूरतें पूरी करते हैं। उनका तर्क था कि बड़े मॉडलों की नई पीढ़ी बदल सकती है कि कौन-से विशिष्ट सुधार आवश्यक रहेंगे। उन्होंने मौजूदा निवेशों में कुछ को आज सीखने और तेज़ी से सुधार करने के तरीके बताया, भले वे दीर्घकालीन रणनीति न हों।

इसी अंतर से Fellows Forum रिकॉर्डिंग के 1:32:52 पर 80–90% वाली टिप्पणी आई। Power ने शोध OpenAI में होने की बात कही, सिर्फ़ अपनी टीम की नहीं। न रिकॉर्डिंग, न OpenAI की प्रकाशित सामग्री यह बताती है कि गिने गए शोध की परिभाषा क्या है, समयावधि, बजट या कर्मचारियों की संख्या क्या है, अथवा अनुमान किस तरीके से निकला। इसलिए इस संख्या को Power के बताए प्राथमिकताओं के रूप में पढ़ना चाहिए, कंपनी के खर्च या कर्मचारियों का ऑडिट किया हुआ माप नहीं।

Power ने बाद की पीढ़ियों के उदाहरण के रूप में GPT-7 और GPT-8 के नाम लिए। उन्होंने किसी मॉडल की घोषणा नहीं की, विकास का पड़ाव नहीं बताया और रिलीज़ की समय-सारणी नहीं दी। OpenAI की मौजूदा मॉडल सूची में GPT-6 Astra, Sol और Luna हैं; यह Power द्वारा इस्तेमाल नामों का सार्वजनिक संदर्भ देती है, पर बाद की पीढ़ियों की स्थिति का प्रमाण नहीं।

उन्होंने डिस्टिलेशन का ज़िक्र क्यों किया

अनुमान के तुरंत बाद Power ने बड़े GPT-6 Astra मॉडल द्वारा छोटे GPT Luna मॉडल को सिखाने की बात की। उनका आशय था कि मज़बूत बड़ा मॉडल छोटे मॉडल के प्रशिक्षण के लिए उदाहरण दे सकता है। वह शोध का तरीका समझा रहे थे; यह दस्तावेज़ नहीं कर रहे थे कि जारी हुआ कोई खास Luna मॉडल Astra से प्रशिक्षित किया गया।

पर्यवेक्षित फ़ाइन-ट्यूनिंग मार्गदर्शिका यह तरीका बताती है। डेवलपर पहले जाँचता है कि बड़ा मॉडल किसी तय काम में अच्छा करता है या नहीं, उपयुक्त आउटपुट रखता है, उन्हें छोटे मॉडल के प्रशिक्षण उदाहरण बनाता है और फिर छोटे मॉडल का उसी काम पर मूल्यांकन करता है। OpenAI कहता है कि इससे छोटा मॉडल किसी विशिष्ट काम में बड़े मॉडल के प्रदर्शन के करीब आ सकता है। इसका यह अर्थ नहीं कि छोटे मॉडल में शिक्षक की हर क्षमता आ जाती है। OpenAI की मॉडल डिस्टिलेशन घोषणा भी मूल्यांकन, सहेजे गए आउटपुट और फ़ाइन-ट्यूनिंग को बार-बार दोहराई जाने वाली प्रक्रिया बताती है।

इस विचार का इतिहास पुराना है। 2015 के शोध-पत्र में Geoffrey Hinton, Oriol Vinyals और Jeff Dean ने बड़े सिस्टमों का ज्ञान ऐसे मॉडल में स्थानांतरित करने का अध्ययन किया था जिसे तैनात करना आसान हो। यह काम शिक्षक-छात्र अवधारणा समझाता है; OpenAI के मौजूदा शोध-वितरण के बारे में कुछ नहीं कहता।

इससे Power द्वारा अत्याधुनिक शोध और व्यावहारिक मॉडलों के बीच खींचा गया संबंध समझ आता है। अधिक सक्षम शिक्षक, केंद्रित और कम लागत वाली प्रणालियों के लिए उपयोगी प्रशिक्षण सामग्री बना सकता है। यह कितना अच्छा काम करेगा, यह कार्य, चुने गए उदाहरणों और मूल्यांकन पर निर्भर करता है। Power ने Astra–Luna उदाहरण के लिए डिस्टिलेशन के नतीजे या तुलनात्मक माप नहीं दिए।

Power का अनुमान इसलिए ध्यान खींचता है कि इससे पता चलता है कि OpenAI में शोध के सबसे अधिक मूल्य को लेकर उनका क्या विचार है। सार्वजनिक प्रमाण टिप्पणी और बताए गए सामान्य तरीके को स्थापित करते हैं। वे यह नहीं बताते कि OpenAI के संसाधन वास्तव में कैसे बँटे हैं या GPT की कोई भविष्य की पीढ़ी क्या देगी।