২৩ সেপ্টেম্বরের Fellows Forum-এ OpenAI-র applied research প্রধান Boris Power অনুমান করেন, কোম্পানির গবেষণার ৮০–৯০ শতাংশ “GPT-7, GPT-8 এবং তার পরের প্রজন্ম” নিয়ে। বর্তমান পণ্যের কাজ ও আরও সক্ষম model নিয়ে গবেষণার মধ্যে OpenAI কীভাবে ভারসাম্য রাখে, তা বোঝাতে গিয়ে তিনি এই হিসাব দেন। এটি প্রকাশ্য আলোচনায় তাঁর অনুমান; মিলিয়ে দেখার মতো গবেষণা-বরাদ্দের কোনো হিসাব OpenAI প্রকাশ করেনি।

মূল পরিবর্তন

  • কী বদলেছে: Power দুটি পরস্পর-সংযুক্ত কাজের ধারা বর্ণনা করেছেন: মানুষ এখন যে model ব্যবহার করেন তার উন্নতি, এবং পরবর্তী প্রজন্মকে লক্ষ্য করে গবেষণা। তাঁর অনুমান, OpenAI-র গবেষণার বেশির ভাগ দ্বিতীয় ধারায় পড়ে।
  • কেন গুরুত্বপূর্ণ: নির্দিষ্ট কোনো কাজে শক্তিশালী বড় model ছোট ও কম খরচের model-কে প্রশিক্ষণের উদাহরণ দিতে পারে। তাই পণ্যে ছোট model ব্যবহার করলেও নির্মাতাদের জন্য frontier গবেষণার অগ্রগতি অনুসরণ করার কারণ থাকে।
  • যা নজরে রাখা দরকার: ভবিষ্যতের model প্রকাশ ও প্রযুক্তিগত তথ্য থেকে বোঝা যেতে পারে, বড় model-এর অগ্রগতি ছোট model-এ পৌঁছেছে কি না। সাক্ষাৎকারে GPT-7 বা GPT-8 প্রকাশের তারিখ, specification বা ফলাফল দেওয়া হয়নি।

এই অনুমানের প্রেক্ষাপট

গ্রাহকদের অনুরোধ কীভাবে গবেষণায় ফিরে আসে, Zachary Lipton-এর এমন এক প্রশ্নের উত্তরে Power কথাগুলো বলেন। তাঁর ভাষ্য অনুযায়ী, বিশেষ training data ও applied research দিয়ে OpenAI tool ব্যবহার করার মতো নির্দিষ্ট আচরণ উন্নত করতে পারে। একই model প্রজন্মের মধ্যে ধাপে ধাপে update প্রায়ই এ ধরনের প্রয়োজন মেটায়। তাঁর যুক্তি, বড় model-এর নতুন প্রজন্ম তৈরি হলে কোন বিশেষ সংশোধন এখনও দরকার, সেটিও বদলে যেতে পারে। দীর্ঘমেয়াদি কৌশল না হলেও, দ্রুত শেখা ও উন্নতির উপায় হিসেবে তিনি কিছু বর্তমান বিনিয়োগের কথা বলেন।

এই পার্থক্যের প্রসঙ্গেই Fellows Forum-এর রেকর্ডিংয়ে ১:৩২:৫২-এ ৮০–৯০ শতাংশের মন্তব্য। Power বলেছিলেন, তাঁর অনুমান OpenAI-র গবেষণা নিয়ে, শুধু নিজের দলের গবেষণার নয়। কত ধরনের গবেষণা গোনা হয়েছে, কোন সময়সীমা, বাজেট বা কর্মীসংখ্যা ধরা হয়েছে কিংবা অনুমানের পদ্ধতি কী—রেকর্ডিং বা OpenAI-র প্রকাশিত তথ্য কোনোটিতেই তা নেই। তাই সংখ্যাটিকে কোম্পানির ব্যয় বা কর্মীসংখ্যার নিরীক্ষিত পরিমাপ নয়, গবেষণার অগ্রাধিকার নিয়ে Power-এর বর্ণনা হিসেবে পড়তে হবে।

Power পরবর্তী প্রজন্মের উদাহরণ হিসেবে GPT-7 ও GPT-8-এর নাম নেন। তিনি কোনো model ঘোষণা করেননি, উন্নয়নের ধাপ জানাননি বা প্রকাশের সময়সূচি দেননি। OpenAI-র বর্তমান model তালিকায় GPT-6 Astra, Sol ও Luna আছে; এটি Power-এর ব্যবহৃত নামগুলোর প্রকাশ্য প্রেক্ষাপট দেয়, পরবর্তী প্রজন্মের বর্তমান অবস্থা সম্পর্কে প্রমাণ নয়।

distillation-এর প্রসঙ্গ কেন তুললেন

অনুমানের পরপরই Power উদাহরণ দেন কীভাবে বড় GPT-6 Astra model ছোট GPT Luna model-কে শেখাতে পারে। তাঁর বক্তব্য হলো, শক্তিশালী বড় model training example দিয়ে ছোট model-কে প্রশিক্ষণ দিতে পারে। তিনি একটি গবেষণাপদ্ধতি ব্যাখ্যা করছিলেন; প্রকাশিত কোনো নির্দিষ্ট Luna model Astra থেকে প্রশিক্ষিত—এমন তথ্য দিচ্ছিলেন না।

OpenAI-র supervised fine-tuning নির্দেশিকা এই প্রক্রিয়াটি ব্যাখ্যা করে। প্রথমে developer যাচাই করেন যে বড় model নির্দিষ্ট কাজে ভালো ফল দিচ্ছে; উপযুক্ত output বেছে নিয়ে সেগুলো ছোট model-এর training example হিসেবে ব্যবহার করেন, তারপর সেই কাজেই ছোট model-এর ফল মূল্যায়ন করেন। OpenAI-র মতে, নির্দিষ্ট কাজে ছোট model-এর performance বড় model-এর কাছাকাছি আনা যেতে পারে। এর মানে এই নয় যে ছোট model শিক্ষক model-এর সব সক্ষমতা পেয়ে যায়। OpenAI-র model distillation ঘোষণা-তেও মূল্যায়ন, সংরক্ষিত output ও fine-tuning-কে বারবার চলা একটি প্রক্রিয়া হিসেবে বর্ণনা করা হয়েছে।

এই ধারণার ইতিহাস আরও পুরোনো। ২০১৫ সালের এক গবেষণাপত্রে, Geoffrey Hinton, Oriol Vinyals ও Jeff Dean বড় system থেকে এমন model-এ জ্ঞান স্থানান্তরের পদ্ধতি বিশ্লেষণ করেন, যা বাস্তবে ব্যবহার করা সহজ। তাঁদের কাজ teacher–student ধারণার ঐতিহাসিক প্রেক্ষাপট দেয়; OpenAI-র বর্তমান গবেষণা কীভাবে বণ্টিত, সে বিষয়ে কিছু বলে না।

এতে বোঝা যায়, frontier গবেষণা ও ব্যবহারিক model-এর মধ্যে Power যে যোগসূত্র টেনেছেন তা কী। বেশি সক্ষম teacher নির্দিষ্ট কাজের জন্য কম খরচের model-এ ব্যবহারযোগ্য training material তৈরি করতে পারে। ফল কতটা ভালো হবে তা কাজ, বাছাই করা উদাহরণ ও মূল্যায়নের ওপর নির্ভর করে। Astra–Luna উদাহরণের কোনো distillation ফল বা তুলনামূলক মাপ Power দেননি।

Power-এর অনুমানটি তাৎপর্যপূর্ণ, কারণ এতে OpenAI-র গবেষণায় কোথায় সবচেয়ে বেশি মূল্য মিলবে বলে তিনি মনে করেন তা প্রকাশ পায়। প্রকাশ্য প্রমাণে তাঁর বক্তব্য এবং উল্লিখিত সাধারণ কৌশলটি প্রতিষ্ঠিত হয়। OpenAI-র সম্পদ বাস্তবে কীভাবে ভাগ হয়েছে বা ভবিষ্যৎ GPT প্রজন্ম কী দেবে, তা প্রতিষ্ঠিত হয় না।