৮ অক্টোবরের বিশ্লেষণে SemiAnalysis ৮৫৭টির মধ্যে ৩১টি রিলিজের প্রকাশিত নিরাপত্তার ফল পেয়েছে; লঞ্চের সময় ফল ছিল মাত্র ৯টিতে ৮ অক্টোবরের বিশ্লেষণ, SemiAnalysis ২০২১ থেকে ২০২৬ সালের ১৫ সেপ্টেম্বর পর্যন্ত চীনভিত্তিক নয়টি ডেভেলপারের ৮৫৭টি রিলিজ গণনা করেছে। ৩১টি রিলিজের (৩.৬%) জন্য প্রকাশিত নিরাপত্তার ফল পাওয়া গেছে। মাত্র ৯টির (১.১%) ক্ষেত্রে মডেল প্রকাশের দিন বা তার আগে ফলটি পাওয়া গিয়েছিল।

সংখ্যাগুলো গবেষকেরা ডেভেলপারদের প্রকাশ্য উপকরণে যা পেয়েছেন তা বর্ণনা করে। কতটি মডেল ব্যক্তিগতভাবে পরীক্ষা করা হয়েছিল বা কোনো নির্দিষ্ট মডেল নিরাপদ কি না, তা এগুলো দেখায় না।

বড় পরিবর্তন

  • কী বদলেছে: নির্ধারিত কিছু রিলিজের নথিপত্রের ঘাটতিকে SemiAnalysis সংখ্যায় প্রকাশ করেছে: ৮৫৭টির মধ্যে মাত্র ৯টির এমন মডেল-নির্দিষ্ট নিরাপত্তার ফল ছিল যা লঞ্চের দিন নাগাদ জনসাধারণ পড়তে পারত।
  • কেন গুরুত্বপূর্ণ: রিলিজের সময় কোনো মডেল মূল্যায়ন করতে হলে সেই সংস্করণের ফল দরকার। পরীক্ষা হয়েছে—এমন সাধারণ আশ্বাস বা রিলিজের পরে প্রকাশিত ফল তখনকার একই প্রশ্নের উত্তর দেয় না।
  • কী দেখবেন: পরবর্তী রিলিজে কার্যকর সংকেত হলো তারিখসহ ফল, যা নির্দিষ্ট মডেলের সঙ্গে যুক্ত এবং ব্যবহারকারীরা প্রথমবার প্রবেশাধিকার পাওয়ার সময় উপলভ্য। নথি প্রকাশিত হলে নিরীক্ষার তথ্যপ্রকাশের হার বদলাতে পারে, কিন্তু পরে প্রকাশ করা তথ্য লঞ্চের দিনে কী পাওয়া গিয়েছিল তা বদলায় না।

নিরীক্ষায় কী গণনা করা হয়েছে

SemiAnalysis বলেছে, তাদের তালিকায় Alibaba, ByteDance, Tencent, Baidu, DeepSeek, Moonshot, Zhipu (Z.ai), MiniMax এবং StepFun-এর ৭৪১টি পণ্য-মডেল রিলিজ ও ১১৬টি গবেষণা-মডেল রিলিজ ছিল। প্রতিটি রিলিজের প্রথম প্রকাশ্য তারিখ নির্ধারণ করে তারা ডেভেলপারদের মডেল কার্ড, রিলিজ নোট ও প্রযুক্তিগত প্রতিবেদন খুঁজেছে—সেই রিলিজের সঙ্গে মেলানো যায় এমন নিরাপত্তার ফলের জন্য।

যোগ্য ফলের জন্য নামযুক্ত মডেল সম্পর্কে পরিমাণগত বা অর্থবহ কোনো অনুসন্ধান থাকতে হয়েছে। বিষয়ের মধ্যে ক্ষতিকর আউটপুট, jailbreak প্রতিরোধ, বিষাক্ততা, গোপনীয়তা, প্রত্যাখ্যানের আচরণ ও বিপজ্জনক সক্ষমতা ছিল। কোনো ফল না জানিয়ে মডেল নিরাপত্তা-প্রশিক্ষণ বা মূল্যায়ন পেয়েছে—এমন বক্তব্য গণ্য হয়নি। গবেষকেরা একটি প্রধান মডেলের ফল অন্য আকার বা পরের snapshot-এও প্রয়োগ করেননি।

কঠোর মিলের নিয়মে মোট গণনার হরটি গুরুত্বপূর্ণ। ৮৫৭টি এন্ট্রি হলো গণনা করা রিলিজ, যার মধ্যে ভিন্ন সংস্করণ আছে; এগুলো সমান সক্ষমতার ৮৫৭টি frontier system নয়। SemiAnalysis বলেছে, ডেভেলপাররা ভিন্ন মাত্রার বিস্তারিত দিয়ে সংস্করণগুলোর নাম দেয়। তাই এই সংখ্যা এই রিলিজ-সমষ্টির নথিপত্র দেখার উপায়, পৃথক কোম্পানিকে র‌্যাঙ্ক করার নির্ভরযোগ্য ভিত্তি নয়।

ফল কখন প্রকাশিত হয়েছিল

যোগ্য প্রকাশিত ফল থাকা ৩১টি রিলিজের মধ্যে ৯টিতে রিলিজের সময় বা তার আগে ফল ছিল। ১৬টির নথি পরে পাওয়া গেছে; ওই গোষ্ঠীতে মধ্যম বিলম্ব ৪২ দিন বলে SemiAnalysis জানিয়েছে। বাকি ৬টির ক্ষেত্রে গবেষকেরা সময় বা নির্দিষ্ট মডেলের সঙ্গে মিল নিশ্চিত করতে পারেননি। কোনো না কোনো প্রকাশিত ফল থাকা ৩১টির মধ্যে এই ৬টি রয়েছে, তবে এগুলোকে লঞ্চ-দিনের তথ্যপ্রকাশ বলা যায় না।

বাকি ঘটনাগুলোও সতর্কভাবে বর্ণনা করা দরকার। SemiAnalysis ১০টি রিলিজ পেয়েছে যেখানে মূল্যায়নের দাবি ছিল কিন্তু কোনো সংখ্যা ছিল না; আরও ৩টি শুধু সংবাদমাধ্যম বা বিনিয়োগকারীর বক্তব্যে পরিচিত, যেগুলোর ডেভেলপার নথি তারা পায়নি। পরীক্ষা করা উপকরণে ৮১৩টি রিলিজের জন্য নিরাপত্তার তথ্যপ্রকাশ পাওয়া যায়নি। এই গোষ্ঠীগুলো ও ফল থাকা ৩১টি রিলিজ মিলিয়ে মোট ৮৫৭টি।

এ বিশ্লেষণ নিয়ে Reuters-এর প্রতিবেদন এও জোর দিয়েছে যে কোম্পানিগুলো ব্যক্তিগত পরীক্ষা করে থাকতে পারে। “তথ্যপ্রকাশ পাওয়া যায়নি” বলতে এখানে পরীক্ষা করা প্রকাশ্য নথির কথা বোঝায়। এতে পরীক্ষা হয়নি প্রমাণ হয় না, আর প্রকাশিত পরীক্ষা একাই মডেলের অন্তর্নিহিত নিরাপত্তা প্রতিষ্ঠা করে না। এই নিরীক্ষায় SemiAnalysis যুক্তরাষ্ট্রের ডেভেলপারদের জন্য তুলনীয় রিলিজ-ভিত্তিক হার দেয়নি।

মডেল বেছে নেওয়া বা মূল্যায়ন করা পাঠকের জন্য ব্যবহারিক পার্থক্যটি সহজ: নির্দিষ্ট সংস্করণ শনাক্ত করুন, তারিখসহ মডেল-নির্দিষ্ট ফল খুঁজুন এবং মডেল প্রকাশের সময় সেটি পাওয়া গিয়েছিল কি না দেখুন। এই প্রমাণ জানায় ডেভেলপার কী প্রকাশ্যে দেখিয়েছে। নির্দিষ্ট কাজে মডেল উপযুক্ত কি না মূল্যায়নের এটি কেবল একটি অংশ।

উৎস ও আরও পড়ুন