Vercel-এর সেপ্টেম্বরের AI Gateway প্রতিবেদন অনুযায়ী, আগস্টে তাদের gateway দিয়ে পাঠানো token-এর ৫৬% প্রক্রিয়াকরণ করেছে open-weight মডেল; আনুমানিক খরচের অংশ ছিল ১৪%। এই ব্যবধান দেখায়, ব্যবহারের পরিমাণ ও মডেলের বাজেট ভিন্ন গল্প বলতে পারে। এটি একটি gateway-র traffic-এর নির্দিষ্ট সময়ের ছবি—সমগ্র AI বাজার বা গ্রাহকের প্রকৃত বিলের পরিমাপ নয়।

২০:০৩ মিনিটে All-In podcast-এর ২৯০তম পর্বে, আলোচকেরা open-weight ও premium মডেল প্রকাশের গতি নিয়ে কথা বলেন এবং যুক্তি দেন যে আরও সক্ষম downloadable model প্রাপ্যতা বাড়ায়। এটি আলোচকদের ব্যাখ্যা। আরও সীমিত একটি পৃথক data point এসেছে Vercel-এর সেপ্টেম্বরের AI Gateway Production Index থেকে; এতে আগস্ট পর্যন্ত traffic-এর হিসাব আছে।

মূল পরিবর্তন

  • কী বদলেছে: Vercel AI Gateway-তে open-weight মডেলের অংশ ডিসেম্বরের সংখ্যালঘু অবস্থান থেকে আগস্টে token-এর ৫৬%-এ উঠেছে; আগস্টের তালিকামূল্য-ভিত্তিক আনুমানিক খরচের অংশ ছিল ১৪%।
  • কেন গুরুত্বপূর্ণ: মডেল বাছাই করা দলগুলোর token-এর চাহিদা ও খরচ আলাদা করে দেখতে হবে; এরপর নিজেদের task-এ গুণমান ও মোট পরিচালন ব্যয় তুলনা করতে হবে। এই index কোনো নির্দিষ্ট দলের task-এর ফল বা সাশ্রয়ের হিসাব দেয় না।
  • যা নজরে রাখা দরকার: ব্যবহারিক প্রশ্ন হলো, নির্বাচিত মডেলটি পূর্ণ খরচে দলের গুণমান, latency, গোপনীয়তা ও পরিচালনাগত চাহিদা মেটায় কি না। শুধু token-এর অংশ এ উত্তর দেয় না; license-এর শর্ত, hardware এবং engineering time-ও গুরুত্বপূর্ণ।

৫৬% ও ১৪% কী মাপে

Vercel-এর হিসাবে আগস্টে AI Gateway দিয়ে পাঠানো token-এর ৫৬% সামলেছে open-weight মডেল; এই প্রথম gateway-র volume-এর সংখ্যাগরিষ্ঠ অংশে তারা পৌঁছায়। আনুমানিক খরচের ১৪% এসেছে তাদের থেকে। কোম্পানির chart-এ অংশটি এপ্রিলে ১৩% থেকে আগস্টে ৫৬%-এ ওঠে। প্রতিবেদনটি ১৭ সেপ্টেম্বরের এবং আগস্ট পর্যন্ত data ব্যবহার করে।

এই ব্যবধানের অর্থ এই নয় যে মডেলগুলো চালাতে খরচ নেই। ডাউনলোড করা weight-এর জন্যও compute, বিদ্যুৎ ও পরিচালনা দরকার হতে পারে। গোল করে দেওয়া অংশের হিসাব ধরে, এই dataset-এ open-weight গোষ্ঠীর প্রতি token-এর আনুমানিক খরচ অন্য মডেলগুলোর প্রায় এক-অষ্টমাংশ। গণনাটি Vercel-এর অঙ্ক ব্যবহার করে: খোলামেলা weight-এর ক্ষেত্রে খরচের ১৪% ভাগ token-এর ৫৬% দিয়ে; অন্য মডেলে খরচের বাকি ৮৬% ভাগ token-এর ৪৪% দিয়ে। এটি ভিন্ন মডেল ও token ধরনের গড় তুলনা—কোনো একটি নির্দিষ্ট মডেলের দাম বা সক্ষমতা নয়।

index-এ input, output, reasoning, cached-input এবং cache-creation token গোনা হয়। এসব token-এর দাম ভিন্ন হতে পারে; তাই কোনো গোষ্ঠীর গড়ে তার ব্যবহারকারীরা কী পাঠিয়েছেন ও তৈরি করেছেন, সেটিও প্রভাব ফেলে। lab-গুলোর প্রকাশিত তালিকামূল্য থেকে Vercel খরচ অনুমান করে; কোম্পানির বক্তব্য, প্রকৃত bill ভিন্ন হতে পারে। এতে নিজেদের provider key ব্যবহার করা দলের traffic-ও তুলনা করা যায়, তবে এটি invoice audit নয়, নিজেরা host করে চালালে compute খরচের পরিমাপও নয়।

প্রতিবেদনে আরও বলা হয়েছে, আগস্টে gateway-জুড়ে প্রতি token-এর গড় আনুমানিক দাম ২৩.২% কমে। জুলাই ও আগস্ট—দুই মাসেই ১ কোটির বেশি token চালানো দলগুলোর মধ্যে, মধ্যম অবস্থানের দলের প্রতি token-এর আনুমানিক দাম ৭.৬% কমেছে। এই পতনের একাংশ open-weight ব্যবহারের বৃদ্ধির কারণে বলে Vercel জানায়। তবে পরিবর্তনটির কতটা ওই সরে আসা, token-এর মিশ্রণ বদল, বা দলগুলোর মডেল ও workload পরিবর্তনের ফলে হয়েছে, প্রতিবেদনটি আলাদা করে দেখায় না।

একটি gateway মানেই পুরো বাজার নয়

এই index হলো Vercel AI Gateway দিয়ে পাঠানো পরিচয়মুক্ত সমষ্টিগত traffic। এই service দিয়ে যাওয়া বাস্তব production request-এর একটা চিত্র এটি দেয়, যা model leaderboard বা release announcement-এর চেয়ে নির্দিষ্ট। কিন্তু প্রতিবেদনে বলা হয়নি, এর গ্রাহকেরা AI ব্যবহারকারীদের প্রতিনিধিত্ব করেন কি না; বিস্তৃত বাজারের sampling frame প্রকাশ করা হয়নি; gateway ব্যবহার করে না এমন workload-এ গ্রহণের মাত্রাও দেখানো হয়নি। তাই শতাংশগুলোকে Vercel-এর gateway-র ব্যবহারের মিশ্রণ হিসেবে পড়া উচিত।

Vercel আরও জানায়, open-weight শ্রেণিবিভাগটি AI Gateway-র বর্তমান model list অনুসরণ করে, যা আগের প্রতিবেদনের সংজ্ঞার চেয়ে বিস্তৃত। Vercel পদ্ধতি বদলালে এবং আরও পূর্ণাঙ্গ data পেলে আগের অঙ্কও পরিবর্তিত হতে পারে। মাসে-মাসে প্রবণতা তথ্যবহুল, তবে প্রতিবেদনটি নিজেই শ্রেণির সীমানা বদলানোর বিষয়টি জানায়।

“Open-weight” আর “open source” এক নয়। মডেলের weight হলো শেখা সংখ্যামূলক parameter, যা ডাউনলোডের জন্য ছাড়া যেতে পারে। Open Source Initiative-এর Open Source AI Definition 1.0 একটি আরও বিস্তৃত মানদণ্ড দেয়: এতে AI system ব্যবহার, অধ্যয়ন, পরিবর্তন ও ভাগ করে নেওয়ার স্বাধীনতা চাওয়া হয়েছে; পাশাপাশি training-data-র তথ্য, code ও model parameter-কে পরিবর্তনের উপযোগী preferred form-এর অংশ হিসেবে চিহ্নিত করা হয়েছে। ডাউনলোডযোগ্য checkpoint-এ license restriction থাকতে পারে, অথবা training code ও data-র বিস্তারিত অনুপস্থিত থাকতে পারে। প্রতিটি মডেলের প্রকৃত license ও প্রকাশিত উপকরণ দলগুলোর যাচাই করা দরকার।

AI ক্রেতাদের কাছে এই ব্যবধানের অর্থ

Vercel-এর অঙ্ক থেকে সীমিত একটি সিদ্ধান্তে পৌঁছানো যায়: এই gateway-তে open-weight মডেল token-এর বেশি volume সামলেছে, কিন্তু তালিকামূল্যভিত্তিক আনুমানিক খরচের অংশ কম ছিল। একই workload local server-এ কম খরচে চলবে, অথবা গুণমান, গতি বা নির্ভরযোগ্যতা না বদলে কম খরচের মডেল premium মডেলকে প্রতিস্থাপন করতে পারবে—তা এই অঙ্ক দেখায় না।

কোনো product team-এর জন্য প্রাসঙ্গিক তুলনা হলো একই গ্রহণযোগ্যতার মান পূরণ করে একই task শেষ করার খরচ। এতে input ও output-এর পরিমাণ, retry, tool, routing, latency এবং মানুষের review—সব ধরতে হবে; এরপর provider-এর bill-কে সরাসরি weight চালানোর hardware ও পরিচালন ব্যয়ের সঙ্গে তুলনা করতে হবে। সেপ্টেম্বরের index task-প্রতি এমন তুলনা দেয় না। এর গুরুত্ব এই ইঙ্গিতে যে একটি production gateway-তে open-weight মডেল এখন উল্লেখযোগ্য ব্যবহারের অংশ সামলায়, যদিও খরচের বড় অংশ অন্যত্র কেন্দ্রীভূত।

মডেলের প্রাপ্যতা বাড়ছে—All-In panel-এর এই বিস্তৃত যুক্তিকে এ ধরনের ব্যবহার-তথ্যের সঙ্গে মিলিয়ে দেখা যায়; তবে Vercel index আলোচনায় করা প্রতিটি মডেল-সংক্রান্ত দাবি যাচাই করে না, ভবিষ্যতে গ্রহণ কোথায় যাবে তাও বলে না। আপাতত দরকারি পার্থক্য হলো: কোনো শ্রেণি কত token প্রক্রিয়াকরণ করে, তার আনুমানিক provider charge কত, এবং নির্ভরযোগ্য ফল পেতে একটি দলের মোট খরচ কত।

সূত্র ও আরও পড়ুন