Vercel च्या सप्टेंबरमधील AI Gateway अहवालानुसार, ऑगस्टमध्ये तिच्या गेटवेमधून मार्गित केलेल्या टोकन्सपैकी 56% टोकन्स ओपन-वेट्स मॉडेल्सनी प्रक्रिया केली; अंदाजित खर्चातील त्यांचा वाटा 14% होता. वापराचे प्रमाण आणि मॉडेल्सचे बजेट वेगवेगळे चित्र दाखवू शकतात. हा एका गेटवेच्या वाहतुकीचा क्षणचित्र-आढावा आहे; संपूर्ण AI बाजाराचा किंवा ग्राहकांच्या प्रत्यक्ष बिलांचा हिशेब नाही.

भाग 290 मध्ये 20:03 वाजता All-In पॉडकास्टवरील चर्चेत, चर्चक ओपन-वेट्स आणि प्रीमियम मॉडेल्सच्या प्रकाशनगतीवर बोलतात आणि अधिक सक्षम डाउनलोड करता येण्याजोगी मॉडेल्स प्रवेश वाढवतात, असा युक्तिवाद करतात. हे त्या चर्चकांचे विश्लेषण आहे. याहून मर्यादित वेगळा आकडा Vercel च्या सप्टेंबरमधील AI Gateway Production Index मध्ये दिला आहे; त्यात ऑगस्टपर्यंतची वाहतूक नोंदवली आहे.

मोठा बदल

  • काय बदलले: Vercel AI Gateway वरील ओपन-वेट्स मॉडेल्सचा टोकन-वाटप डिसेंबर ते ऑगस्टदरम्यान अल्पसंख्याकावरून 56% पर्यंत पोहोचला; ऑगस्टमधील यादीतील दरांवरून मोजलेल्या खर्चाचा वाटा 14% होता.
  • हे का महत्त्वाचे: मॉडेल निवडणाऱ्या टीमने प्रथम टोकनची मागणी आणि खर्च वेगळे मोजावे; त्यानंतर वापरल्या जाणाऱ्या कामांसाठी गुणवत्ता आणि संपूर्ण परिचालन-खर्चाची तुलना करावी. या निर्देशांकात एखाद्या टीमच्या विशिष्ट कामाचे निकाल किंवा बचतीची माहिती नाही.
  • कशाकडे लक्ष द्यावे: निवडलेले मॉडेल टीमच्या गुणवत्तेच्या, प्रतिसाद-वेळेच्या, गोपनीयतेच्या आणि परिचालनाच्या गरजा पूर्ण खर्चात भागवते का, हा व्यावहारिक प्रश्न आहे. केवळ टोकन-वाटप याचे उत्तर देत नाही; परवान्याच्या अटी, हार्डवेअर आणि अभियांत्रिकीसाठीचा वेळही महत्त्वाचा आहे.

56% आणि 14% हे आकडे काय मोजतात

ऑगस्टमध्ये AI Gateway मधून मार्गित झालेल्या टोकन्सपैकी 56% ओपन-वेट्स मॉडेल्सनी प्रक्रिया केली; त्या गेटवेच्या एकूण प्रमाणात बहुमत मिळवण्याचा हा त्यांचा पहिला महिना होता, असे Vercel सांगते. अंदाजित खर्चाचा वाटा 14% होता. कंपनीच्या आलेखात हा वाटा एप्रिलमधील 13% वरून ऑगस्टमध्ये 56% झालेला दिसतो. अहवाल 17 सप्टेंबरचा असून ऑगस्टपर्यंतची माहिती वापरतो.

या फरकाचा अर्थ मॉडेल्स चालवणे मोफत आहे असा नाही. डाउनलोड करता येणाऱ्या वेट्सनाही संगणकीय क्षमता, वीज आणि परिचालन लागते. गोलाकार केलेल्या वाट्यांवरून, या डेटासेटमध्ये ओपन-वेट्स गटातील प्रत्येक टोकनचा अंदाजित खर्च इतर मॉडेल्सच्या सुमारे एक-आठवा होता. Vercel चे आकडे वापरून ही गणना केली आहे: खर्चातील 14% भागिले टोकनमधील 56%, आणि उरलेला 86% खर्च भागिले उरलेले 44% टोकन्स. वेगवेगळी मॉडेल्स आणि टोकन-प्रकार यांची सरासरी यात वर्णिली आहे; एखाद्या विशिष्ट मॉडेलची किंमत किंवा क्षमता नव्हे.

या निर्देशांकात इनपुट, आउटपुट, तर्क, कॅश केलेले इनपुट आणि कॅश-निर्मितीचे टोकन्स मोजले जातात. या प्रकारांचे दर वेगवेगळे असू शकतात; त्यामुळे गटाची सरासरी वापरकर्त्यांनी काय पाठवले आणि तयार केले यावरही अवलंबून असते. लॅबने प्रकाशित केलेल्या यादीतील दरांवरून Vercel खर्चाचा अंदाज लावते; प्रत्यक्ष बिल वेगळे असू शकते, असे ती सांगते. स्वतःच्या प्रदाता-कळा वापरणाऱ्या टीमची वाहतूक तुलना करण्यासाठी ही पद्धत उपयोगी आहे; पण ती बिलांचे लेखापरीक्षण किंवा स्वतःच्या सर्व्हरवर चालवण्याच्या संगणकीय खर्चाचे मोजमाप नाही.

ऑगस्टमध्ये संपूर्ण गेटवेवरील प्रत्येक टोकनचा सरासरी अंदाजित दर 23.2% घसरल्याचेही अहवाल सांगतो. जुलै आणि ऑगस्ट अशा दोन्ही महिन्यांत प्रत्येकी 10 दशलक्षांहून अधिक टोकन्स वापरणाऱ्या टीममध्ये मध्यम टीमचा प्रत्येक टोकनमागील अंदाजित दर 7.6% घसरला. ओपन-वेट्सच्या वापरातील वाढीमुळे या घटीचा काही भाग झाला, असे Vercel म्हणते. मात्र हा बदल किती प्रमाणात ओपन-वेट्सकडून, वेगळ्या टोकन-मिश्रणातून किंवा टीम्सनी मॉडेल्स व कामे बदलल्यामुळे झाला, हे अहवाल वेगळे दाखवत नाही.

एक गेटवे म्हणजे संपूर्ण बाजार नव्हे

हा निर्देशांक Vercel AI Gateway मधून मार्गित झालेल्या अनामिक एकत्रित वाहतुकीवर आधारित आहे. त्या सेवेतील प्रत्यक्ष उत्पादन-वापराच्या विनंत्यांचे ठोस चित्र यात मिळते; मॉडेल-लीडरबोर्ड किंवा प्रकाशन-घोषणेपेक्षा ते अधिक नेमके आहे. मात्र ग्राहक संपूर्ण AI वापरकर्त्यांचे प्रतिनिधित्व करतात, व्यापक बाजारासाठी नमुना कसा निवडला किंवा गेटवे न वापरणाऱ्या कामांत स्वीकार किती आहे, हे अहवाल स्थापित करत नाही. त्यामुळे टक्केवारी Vercel च्या गेटवेतील मॉडेल-वापराचे मिश्रण म्हणूनच वाचाव्यात.

पूर्वीच्या अहवालांपेक्षा व्यापक असलेल्या सध्याच्या AI Gateway मॉडेल-सूचीवरून ओपन-वेट्सचे वर्गीकरण केले आहे, असेही Vercel सांगते. पद्धतीत बदल आणि अधिक पूर्ण माहिती मिळाल्याने आधीचे आकडे बदलू शकतात. महिन्यागणिक प्रवाह माहितीपूर्ण आहे; तरी वर्गवारीची सीमारेषा बदलल्याचे अहवाल स्वतः मान्य करतो.

“ओपन-वेट्स” आणि “ओपन सोर्स” हे समानार्थी नाहीत. मॉडेल वेट्स म्हणजे शिकलेले संख्यात्मक पॅरामीटर्स; ते डाउनलोडसाठी प्रसिद्ध करता येतात. Open Source Initiative ची Open Source AI Definition 1.0 अधिक व्यापक निकष ठरवते: AI प्रणाली वापरणे, अभ्यासणे, बदलणे आणि सामायिक करणे यांचे स्वातंत्र्य ती अपेक्षित धरते. बदल करण्यासाठीच्या पसंतीच्या स्वरूपात प्रशिक्षण-डेटाविषयीची माहिती, कोड आणि मॉडेल पॅरामीटर्स यांचा समावेश करते. डाउनलोड करता येणाऱ्या चेकपॉइंटवर तरीही परवान्याची बंधने असू शकतात किंवा प्रशिक्षण-कोड व डेटाचा तपशील नसू शकतो. प्रत्येक मॉडेलचा प्रत्यक्ष परवाना आणि प्रसिद्धी-सामग्री टीमने तपासावी.

AI खरेदीदारांसाठी या फरकाचा अर्थ

Vercel चे आकडे मर्यादित निष्कर्षाला आधार देतात: या गेटवेवर ओपन-वेट्स मॉडेल्सनी टोकनचे अधिक प्रमाण हाताळले, पण यादीतील दरांवरून मोजलेल्या खर्चाचा वाटा कमी होता. तेच काम स्थानिक सर्व्हरवर स्वस्त होईल किंवा गुणवत्ता, वेग अथवा विश्वासार्हता न बदलता कमी खर्चाचे मॉडेल प्रीमियम मॉडेलची जागा घेईल, असे ते दाखवत नाहीत.

उत्पादन-टीमसाठी योग्य तुलना म्हणजे समान स्वीकार-निकषांनुसार तेच काम पूर्ण करण्याचा खर्च. इनपुट व आउटपुटचे प्रमाण, पुन्हा प्रयत्न, साधने, मार्ग-नियोजन, प्रतिसाद-वेळ आणि मानवी पुनरावलोकन यांचा समावेश करावा. त्यानंतर प्रदात्याचे बिल थेट वेट्स चालवण्यासाठी लागणाऱ्या हार्डवेअर व परिचालनाशी तुलना करावी. सप्टेंबरचा निर्देशांक प्रत्येक कामाच्या अशा तुलनात्मक खर्चाची माहिती देत नाही. нэг उत्पादन-गेटवेवर ओपन-वेट्स දැන් मोठ्या प्रमाणावर वापरले जातात, तरी खर्चाचे मिश्रण दुसरीकडे अधिक केंद्रित आहे, याचा तो संकेत देतो.

मॉडेल्सची उपलब्धता वाढत आहे हा All-In चर्चकांचा व्यापक युक्तिवाद अशा वापराच्या पुराव्याशी तुलना करून तपासता येतो; मात्र Vercel निर्देशांक चर्चेत झालेल्या प्रत्येक मॉडेलविषयक दाव्याची पुष्टी करत नाही आणि पुढे स्वीकार किती वाढेल याचा अंदाजही देत नाही. सध्या उपयुक्त फरक असा: एखादी श्रेणी किती टोकन्स प्रक्रिया करते, प्रदात्याकडून तिचा अंदाजित खर्च किती आहे आणि विश्वासार्ह निकाल मिळवण्यास टीमला प्रत्यक्ष किती खर्च येतो.

स्रोत आणि पुढील वाचन