Vercel సెప్టెంబర్ AI Gateway నివేదిక ప్రకారం, ఆగస్టులో AI Gateway ద్వారా వెళ్లిన టోకెన్లలో ఓపెన్-వెయిట్ మోడళ్లు 56%ను ప్రాసెస్ చేశాయి; అంచనా వ్యయంలో వాటా 14%. వినియోగ పరిమాణం, మోడల్ బడ్జెట్లు వేర్వేరు కథలు చెప్పగలవని ఈ తేడా చూపుతుంది. ఇది ఒక గేట్‌వే ట్రాఫిక్‌కు సంబంధించిన క్షణిక చిత్రం మాత్రమే; మొత్తం AI మార్కెట్‌గానీ, వినియోగదారుల వాస్తవ బిల్లులుగానీ కాదు.

ఎపిసోడ్ 290లో 20:03 నిమిషాల వద్ద All-In పోడ్‌కాస్ట్లో ప్యానెల్, ఓపెన్-వెయిట్ మరియు ప్రీమియం మోడళ్ల విడుదల వేగం గురించి చర్చిస్తుంది. మరింత సామర్థ్యమున్న డౌన్‌లోడ్ చేసుకోగల మోడళ్లు అందుబాటును విస్తరిస్తాయని వారు వాదిస్తారు. అది ప్యానెల్ అభిప్రాయం. మరింత పరిమితమైన మరో డేటా అంశం Vercel యొక్క సెప్టెంబర్ AI Gateway Production Index, ఇది ఆగస్టు వరకు ఉన్న ట్రాఫిక్‌ను నివేదిస్తుంది.

పెద్ద మార్పు

  • ఏం మారింది: Vercel AI Gatewayలో ఓపెన్-వెయిట్ మోడళ్లు డిసెంబర్‌లో మైనారిటీగా ఉండగా, ఆగస్టు నాటికి టోకెన్లలో 56%కు చేరాయి; ఆగస్టు జాబితా ధరల ఆధారంగా అంచనా వేసిన ఖర్చులో వాటా 14%.
  • ఇది ఎందుకు ముఖ్యం: మోడళ్లను ఎంచుకునే బృందాలు ముందుగా టోకెన్ల డిమాండ్‌ను ఖర్చు నుంచి వేరు చేసి, తాము అమలు చేసే పనులపై నాణ్యతను, మొత్తం నిర్వహణ వ్యయాన్ని పోల్చాలి. ఈ సూచిక నిర్దిష్ట పనుల ఫలితాలను లేదా ఒక్కో బృందం సాధించే పొదుపును చూపదు.
  • ఏమి గమనించాలి: ఎంచుకున్న మోడల్ బృందం నాణ్యత, ప్రతిస్పందన సమయం, గోప్యత, నిర్వహణ అవసరాలను పూర్తి ఖర్చుతో తీరుస్తుందా అనేదే ఆచరణలో ముఖ్యం. టోకెన్ల వాటా ఒక్కటే దీనికి సమాధానం కాదు; లైసెన్స్ నిబంధనలు, హార్డ్‌వేర్, ఇంజినీరింగ్ సమయమూ ముఖ్యం.

56%, 14% గణాంకాలు ఏమి కొలుస్తాయి

ఆగస్టులో AI Gateway ద్వారా వెళ్లిన టోకెన్లలో ఓపెన్-వెయిట్ మోడళ్లు 56%ను నిర్వహించాయని Vercel చెబుతోంది. ఆ గేట్‌వేలో టోకెన్ పరిమాణంలో అవి మెజారిటీ అయిన తొలి నెల అదే. అంచనా ఖర్చులో వాటా 14%. ఏప్రిల్‌లో 13%గా ఉన్న వాటా ఆగస్టులో 56%కు పెరిగినట్లు కంపెనీ గ్రాఫ్ చూపుతుంది. నివేదిక సెప్టెంబర్ 17న వెలువడింది; ఆగస్టు వరకూ ఉన్న డేటాను ఉపయోగించింది.

ఈ వ్యత్యాసం ఆ మోడళ్లను అమలు చేయడం ఉచితం అని అర్థం కాదు. డౌన్‌లోడ్ చేసుకున్న బరువులకూ కంప్యూటింగ్ శక్తి, విద్యుత్, నిర్వహణ అవసరం కావచ్చు. గుండ్రంగా చూపిన వాటాలను బట్టి చూస్తే, ఈ డేటాలో ఓపెన్-వెయిట్ సమూహంలోని ఒక్కో టోకెన్‌కు అంచనా ఖర్చు ఇతర మోడళ్లతో పోలిస్తే సుమారు ఎనిమిదో వంతు. Vercel గణాంకాలతో ఈ లెక్క వేశాం: ఖర్చులో 14%ను టోకెన్లలో 56%తో భాగించి, మిగిలిన ఖర్చులో 86%ను మిగిలిన టోకెన్లలో 44%తో భాగించాం. ఇది విభిన్న మోడళ్లు, టోకెన్ రకాల సగటు మాత్రమే; ఏదైనా నిర్దిష్ట మోడల్ ధరనో సామర్థ్యాన్నో సూచించదు.

ఈ సూచిక ఇన్‌పుట్, అవుట్‌పుట్, తర్క ప్రక్రియ, కాష్ చేసిన ఇన్‌పుట్, కాష్ సృష్టి టోకెన్లను లెక్కిస్తుంది. వీటికి వేర్వేరు ధరలు ఉండవచ్చు; అందువల్ల సమూహ సగటు వినియోగదారులు పంపిన, రూపొందించిన టోకెన్ల మిశ్రమాన్నీ ప్రతిబింబిస్తుంది. ప్రయోగశాలలు ప్రకటించిన జాబితా ధరలతో ఖర్చును అంచనా వేస్తామని Vercel చెబుతోంది; వాస్తవ బిల్లులు భిన్నంగా ఉండవచ్చు. తమ ప్రొవైడర్ కీలను ఉపయోగించే బృందాల ట్రాఫిక్‌నూ పోల్చడానికి ఈ పద్ధతి వీలు కల్పిస్తుంది. అయితే ఇది బిల్లుల తనిఖీ కాదు; స్వయంగా నిర్వహించే మోడళ్ల కంప్యూటింగ్ ఖర్చుల కొలత కూడా కాదు.

గేట్‌వే మొత్తంలో ఒక్కో టోకెన్‌కు సగటు అంచనా ధర ఆగస్టులో 23.2% తగ్గిందని నివేదిక చెబుతోంది. జూలై, ఆగస్టు రెండింటిలోనూ ఒక్కొక్కటి కోటి కంటే ఎక్కువ టోకెన్లు నడిపిన బృందాల్లో, మధ్యస్థ బృందం అంచనా టోకెన్ ధర 7.6% తగ్గింది. ఓపెన్-వెయిట్ వినియోగం పెరగడం ఈ తగ్గుదలకు కొంత కారణమని Vercel చెబుతోంది. ఈ మార్పులో ఆ పెరుగుదల వల్ల ఎంత, టోకెన్ల మిశ్రమం మారడం వల్ల ఎంత, బృందాలు మోడళ్లు లేదా పనిభారాలు మార్చడం వల్ల ఎంత వచ్చిందో నివేదిక విడిగా లెక్కించలేదు.

ఒక గేట్‌వే మొత్తం మార్కెట్ కాదు

ఈ సూచిక Vercel AI Gateway ద్వారా వెళ్లిన, గుర్తింపులు తొలగించిన సమగ్ర ట్రాఫిక్‌ను చూపుతుంది. ఆ సేవ గుండా వెళ్లే వాస్తవ ఉత్పత్తి అభ్యర్థనలపై ఇది ఒక చూపునిస్తుంది; మోడల్ ర్యాంకింగో కొత్త విడుదల ప్రకటనో కంటే ఇది నిర్దిష్టమైనది. అయినా, ఈ వినియోగదారులే మొత్తం AI వినియోగదారులకు ప్రతినిధులని నివేదిక నిర్ధారించదు; విస్తృత మార్కెట్‌కు నమూనా ఎలా ఎంపికైందో చెప్పదు; గేట్‌వే ఉపయోగించని పనిభారాల్లో స్వీకరణను చూపదు. అందువల్ల శాతాలను Vercel గేట్‌వేలోని మోడళ్ల మిశ్రమంగా మాత్రమే చదవాలి.

తాజా AI Gateway మోడల్ జాబితా ఆధారంగా ఓపెన్-వెయిట్ వర్గీకరణ చేశామని, ఇది పాత నివేదికల నిర్వచనం కంటే విస్తృతమని Vercel కూడా పేర్కొంది. పద్ధతిని సవరించినప్పుడు, మరింత పూర్తి డేటా వచ్చినప్పుడు గత గణాంకాలు మారవచ్చు. నెలవారీ ధోరణి ఉపయోగకరమే; అయితే వర్గపు సరిహద్దు మారిందని నివేదిక స్వయంగా హెచ్చరిస్తుంది.

“ఓపెన్-వెయిట్” అనేది “ఓపెన్ సోర్స్”కు పర్యాయపదం కాదు. డౌన్‌లోడ్‌కు అందుబాటులో ఉంచే మోడల్ బరువులు నేర్చుకున్న సంఖ్యా పరామితులు. Open Source Initiative యొక్క Open Source AI Definition 1.0 మరింత విస్తృత ప్రమాణాన్ని నిర్దేశిస్తుంది: AI వ్యవస్థను ఉపయోగించడం, అధ్యయనం చేయడం, మార్చడం, పంచుకోవడం వంటి స్వేచ్ఛలు అందులో ఉండాలి. మార్పులకు అనువైన రూపంలో శిక్షణ డేటా సమాచారం, కోడ్, మోడల్ పరామితులు కూడా ఉండాలని అది పేర్కొంటుంది. డౌన్‌లోడ్ చేసుకోగల మోడల్‌కు లైసెన్స్ పరిమితులు ఉండవచ్చు; శిక్షణ కోడ్ లేదా డేటా వివరాలు లేకపోవచ్చు. బృందాలు ప్రతి మోడల్ అసలు లైసెన్స్‌ను, విడుదల సామగ్రిని పరిశీలించాలి.

ఈ వ్యత్యాసం AI కొనుగోలుదారులకు ఏమి చెబుతుంది

ఈ గణాంకాలు పరిమితమైన ఒక నిర్ధారణకు మద్దతిస్తాయి: ఈ గేట్‌వేలో ఓపెన్-వెయిట్ మోడళ్లు ఎక్కువ టోకెన్ పరిమాణాన్ని నిర్వహించగా, జాబితా ధరల ఆధారంగా అంచనా వేసిన ఖర్చులో వాటి వాటా తక్కువ. అదే పనిభారాన్ని స్థానిక సర్వర్‌లో తక్కువ ఖర్చుతో నడపగలమని గానీ, నాణ్యత, వేగం లేదా విశ్వసనీయతలో మార్పులేకుండా తక్కువ ఖర్చు మోడల్ ప్రీమియం మోడల్‌ను భర్తీ చేస్తుందని గానీ ఇది చూపదు.

ఉత్పత్తి బృందానికి సరైన పోలిక అంటే, అదే అంగీకార ప్రమాణంతో అదే పనిని పూర్తి చేయడానికి అయ్యే ఖర్చు. అందులో ఇన్‌పుట్, అవుట్‌పుట్ పరిమాణం, మళ్లీ ప్రయత్నాలు, సాధనాలు, అభ్యర్థనల మార్గనిర్దేశం, ప్రతిస్పందన సమయం, మానవ సమీక్ష అన్నీ చేర్చాలి. ఆపై ప్రొవైడర్ బిల్లులను, మోడల్ బరువులను నేరుగా నడపడానికి అవసరమైన హార్డ్‌వేర్, నిర్వహణతో పోల్చాలి. సెప్టెంబర్ సూచిక ఈ పని-వారీ పోలికలను అందించదు. ఒక ఉత్పత్తి గేట్‌వేలో ఓపెన్-వెయిట్ మోడళ్లు ఇప్పుడు గణనీయ వినియోగాన్ని పొందుతున్నాయని, అయినా ఖర్చులో అధిక వాటా ఇతరత్రా కేంద్రీకృతమై ఉందని సూచించడమే దీని ప్రయోజనం.

మోడళ్ల లభ్యత విస్తరిస్తోందన్న All-In ప్యానెల్ విస్తృత వాదనను ఇలాంటి వినియోగ ఆధారాలతో పరిశీలించవచ్చు. అయితే Vercel సూచిక చర్చలో వచ్చిన ప్రతి మోడల్ వాదనను నిర్ధారించదు; భవిష్యత్తులో స్వీకరణ ఎటు వెళ్తుందో అంచనా కూడా వేయదు. ప్రస్తుతానికి ఉపయోగకరమైన తేడా ఏమిటంటే: ఒక వర్గం ఎన్ని టోకెన్లను ప్రాసెస్ చేస్తోంది, ప్రొవైడర్ వసూళ్లు ఎంతగా అంచనా వేయబడ్డాయి, నమ్మదగిన ఫలితాన్ని పొందడానికి బృందానికి వాస్తవంగా ఎంత ఖర్చవుతోంది.

మూలాలు, మరింత చదవడానికి