Vercel-ов септембарски извештај о AI Gateway-у наводи да су модели отворених тежина у августу обрадили 56% токена усмерених кроз ту услугу, али чинили 14% процењене потрошње. Ова разлика показује да обим коришћења и буџети за моделе могу да испричају различите приче. Реч је о снимку саобраћаја кроз један гејтвеј, а не о мери читавог тржишта АИ-ја или стварних рачуна корисника.

На 20:03. минуту 290. епизоде подкаста All-In, панел говори о темпу објављивања модела отворених тежина и премијум модела и тврди да приступ способнијим моделима за преузимање шири могућности. То је тумачење учесника. Засебан, ужи податак долази из Vercel-овог септембарског индекса производне употребе AI Gateway-а, који приказује саобраћај закључно са августом.

Суштинска промена

  • Шта се променило: Удео модела отворених тежина на Vercel-овом AI Gateway-у порастао је са мањинског на 56% укупног броја токена између децембра и августа, а притом је у августу чинио 14% процењене потрошње по јавним ценовницима.
  • Зашто је то важно: Тимови који бирају моделе треба да раздвоје потражњу за токенима од потрошње, а затим да на својим задацима упореде квалитет и пуне оперативне трошкове. Индекс не даје резултате за појединачне задатке нити процену уштеде за неки одређени тим.
  • На шта обратити пажњу: Практично питање је да ли изабрани модел испуњава захтеве тима за квалитет, латенцију, приватност и рад по укупној цени. Сам удео токена не може да одговори на то; важни су и услови лиценце, хардвер и време инжењерског рада.

Шта мере бројке 56% и 14%

Vercel наводи да су модели отворених тежина обрадили 56% токена усмерених кроз AI Gateway у августу, првом месецу у ком су чинили већину обима те услуге. Удео у процењеној потрошњи био је 14%. На графикону компаније види се пораст њиховог удела са 13% у априлу на 56% у августу. Извештај је датиран 17. септембра и користи податке закључно са августом.

Разлика не значи да је покретање тих модела бесплатно. Тежине које се могу преузети и даље захтевају рачунарску снагу, струју и оперативно одржавање. На основу заокружених удела, процењена потрошња по токену групе отворених тежина била је око осам пута нижа од оне за остале моделе у овом скупу података. Рачун се заснива на Vercel-овим бројкама: 14% процењене потрошње подељено са 56% токена, у поређењу са преосталих 86% потрошње подељених са 44% токена. То је просек различитих модела и врста токена, а не цена или способност неког конкретног модела.

Индекс обухвата улазне, излазне, резонујуће, кеширане улазне токене и токене за стварање кеша. Цене тих врста токена могу да се разликују, па просек групе зависи и од онога што су њени корисници послали и добили као резултат. Vercel процењује потрошњу на основу јавно објављених ценовника лабораторија; наводи да стварни рачуни могу да се разликују. Такав приступ омогућава компанији да пореди саобраћај тимова који користе сопствене приступне кључеве добављача, али није провера рачуна нити мерење рачунарских трошкова самосталног хостовања.

У извештају се такође наводи да је просечна процењена цена по токену на целом гејтвеју у августу пала за 23,2%. Међу тимовима који су сваки обрадили више од 10 милиона токена и у јулу и у августу, процењена цена по токену за тим на средини расподеле пала је за 7,6%. Vercel део пада приписује ширењу коришћења модела отворених тежина. Извештај не издваја колики део промене потиче од тог померања, другачијег састава токена или промена модела и оптерећења код тимова.

Један гејтвеј не представља цело тржиште

Индекс обухвата анонимизовани збирни саобраћај који пролази кроз Vercel-ов AI Gateway. Он приказује стварне производне захтеве кроз ту услугу, што је конкретније од ранг-листе модела или најаве издања. Ипак, у извештају се не утврђује да корисници представљају све кориснике АИ-ја, не наводи се узорак за шире тржиште нити приказује прихватање модела у оптерећењима која не користе тај гејтвеј. Зато проценте треба читати као расподелу саобраћаја кроз Vercel-ову услугу.

Vercel такође напомиње да класификација модела отворених тежина прати актуелну листу модела AI Gateway-а, која је шира од дефиниције коришћене у ранијим извештајима. Раније бројке могу да се промене док Vercel дорађује методологију и добија потпуније податке. Месечни тренд је користан, али у самом извештају се упозорава да се граница категорије променила.

„Отворене тежине“ нису исто што и „отворени код“. Тежине модела су научени нумерички параметри који могу да се објаве за преузимање. Иницијатива за отворени код (OSI) у својој дефиницији отвореног АИ-ја, верзија 1.0 поставља шири стандард: захтева слободу коришћења, проучавања, измене и дељења AI система и наводи информације о подацима за обуку, код и параметре модела као делове препорученог облика за измене. Модел доступан за преузимање и даље може имати ограничења лиценце или не садржати код за обуку и детаље о подацима. Тимови треба да провере лиценцу и материјале уз свако конкретно издање модела.

Шта разлика значи за купце АИ-ја

Vercel-ови подаци поткрепљују узак закључак: на овом гејтвеју модели отворених тежина носили су већи обим токена, уз мањи удео процењене потрошње по јавним ценовницима. Не показују да би исти задатак мање коштао на локалном серверу нити да модел ниже цене може да замени премијум модел без промена у квалитету, брзини или поузданости.

За продуктни тим важно је поредити трошак извршавања истог задатка уз исти стандард прихватања. То подразумева улазне и излазне токене, поновљене покушаје, алате, усмеравање, латенцију и евентуалну људску проверу, а затим поређење рачуна добављача са хардвером и радом потребним за директно покретање модела. Септембарски индекс не пружа поређења по задатку. Његова вредност је у томе што показује да модели отворених тежина сада чине знатан део коришћења на једном производном гејтвеју, док је расподела потрошње и даље концентрисана другде.

Шири аргумент панела All-In-а да се доступност модела повећава може се процењивати помоћу оваквих података о коришћењу, али Vercel-ов индекс не потврђује сваку тврдњу о моделима из разговора нити предвиђа даљи правац усвајања. За сада је корисно разликовати број токена које обрађује нека категорија, процењене трошкове добављача и цену коју тим плаћа да би добио поуздан резултат.

Извори и додатна литература