SubQ Snap доноси контекст од 384K за структурисане AI одлуке

Subquadratic је 12. октобра објавио SubQ Snap као модел за ограничене одлуке унутар AI агената. Уместо да пише отворен одговор, процењује достављени текст и опционе слике према питањима која дефинише апликација. Његов јавни API у претпрегледу враћа изборе, оцене и вероватноће које софтвер може непосредно да користи.

За програмере је практична промена позив за одлучивање који може да прихвати дугачак унос без генерисања текста у сваком кораку усмеравања или провере. SubQ наводи контекстни прозор од 393.216 токена (384K) и цену од 0,05 долара по милиону улазних токена, без накнаде за излазне токене. То су тренутни услови компанијског претпрегледа. Приступ је по редоследу пријаве док је капацитет ограничен, а касније пријављени могу бити стављени на листу чекања.

Велика промена

• Шта се променило:Snap нуди простор одговора који дефинише апликација, са до 393.216 токена (384K) текстуалног и сликовног контекста у јавном претпрегледу. Програмер може да затражи избор међу именованим опцијама или оцењивање резултата без генерисаног текста.
• Зашто је важно:Програмери агената понављају ограничене позиве попут избора алата и провере резултата. Типизовани одговор може непосредно да пређе у следећи корак софтвера, док генеративни модел остаје доступан за послове којима треба отворен одговор. Да ли то побољшава стварног агента зависи од тачности одлука и околног тока рада.
• Шта треба пратити:SubQ-ови почетни тестови фаворизују Snap у неколико провера одлучивања, али их је спровела сама компанија. Независни тестови конкретних задатака и шири приступ претпрегледу показали би како се брзина, трошак и стопа грешака понашају у примењеним токовима рада агената.

Шта враћа Snap позив

Та документација Decisions API-ја наводи subq-snap-preview као модел за POST /v1/systemone. Захтев садржи stateкоји може бити текст или структурисани подаци, као и једно или више именованих питања. Један noul је процена да или не изражена као вероватноћа одговора да. Један choice бира између две и 255 именованих опција и враћа вероватноће за сваку. Један score користи два до десет уређених нивоа и враћа пондерисану оцену са расподелом вероватноће.

Ови облици одговора важнији су од назива производа. Програмер дефинише дозвољене одговоре и одлучује шта ће апликација урадити с њима. Вероватноће API-ја су излази модела, а не проверене мере учесталости са којом ће нека конкретна одлука у стварном свету бити тачна. Сопствена документација SubQ-а приказује програмере који примењују прагове и нејасне случајеве враћају човеку; она не утврђује универзални праг за сваки задатак.

Snap прихвата до четири PNG, JPEG или WebP слике уз state. Свака слика после декодирања може имати највише 4 MiB, а њихов укупни декодирани обим највише 8 MiB. Документација API-ја каже да се сликовни и текстуални токени рачунају у исти контекстни лимит од 393.216 токена. Видео није подржан; предложени поступак је узорковање највише четири кадра као слика. То су конкретна ограничења улаза за API у претпрегледу, а не гаранција да ће модел поуздано протумачити сваки дугачак документ или слику.

Разлика у тестовима коју треба имати на уму

У својој процени при лансирањуSubQ наводи резултат Snap-а од 61,7 наспрам 57,9 за Jev на целом јавном скупу Decision Index 0.2.1. Наводи и просек 67,6 наспрам 61,6 у одабраној групи од 16 тестова за предузећа. Snap је бољи у 13 од 16, а слабији у три, укључујући тест када агент треба да позове, пита, одговори или одбије. Ове бројке потичу из SubQ-ове процене; BIG CHANGE их није поновио нити је тестирао било који модел у агенту.

Компанија такође наводи резултат 96,3 за Snap на свом прилагођеном Decision RULER тесту са милион токена. Тај резултат припада посебној процени. тренутни лимит API захтева износи 393.216 токена, а документација каже да захтев који га премаши не успева. Тест са милион токена не треба користити као спецификацију улаза за API у претпрегледу.

SubQ каже да Snap може да обради захтев од 100.000 токена и врати одлуку за око секунду. Јавна тврдња не даје BIG CHANGE-у уочену расподелу кашњења за различите налоге, истовремени саобраћај или типове питања. Пре него што замени корак у важном току рада, читалац треба да испроба претпреглед на сопственом скупу одлука, трошковима грешака и захтевима за време одзива.

Приступ, цена и обрада података

Званични списак модела наводи Snap као јавни претпреглед са текстуалним и сликовним улазом; приказује 0,05 долара по милиону улазних токена и бесплатан излаз. Страница лансирања каже да ограничен капацитет може ставити нове кориснике на листу чекања. Ниједан извор не доказује да свака организација има непосредан приступ или одређено ограничење брзине.

Тимови који процењују осетљиве послове треба да провере и политику задржавања података пре слања докумената или слика. Документовано подразумевано подешавање организације чува упите, одговоре и историју разговора до брисања. SubQ нуди политику са фиксним бројем дана и, на захтев, нулто задржавање података за целу организацију. Каже да се и уз нулто задржавање чувају евиденције наплате и подршке са моделом, бројем токена, временом и ознакама метаподатака, без садржаја упита или одговора. Decisions endpoint остаје доступан уз то подешавање организације. BIG CHANGE није независно проверио складиштење података услуге.

SubQ-ов допринос је конкретан облик API-ја за поновљене ограничене одлуке над великим контекстом, уз објављену ниску цену токена. Остаје питање колико се често те одлуке покажу исправним на пословима које би организација стварно усмерила преко њега. За одговор су потребна независна тестирања изван резултата са лансирања.

Извори и додатно читање

• SubQ-ова објава о лансирању од 12. октобраобјашњава предвиђену улогу у агентима, цене, приступ претпрегледу и процене компаније. Подаци о брзини и тестовима су тврдње добављача; резултат Decision RULER-а са милион токена одвојен је од ограничења API-ја у претпрегледу.
• Референца за SubQ Decisions APIдокументује endpoint, типизована питања и одговоре, ограничења токена и слика и понашање при грешкама. То је актуелна документација производа, а не доказ поузданости у примењеном току рада.
• SubQ моделидају ID модела у претпрегледу, модалитете и објављене цене у америчким доларима. Услови и доступност могу се променити током претпрегледа.
• SubQ документација о задржавању податакаописује подразумеване и опционе политике организације. Политика описује предвиђено понашање услуге; BIG CHANGE није проверио складиштење или брисање.