Ai2 је 2. октобра објавио AstaBrief 8B као модел који стоји иза функције Fast mode у опцији „Генериши извештај“ у производу Asta. Модел који се може преузети прима истраживачко питање и одломке преузете из научних радова, а затим у једном пролазу пише извештај са цитатима. Истраживачу је важно да разликује одакле радови потичу и шта цитати заиста поткрепљују: AstaBrief пише на основу достављених доказа; сам по себи није услуга за претрагу научне литературе. Ai2-ова објава и картица модела описују ту границу.

Велика промена

  • Шта се променило: Ai2 је увео AstaBrief у активни режим Fast у производу Asta и објавио параметре модела и материјале за обуку.
  • Зашто је важно: Према наводима Ai2-а, истраживачке групе могу да прегледају или прилагоде генератор извештаја и покрећу модел са отвореним параметрима на сопственој инфраструктури.
  • Шта треба пратити: Квалитет извештаја зависи од преузете литературе и провере сваке важне тврдње у односу на извор. Режим Thinking, који користи Claude у производу Asta, засебна је вишекорачна опција.

Од питања до извештаја

Пут преко хостоване услуге почиње у опцији „Генериши извештај“ у производу Asta, где режим Fast користи AstaBrief. Ai2 наводи да систем за извештавање најпре преузима релевантну литературу, па моделу прослеђује питање и одломке. Модел затим пише извештај у једном пролазу, без издвајања цитата, груписања и писања одељак по одељак, што се користи у режиму Thinking. Јавни репозиторијум ScholarQA описује преузимање одломака и кључних речи из Semantic Scholar-а, а затим њихово поновно рангирање; његова lite имплементација прави упит од поново рангираних референци и позива подешени генератор. То су документоване компоненте, а не провера активне услуге Asta коју је спровео BIG CHANGE.

За локално преузимање, картица модела AstaBrief-а препоручује повезани формат упита и улаз који садржи питање и референце на одељке. Наводи пример transformers/vLLM кода за закључивање са највише 4.096 излазних токена. У примеру са картице поље model_name подешено је на SFT checkpoint, док страница описује каснији чекпоинт дообучен методом DPO AstaBrief_8B; истраживач који бира чекпоинт треба да разреши ту неусклађеност, а не да претпостави да приказани пример покреће коначни модел онако како је написан. Ai2 такође повезује пример кода ScholarQA lite који истраживачи могу да прилагоде за извештаје на основу сопствених PDF-ова. Повезани директоријум садржи код, а не документовано готово подешавање за PDF-ове са наведеним минималним хардверским захтевима.

Практичан редослед за локални експеримент био би: прибавити радове који се смеју користити; издвојити и одабрати релевантне одломке са идентификаторима радова; обликовати питање и референце према препоруци са картице; покренути изабрани чекпоинт; и прегледати добијени извештај упоредо са одломцима и изворним радовима. Извори документују ове компоненте, али BIG CHANGE није спровео те кораке. Потпуна локална реплика захтева и претрагу, обраду PDF-ова, управљање референцама и избор начина сервирања, што се не добија само преузимањем параметара модела.

Проверите доказе пре коришћења текста

Почните од претраге. Забележите упит и скуп радова или PDF-ова понуђених генератору. Изостављена студија или нерелевантан одломак могу да искриве одговор пре него што AstaBrief напише иједну реч. Затим отворите сваки цитирани рад када је тврдња важна. Проверите да ли цитирани одломак поткрепљује тачну реченицу, укључујући популацију, метод, датум и степен извесности. Цитат може бити стваран и повезан са темом, а да извештај ипак неоправдано прошири резултат са једног узорка на целу област или описни налаз претвори у савет. Ai2 изричито наводи ову грешку у опсегу тврдње у својој објави.

На крају потражите важне тврдње без цитата и места на којима се извештај изнова ослања на уски део преузетих радова. Ai2 каже да су филтрирањем извештаја за обуку према густини цитирања побољшани резултати током развоја. Тај налаз објашњава зашто је приписивање важно, али сама густина цитата не доказује да верно преносе тврдње. Генерисани извештај третирајте као радну синтезу коју треба упоредити са радовима и дорадити, нарочито пре цитирања у истраживању или доношења важне одлуке.

Шта објављена процена потврђује

Ai2 наводи да је у целом процесу Asta-е режим Fast у просеку трајао 51,1 секунду по извештају у поређењу са 178,5 секунди за режим Thinking, односно био око 3,5 пута бржи у том поређењу. Картица модела приказује резултате AstaBrief-а на питањима из области рачунарских наука ScholarQA-CS2 и тесту DeepScholarBench, а у објави се описује засебно мало поређење са људима: троје истраживача дало је укупно 14 питања. То су Ai2-ове процене његових система и тестних скупова, а не независан доказ да ће конкретан извештај бити тачан. У објави се наводи да се највећи део обуке и процене одвијао 2025. године и да целокупна процена није поновљена на актуелним водећим моделима.

Коначни чекпоинт је јавно доступан под лиценцом Apache 2.0, а Ai2 наводи скупове података за обуку и упите у својој колекцији AstaBrief. Картица модела каже да је модел намењен истраживању и образовању у складу са смерницама Ai2-а за одговорну употребу. У напомени о обуци помиње се осам GPU-ова H100 за DPO обуку; то није објављен минимални захтев за закључивање. Примарни материјали које смо прегледали не наводе цену извештаја у хостованом Asta-у, минималну спецификацију локалног GPU-а нити поуздан локални трошак по извештају. Тим који планира примену треба да утврди те трошкове за своје подешавање.

Извори и додатна литература

  • Ai2-ова објава од 2. октобра објашњава активни режим Fast, генерисање у једном пролазу, време извршавања и ограничења процене. Наводи о учинку потичу од самог Ai2-а.
  • Картица модела AstaBrief 8B наводи лиценцу, предвиђену употребу, препоручени формат упита и пример закључивања, укључујући назив SFT чекпоинта у том примеру.
  • Колекција AstaBrief садржи објављене чекпоинте, скупове података и упите; њихово постојање не доказује да је могуће поновити цео процес локално.
  • Код и документација за ScholarQA описују систем за претрагу; lite генератор показује како поново рангиране референце постају упит за генерисање у једном пролазу. Прегледали смо документацију и код, али их нисмо покретали.
  • Репозиторијум процене ScholarQA-CS2 садржи код и податке за тестирање, укључујући израду критеријума оцењивања. Помаже да се разуме дизајн теста, али не представља независну поновну процену резултата AstaBrief-а.