Истраживачи Sakana AI тестирали су систем који чита научне радове пре писања рецензије. У препринту од 8. октобра, њихов Multi-Layered Review открио је 73,43% намерно уметнутих противречности у главним тврдњама када су обједињене четири генерисане рецензије. Тај број описује најцентралнију категорију синтетичког теста. У одвојеном скупу повучених радова са стварно пријављеним проблемима, рецензије су се по строгом критеријуму тачно поклопиле са коментарима о повлачењу у 16,11% случајева, а по блажем су изнеле сличну забринутост у 26,07%.

Велика промена

  • Шта се променило: Тим Sakana тестирао је AI рецензије на препознатљивим, намерно уметнутим грешкама, уместо да мери само сличност са људском рецензијом. Истакнутих 73,43% односи се на најцентралније противречности и четири покушаја по раду.
  • Зашто је важно: Рецензентима и уредницима требају алати који указују на суштинске грешке, а не само пишу уверљив текст. Знатно нижа поклапања код повучених радова показују да учинак зависи од врсте грешке и начина мерења.
  • Шта пратити: Следећи користан тест проверио би могу ли системи да пронађу природно настале проблеме у различитим областима и дужим радовима и понуде доказе које рецензенти могу да провере. Препринт је такође утврдио да скривена упутства у предатом тексту могу да утичу на оцену рецензије.

Како је спроведен тест противречности

Истраживачи су почели са 257 AI конференцијских радова са ACL, AISTATS, CVPR и ICML 2025, као и NeurIPS 2024. Gemini 2.5 Pro је повезао тврдње са поткрепљујућим детаљима. GPT-4.1 је затим направио противречне пасусе на различитим удаљеностима од главне тврдње. Заменом оригиналних пасуса и поновним компајлирањем настале су 1.164 измењене верзије, свака са једном уметнутом противречношћу. Према дизајну рада, удаљеност нула означава противречност у главној тврдњи; веће удаљености односе се на споредније детаље.

Sakana рецензент, заснован на Claude Sonnet 4, прво скицира рад, затим детаљније чита доказе, претпоставке и слабости, па пише рецензију. Потпун оквир може да дода сажетак у прилогу и претрагу литературе. За овај тест истраживачи су користили само Review Agent, без те две опционе компоненте. Модел o3 упоређивао је сваку рецензију са оригиналним и измењеним пасусима и процењивао да ли је откривена циљана противречност. Тај корак су поновили десет пута и пријавили просек.

Број од 73,43% потиче из табеле 14 препринта: противречност на удаљености нула рачунала се као откривена ако је уочи било која од четири генерисане рецензије . Тест садржи по једну измењену верзију на удаљености нула за сваки од 257 изворних радова. Једна MLR рецензија постигла је 60,79% у тој категорији. За свих 1.164 уметнуте противречности, четири рецензије су постигле 40,95%, а једна 28,32%. Стопа је опадала како су се грешке удаљавале од главних тврдњи, мада су најудаљеније групе имале мало примера.

Поређење треба тумачити уз подешавања. Код грешака на удаљености нула, LLM-Review са GPT-4.1 постигао је 14,56%; замена модела са Claude Sonnet 4 и уклањање скраћивања текста подигли су резултат на 35,40%. Једна MLR рецензија постигла је 60,79%. То указује на значај избора модела и поступка; резултат од 73,43% са четири рецензије има и корист од више прилика за уочавање. Основни системи користили су различите моделе и формате, па истакнути број није изоловано мерење поступка у три пролаза.

Тест на стварним радовима био је тежи

Аутори су оценили и WithdrarXiv-Check, скуп повучених arXiv радова упарених са коментарима о повлачењу. Користили су 211 радова до 30 страница из првобитног теста од 245 радова. o3 оцењивач тражио је забринутост у генерисаној рецензији која одговара разлогу повлачења. По „тачном“ критеријуму MLR је постигао 16,11%; уз сличну забринутост 26,07%. Следећи основни систем у блажем поређењу, AgentReview, постигао је 18,48%. То су поклапања са документованим разлозима повлачења, а не мерење свих могућих недостатака сваког рада.

Поређење два скупа има ограничења. Аутори кажу да су многи повучени радови из математике и физике, док су системи углавном намењени AI конференцијским пријавама. Прилог показује опадање детекције са растом броја страница. Синтетички тест има и предност: у ручној провери 50 уметнутих противречности, људски оцењивачи су утврдили да 34% нарушава природан ток околног текста. Зато је неке вештачке измене можда лакше уочити него грешке настале током истраживања или писања.

Препринт испитује и намерну манипулацију. Истраживачи су ситним белим словима сакрили упутства после закључка у 50 одбијених радова. Рад наводи да су сва тестирана рецензијска система била под утицајем уметнутих упутстава; MLR их је изричито приметио у осам случајева. Просечна промена сопствене оцене рецензије била је мала, али су појединачне промене знатно варирале. То је засебно упозорење да текст предатог рукописа не треба сматрати поузданим упутством.

Рад нуди конкретнији начин да се пита да ли AI рецензент открива познату грешку. Не доказује поуздану аутоматизовану рецензију. Резултате су у препринту пријавили творци система; BIG CHANGE није покренуо код нити независно поновио процене.

Извори и додатна литература