Anthropic наводи да је почео да даје приступ својим интерним системима ради процене ризика од AI-ја за шесторо запослених у непрофитној организацији METR. Овај аранжман малом спољном тиму пружа ближи увид у рад компаније него јавно објављивање модела или извештај о ризику. Anthropic и даље контролише које информације тим добија и може да захтева уклањање одређеног материјала из анализа које METR објављује.

Anthropic је сарадњу најавио 15. октобра и ажурирао саопштење 16. октобра како би појаснио важеће услове објављивања. Најава описује аранжман приступа, а не завршену METR-ову процену ризика у компанији Anthropic. Његова вредност за читаоце зависиће од тога шта METR може да испита и шта његов будући извештај може да објасни о ограничењима.

Велика промена

  • Шта се променило: Anthropic наводи да шест запослених у METR-у има опрему компаније, канцеларијски простор и приступ интерним алатима приближно упоредив са његовим тимовима за процену ризика. Очекује се да METR објављује анализе нивоа ризика, инцидената или пракси компаније Anthropic.
  • Зашто је важно: Спољни процењивач можда може да испита интерне доказе које јавност не види. METR-ов будући приказ може да опише и битна ограничења приступа и изостављање информација, помажући читаоцима да одмере закључке.
  • На шта обратити пажњу: Anthropic наводи да не може да стави вето на METR-ово објављивање, али може да захтева изостављање информација према унапред одређеним категоријама и коначно одлучује шта спада у њих. Најава не утврђује никакав резултат процене овог тима укљученог у рад компаније.

Чему шест процењивача може да приступи

Anthropic наводи да је укључио шест запослених у METR-у, дајући им опрему компаније, канцеларијски простор и приступ интерним алатима и системима „приближно на нивоу” својих тимова за процену ризика. Подстиче запослене да са њима деле релевантне информације као са колегом који ради на ризику усклађивања AI-ја. Као примере изузетих категорија компанија наводи податке клијената, информације заштићене поверљивошћу односа адвоката и клијента и архитектуре модела. Наводи да би информације о архитектури понекад могле да се поделе када су веома релевантне, уз изричита интерна одобрења.

То је садржајан опис приступа, али није списак свих скупова података, система или интервјуа које је тим заиста користио. У саопштењу компаније Anthropic наводи се да тим ради на основу правно извршивих споразума и да су други запослени у METR-у, укључујући истраживаче на другим пројектима са компанијом Anthropic, одвојени од његовог рада. BIG CHANGE је прегледао јавна саопштења; нисмо прегледали споразум нити интерне системе.

METR-ов предлог од 14. октобра за процене губитка контроле објашњава какве доказе жели од развијалаца најнапреднијих модела. Издваја три питања: да ли би интерни AI агенти могли да предузму озбиљно штетне радње, да ли би надзор то открио и зауставио и да ли би истраживање уз AI могло да убрза развој способности више него што заштитне мере могу да прате. За та питања METR описује могући приступ контролним тачкама модела, интерним транскриптима, системима надзора и мерилима истраживачког напретка. Тај документ је предлог за више развијалаца, а не попис онога што је Anthropic обезбедио у овој сарадњи.

Права објављивања и њихова ограничења

Anthropic наводи да METR може да објављује анализе нивоа ризика, инцидената или пракси компаније без вета компаније Anthropic. Компанија може да захтева уклањање информација из унапред дефинисаних категорија. Појашњење од 16. октобра додаје да Anthropic коначно одлучује да ли информације спадају у те категорије, док METR задржава право да даје одређене изјаве о приступу и информацијама које је добио. Право на објављивање налаза, дакле, постоји упоредо са контролом компаније над осетљивим детаљима.

METR-ова политика рада са AI компанијама наводи да извештаји треба да открију обим и трајање рада, ограничења приступа која утичу на закључке, важно изостављање информација и притиске који могу обликовати резултат. METR наводи да настоји да направи сажетак изостављања када компанија уклони информације важне за његове закључке. То су праксе и циљеви које је METR навео; јавност још не може да провери како ће се применити у извештају овог новог тима укљученог у компанију.

METR такође признаје да добровољне процене зависе од тога да компаније дају приступ и дозволе објављивање. Наводи да компаније могу да ускрате приступ или уклоне материјал на начине који утичу на доказе доступне јавности. Предлог од 14. октобра каже да би се поступак усредсредио на техничка питања губитка контроле и да не би представљао ревизију безбедносне заштите, организационог управљања или усклађености са прописима. METR наводи да наука која је у основи овог рада још не може да пружи поуздано уверавање да је развој безбедан.

Anthropic описује приступ у три нивоа за друге процењиваче. Аранжман са METR-ом је трећи ниво, са приступом сличним приступу запослених и правима објављивања. Ранији нивои нуде уже истраге или ограниченија права објављивања. Ти описи нивоа представљају планове компаније Anthropic и важеће услове сарадње, а не доказ да сваки партнер има METR-ов приступ.

Јавна провера овог аранжмана биће METR-ови извештаји: која питања ризика је истраживао, које интерне доказе је могао да испита и која ограничења или изостављања може да опише. Садашња саопштења утврђују услове које је Anthropic најавио и приступ који је METR објавио. Не утврђују налаз о безбедности компаније Anthropic или делотворности процене тима унутар компаније.

Извори и додатно читање