Ayon sa Anthropic, sinimulan nitong bigyan ang anim na empleyado ng nonprofit na METR ng access sa mga panloob nitong sistema upang tasahin ang mga panganib ng AI. Mas malapit na makikita ng maliit na pangkat mula sa labas ang gawain ng kompanya kaysa sa makukuha mula sa pampublikong paglabas ng modelo o ulat ng panganib. Kontrolado pa rin ng Anthropic kung anong impormasyon ang matatanggap nila at maaari nitong ipatanggal ang takdang materyal sa inilalathalang pagsusuri ng METR.

Inanunsiyo ng Anthropic ang pakikipagtulungan noong Oktubre 15 at in-update ang pahayag nito noong Oktubre 16 upang linawin ang kasalukuyang mga tuntunin sa paglalathala. Inilalarawan ng anunsiyo ang kasunduan sa access, hindi ang natapos na pagtatasa ng METR sa mga panganib ng Anthropic. Ang halaga nito sa mga mambabasa ay depende sa masusuri ng METR at sa maipapaliwanag ng panghuling ulat nito tungkol sa mga limitasyon.

Ang malaking pagbabago

  • Ano ang nagbago: Ayon sa Anthropic, may hardware ng kompanya, espasyo sa opisina at access sa mga panloob na tool ang anim na empleyado ng METR, na halos maihahambing sa sarili nitong mga pangkat sa pagtatasa ng panganib. Inaasahang maglalathala ang METR ng mga pagsusuri sa antas ng panganib, mga insidente o mga gawain ng Anthropic.
  • Bakit ito mahalaga: Maaaring masuri ng evaluator mula sa labas ang panloob na ebidensiyang hindi nakikita ng publiko. Maaari ring ilarawan ng magiging ulat ng METR ang mahahalagang limitasyon sa access at pag-aalis ng impormasyon, upang makatulong sa pagtimbang ng mga konklusyon.
  • Ano ang dapat bantayan: Sinasabi ng Anthropic na hindi nito maaaring i-veto ang paglalathala ng METR, ngunit maaari itong humiling ng pag-aalis ng impormasyon sa mga itinakdang kategorya at ito ang huling magpapasya kung ano ang kabilang sa mga iyon. Walang resulta ng pagtatasa mula sa paglalagay ng pangkat sa loob ng kompanya ang pinatutunayan ng anunsiyo.

Ano ang maa-access ng anim na evaluator

Ayon sa Anthropic, tinanggap nito ang anim na empleyado ng METR na may hardware ng kompanya, espasyo sa opisina at access sa panloob na mga tool at sistema na ‘halos kapantay’ ng sa sarili nitong mga pangkat sa pagtatasa ng panganib. Hinihikayat ang mga kawani na magbahagi sa kanila ng kaugnay na impormasyon gaya ng sa katrabahong nagsusuri ng panganib sa pag-aayon ng AI. Kabilang sa mga halimbawang hindi saklaw ang datos ng customer, impormasyong protektado ng pribilehiyo sa pagiging kompidensiyal ng ugnayan ng abogado at kliyente, at arkitektura ng modelo. Ayon sa kompanya, maaari minsang ibahagi ang impormasyon sa arkitektura kung lubhang kaugnay ito, matapos ang tahasang panloob na pag-apruba.

Malawak na paglalarawan iyon ng access, ngunit hindi listahan ng bawat dataset, sistema o panayam na talagang nagamit ng pangkat. Sinasabi ng Anthropic na gumagana ang pangkat sa ilalim ng mga kasunduang maaaring ipatupad sa batas, at nakahiwalay sa gawain nito ang ibang empleyado ng METR, kabilang ang mga mananaliksik sa iba pang proyekto ng Anthropic. Sinuri ng BIG CHANGE ang mga pampublikong pahayag; hindi namin siniyasat ang kasunduan o mga panloob na sistema.

Ang panukala ng METR noong Oktubre 14 para sa pagtatasa ng pagkawala ng kontrol ay nagpapaliwanag kung anong ebidensiya ang nais nito mula sa mga developer ng pinakaabanteng AI. May tatlong tanong: maaari bang gumawa ang panloob na AI agent ng mga kilos na nagdudulot ng malubhang pinsala, matutukoy at mapipigil ba iyon ng pagsubaybay, at maaari bang pabilisin ng pananaliksik gamit ang AI ang mga kakayahan nang higit sa kayang sabayan ng mga pananggalang. Para rito, inilalarawan ng METR ang posibleng access sa mga checkpoint ng modelo, panloob na transcript, mga sistema ng pagsubaybay at sukatan ng pag-usad ng pananaliksik. Panukala ito para sa iba't ibang developer, hindi imbentaryo ng naibigay na ng Anthropic sa pakikipagtulungang ito.

Mga karapatan sa paglalathala at mga limitasyon nito

Sinasabi ng Anthropic na maaaring maglathala ang METR ng pagsusuri sa antas ng panganib, mga insidente o mga gawain ng kompanya nang walang veto mula sa Anthropic. Maaari nitong hilinging alisin ang impormasyong nasa mga paunang itinakdang kategorya. Idinagdag sa paglilinaw noong Oktubre 16 na Anthropic ang may huling pasya kung kabilang ang impormasyon sa mga kategoryang iyon, habang may karapatan ang METR na gumawa ng ilang pahayag tungkol sa access at impormasyong natanggap nito. Kaya magkasabay na umiiral ang karapatang maglathala ng resulta at ang kontrol ng kompanya sa sensitibong detalye.

Ang patakaran ng METR sa pakikipagtulungan sa mga kompanya ng AI ay nagsasabing dapat ilahad ng mga ulat ang saklaw at tagal ng gawain, mga limitasyon sa access na nakaaapekto sa konklusyon, mahahalagang pag-aalis ng impormasyon at mga presyur na maaaring humubog sa resulta. Ayon sa METR, layunin nitong gumawa ng buod ng mga inalis kapag nagtanggal ang kompanya ng impormasyong mahalaga sa mga konklusyon nito. Mga ipinahayag na gawain at layunin ito ng METR; hindi pa masusuri ng publiko kung paano ilalapat ang mga ito sa ulat ng bagong pangkat sa loob ng kompanya.

Kinikilala rin ng METR na ang boluntaryong pagtatasa ay nakasalalay sa pagbibigay ng kompanya ng access at pahintulot sa paglalathala. Maaari raw ipagkait ng mga kompanya ang access o alisin ang materyal sa paraang nakaaapekto sa ebidensiyang natatanggap ng publiko. Ayon sa panukala noong Oktubre 14, tututok ang gawain sa mga teknikal na tanong sa pagkawala ng kontrol at hindi ito magiging audit ng seguridad, pamamahala ng organisasyon o pagsunod sa mga tuntunin. Sinasabi ng METR na hindi pa kayang magbigay ng matibay na katiyakan ng kaligtasan ng pagde-develop ang batayang agham nito.

Inilalarawan ng Anthropic ang tatlong antas na paraan para sa iba pang evaluator. Nasa ikatlong antas ang kasunduan sa METR, na may access na tulad ng sa empleyado at mga karapatan sa paglalathala. Mas makitid na pagsusuri o mas limitadong karapatan sa paglalathala ang ibinibigay ng mga naunang antas. Ang mga paglalarawang ito ay mga plano at kasalukuyang tuntunin ng pakikipagtulungan ng Anthropic, hindi ebidensiyang lahat ng partner ay may access na tulad ng METR.

Ang mga ulat ng METR ang magiging pampublikong pagsubok sa kasunduang ito: anong mga tanong sa panganib ang inimbestigahan nito, anong panloob na ebidensiya ang nasuri, at anong mga limitasyon o pag-aalis ng impormasyon ang mailalarawan nito. Itinatakda ng kasalukuyang mga pahayag ang mga tuntuning inanunsiyo ng Anthropic at ang inilathalang paraan ng METR. Hindi nito pinatutunayan ang anumang resulta tungkol sa kaligtasan ng Anthropic o bisa ng pagtatasa ng pangkat sa loob ng kompanya.

Mga sanggunian at karagdagang babasahin