AI जोखमींचे मूल्यांकन करण्यासाठी नफारहित संस्था METR च्या सहा कर्मचाऱ्यांना आपल्या अंतर्गत यंत्रणांमध्ये प्रवेश देण्यास सुरुवात केल्याचे Anthropic म्हणते. या व्यवस्थेमुळे छोट्या बाह्य पथकाला सार्वजनिक मॉडेल प्रकाशन किंवा जोखीम अहवालापेक्षा कंपनीच्या कामाची अधिक जवळून माहिती मिळते. तरीही पथकाला कोणती माहिती मिळेल हे Anthropic ठरवते आणि METR च्या प्रसिद्ध विश्लेषणातून ठरावीक मजकूर काढण्याची मागणी करू शकते.

Anthropic ने 15 ऑक्टोबरला या सहकार्याची घोषणा केली आणि 16 ऑक्टोबरला आपले निवेदन अद्ययावत केले, जेणेकरून प्रकाशनाच्या सध्याच्या अटी स्पष्ट होतील. ही घोषणा प्रवेशाच्या व्यवस्थेबद्दल आहे; Anthropic च्या जोखमींचे METR ने पूर्ण केलेले मूल्यांकन नाही. METR काय तपासू शकते आणि अंतिम अहवालातून मर्यादांविषयी काय स्पष्ट करता येईल, यावर वाचकांसाठी त्याचे मूल्य अवलंबून असेल.

मोठा बदल

  • काय बदलले: METR च्या सहा कर्मचाऱ्यांना कंपनीचे हार्डवेअर, कार्यालयीन जागा आणि अंतर्गत साधनांचा प्रवेश दिल्याचे Anthropic म्हणते; हा प्रवेश स्वतःच्या जोखीम-मूल्यांकन पथकांच्या प्रवेशाशी साधारण तुलनीय आहे. METR कडून Anthropic च्या जोखीम पातळ्या, घटना किंवा कार्यपद्धतींवरील विश्लेषणे प्रसिद्ध होण्याची अपेक्षा आहे.
  • हे महत्त्वाचे का: बाह्य मूल्यांकन संस्थेला सर्वसामान्यांना न दिसणारे अंतर्गत पुरावे तपासता येऊ शकतात. METR चा भावी अहवाल प्रवेशावरील आणि माहिती वगळण्यासंबंधी महत्त्वाच्या मर्यादाही स्पष्ट करू शकतो; त्यामुळे वाचकांना निष्कर्षांचे मूल्यमापन करता येईल.
  • कशाकडे लक्ष द्यावे: METR च्या प्रकाशनावर नकाराधिकार नसल्याचे Anthropic म्हणते; मात्र पूर्वनिर्धारित प्रकारांतील माहिती वगळण्याची मागणी ती करू शकते आणि कोणती माहिती त्या प्रकारांत येते याचा अंतिम निर्णयही तिचाच असतो. या अंतर्गत कार्यरत पथकाच्या मूल्यांकनाचा कोणताही निकाल घोषणेतून सिद्ध होत नाही.

सहा मूल्यांकनकर्त्यांना कशाचा प्रवेश मिळतो

METR च्या सहा कर्मचाऱ्यांना कंपनीचे हार्डवेअर, कार्यालयीन जागा आणि स्वतःच्या जोखीम-मूल्यांकन पथकांच्या ‘साधारण बरोबरीचा’ अंतर्गत साधने व यंत्रणांचा प्रवेश दिल्याचे Anthropic म्हणते. AI उद्दिष्ट-सुसंगतीच्या जोखमीवर काम करणाऱ्या सहकाऱ्याशी जशी माहिती वाटली जाते, तशी संबंधित माहिती त्यांच्याशी वाटण्यास कंपनी कर्मचाऱ्यांना प्रोत्साहन देते. ग्राहकांचा डेटा, वकील व अशिलातील गोपनीय संवादाच्या विशेषाधिकाराने संरक्षित माहिती आणि मॉडेलची रचना ही वगळलेल्या प्रकारांची उदाहरणे कंपनी देते. अत्यंत संबंधित असल्यास, स्पष्ट अंतर्गत मंजुरीनंतर रचनेविषयीची माहिती कधीकधी वाटता येऊ शकते, असे ती म्हणते.

प्रवेशाचे हे तपशीलवार वर्णन आहे; पण पथकाने प्रत्यक्ष वापरलेल्या प्रत्येक डेटासंचाची, यंत्रणेची किंवा मुलाखतीची यादी नाही. Anthropic च्या निवेदनानुसार पथक कायदेशीररीत्या अंमलात आणता येणाऱ्या करारांखाली काम करते आणि Anthropic च्या इतर प्रकल्पांवरील संशोधकांसह METR चे इतर कर्मचारी या कामापासून वेगळे ठेवले आहेत. BIG CHANGE ने सार्वजनिक निवेदने तपासली आहेत; आम्ही करार किंवा अंतर्गत यंत्रणांची पाहणी केलेली नाही.

METR चा नियंत्रण सुटण्याच्या जोखमीच्या मूल्यांकनांसाठीचा 14 ऑक्टोबरचा प्रस्ताव अत्याधुनिक AI विकसित करणाऱ्यांकडून कोणत्या प्रकारचे पुरावे हवे आहेत हे स्पष्ट करतो. त्यात तीन प्रश्न आहेत: अंतर्गत AI एजंट गंभीर हानी करणाऱ्या कृती करू शकतात का, निरीक्षण यंत्रणा त्या ओळखून थांबवतील का आणि AI-आधारित संशोधनामुळे क्षमता इतक्या वेगाने वाढू शकतात का की सुरक्षा उपाय मागे पडतील. या प्रश्नांसाठी मॉडेल चेकपॉइंट, अंतर्गत संभाषणांच्या प्रतिलिपी, निरीक्षण यंत्रणा आणि संशोधनाच्या प्रगतीची मापने यांचा संभाव्य प्रवेश METR वर्णन करते. हा विविध विकसकांसाठीचा प्रस्ताव आहे; या सहकार्यात Anthropic ने दिलेल्या माहितीची यादी नाही.

प्रकाशनाचे अधिकार आणि त्यांच्या मर्यादा

Anthropic च्या म्हणण्यानुसार, तिच्या नकाराधिकाराशिवाय METR जोखीम पातळ्या, घटना किंवा कंपनीच्या कार्यपद्धतींचे विश्लेषण प्रसिद्ध करू शकते. पूर्वनिर्धारित प्रकारांतील माहिती काढण्याची मागणी कंपनी करू शकते. 16 ऑक्टोबरच्या स्पष्टीकरणात म्हटले आहे की माहिती त्या प्रकारांत येते की नाही याचा अंतिम निर्णय Anthropic घेते; तर मिळालेला प्रवेश आणि माहिती यांविषयी ठरावीक विधाने करण्याचा अधिकार METR राखून ठेवते. त्यामुळे निष्कर्ष प्रसिद्ध करण्याचा अधिकार आणि संवेदनशील तपशिलांवरील कंपनीचे नियंत्रण एकाच वेळी अस्तित्वात असतात.

METR चे AI कंपन्यांसोबत काम करण्याचे धोरण म्हणते की अहवालांत कामाची व्याप्ती व कालावधी, निष्कर्षांवर परिणाम करणाऱ्या प्रवेशमर्यादा, महत्त्वाची माहिती वगळणे आणि निकालावर प्रभाव टाकू शकणारे दबाव उघड करावेत. कंपनीने निष्कर्षांसाठी महत्त्वाची माहिती काढल्यास, वगळलेल्या माहितीचा सारांश तयार करण्याचा आपला प्रयत्न असल्याचे METR म्हणते. या METR ने सांगितलेल्या कार्यपद्धती आणि उद्दिष्टे आहेत; या नव्या अंतर्गत कार्यरत पथकाच्या अहवालात त्या कशा वापरल्या जातील हे सार्वजनिकरीत्या अद्याप तपासता येत नाही.

स्वेच्छेने होणारी मूल्यांकने कंपन्यांनी प्रवेश देण्यावर आणि प्रकाशनाला परवानगी देण्यावर अवलंबून असल्याचेही METR मान्य करते. सर्वसामान्यांना मिळणाऱ्या पुराव्यांवर परिणाम होईल अशा पद्धतीने कंपन्या प्रवेश नाकारू शकतात किंवा मजकूर काढू शकतात, असे ती म्हणते. 14 ऑक्टोबरच्या प्रस्तावानुसार हा उपक्रम नियंत्रण सुटण्याच्या तांत्रिक प्रश्नांवर केंद्रित असेल; तो सुरक्षा व्यवस्था, संस्थात्मक प्रशासन किंवा नियमपालनाचे लेखापरीक्षण ठरणार नाही. विकास सुरक्षित असल्याची ठाम खात्री देण्याइतके मूलभूत विज्ञान अद्याप विकसित झालेले नाही, असे METR म्हणते.

इतर मूल्यांकनकर्त्यांसाठी Anthropic तीन-स्तरीय पद्धत सांगते. METR सोबतची व्यवस्था तिसऱ्या स्तरातील आहे; त्यात कर्मचाऱ्यांसारखा प्रवेश आणि प्रकाशनाचे अधिकार आहेत. आधीच्या स्तरांत तपासाची व्याप्ती कमी किंवा प्रकाशनाचे अधिकार अधिक मर्यादित असतात. या स्तरांचे वर्णन म्हणजे Anthropic च्या योजना आणि सहकार्याच्या सध्याच्या अटी; प्रत्येक भागीदाराला METR इतकाच प्रवेश आहे याचा पुरावा नाही.

या व्यवस्थेची सार्वजनिक कसोटी METR च्या अहवालांतून होईल: कोणते जोखीमविषयक प्रश्न तपासले, कोणते अंतर्गत पुरावे पाहता आले आणि कोणत्या मर्यादा किंवा माहिती वगळल्याचे वर्णन करता येते. सध्याची निवेदने Anthropic ने जाहीर केलेल्या अटी आणि METR ने प्रसिद्ध केलेली पद्धत स्पष्ट करतात. ती Anthropic च्या सुरक्षिततेबद्दल किंवा अंतर्गत कार्यरत पथकाच्या मूल्यांकनाच्या परिणामकारकतेबद्दल निष्कर्ष सिद्ध करत नाहीत.

स्रोत आणि पुढील वाचन