मॉडेलची उत्तरे तुलना करणे, काय चुकले ते समजावून सांगणे आणि अधिक चांगल्या कामाची उदाहरणे देणे यासाठी कंपन्या लोकांना कामावर ठेवतात. अशा परिस्थितीत केवळ सुबक उत्तर हा पूर्ण करार नसतो. खरेदीदार ज्या मॉडेलची चाचणी घेत आहे, त्यातून न आलेल्या मानवी निर्णयासाठीही पैसे देत असू शकतो.
404 Media च्या वृत्तानुसार OpenAI-संबंधित प्रकल्पांवर काम करणाऱ्या तीन कंत्राटदारांनी AI वापरण्यावरील नियम सांगितले; त्यांपैकी दोघांनी तसे केल्यामुळे कंत्राटदारांना कामावरून दूर केल्याचे म्हटले. मुलाखत घेतलेल्या दोघांपैकी एकाला काम पुरवणाऱ्या Mercor ने प्रकाशनाला सांगितले की मोठ्या भाषा-मॉडेलचा वापर करून प्रकल्पाचे काम पूर्ण करण्यास तिचे करार मनाई करतात आणि उल्लंघनाची पुष्टी झाल्यास संबंधितांना कामावरून दूर केले जाते. OpenAI ने प्रतिक्रिया देण्यास नकार दिला. आम्ही खाजगी प्रकल्प-दस्तऐवज पाहिलेले नाहीत किंवा व्यक्तिनिहाय प्रकरणांची स्वतंत्र पडताळणी केलेली नाही.
उपयुक्त प्रश्न एका कंत्राटदार-प्लॅटफॉर्मपुरता मर्यादित नाही: व्यवसाय स्वतंत्र मानवी तपासणी मागतो तेव्हा त्या कामाचा AI-सहाय्य स्वीकारल्या जाणाऱ्या कामांपासून फरक कसा करावा?
मोठा बदल
- काय बदलले: कंत्राटदारांतील या वादातून AI प्रशिक्षणाच्या कामाने नेमके काय पुरवायचे—पूर्ण उत्तरे की स्वतंत्र मानवी मूल्यमापन—याविषयीचा संघर्ष समोर येतो.
- हे का महत्त्वाचे: Mercor च्या सार्वजनिक प्रायोगिक उपक्रमात व्यावसायिक निर्णयालाच मोजमाप मानले आहे. मॉडेलने तयार केलेल्या क्रमवारीने तो बदलला, तर लेखन सुबक असले तरी मूल्यमापनात काय मोजले जाते ते बदलते.
- कशाकडे लक्ष द्यावे: मूल्यमापन मागवणाऱ्यांनी कोणत्या टप्प्यांत मदत न घेता निर्णय आवश्यक आहे, हे ठरवणे महत्त्वाचे आहे. मोबदल्याच्या कामाला संमती देण्यापूर्वी कामगारांना दिसतील अशा सूचनांत ते नमूद केले पाहिजे.
स्वतंत्र निर्णय हेच विकत घेतले जाणारे उत्पादन असू शकते
कामाचा पहिला मसुदा पटकन तयार करायचा असेल, तर AI सहाय्यक उपयुक्त ठरतो. पण अपेक्षित उत्पादन संदर्भ-उत्तर किंवा स्वतंत्र तुलना असेल आणि हा फरक लपवला, तर ते समस्या बनते.
व्यावसायिक क्षेत्रातील मॉडेल-मूल्यमापनासाठी Mercor च्या सार्वजनिक प्रायोगिक उपक्रमाच्या यादीत ही अट विलक्षण स्पष्ट आहे. तज्ज्ञ व्यावसायिक काम सोडवतात, मॉडेलचे पाच प्रयत्न क्रमवारीत लावतात, गुण देतात आणि पुराव्यावर आधारित कारणे लिहितात. व्यावसायिक निर्णय हेच मोजमाप असल्यामुळे निकष किंवा आदर्श उत्तर दिले जात नसल्याचे यादीत म्हटले आहे. काम सोडवताना, क्रमवारी लावताना, गुण देताना आणि कारण लिहिताना AI सहाय्यक वापरण्यास मनाई आहे.
या अटी एका प्रायोगिक उपक्रमाचे वर्णन करतात. त्यातील तुलना तज्ज्ञाच्या स्वतःच्या मूल्यमापनावर अवलंबून आहे; ते मूल्यमापन मॉडेलला सोपवल्यास प्रयोगच बदलतो.
कृत्रिम अभिप्राय म्हणजे आपोआप वाईट डेटा नव्हे
AI-निर्मित प्रत्येक प्रशिक्षण-उत्तराचा संबंध “मॉडेल कोलॅप्स” शी जोडण्याचा मोह होऊ शकतो. मात्र येथे उपलब्ध पुराव्यापेक्षा तो निष्कर्ष पुढे जातो. Nature मध्ये प्रकाशित संशोधनात पुनरावर्ती प्रशिक्षणाच्या अशा पद्धतींचा अभ्यास केला ज्यात मूळ वितरणातून आलेल्या डेट्याऐवजी तयार केलेला डेटा वापरला जातो. या प्रयोगांत पुढील पिढ्यांतील मॉडेल्सनी मूळ वितरणाविषयीची माहिती गमावली. ही मांडणी कंत्राटदारांच्या वृत्तातील कामाचा अभ्यास नाही आणि कोणत्याही विशिष्ट गुणांकनामुळे प्रत्यक्ष सेवेत असलेल्या OpenAI मॉडेलवर परिणाम झाला का, हे लेख सांगू शकत नाही.
दुसरा मॉडेल कोलॅप्स अभ्यास हा फरक का महत्त्वाचा आहे ते दाखवतो. प्रत्येक पिढीतील कृत्रिम डेट्याने मूळ वास्तव डेटा बदलला तेव्हा लेखकांना कोलॅप्स आढळला; पण प्रयोगांत वास्तव डेटा कायम ठेवून प्रत्येक पिढीचा कृत्रिम डेटा त्यात साठवत राहिल्यास तो टाळता आला. प्रत्येक मिश्रण सुरक्षित असते हे निकाल सिद्ध करत नाहीत. मात्र केवळ “AI-निर्मित” हा निदानासाठी पुरेसा शब्द नाही हे ते दाखवतात; डेटा कुठून आला, निवड कशी झाली आणि प्रशिक्षणाची प्रक्रिया काय होती हे महत्त्वाचे आहे.
मान्य असलेली कार्यपद्धती स्पष्ट लिहा
कामाच्या सूचनांत कोणती साधने वापरता येतात, कोणत्या टप्प्यांत मदत न घेता निर्णय द्यायचा आणि सहाय्य घेतल्याचे कसे जाहीर करायचे, हे नमूद करावे. Mercor च्या प्रायोगिक उपक्रमात काम सोडवणे आणि त्याचे मूल्यमापन या दोन्ही टप्प्यांत स्वातंत्र्याची अट आहे. सहाय्यित काम देणाऱ्या खरेदीदारांनी कामगाराने कोणता व्यावसायिक निर्णय स्वतंत्रपणे द्यावा, हे सांगितले पाहिजे.
पुनरावलोकनातही अशीच काळजी हवी. 404 Media च्या वृत्तानुसार, एका अंतर्गत दस्तऐवजात समीक्षकांना AI शोधणारी साधने न वापरण्याचा इशारा होता; ती अविश्वसनीय असल्याचे त्यात म्हटले होते. हे व्यवस्थापनाच्या मूलभूत तत्त्वाशी सुसंगत आहे: विरामचिन्हे, कामाचा वेग किंवा सुबक वाक्यरचना म्हणजे कुणी मॉडेल वापरले याचा पुरावा नाही. कारणे स्रोत-सामग्रीचा आधार घेतात का हे समीक्षक तपासू शकतो, कामगाराला निर्णय समजावण्यास सांगू शकतो, वारंवार दिलेल्या कामांची तुलना करू शकतो आणि प्रकल्प कायदेशीररीत्या गोळा करत असलेल्या साधनांच्या नोंदी तपासू शकतो. कोणत्याही एका शैलीगत खुणेवरून कामगाराच्या प्रकरणाचा निर्णय घेऊ नये.
कामगारांना अंदाज बांधण्याचा खेळ नव्हे, आक्षेप घेता येईल असा नियम हवा
स्वतंत्र कंत्राटदारांचा प्रकल्पातील प्रवेश पटकन रद्द होऊ शकतो. म्हणून विश्वासार्ह व्यवस्थेत मोबदल्याचे काम सुरू होण्यापूर्वी नियम स्पष्ट हवा, संशयित उल्लंघन आणि पुष्टी झालेले उल्लंघन वेगळे ठेवले पाहिजे आणि संबंधित पुरावा समजावण्याची संधी कामगाराला दिली पाहिजे. ही न्याय्य प्रक्रियेची शिफारस आहे; कोणत्याही कराराखाली किंवा कायद्यानुसार हक्क असल्याचा दावा नाही.
कामगारांनीही मदत न घेता निर्णय देण्याची अट ही कामाच्या विनिर्देशाचा भाग मानावी. मंजूर साधन आवश्यक वाटल्यास ते वापरण्यापूर्वी विचारावे किंवा काम नाकारावे. मॉडेलचे लेखन चांगले आहे म्हणून लपवून सहाय्य घेणे योग्य ठरत नाही; जसे बाहेरच्या सहयोगीला मनाई असताना उत्तर अचूक आले तरी ते ग्राह्य ठरत नाही.
निर्णय कोणी दिला हे स्पष्ट करा
Mercor च्या सार्वजनिक प्रायोगिक उपक्रमात उत्पादनाचा विनिर्देश स्पष्ट आहे: मदत न घेता केलेले व्यावसायिक मूल्यमापन. सहाय्यित काम मागवणाऱ्या खरेदीदारांनी कोणती साधने मान्य आहेत आणि कामगाराने कोणता निर्णय स्वतः द्यावा याचे तितकेच स्पष्ट वर्णन करावे.
