ऑगस्टमधील दोन आठवड्यांच्या स्प्रिंटमुळे claude.ai आणि Claude डेस्कटॉप अॅपमधील मुख्य कामे सुमारे तिप्पट वेगाने होऊ लागली, असे Anthropic म्हणते. त्याचा २३ सप्टेंबरला प्रसिद्ध झालेला अभियांत्रिकीविषयक वृत्तांत केवळ ठळक आकड्यापेक्षा अधिक उपयुक्त तपशील देतो: कोणत्या कृतींचा वेग वाढला, मोजमाप कसे तपासले आणि निर्णय व प्रकाशनासाठी अभियंते कसे जबाबदार राहिले.
मोठा बदल
- काय बदलले: सामान्य वेब व डेस्कटॉप कृतींच्या १३ मोजमापांत प्रतीक्षा कमी झाल्याचे Anthropic सांगते. ३.१ पट हा आकडा त्या सुधारणांच्या भूमितीय मध्यकाचा आहे; १३ आणि २७ ऑगस्ट रोजी ७५व्या पर्सेंटाइलवर मोजला. निवडलेल्या वापर-प्रवाहांवरील हा कंपनीचा निकाल आहे.
- हे का महत्त्वाचे: Claude वापरकर्त्यांसाठी, नव्या वेब पृष्ठावर टाइप करता येण्याइतके तयार होण्याचा वेळ ३,०८५ वरून ५५० मिलीसेकंद होणे म्हणजे वारंवार वापरातील एका टप्प्यात मोठा फरक. अभियांत्रिकी पथकांसाठी, प्राधान्यक्रम आणि बदलांना मानवी मंजुरी ठेवून एआय सहाय्यक मोजलेल्या कामगिरीच्या अडचणींवर काम करू शकतो, हे उदाहरण दाखवते.
- कशाकडे लक्ष द्यावे: ९५व्या पर्सेंटाइलवरील कामगिरी, इतर वापर-प्रवाह आणि अतिशय लांब संभाषणे यांत अजून सुधारणा आवश्यक असल्याचे Anthropic म्हणते. निवडलेल्या कृतींपलीकडे आणि ऑगस्टमधील तुलनेपलीकडे सुधारणा लागू होतात का, हे पुढील मोजमापे दाखवतील.
वापरकर्त्यांना काय फायदा झाला
वापरकर्त्यांच्या ९५% कृतींमध्ये चार प्रवाहांचा समावेश होतो, असे Anthropic ने ओळखले: अॅप सुरू करणे, संभाषण सुरू करणे, संभाषण लोड करणे आणि संदेश पाठवणे. वेब, डेस्कटॉप आणि उत्पादनांमध्ये मिळून ही १३ मोजमापे झाली. प्रत्येक मोजमाप वापरकर्त्याच्या कृतीने सुरू होऊन निकाल स्क्रीनवर दिसल्यावर संपले; क्लायंट आणि सर्व्हरचे काम वेगळे मोजले.
नव्या claude.ai वेब पृष्ठासाठी, टाइप करता येण्याजोगे होण्याचा ७५वा पर्सेंटाइल वेळ ३,०८५ वरून ५५० मिलीसेकंद झाला—५.६ पट वेग. डेस्कटॉप अॅप थंड अवस्थेत सुरू होण्याचा वेळ ६,३१० वरून ३,३२८ मिलीसेकंद—१.९ पट. डेस्कटॉपवर Claude Cowork क्लाउड सत्र लोड होण्याचा वेळ २,५६६ वरून ७२८ मिलीसेकंद—३.५ पट. वेब चॅट संदेश पाठवण्याचा क्लायंट-बाजूचा भाग १८० वरून ५९ मिलीसेकंद—३.१ पट झाला. या वेगवेगळ्या कृती आणि प्लॅटफॉर्मचे गुणोत्तर घेऊन १३ निकालांचा भूमितीय मध्यक म्हणून एकूण ३.१ पट मोजले; तो कोणत्याही एका कामाचा निकाल नाही.
या तुलनेत १३ आणि २७ ऑगस्ट रोजी ७५व्या पर्सेंटाइलवर Anthropic चे प्रत्यक्ष-वापर निरीक्षण वापरले. पोस्टमध्ये स्वतंत्र लेखापरीक्षण, या वापर-प्रवाहांचे ९५व्या पर्सेंटाइल निकाल किंवा Claude च्या मदतीमुळे किती सुधारणा झाली याचा नियंत्रित अंदाज प्रकाशित नाही. वेगवान कृतींमुळे दररोज हजारो वापरकर्ता-तासांची प्रतीक्षा वाचते, असा Anthropic चा अंदाज आहे; मात्र त्यामागचे गणित दिलेले नाही.
बदलांमागील मोजमापाची प्रक्रिया
अभियंत्यांनी निवडलेल्या सुमारे २० प्रकल्पांपासून पथकाने सुरुवात केली. Anthropic नुसार अंतर्गत संशोधन मॉडेलवर चालणारा Claude Tag हा बीटा एजंट अडथळे शोधणे, बेंचमार्क तयार करणे आणि बदल सुचवणे यासाठी वापरला; त्याची क्षमता साधारण Opus 5.5 इतकी होती. तिसऱ्या दिवसापर्यंत सुरुवातीच्या १३ पैकी १२ उद्दिष्टांपर्यंत पोहोचल्याचे पथक सांगते. त्यानंतर नवी उद्दिष्टे ठरवून विद्यमान निरीक्षणांतून सुटलेल्या समस्या शोधल्या.
एका उदाहरणाची सुरुवात पृष्ठ लोड झाल्यावर साइडबारच्या ओळी हलतानाच्या चित्रफितीने झाली. विद्यमान Cumulative Layout Shift मापनाने समस्या ठळकपणे दाखवली नव्हती. अभियंत्याने मूळ Layout Instability API वापरण्याचा प्रस्ताव दिला. त्यानंतर Claude ने प्रभावित पृष्ठभाग दाखवणारी टेलिमेट्री आणि साइडबारचा डेटा उशिरा देणारी एकत्रीकरण चाचणी जोडली. मूळ कोडच्या सर्व २० चाचण्या अपयशी झाल्या आणि प्रस्तावित दुरुस्तीच्या सर्व २० यशस्वी झाल्या, असे Anthropic सांगते. टेलिमेट्री लागू झाल्यावर ३१% वेब लोडमध्ये वापरण्यायोग्य झाल्यानंतरही पृष्ठ हलत असल्याचे कंपनीला आढळले. हा Anthropic च्या स्प्रिंटमधील दस्तऐवजीकृत नमुना आहे; BIG CHANGE ने केलेले पुनर्मोजमाप नाही.
प्रकाशनांदरम्यान जलद काम करण्यासाठी पथकाने प्रयोगशाळेतील मोजमापेही वापरली. JavaScript मधील दोन वारंवार चालणाऱ्या कोड-पथांसाठी समान बेंचमार्कवर निर्धारक सूचना-मोजणीची प्रत्यक्ष वेळेशी तुलना केली. सूचनांची संख्या ४८% आणि ३१% कमी झाल्याबरोबर प्रत्यक्ष वेळ अनुक्रमे ७८% आणि ४४% कमी झाल्याचे Anthropic सांगते. पथकाने CI मध्ये त्या सूचना-मोजण्यांना मर्यादा ठरवल्या आणि कामगिरी सुधारताच त्या आणखी घटवल्या. अविश्वसनीय किंवा वापरकर्त्यांच्या विलंबाशी संबंध न दाखवणारे बेंचमार्क वगळल्याचेही ते म्हणते. प्रयोगशाळेतील काउंटरने बदलांची दिशा दिली; पाठवलेल्या कामाचा फायदा झाला का, हे प्रत्यक्ष-वापराच्या नोंदींनी तपासले.
नियंत्रण माणसांकडेच राहिले
प्रत्येक वापर-प्रवाह किंवा बेंचमार्कवर केंद्रित अनेक लहान चर्चांसह Slack चॅनेलचे Anthropic वर्णन करते. Claude ने समस्या शोधली, बेंचमार्क आणि pull request सुचवले, तैनाती पाहिली आणि प्रत्यक्ष-वापरातील डेटा वाचला. उद्दिष्टे ठरवणे, वापरकर्त्यांसमोर स्वीकारार्ह तडजोडी निवडणे आणि प्रत्येक बदल मंजूर करणे अभियंत्यांकडे होते. प्रत्येक चर्चेला नावाने नियुक्त मानवी मालक होता. प्रति संदेश दोन मिलीसेकंद बचतीसाठी देखभाल खर्च जास्त होईल, असे अभियंत्यांनी मानल्याने ९०० ओळींचा एक प्रस्ताव नाकारला.
प्रकाशन प्रक्रियेत अनेक तपासण्या होत्या. प्रत्येक pull request चे स्वयंचलित पुनरावलोकन आणि किमान एका व्यक्तीची मंजुरी झाली; ऑप्टिमायझेशनपूर्वी युनिट चाचण्या झाल्या, असे Anthropic म्हणते. वापरकर्त्यांना दिसणारे बदल अल्पकालीन feature flags मागे ठेवले. उच्च-जोखमीचे बदल आधी कर्मचाऱ्यांपर्यंत, नंतर १% वापरकर्त्यांपर्यंत आणि मग सर्वांपर्यंत पोहोचले. स्प्रिंटमध्ये जवळपास २०० flags आणले; त्यांपैकी निम्म्याहून अधिक शेवटपर्यंत काढल्याचे पथक सांगते. ग्राहकांना दिसणारी घटना किंवा rollback न होता ३,००० हून अधिक बदल विलीन केल्याचे Anthropic चे म्हणणे आहे. हा त्या स्प्रिंटबद्दल कंपनीचा वृत्तांत आहे; दुसऱ्या पथकात किंवा कोडबेसमध्येही असाच निकाल मिळेल हे यातून सिद्ध होत नाही.
स्थिर composer मुळे नियंत्रणांचे महत्त्व दिसले. React लोड होत असताना टाइप करता येण्याजोगा composer Anthropic ने सुरुवातीच्या HTML मध्ये ठेवला. दोन्ही आवृत्त्यांची १४ स्क्रीन-आकारांवर तुलना, एका पिक्सेलच्या आत संरेखन तपासणी आणि संक्रमणादरम्यान टाइप करून कळा हरवल्या किंवा क्रम बदलला का हे पाहणाऱ्या चाचण्या केल्या. संक्रमणादरम्यान हालचालीचे क्षेत्रीय टेलिमेट्रीने मोजमाप केले. नंतर कर्मचाऱ्याला नव्या टॅबमधील मांडणी हलल्याचे दिसले; आधीच्या मापनांत ते सुटले होते. तर्काधारित लोडिंगदरम्यान ब्राउझरचा आकार बदलल्याने असे घडले, असे Anthropic ने शोधून त्या परिस्थितीसाठी चाचणी जोडली.
Anthropic चा वृत्तांत एका मर्यादित निष्कर्षाला आधार देतो: अभियंत्यांनी Claude वापरून मोजलेल्या अडथळ्यांचा शोध घेतला आणि मानवी निर्देशित प्रकाशन प्रक्रियेत सुधारणा केल्या; ऑगस्टच्या अखेरीस निवडलेले वापर-प्रवाह जलद झाले. मात्र मंद प्रतिसादांच्या टोकावर उत्पादन कसे चालते, सुधारणा टिकतील का आणि निकालात एजंटचा वाटा किती—आणि साधने, अभियांत्रिकी व प्रकाशनविषयक निर्णयांचा किती—हे स्वतंत्र निरीक्षक ठरवेल, हे खुले प्रश्न आहेत.
