Anthropic का कहना है कि अगस्त के दो-सप्ताह के स्प्रिंट ने claude.ai और Claude डेस्कटॉप ऐप के मुख्य कामों को करीब तीन गुना तेज कर दिया। इसका इंजीनियरिंग विवरण, 23 सितंबर को प्रकाशित सुर्खी में दिए अकेले आंकड़े से ज्यादा उपयोगी जवाब देता है: यह दिखाता है कि कौन-सी गतिविधियां तेज हुईं, टीम ने मापों की जांच कैसे की और फैसलों तथा रिलीज की जिम्मेदारी कहां इंजीनियरों के पास रही।

बड़ा बदलाव

  • क्या बदला: Anthropic ने वेब और डेस्कटॉप की आम गतिविधियों के 13 मापों में इंतजार घटने की सूचना दी। 3.1 गुना का आंकड़ा इन सुधारों का ज्यामितीय माध्य है, जिसे 13 और 27 अगस्त को 75वें पर्सेंटाइल पर मापा गया। यह कंपनी की चुनी हुई उपयोग-स्थितियों का नतीजा है।
  • यह क्यों मायने रखता है: Claude उपयोगकर्ताओं के लिए नया वेब पृष्ठ टाइप करने लायक बनने का समय 3,085 मिलीसेकंड से घटकर 550 मिलीसेकंड होना उत्पाद के बार-बार इस्तेमाल होने वाले हिस्से को बदलता है। इंजीनियरिंग टीमों के लिए यह उदाहरण दिखाता है कि AI सहायक मापे गए प्रदर्शन-सवालों पर काम कर सकता है, जबकि प्राथमिकताएं लोग तय करते हैं और बदलावों को मंजूरी भी वही देते हैं।
  • क्या देखना है: Anthropic कहता है कि 95वें पर्सेंटाइल, दूसरी उपयोग-स्थितियों और बहुत लंबी बातचीत में अब भी सुधार की जरूरत है। ये माप बताएंगे कि दर्ज सुधार चुनी हुई गतिविधियों और अगस्त की तुलना से आगे भी लागू होते हैं या नहीं।

उपयोगकर्ताओं को क्या फायदा हुआ

Anthropic ने चार उपयोग-स्थितियां पहचानीं, जो उसके अनुसार उपयोगकर्ता गतिविधि का 95% हिस्सा हैं: ऐप खोलना, बातचीत शुरू करना, बातचीत लोड करना और संदेश भेजना। वेब, डेस्कटॉप और उसके उत्पादों में इन्हें 13 मापों में बांटा गया। हर माप उपयोगकर्ता की कार्रवाई से शुरू होकर नतीजा रेंडर होने पर खत्म हुआ और क्लाइंट तथा सर्वर के काम अलग-अलग दर्ज किए गए।

नई claude.ai वेब साइट लोड होने के लिए 75वें पर्सेंटाइल का समय—यानी पृष्ठ टाइप करने लायक होने तक का इंतजार—3,085 से घटकर 550 मिलीसेकंड हुआ, जो 5.6 गुना तेजी है। डेस्कटॉप ऐप को ठंडी शुरुआत से खोलने का समय 6,310 से घटकर 3,328 मिलीसेकंड, यानी 1.9 गुना तेज हुआ। डेस्कटॉप पर Claude Cowork का क्लाउड सत्र लोड होने का समय 2,566 से घटकर 728 मिलीसेकंड, यानी 3.5 गुना तेज हुआ। वेब चैट संदेश भेजने का क्लाइंट वाला हिस्सा 180 से घटकर 59 मिलीसेकंड, यानी 3.1 गुना तेज हुआ। ये अलग-अलग गतिविधियां और प्लेटफॉर्म हैं; कुल 3.1 गुना सभी 13 अनुपातों का ज्यामितीय माध्य है, किसी एक काम का नतीजा नहीं।

इस तुलना में Anthropic की 13 और 27 अगस्त की 75वें पर्सेंटाइल वाली वास्तविक-उपयोग निगरानी का इस्तेमाल हुआ। पोस्ट इन गतिविधियों के लिए स्वतंत्र ऑडिट, 95वें पर्सेंटाइल का नतीजा या Claude की मदद से हुई बढ़त का नियंत्रित अनुमान नहीं देती। Anthropic का अनुमान है कि तेज हुई गतिविधियां रोजाना इंतजार के दसियों हजार उपयोगकर्ता-घंटे बचाती हैं, लेकिन वह इस अनुमान की गणना नहीं दिखाता।

बदलावों के पीछे का मापन-चक्र

टीम ने इंजीनियरों द्वारा चुनी गई करीब 20 परियोजनाओं से शुरुआत की। Anthropic का कहना है कि उसने बॉटलनेक ढूंढने, बेंचमार्क बनाने और बदलाव सुझाने के लिए Claude Tag इस्तेमाल किया—यह आंतरिक शोध मॉडल पर चलने वाला बीटा एजेंट था, जिसकी क्षमता Opus 5.5 के लगभग बताई गई। टीम के अनुसार, तीसरे दिन तक उसने शुरुआती 13 लक्ष्यों में से 12 हासिल कर लिए; फिर नए लक्ष्य तय किए और उन समस्याओं को खोजा जिन्हें मौजूदा निगरानी पकड़ नहीं पाई थी।

एक उदाहरण पृष्ठ लोड होने के बाद साइडबार की पंक्तियों के खिसकने की रिकॉर्डिंग से शुरू हुआ। मौजूदा Cumulative Layout Shift माप से यह समस्या प्रमुखता से सामने नहीं आई। एक इंजीनियर ने इसके बजाय मूल Layout Instability API इस्तेमाल करने का सुझाव दिया। फिर Claude ने प्रभावित पृष्ठ-क्षेत्र पहचानने वाली टेलीमेट्री और साइडबार डेटा देर से लोड करने वाला एकीकरण-परीक्षण जोड़ा। Anthropic बताता है कि मूल कोड पर सभी 20 परीक्षण विफल हुए और प्रस्तावित सुधार पर सभी 20 सफल रहे। टेलीमेट्री तैनात करने पर कंपनी के अनुसार, पृष्ठ उपयोग के लिए तैयार हो जाने के बाद 31% वेब लोड में खिसकाव हुआ। यह Anthropic के स्प्रिंट का दर्ज उदाहरण है; BIG CHANGE ने इसे दोहराकर नहीं मापा।

रिलीज के बीच तेजी से काम करने के लिए टीम ने प्रयोगशाला के माप भी इस्तेमाल किए। दो JavaScript हॉट-पाथ के लिए उसने उन्हीं बेंचमार्क पर नियतात्मक निर्देश-गिनती की तुलना बीते समय से की। Anthropic के अनुसार, निर्देशों की गिनती 48% और 31% घटने के साथ वास्तविक समय में क्रमशः 78% और 44% की कमी आई। टीम ने लगातार एकीकरण जांचों में इन निर्देश-गिनतियों को अधिकतम सीमा बनाया और प्रदर्शन सुधरने के साथ सीमाएं घटाईं। उसका कहना है कि उसने ऐसे बेंचमार्क हटा दिए जो अविश्वसनीय थे या उपयोगकर्ता की विलंबता के साथ तालमेल नहीं रखते थे। यह फर्क अहम है: प्रयोगशाला का काउंटर बदलाव निर्देशित करता था, जबकि वास्तविक-उपयोग की रीडिंग जांचती थी कि जारी किया गया काम मददगार रहा या नहीं।

नियंत्रण लोगों के हाथ में कहां रहा

Anthropic ने Slack चैनल का वर्णन किया जिसमें कई सीमित चर्चा-धागे थे और हर एक किसी उपयोग-स्थिति या बेंचमार्क पर केंद्रित था। Claude ने समस्या का पता लगाया, बेंचमार्क और पुल रिक्वेस्ट सुझाए, तैनाती पर नजर रखी और वास्तविक उपयोग के आंकड़े पढ़े। इंजीनियरों ने लक्ष्य तय किए, उपयोगकर्ता को दिखने वाले स्वीकार्य समझौते चुने और हर बदलाव को मंजूरी दी। हर चर्चा-धागे का एक नामित मानव मालिक था। इंजीनियरों ने 900 पंक्तियों का एक प्रस्तावित बदलाव इसलिए अस्वीकार किया क्योंकि उनके आकलन में प्रति संदेश दो मिलीसेकंड की बचत, रखरखाव की लागत के लायक नहीं थी।

रिलीज प्रक्रिया में कई जांच थीं। Anthropic के अनुसार हर पुल रिक्वेस्ट को स्वचालित समीक्षा और कम से कम एक व्यक्ति की मंजूरी मिली; अनुकूलन से पहले यूनिट परीक्षण हुए। उपयोगकर्ता को दिखने वाले बदलाव थोड़े समय के लिए सक्रिय रहने वाले फीचर फ्लैग के पीछे रखे गए। उच्च जोखिम वाले बदलाव पहले कर्मचारियों, फिर 1% उपयोगकर्ताओं और अंत में सभी तक पहुंचे। स्प्रिंट में टीम ने करीब 200 फ्लैग जोड़े और कहती है कि उनमें से आधे से अधिक अंत तक हटा दिए गए। Anthropic ने ग्राहक को प्रभावित करने वाली घटना या बदलाव वापस लेने के बिना 3,000 से अधिक परिवर्तन मर्ज करने की सूचना दी। यह उस स्प्रिंट के बारे में कंपनी का विवरण है; इससे दूसरी टीम या कोडबेस में वही नतीजा स्थापित नहीं होता।

स्थिर कंपोज़र दिखाता है कि ये नियंत्रण क्यों जरूरी थे। React लोड होते समय Anthropic ने शुरूआती HTML में टाइप करने योग्य कंपोज़र रखा। बदलाव के दौरान नियंत्रण की जांच के लिए उसके परीक्षणों ने स्थिर और React संस्करणों की 14 स्क्रीन आकारों पर तुलना की, एक पिक्सेल के भीतर संरेखण जांचा और बदलाव के दौरान टाइप करके देखा कि कोई कुंजी छूट तो नहीं गई या क्रम तो नहीं बदला। वास्तविक उपयोग की टेलीमेट्री ने बदलाव के दौरान खिसकाव मापा। बाद में एक कर्मचारी ने नए टैब में पृष्ठ के खिसकने की बात पकड़ी जिसे ये माप नहीं पकड़ पाए थे; Anthropic ने इसका कारण अनुमानित लोडिंग के दौरान ब्राउज़र का आकार बदलना पाया और उस स्थिति के लिए परीक्षण जोड़ा।

Anthropic की रिपोर्ट एक खास निष्कर्ष का समर्थन करती है: उसके इंजीनियरों ने मानव-निर्देशित रिलीज प्रक्रिया में मापे गए बॉटलनेक खोजने और सुधारने के लिए Claude का इस्तेमाल किया, और अगस्त के अंत तक चुनी गई उपयोग-स्थितियां तेज हुईं। इससे यह खुला रहता है कि धीमे पर्सेंटाइल पर उत्पाद कैसा चलता है, सुधार कितने टिकाऊ होंगे और नतीजे का कितना हिस्सा स्वतंत्र पर्यवेक्षक Claude के बजाय टीम के उपकरणों, इंजीनियरिंग और रिलीज फैसलों को देंगे।