Anthropic کا کہنا ہے کہ اگست میں دو ہفتے کی مہم نے claude.ai اور Claude ڈیسک ٹاپ ایپ کے بنیادی کاموں کو تقریباً تین گنا تیز کردیا۔ اس کا 23 ستمبر کو شائع شدہ انجینئرنگ بیان سرخی کے عدد سے زیادہ مفید جواب دیتا ہے: یہ دکھاتا ہے کہ کون سے افعال تیز ہوئے، ٹیم نے پیمائشوں کی جانچ کیسے کی، اور فیصلوں اور ریلیز کی ذمہ داری انجینئروں کے پاس کہاں رہی۔

بڑی تبدیلی

  • کیا بدلا: Anthropic کے مطابق ویب اور ڈیسک ٹاپ کے عام افعال کی 13 پیمائشوں میں انتظار کم ہوا۔ اس کا 3.1 گنا عدد ان بہتریوں کا جیومیٹرک اوسط ہے، جسے 13 اور 27 اگست کو 75ویں پرسنٹائل پر ناپا گیا۔ یہ کمپنی کا منتخب کردہ استعمال کے طریقوں کا نتیجہ ہے۔
  • یہ کیوں اہم ہے: Claude استعمال کرنے والوں کے لیے، ویب صفحے کا ٹائپ کرنے کے لیے تیار ہونے کا وقت 3,085 ملی سیکنڈ سے گھٹ کر 550 ہونا، مصنوعات کے بار بار استعمال ہونے والے حصے کو بدل دیتا ہے۔ انجینئرنگ ٹیموں کے لیے یہ مثال دکھاتی ہے کہ AI معاون پیمائش سے سامنے آنے والے کارکردگی کے مسائل پر کام کر سکتا ہے، جبکہ ترجیحات لوگوں کے طے کرنے اور تبدیلیوں کی منظوری دینے کا اختیار انہی کے پاس رہتا ہے۔
  • کس بات پر نظر رکھیں: Anthropic کا کہنا ہے کہ 95ویں پرسنٹائل، استعمال کے دوسرے طریقوں اور بہت طویل گفتگوؤں میں اب بھی بہتری کی ضرورت ہے۔ یہ پیمائشیں دکھائیں گی کہ رپورٹ کردہ فوائد منتخب افعال اور اگست کے موازنے سے آگے بھی برقرار رہتے ہیں یا نہیں۔

صارفین کو کیا فائدہ ہوا

Anthropic نے استعمال کے چار ایسے طریقے شناخت کیے جن کے بارے میں اس کا کہنا ہے کہ صارفین کی 95 فیصد سرگرمی انہی میں ہوتی ہے: ایپ کھولنا، گفتگو شروع کرنا، گفتگو لوڈ کرنا اور پیغام بھیجنا۔ ویب، ڈیسک ٹاپ اور اس کی مصنوعات میں یہ 13 پیمائشیں بنیں۔ ہر پیمائش صارف کے عمل سے شروع ہوئی اور نتیجہ دکھائے جانے پر ختم ہوئی؛ کلائنٹ اور سرور کے کام کو الگ الگ ناپا گیا۔

نئی claude.ai ویب سائٹ کے لوڈ میں، 75ویں پرسنٹائل پر صفحہ ٹائپ کرنے کے قابل ہونے تک کا وقت 3,085 سے گھٹ کر 550 ملی سیکنڈ رہ گیا، یعنی رفتار 5.6 گنا ہوئی۔ ڈیسک ٹاپ ایپ کو بند حالت سے شروع ہونے میں 6,310 کے بجائے 3,328 ملی سیکنڈ لگے، یعنی 1.9 گنا بہتری۔ ڈیسک ٹاپ پر Claude Cowork کا کلاؤڈ سیشن لوڈ ہونے کا وقت 2,566 سے کم ہوکر 728 ملی سیکنڈ ہوا، یعنی 3.5 گنا۔ ویب چیٹ پیغام بھیجنے کے کلائنٹ سائیڈ حصے کا وقت 180 سے گھٹ کر 59 ملی سیکنڈ رہا، یعنی 3.1 گنا۔ یہ مختلف افعال اور پلیٹ فارم ہیں؛ مجموعی 3.1 گنا، تمام 13 تناسبوں کا جیومیٹرک اوسط ہے، کسی ایک کام کا نتیجہ نہیں۔

یہ موازنہ Anthropic کی 13 اور 27 اگست کی حقیقی صارفین کی نگرانی کے اعداد، 75ویں پرسنٹائل پر، استعمال کرتا ہے۔ تحریر ان پیمائشوں کا آزادانہ آڈٹ، ان طریقوں کے لیے 95ویں پرسنٹائل کے نتائج، یا یہ کنٹرول شدہ تخمینہ شائع نہیں کرتی کہ فائدے میں Claude کی مدد کا کتنا حصہ تھا۔ Anthropic کا اندازہ ہے کہ ان تیز افعال سے صارفین کے روزانہ انتظار کے دسیوں ہزار گھنٹے بچتے ہیں، لیکن اس اندازے کا حساب نہیں دکھایا گیا۔

تبدیلیوں کے پیچھے پیمائش کا چکر

ٹیم نے انجینئروں کے منتخب کردہ تقریباً 20 منصوبوں سے آغاز کیا۔ Anthropic کے مطابق اس نے Claude Tag استعمال کیا—ایک بیٹا ایجنٹ جو اندرونی تحقیقی ماڈل پر چلتا تھا اور صلاحیت کے لحاظ سے تقریباً Opus 5.5 کے برابر تھا—تاکہ رکاوٹیں تلاش کرے، بینچ مارک بنائے اور تبدیلیاں تجویز کرے۔ ٹیم کا کہنا ہے کہ تیسرے دن تک اس نے اپنے 13 ابتدائی اہداف میں سے 12 حاصل کرلیے، پھر نئے اہداف مقرر کیے اور وہ مسائل تلاش کیے جو اس کے موجودہ نگرانی کے نظام سے چھوٹ گئے تھے۔

ایک مثال میں صفحہ لوڈ ہونے کے بعد سائیڈبار کی قطاریں ہلتی ہوئی دکھانے والی ریکارڈنگ سے مسئلہ سامنے آیا۔ موجودہ Cumulative Layout Shift پیمائش نے اس مسئلے کو نمایاں نہیں کیا۔ ایک انجینئر نے بنیادی Layout Instability API استعمال کرنے کی تجویز دی۔ پھر Claude نے متاثرہ صفحے کے حصے کی نشاندہی کرنے والی ٹیلی میٹری اور سائیڈبار ڈیٹا میں تاخیر کرنے والا انٹیگریشن ٹیسٹ شامل کیا۔ Anthropic کے مطابق اصل کوڈ پر 20 میں سے تمام 20 بار ٹیسٹ ناکام ہوا اور تجویز کردہ اصلاح پر تمام 20 بار کامیاب۔ ٹیلی میٹری جاری ہونے کے بعد کمپنی کا کہنا ہے کہ اسے 31 فیصد ویب لوڈز میں صفحہ قابلِ استعمال ہونے کے بعد حرکت نظر آئی۔ یہ Anthropic کی مہم کی دستاویزی مثال ہے، BIG CHANGE کی اپنی پیمائش نہیں۔

ٹیم نے ریلیزوں کے درمیان تیزی سے کام کرنے کے لیے لیب پیمائشیں بھی استعمال کیں۔ اس نے JavaScript کے دو اہم راستوں پر یکساں بینچ مارکس میں قطعی instruction counts کا گزرا ہوا وقت سے موازنہ کیا۔ Anthropic کے مطابق ہدایات کی گنتی میں 48 فیصد اور 31 فیصد کمی کے ساتھ حقیقی وقت میں بالترتیب 78 فیصد اور 44 فیصد کمی بھی آئی۔ ٹیم نے ان گنتیوں کو مسلسل انضمام کے عمل میں حد مقرر کیا، پھر کارکردگی بہتر ہونے پر حدود مزید کم کیں۔ اس کا کہنا ہے کہ اس نے وہ بینچ مارک چھوڑ دیے جو ناقابلِ اعتماد تھے یا صارف کی تاخیر کی درست عکاسی نہیں کرتے تھے۔ یہ فرق اہم ہے: تبدیلیوں کی رہنمائی میں لیب کاؤنٹر مددگار تھا، جبکہ جاری شدہ کام سے صارف کو فائدہ ہوا یا نہیں، یہ حقیقی صارفین کی پیمائش سے جانچا گیا۔

انسانی اختیار کیسے برقرار رہا

Anthropic ایک Slack چینل بیان کرتا ہے جس میں بہت سے محدود موضوعات کے تھریڈ تھے، اور ہر تھریڈ کسی ایک استعمال کے طریقے یا بینچ مارک پر مرکوز تھا۔ Claude نے مسئلے کا سراغ لگایا، بینچ مارک اور پل ریکویسٹ تجویز کیں، تعیناتیوں کا جائزہ لیا اور فیلڈ ڈیٹا پڑھا۔ انجینئروں نے اہداف طے کیے، صارف کو نظر آنے والے قابلِ قبول سمجھوتوں کا فیصلہ کیا اور ہر تبدیلی منظور کی۔ ہر تھریڈ کا ایک نامزد انسانی ذمہ دار تھا۔ ایک مجوزہ 900 لائن کی تبدیلی انجینئروں نے مسترد کردی، کیونکہ ان کے خیال میں فی پیغام دو ملی سیکنڈ بچانے کے عوض اسے برقرار رکھنا بہت مہنگا پڑتا۔

ریلیز کے عمل میں کئی جانچیں تھیں۔ Anthropic کا کہنا ہے کہ ہر پل ریکویسٹ پر خودکار جائزہ اور کم از کم ایک انسان کی منظوری ہوئی، اور اصلاحات سے پہلے یونٹ ٹیسٹ چلائے گئے۔ صارف کو نظر آنے والی تبدیلیاں مختصر مدت کے فیچر فلیگ کے پیچھے رکھی گئیں۔ زیادہ خطرے والی تبدیلیاں پہلے ملازمین تک، پھر ایک فیصد صارفین تک، اور اس کے بعد سب تک پہنچیں۔ ٹیم نے اس مہم میں تقریباً 200 فلیگ متعارف کیے اور اس کا کہنا ہے کہ اختتام تک ان میں سے آدھے سے زیادہ ہٹا دیے گئے۔ Anthropic کی رپورٹ ہے کہ اس نے صارفین کو متاثر کرنے والے کسی واقعے یا واپس لی گئی ریلیز کے بغیر 3,000 سے زیادہ تبدیلیاں ضم کیں۔ یہ نتیجہ اسی مہم کے بارے میں کمپنی کا بیان ہے؛ یہ کسی دوسری ٹیم یا کوڈبیس کے لیے ویسا ہی نتیجہ ثابت نہیں کرتا۔

جامد کمپوزر کی مثال دکھاتی ہے کہ یہ کنٹرولز کیوں اہم تھے۔ React لوڈ ہونے کے دوران Anthropic نے ابتدائی HTML میں ٹائپ کرنے کے قابل کمپوزر رکھا۔ تبدیلی کے مرحلے کو جانچنے کے لیے اس کے ٹیسٹ نے 14 اسکرین سائز پر جامد اور React نسخوں کا موازنہ کیا، ایک پکسل کے اندر سیدھ دیکھی، اور مرحلے کے دوران ٹائپ کرکے یہ جانچا کہ کوئی کلید چھوٹ یا ترتیب سے باہر تو نہیں ہوئی۔ فیلڈ ٹیلیمیٹری نے تبدیلی کے دوران حرکت ناپی۔ بعد میں ایک ملازم نے نئے ٹیب کی ترتیب میں ایسا اچھال دیکھا جو ان پیمائشوں سے چھوٹ گیا تھا؛ Anthropic نے اس کی وجہ پیشگی لوڈنگ کے دوران براؤزر کا سائز بدلنا بتائی اور اس صورت کے لیے ٹیسٹ شامل کیا۔

Anthropic کی رپورٹ ایک مخصوص نتیجے کی تائید کرتی ہے: اس کے انجینئروں نے انسانی ہدایت میں رہتے ہوئے ناپی گئی رکاوٹوں کو تلاش کرنے اور بہتر بنانے کے لیے Claude استعمال کیا، اور اگست کے اختتام پر صارفین کے منتخب استعمال کے طریقے تیز تھے۔ یہ سوال کھلے رہتے ہیں کہ سست ترین حصے میں مصنوعات کی کارکردگی کیسی ہے، یہ بہتری کتنی دیر قائم رہے گی، اور ایک آزاد مبصر نتائج میں ایجنٹ کا کتنا حصہ مانے گا بجائے اس کے کہ اس کا سہرا ٹیم کی پیمائش، انجینئرنگ اور ریلیز فیصلوں کو دے۔