ఆగస్టులో రెండు వారాల కృషితో claude.ai, Claude డెస్క్‌టాప్ యాప్‌లోని ప్రధాన పనులు దాదాపు మూడింతలు వేగమయ్యాయని Anthropic చెబుతోంది. దాని సెప్టెంబర్ 23న ప్రచురితమైన ఇంజినీరింగ్ వివరణ శీర్షికలోని సంఖ్యకంటే ఉపయోగకరమైన వివరాలు ఇస్తుంది: ఏ చర్యలు వేగమయ్యాయి, బృందం కొలతలను ఎలా తనిఖీ చేసింది, నిర్ణయాలు, విడుదలపై ఇంజినీర్లు ఎక్కడ బాధ్యత వహించారు అన్నవి చూపిస్తుంది.

పెద్ద మార్పు

  • ఏం మారింది: వెబ్, డెస్క్‌టాప్‌లో సాధారణంగా చేసే 13 చర్యల కొలతల్లో నిరీక్షణ తగ్గిందని Anthropic నివేదించింది. ఆ మెరుగుదలల జ్యామితీయ సగటు 3.1x; ఆగస్టు 13, 27 తేదీల్లో 75వ పర్సెంటైల్ వద్ద కొలిచారు. ఎంచుకున్న వినియోగ మార్గాలకు మాత్రమే ఈ కంపెనీ ఫలితం వర్తిస్తుంది.
  • ఇది ఎందుకు ముఖ్యం: Claude వినియోగదారులకు కొత్త వెబ్ పేజీ టైప్ చేయడానికి సిద్ధమయ్యే సమయం 3,085 మిల్లీసెకన్ల నుంచి 550కి తగ్గడం, ఉత్పత్తి వినియోగంలో తరచూ జరిగే దశను మార్చుతుంది. ఇంజినీరింగ్ బృందాలకు, ప్రాధాన్యతలు ఎంచుకుని మార్పులకు ఆమోదం తెలుపుతూ, కొలిచిన పనితీరు సమస్యలను AI సహాయకుడు పరిష్కరించే విధానాన్ని ఈ సందర్భం చూపిస్తుంది.
  • ఏం గమనించాలి: 95వ పర్సెంటైల్, ఇతర వినియోగ మార్గాలు, చాలా దీర్ఘ సంభాషణలపై ఇంకా పని చేయాల్సి ఉందని Anthropic చెబుతోంది. ఎంచుకున్న చర్యలు, ఆగస్టు పోలికను దాటి నివేదించిన మెరుగుదలలు కొనసాగుతాయా అనేది ఈ కొలతలు చూపిస్తాయి.

వినియోగదారులకు వచ్చిన ప్రయోజనాలు

వినియోగదారుల కార్యకలాపాల్లో 95%కి కారణమయ్యే నాలుగు మార్గాలను Anthropic గుర్తించింది: యాప్ తెరవడం, సంభాషణ ప్రారంభించడం, సంభాషణ లోడ్ చేయడం, సందేశం పంపడం. వెబ్, డెస్క్‌టాప్, వాటి ఉత్పత్తులన్నింటిలో ఇవి 13 కొలతలుగా మారాయి. ప్రతి కొలత వినియోగదారు చర్యతో మొదలై ఫలితం తెరపై కనిపించినప్పుడు ముగుస్తుంది; క్లయింట్, సర్వర్ పనులను వేరుగా లెక్కించారు.

కొత్త claude.ai వెబ్ పేజీ టైప్ చేయడానికి సిద్ధమయ్యే 75వ పర్సెంటైల్ సమయం 3,085 నుంచి 550 మిల్లీసెకన్లకు తగ్గింది; ఇది 5.6 రెట్ల వేగం. డెస్క్‌టాప్ యాప్‌ను చల్లగా ప్రారంభించే సమయం 6,310 నుంచి 3,328 మిల్లీసెకన్లకు, అంటే 1.9 రెట్ల వేగానికి తగ్గింది. Claude Cowork క్లౌడ్ సెషన్‌ను డెస్క్‌టాప్‌లో లోడ్ చేసే సమయం 2,566 నుంచి 728 మిల్లీసెకన్లకు, అంటే 3.5 రెట్ల వేగానికి తగ్గింది. వెబ్ చాట్ సందేశం పంపడంలో క్లయింట్ భాగం 180 నుంచి 59 మిల్లీసెకన్లకు, అంటే 3.1 రెట్ల వేగానికి తగ్గింది. ఇవి వేర్వేరు చర్యలు, ప్లాట్‌ఫారమ్‌లు; మొత్తం 3.1x అనేది 13 నిష్పత్తుల జ్యామితీయ సగటు, ఏ ఒక్క పనికి వచ్చిన ఫలితం కాదు.

ఈ పోలికలో ఆగస్టు 13, ఆగస్టు 27 తేదీల్లో 75వ పర్సెంటైల్ వద్ద Anthropic నిజ వినియోగదారు పర్యవేక్షణ కొలతలు ఉన్నాయి. ఈ పోస్టు స్వతంత్ర ఆడిట్, ఈ మార్గాలపై 95వ పర్సెంటైల్ ఫలితం, Claude సహకారం వల్ల ఎంత మెరుగుదల వచ్చిందనే నియంత్రిత అంచనాను ప్రచురించలేదు. వేగమైన చర్యలు రోజూ వినియోగదారుల వేచి ఉండే సమయాన్ని పదివేల గంటల మేర ఆదా చేస్తాయని Anthropic అంచనా వేసింది; ఆ లెక్కను మాత్రం చూపించలేదు.

మార్పుల వెనుక కొలతల చక్రం

ఇంజినీర్లు ఎంచుకున్న సుమారు 20 ప్రాజెక్టులతో బృందం మొదలుపెట్టింది. Opus 5.5కు సుమారుగా సమానమైన అంతర్గత పరిశోధనా మోడల్‌ను నడిపే బీటా ఏజెంట్ Claude Tagతో అడ్డంకులను గుర్తించి, బెంచ్‌మార్క్‌లు నిర్మించి, మార్పులు ప్రతిపాదించామని Anthropic చెబుతోంది. మూడో రోజుకే మొదటి 13 లక్ష్యాల్లో 12 చేరుకున్నామని; ఆపై కొత్త లక్ష్యాలు పెట్టి, ఉన్న పర్యవేక్షణ గుర్తించని సమస్యలు వెతికామని బృందం తెలిపింది.

ఒక ఉదాహరణలో, పేజీ లోడ్ అయిన తర్వాత సైడ్‌బార్ వరుసలు కదులుతున్న దృశ్య రికార్డింగ్‌తో పని మొదలైంది. అప్పటి Cumulative Layout Shift కొలత ఈ సమస్యను స్పష్టంగా చూపలేదు. ఒక ఇంజినీర్ దాని అడుగునున్న Layout Instability API వాడాలని సూచించారు. ఆపై ప్రభావిత పేజీ ప్రాంతాన్ని గుర్తించే టెలిమెట్రీ, సైడ్‌బార్ డేటాను ఆలస్యం చేసే సమీకరణ పరీక్షను Claude జోడించింది. అసలు కోడ్‌లో 20కి 20 పరీక్షలూ విఫలమయ్యాయని, ప్రతిపాదిత పరిష్కారంలో 20కి 20 ఉత్తీర్ణమయ్యాయని Anthropic నివేదించింది. టెలిమెట్రీ అమలైన తర్వాత, వెబ్ పేజీల్లో 31% వినియోగయోగ్యమైన స్థితికి వచ్చిన తరవాత కూడా కదలిక ఉందని కంపెనీ గుర్తించింది. ఇది Anthropic ప్రత్యేక కృషి నుంచి వివరించిన ఉదాహరణ; BIG CHANGE పునరావృతంగా కొలిచిన ఫలితం కాదు.

విడుదలల మధ్య త్వరగా ముందుకు సాగేందుకు బృందం ప్రయోగశాల కొలతలనూ ఉపయోగించింది. JavaScriptలోని రెండు వేగవంతమైన కోడ్ మార్గాలకు ఒకే బెంచ్‌మార్క్‌లపై నిర్ణయాత్మక instruction countను గడిచిన సమయంతో పోల్చింది. instruction countలను 48%, 31% తగ్గించడంతో, వాస్తవ సమయం 78%, 44% తగ్గిందని Anthropic చెబుతోంది. పనితీరు మెరుగైన కొద్దీ పరిమితులను తగ్గిస్తూ, నిరంతర సమీకరణలో ఆ instruction countలను పరిమితులుగా పెట్టారు. విశ్వసనీయత లేని లేదా వినియోగదారుల జాప్యాన్ని ప్రతిబింబించని బెంచ్‌మార్క్‌లను తొలగించామని బృందం చెబుతుంది. తేడా ముఖ్యం: మార్పులకు దిశ చూపింది ప్రయోగశాల కౌంటర్; విడుదలైన పని నిజంగా సహాయపడిందా అని తనిఖీ చేసింది నిజ వినియోగదారుల కొలతలు.

నియంత్రణను మనుషులే ఎలా ఉంచారు

ఒక్కో వినియోగ మార్గం లేదా బెంచ్‌మార్క్‌పై కేంద్రీకరించిన అనేక చిన్న థ్రెడ్‌లతో Slack ఛానెల్ ఏర్పాటు చేసినట్లు Anthropic వివరిస్తుంది. Claude సమస్యను గుర్తించి, బెంచ్‌మార్క్, pull requestలను ప్రతిపాదించి, విడుదలలను గమనించి, క్షేత్ర డేటాను చదివింది. లక్ష్యాలు నిర్ణయించడం, వినియోగదారులకు కనిపించే ఏ మార్పులు ఆమోదయోగ్యమో తేల్చడం, ప్రతి మార్పును ఆమోదించడం ఇంజినీర్ల పని. ప్రతి థ్రెడ్‌కు పేరున్న మానవ యజమాని ఉన్నారు. సందేశానికి రెండు మిల్లీసెకన్లు ఆదా చేసినా నిర్వహించడం చాలా కష్టమని భావించి, ఇంజినీర్లు 900 లైన్ల ప్రతిపాదనను తిరస్కరించారు.

విడుదల ప్రక్రియలో పలు తనిఖీలు ఉన్నాయి. ప్రతి pull requestకు స్వయంచాలక సమీక్ష, కనీసం ఒక మానవ ఆమోదం, ఆప్టిమైజేషన్‌కు ముందు యూనిట్ పరీక్షలు జరిగాయని Anthropic చెబుతోంది. వినియోగదారులకు కనిపించే మార్పులను స్వల్పకాలిక feature flagల వెనుక ఉంచారు. అధిక ప్రమాద మార్పులను ముందుగా ఉద్యోగులకు, ఆపై 1% వినియోగదారులకు, తర్వాత అందరికీ అందించారు. ప్రత్యేక కృషిలో దాదాపు 200 flagలు ప్రవేశపెట్టి, సగానికి పైగా చివరికి తొలగించామని బృందం తెలిపింది. వినియోగదారులకు కనిపించే ఘటన లేదా rollback లేకుండా 3,000కుపైగా మార్పులు కలిపామని Anthropic నివేదించింది. అది ఈ ప్రత్యేక కృషిపై కంపెనీ వివరణ మాత్రమే; వేరే బృందం లేదా కోడ్‌బేస్‌కూ ఇదే ఫలితం వస్తుందని నిరూపించదు.

స్థిర HTML composer నియంత్రణలు ఎందుకు ముఖ్యమో చూపిస్తుంది. React లోడ్ అవుతుండగా టైప్ చేయగల composerను Anthropic ప్రారంభ HTMLలో ఉంచింది. మార్పు సరిగా జరుగుతుందో పరీక్షించేందుకు, 14 తెర పరిమాణాల్లో స్థిర, React రూపాలను పోల్చి, ఒక పిక్సెల్‌లోపు సరిపోలిక ఉందో తనిఖీ చేసి, మార్పు సమయంలో అక్షరాలు పోకుండా లేదా క్రమం మారకుండా టైప్ పరీక్షలు చేశారు. మార్పు సమయంలో కదలికను క్షేత్ర టెలిమెట్రీ కొలిచింది. ఆ కొలతలు గుర్తించని కొత్త ట్యాబ్ లేఅవుట్ మార్పును ఉద్యోగి తర్వాత గుర్తించారు; ఊహాత్మక లోడింగ్ సమయంలో బ్రౌజర్ పరిమాణం మారడమే కారణమని Anthropic నిర్ధారించి, ఆ మార్గానికి పరీక్ష జోడించింది.

Anthropic నివేదిక ఒక నిర్దిష్ట నిర్ధారణకు మద్దతిస్తుంది: మానవుల దిశానిర్దేశంతో జరిగే విడుదల ప్రక్రియలో, కొలిచిన అడ్డంకులను వెతికి మెరుగుపరచడానికి ఇంజినీర్లు Claudeను ఉపయోగించారు; ఆగస్టు చివరికి ఎంచుకున్న వినియోగ మార్గాలు వేగమయ్యాయి. ఉత్పత్తి మందగించే చివరి భాగంలో ఎలా పనిచేస్తుంది, మెరుగుదలలు ఎంతకాలం నిలుస్తాయి, ఫలితంలో ఏ మేరకు ఏజెంట్ పాత్ర ఉంది—బృందం పరికరాలు, ఇంజినీరింగ్, విడుదల నిర్ణయాల పాత్రతో పోలిస్తే—అన్నవి ఇంకా తేలలేదు.