సెప్టెంబర్ 22న అనేక మోడళ్లలో లోపాలు పెరిగాయని Anthropic తెలిపింది. దాని తుది ఘటన నవీకరణ ప్రకారం ప్రభావ కాలం 00:50 నుంచి 02:10 UTC వరకు, అంటే 80 నిమిషాలు. 02:35 UTCకి ఘటన పరిష్కారమైందని గుర్తించింది. ప్రభావిత భాగాల్లో claude.ai, API, Code, Cowork ఉన్నాయి. ప్రతి అభ్యర్థన విఫలమైందని రికార్డు చెప్పదు; మూలకారణంపై ప్రచురిత వివరణా లేదు. Anthropic ఘటన రికార్డు
పని ప్రక్రియలో AI వాడే వ్యాపారానికి, సేవ పునరుద్ధరణ సమస్యలో ఒక భాగానికే సమాధానం. కస్టమర్ అభ్యర్థనలు ఇంకా వేచి ఉండవచ్చు. ఆటోమేటిక్ ప్రయత్నం కొనసాగుతుండగానే ఎవరైనా కేసును చేతితో నిర్వహించడం మొదలుపెట్టి ఉండవచ్చు. ఏ పని మళ్లీ ప్రారంభించవచ్చు, దేనిని ముందుగా తనిఖీ చేయాలో పర్యవేక్షకుడు తెలుసుకోవాలి.
ఆలోచనలు కూర్చడంలో సహాయపడే సహాయకుడు అప్పుడప్పుడు అందుబాటులో లేకపోవడం అసౌకర్యమే. అదే సేవ వచ్చే కేసులను వర్గీకరించడానికి, ప్రత్యుత్తరాల ముసాయిదాలు రాయడానికి, రికార్డులు నవీకరించడానికి సహాయపడితే, అంతరాయం కార్యాచరణ సమస్యగా మారుతుంది. AI సేవ అందుబాటులో లేకున్నా సిబ్బంది అనుసరించగల చిన్న కొనసాగింపు ప్రణాళికే ఉపయోగకరమైన ముందస్తు సన్నాహం.
ఆ ప్రణాళిక ఎలా పనిచేయగలదో చూపించడానికి ఈ మార్గదర్శి ఊహాత్మక కస్టమర్ సేవా విభాగాన్ని ఉపయోగిస్తుంది. ఇక్కడి విధానాలు అనుసరించి సాధన చేయాల్సిన ప్రతిపాదనలు మాత్రమే; BIG CHANGE నిర్వహించిన పరీక్ష గానీ, ఈ ఘటనతో ప్రభావితమైన కస్టమర్ల వివరణ గానీ కావు.
AI లేకుండా కొనసాగించగల సేవను ఎంచుకోండి
ఒక చిన్న పరికరాల సరఫరాదారు, వచ్చే సహాయ అభ్యర్థనలను వర్గీకరించి, ఆమోదించిన ఉత్పత్తి సమాచారంతో సమాధానాలు సిద్ధం చేయడానికి సహాయకుడిని వాడుతున్నాడని ఊహించండి. పంపే ముందు సిబ్బంది ప్రత్యుత్తరాలను సమీక్షిస్తారు. సమాధానాలకు బాధ్యత మాత్రం మనుషులదే అయినా, క్యూను నిర్వహించడానికి వ్యాపారం ఆ వ్యవస్థపై ఆధారపడుతుంది.
సహాయకుడు స్పందించడం ఆపితే, విభాగం ఇంకా ఏమి చేస్తానని హామీ ఇవ్వగలదో మేనేజర్ ముందుగా నిర్ణయించాలి. గడువు దగ్గరలో ఉన్న కేసులను నిర్వహిస్తూ అభ్యర్థన అందిందని తెలియజేయవచ్చు; సాధారణ ఉత్పత్తి వివరణలను వాయిదా వేయవచ్చు. సహాయకుడు అందుబాటులో లేకున్నా అసలు సందేశాలు, ఆమోదిత సూచన పత్రాలను చూడగలగాలి. అవి లేకపోతే “చేతితో కొనసాగించండి” అన్నది ఆచరణకు మార్గం లేని ఆదేశం.
తగ్గించిన సేవను ముందుగానే ఎంచుకోండి. దాన్ని ప్రారంభించగల వ్యక్తి, నిలిపివేయాల్సిన పనులు, మిగిలిన పనులు చూసుకునే సిబ్బందిని గుర్తించండి. తాత్కాలిక ఏర్పాటు మధ్యాహ్నమంతా సమీక్ష లేకుండా కొనసాగకుండా తిరిగి పరిశీలించే సమయాన్ని నిర్ణయించండి. ఆలస్యం, అత్యవసర సహాయం పొందే మార్గం గురించి కస్టమర్లకు తెలియజేయండి; బృందం నిలబెట్టగల హామీలనే ఇవ్వండి.
వనరులు పరిమితమైనప్పుడు తగ్గించిన కార్యాచరణ, ట్రాఫిక్ పరిమితి, ముఖ్యమైన అభ్యర్థనలకు ప్రాధాన్యత ఇవ్వడాన్ని Google ఇంజినీరింగ్ మార్గదర్శి వివరిస్తుంది. ఇవి విశ్వసనీయతకు సంబంధించిన స్థిరమైన పద్ధతులు; ఈ Claude ఘటనకు కారణ నిర్ధారణలు కావు. సాధారణ ప్రాసెసింగ్ కొనసాగలేనప్పుడు, సేవా విభాగం పరిధిని ఉద్దేశపూర్వకంగా తగ్గించడానికి ఇవి తోడ్పడతాయి. Google SRE: అధిక భారం నిర్వహణ
తగ్గించిన సేవకూ సామర్థ్య పరిమితి అవసరం. ఆటోమేటిక్ వ్యవస్థ సాధారణంగా నిర్వహించే అనేక అభ్యర్థనల భారాన్ని ఇద్దరు వ్యక్తులు నిశ్శబ్దంగా స్వీకరించలేరు. వారు ఎంత పని చేయగలరు, ఏది వేచి ఉంటుంది, అదనపు సహాయం ఎప్పుడు అవసరమో నమోదు చేయండి. సాధారణ సేవ కొనసాగుతున్నట్లు కనిపించే ఆటోమేటిక్ స్పందనకన్నా, నమ్మదగిన సమాధాన సమయం కస్టమర్లకు ఎక్కువ ప్రయోజనం.
సంభాషణ వెలుపల పనికి రికార్డు ఉంచండి
మోడల్ అందుబాటులో లేనప్పుడు చదవగలిగే కేసు రికార్డు సేవా విభాగానికి అవసరం. అది ఇప్పటికే ఉన్న సహాయ వ్యవస్థ కావచ్చు. అంతరాయం చెందిన సహాయకుడిని మళ్లీ నిర్మించమని అడగకుండా ఏమి జరిగిందో వ్యాపారం నిర్ధారించగలగడమే ముఖ్యం.
ప్రతి కేసుకు అసలు అభ్యర్థన, దానికి బాధ్యత వహించే వ్యక్తి లేదా ప్రక్రియ, చివరిగా నిర్ధారించిన చర్యను భద్రపరచండి. భద్రపరిచిన ముసాయిదా పంపిన సమాధానంతో సమానం కాదు. కస్టమర్ రికార్డుకు ప్రతిపాదించిన మార్పు, ఆ వ్యవస్థ నిర్ధారించిన మార్పుతో సమానం కాదు. వాటిని వేరు చేసే ఆధారాలను, అంతర్లీన కస్టమర్ సమాచారానికి వర్తించే అదే ప్రాప్యత పరిమితులతో భద్రపరచండి.
అంతరాయం సమయంలో పనిని ఈ ఆచరణాత్మక వర్గాలుగా విభజించండి:
- ప్రారంభించడానికి సిద్ధం: ప్రాసెసింగ్ లేదా బాహ్య చర్య ఏదీ మొదలుకాలేదు.
- పాక్షికంగా సిద్ధం: వర్గీకరణ లేదా ముసాయిదా ఉంది, కానీ తదుపరి దశ పూర్తికాలేదు.
- పూర్తయినట్లు నిర్ధారణ: గమ్యస్థాన వ్యవస్థ ఉద్దేశించిన చర్యను నమోదు చేసింది.
- అనిశ్చితం: చర్య ప్రయత్నించారు, కానీ నిర్ధారణ అందలేదు.
మళ్లీ ప్రారంభించే ముందు సంబంధిత వ్యవస్థను పరిశీలించగల వ్యక్తికి అనిశ్చిత కేసులను అప్పగించండి. అనుసంధానం తెగినప్పుడు సహాయకుడు ప్రత్యుత్తరం సిద్ధం చేస్తుంటే, కొత్త ముసాయిదా రాయడం హానికరం కాకపోవచ్చు. వేరే సాధనం ఆ ప్రత్యుత్తరాన్ని పంపుతుంటే, మొత్తం పనిని మళ్లీ చేయడం వల్ల అది రెండుసార్లు వెళ్లవచ్చు. ఈ తేడాను పని రికార్డు చూపాలి.
ప్రవాహ సమాధానం మొదట HTTP 200 విజయ స్పందన ఇచ్చిన తర్వాత కూడా విఫలమవవచ్చని Anthropic API పత్రాలు చెబుతున్నాయి. మొదటి పాఠ్యం కనిపించిందని లేదా ప్రారంభ స్థితి అందిందని మాత్రమే పూర్తి సమాధానం చేరిందని నిర్ధారించలేం. పని పూర్తయిందని ఏకీకరణ గుర్తించి, పాక్షిక పనిని పాక్షికంగానే భద్రపరచాలి. Claude API లోపాల పత్రాలు
మళ్లీ చేసే ప్రయత్నాలకు పరిమితి, బాధ్యతదారుని నిర్ణయించండి
తాత్కాలిక వైఫల్యాన్ని మళ్లీ ప్రయత్నించడం సరిచేయవచ్చు. ప్రతి పొర స్వతంత్రంగా అదే పనిని పునరావృతం చేస్తే అనిశ్చితిని పొడిగించవచ్చు. మరోసారి ప్రయత్నించే బటన్ లేదా ఆటోమేటిక్ చక్రం జోడించే ముందు, తన క్లయింట్ లైబ్రరీలోనే పునఃప్రయత్నాలు జరుగుతున్నాయా అని సాఫ్ట్‌వేర్ సరఫరాదారుని అడగండి.
తాత్కాలిక వైఫల్యాలకు అధికారిక SDKలు డిఫాల్ట్‌గా రెండు ఆటోమేటిక్ మళ్లీ ప్రయత్నాలు చేస్తాయని Anthropic పత్రాలు చెబుతున్నాయి; ప్రతి సారి విరామం పెరుగుతుంది, retry-after సూచన ఉంటే దాన్ని పాటిస్తాయి. తాత్కాలిక సర్వర్ సమస్యలకూ, ప్రామాణీకరణ, అనుమతి, తప్పుగా రూపొందించిన అభ్యర్థన లోపాలకూ మధ్య తేడాన్నీ దాని పత్రాలు చూపుతాయి. ప్రతి రకాన్నీ అదే అభ్యర్థన మళ్లీ పంపడం సరిచేస్తుందని అనుకోకూడదు. Claude మళ్లీ ప్రయత్నించే పత్రబద్ధమైన విధానం
సేవా విభాగంలో ఆటోమేటిక్ ప్రయత్నాలు ఎప్పుడు ఆగాలి, తర్వాత కేసు ఎవరికి వెళ్లాలి అన్నది కార్యాచరణ నియమం స్పష్టం చేయాలి. సమస్యను గుర్తించడానికి అభ్యర్థన గుర్తింపును భద్రపరచండి. పని వేచి ఉందా, మళ్లీ ప్రయత్నిస్తున్నారా, లేక వ్యక్తి కోసం ఎదురుచూస్తోందా సిబ్బంది చూడగలగాలి; అప్పుడు తెలియకుండానే పోటీపడే ప్రయత్నాలు మొదలుపెట్టరు.
ప్రతిస్పందన రాకపోయినా చర్య విజయవంతం కావచ్చని AWS వివరిస్తుంది. దాని idempotent APIలు పునరావృతాన్ని గుర్తించి, అదనపు ప్రభావాలు రాకుండా స్పష్టమైన అభ్యర్థన గుర్తింపును ఉపయోగిస్తాయి. స్వీకరించే సేవ ఆ ఒప్పందాన్ని అమలు చేయాలి; అంతర్గత కేసు సంఖ్యను జోడించడం ఒక్కటే అలాంటి రక్షణ ఇవ్వదు. పునఃప్రయత్నాలను సురక్షితం చేయడంపై AWS
మీ పని ప్రక్రియ చేసే చర్యల గురించి ప్రత్యేకంగా అడగండి. మళ్లీ ప్రయత్నించడం వల్ల మరో సహాయ టికెట్ వస్తుందా లేదా మరో ఇమెయిల్ వెళ్తుందా? నకిలీ చర్యలను నివారించడం సాధ్యం కానప్పుడు, మళ్లీ ప్రయత్నించే ముందు గమ్యస్థాన రికార్డును తనిఖీ చేయాలి. పాఠ్యం రూపొందించడానికి మళ్లీ ప్రయత్నించడానికీ మొత్తం వ్యాపార ప్రక్రియను పునరావృతం చేయడానికీ వేర్వేరు నిర్ణయాలు అవసరం.
ప్రత్యామ్నాయ మోడల్‌కు పరిమితమైన పని అప్పగించండి
ప్రత్యామ్నాయ AI సేవ పని కొనసాగించడానికి సహాయపడవచ్చు; అయితే రెండో ఖాతా ఉండటమే ప్రత్యామ్నాయ ఏర్పాటుకు ఆరంభం మాత్రమే. ప్రత్యామ్నాయానికి తగిన సూచనలు, ఆమోదిత సూచన సమాచారం, డేటాను నిర్వహించే అనుమతి కావాలి. వ్యాపారం అవసరమైనప్పుడు తగిన సామర్థ్యమూ ఉండాలి.
పూర్తి భర్తీకి ప్రయత్నించే ముందు పరిధి కట్టుబడిన ప్రత్యామ్నాయ పనిని ఎంచుకోండి. మా ఊహాత్మక సేవా విభాగంలో, మరో మోడల్ సాధారణ సందేశాలను వర్గీకరిస్తే సిబ్బంది కస్టమర్‌కు వెళ్లే ప్రత్యుత్తరాలను చూసుకోవచ్చు. సందిగ్ధ ఉత్పత్తి పేర్లు, మనిషికి పంపాల్సిన అభ్యర్థనలతో సహా ప్రతినిధి కేసులపై బృందం దాన్ని అంచనా వేయవచ్చు. సరళంగా వచ్చిన సమాధానం ఒక్కటే కంపెనీ నియమాలు పాటించిందని చూపదు.
అంతరాయం రాకముందే ప్రత్యామ్నాయ సేవకు ఏ సమాచారాన్ని పంపవచ్చో నిర్ణయించండి. కస్టమర్ రికార్డులను వ్యక్తిగత ఖాతాల్లో అతికించి సిబ్బంది తాత్కాలికంగా నిర్ణయించకూడదు. ఫలితాల నాణ్యత, ధరతో పాటు కొనుగోలు ప్రక్రియలో ప్రత్యామ్నాయ సేవ డేటాను ఎలా నిర్వహిస్తుంది, ప్రాప్యత ఎలా ఉంటుందో తనిఖీ చేయండి.
వేర్వేరు మోడల్ పేర్లు ఉండటం వల్ల అందుబాటు కూడా స్వతంత్రమని తేలదు. ప్రత్యామ్నాయం అదే లాగిన్, నెట్‌వర్క్, పత్రాల నిల్వ లేదా పని సమన్వయ సాఫ్ట్‌వేర్‌పై ఆధారపడవచ్చు. ప్రతిపాదిత ప్రత్యామ్నాయం నిజంగా ఏ ఆధారాలను తప్పించుకుంటుందో చిత్రీకరించండి. విఫలమైన అదే అనుసంధానం వెనుక మరో మోడల్ కంటే, అందుబాటులోని సూచన పత్రాలతో చేతితో నడిచే క్యూనే ఎక్కువ రక్షణ ఇస్తుందని ఈ పరిశీలన చూపవచ్చు.
సూచనలు మారినప్పుడు, ఉత్పత్తి పరిజ్ఞానం పాతబడినప్పుడు ప్రత్యామ్నాయాల నిర్వహణ అవసరం. అరుదుగా వాడే విధానాలను సిబ్బంది సాధన చేయాలి. మొత్తం కార్యకలాపాన్ని నకలు చేయడానికి చెల్లించడంకన్నా నెమ్మదిగా నడిచే చేతి సేవను కొనసాగించడం చిన్న వ్యాపారానికి సమంజసమవచ్చు. ఆలస్యమైన పని ఖర్చు, తప్పు సమాధానం వల్ల కలిగే హాని ఆధారంగా ఎంపిక చేయాలి.
సమీక్షించిన క్యూతో మళ్లీ ప్రారంభించండి
ప్రదాత సేవ పునరుద్ధరించిందని తెలిపిన తర్వాత, సాధారణ ప్రాసెసింగ్ తిరిగి తెరవకముందు మీ పని ప్రక్రియలోని కొద్ది కేసులను తనిఖీ చేయండి. మీ వ్యాపారానికి అవసరమైన పత్ర శోధన, రికార్డు నవీకరణను పరీక్షించే కేసు ఉండాలి. మోడల్ సమాధానం విజయవంతమైందని మాత్రమే అన్ని అనుసంధానిత వ్యవస్థలు సిద్ధంగా ఉన్నాయని నిరూపించదు.
తర్వాత వేచి ఉన్న పనిని పరిశీలించండి. చేతితో ఇప్పటికే చూసిన కేసులను తొలగించి, అనిశ్చిత చర్యలను తనిఖీ చేసి, పరిస్థితులు మారిన అభ్యర్థనలను గుర్తించండి. అంతరాయం సమయంలో కస్టమర్ కొత్త సమాచారం ఇచ్చి ఉండవచ్చు. సాంకేతిక వైఫల్యం ముగిసిన తర్వాత, కేసు పాత రూపం ఆధారంగా ప్రత్యుత్తరం తయారు చేయడం కొత్త సమస్యను కలిగించవచ్చు.
మిగిలిన పనిని నియంత్రిత బ్యాచ్‌లలో విడుదల చేయండి. కొత్త అత్యవసర అభ్యర్థనలకు సామర్థ్యాన్ని ఉంచి, క్యూ తగ్గుతుందా చూడండి. వచ్చే డిమాండ్ అందుబాటులో ఉన్న మొత్తం ప్రాసెసింగ్ సామర్థ్యాన్ని వినియోగిస్తే, ప్రతి కొత్త ప్రయత్నం విజయవంతమైనా పాత క్యూ అలాగే ఉంటుంది. అదనపు సిబ్బంది, తాత్కాలికంగా తగ్గించిన సేవ లేదా నిజాయితీగా పొడిగించిన సమాధాన సమయం అవసరమవచ్చు.
వేరొక సంఖ్యాత్మక ఉదాహరణలో గంటకు 24 కేసులు వస్తాయని, 30 నిమిషాల పాటు ప్రాసెసింగ్ ఆగిందని అనుకోండి. అప్పుడు 12 కేసులు వేచి ఉంటాయి. ఆ తర్వాత గంటకు 36 కేసులు పరిష్కరిస్తూ, కొత్తగా 24 కేసులు వస్తూనే ఉంటే, పాత క్యూను తొలగించడానికి ఒక గంట పడుతుంది. ఇవి వివరించడానికి తీసుకున్న ఊహాగానాలు; Claude ఘటన కొలతలు కావు.
వినియోగదారులకు ముఖ్యం అయిన ఫలితం, దాన్ని అందించడానికి అవసరమైన ఆధారాల నుంచి సేవా స్థాయి లక్ష్యాలను రూపొందించడం మొదలవుతుందని Google మార్గదర్శి చెబుతుంది. ఈ సేవా విభాగానికి వాగ్దానం చేసిన గడువులో తగిన సమాధానం పొందే అత్యవసర కేసుల వాటా ఉపయోగకరమైన కొలమానం కావచ్చు. ప్రదాత అందుబాటు ముఖ్యం; కస్టమర్లకు నిజంగా సేవ అందిందా అన్నదీ వ్యాపారం తెలుసుకోవాలి. Google SRE: సేవా స్థాయి లక్ష్యాల అమలు
సాధారణ కస్టమర్ సేవ ఎప్పుడు తిరిగి మొదలైంది, పరిష్కారం కాని కేసులెన్ని, తర్వాత ఏ దిద్దుబాట్లు అవసరమయ్యాయో నమోదు చేయండి. ప్రదాత స్థితి పేజీ చూడలేని పునరుద్ధరణ పనిని ఆ కొలతలు బయటపెడతాయి.
స్వయంచాలకీకరణ పెంచే ముందు ఒక అంతరాయాన్ని సాధన చేయండి
ప్రత్యక్ష కస్టమర్లకు అంతరాయం కలిగించకుండా, చిన్న చర్చా సాధన ప్రాప్యత లేదా బాధ్యతలోని లోపాలను బయటపెట్టవచ్చు. కల్పిత సహాయ కేసులు కొన్నింటిని తీసుకుని, ఈ క్రమాన్ని అనుసరించండి:
- సమాధానం సిద్ధమవుతుండగా మోడల్ అందుబాటులో లేకపోయిందని అనుకోండి. తగ్గించిన సేవను ఎవరు ప్రారంభిస్తారు, అసలు అభ్యర్థనను సిబ్బంది ఎక్కడ చూస్తారో అడగండి.
- పంపినట్లు నిర్ధారించిన ఒక సమాధానం, పంపే ప్రయత్నం అనిశ్చితంగా ఉన్న మరో కేసు ఇవ్వండి. ఫలితాన్ని ఏ వ్యవస్థ నిర్ధారించగలదో బృందానికి తెలుసా చూడండి.
- కొత్త కేసులు వస్తూనే ఉండగా ప్రదాత సేవ పునరుద్ధరించిందని అనుకోండి. ఏ పనిని ముందుగా మళ్లీ ప్రారంభించాలి, చేతితో పూర్తిచేసిన కేసులను క్యూనుంచి ఎలా తొలగించాలో నిర్ణయించండి.
- ప్రణాళిక రచయిత కాని మరో వ్యక్తితో విధానాన్ని వివరింపజేసి, తనకు లేని అనుమతులు లేదా రికార్డులను గుర్తించమని అడగండి.
ఆ సాధనంలో సమాధానం దొరకని విషయాలను రాసుకోండి. పరిష్కారాలు చిన్నవే కావచ్చు: ఇప్పటికే ఉన్న క్యూకు ప్రాప్యత, స్పష్టమైన విరామ నియంత్రణ, భద్రపరిచిన నిర్ధారణ లేదా నియమించిన పునరుద్ధరణ బాధ్యతదారు. వీటిలో ఏదీ నిరంతర సేవకు హామీ ఇవ్వదు. అయినా స్వయంచాలకీకరణ ప్రయోజనాలను వదులుకోకుండానే అంతరాయాన్ని అదుపు చేయడం సులభం చేయవచ్చు.
సహాయకుడికి మరో కార్యాచరణ బాధ్యత ఇవ్వడానికి ముందు, అంతరాయం సమయంలో దాన్ని ఎలా నిర్వహిస్తారో సహోద్యోగిని చూపమని అడగండి. అందుబాటులో లేని సహాయకుడికే అది ఏమి చేస్తోందో గుర్తుండాలనే సమాధానం వస్తే, కొనసాగింపు ప్రణాళికకు ఇంకా పని ఉంది.
