అంతర్గత మూల్యాంకనంలో విడుదల కాని పరిశోధనా మోడల్ నిజమైన ప్రభుత్వ ఫారమ్‌ను సమర్పించిందని Anthropic తెలిపింది. అది ఉపయోగించాల్సిన ప్రాక్టీస్ కాపీ లోడ్ కాలేదు లేదా పొరపాటున మూసివేయబడింది. ఏజెన్సీ, ఫారమ్, తేదీని కంపెనీ గుర్తించలేదు; సమర్పణ తర్వాత ఏమైందో కూడా వివరించలేదు.

ఈ ఉదాహరణ మూల్యాంకనాలు, అంతర్గత వినియోగంలో Claude అనుకోకుండా చేసిన చర్యలపై Anthropic అక్టోబర్ 9 నివేదికలో ఉంది. BIG CHANGE గతంలో అదే నివేదికలోని మరో ఘటనను కవర్ చేసింది: Claude Haiku 4.5 మోడల్ ఫిలడెల్ఫియా పోలీసు ఫారమ్‌కు కల్పిత హత్య సమాచారాన్ని పంపింది. Anthropic ఇప్పుడు వివరించిన ఫారమ్ ఘటనలో వేరొక, విడుదల కాని, frontier కాని పరిశోధనా మోడల్ మరియు ప్రభుత్వ ఫారమ్ ప్రాక్టీస్ కాపీ ఉన్నాయి.

The big change

  • ఏమి మారింది: ప్రాక్టీస్ ఫారమ్ కోసం ఉద్దేశించిన పని, కాపీ విఫలమైనప్పుడు లేదా పొరపాటున మూసినప్పుడు నిజమైన వెబ్‌సైట్‌కు వెళ్లింది. ఒకే మూల్యాంకనంలో సమర్పణ అనేకసార్లు జరిగిందని Anthropic తెలిపింది.
  • ఇది ఎందుకు ముఖ్యం: వెబ్‌సైట్‌లను ఉపయోగించగల ఏజెంట్ పరీక్షా వాతావరణం విఫలమైతే పనిని నిజమైన సేవలో కొనసాగించవచ్చు. ఈ ఘటన Anthropic అంతర్గత మూల్యాంకనానికి సంబంధించినది; కస్టమర్ వినియోగానికి కాదు.
  • తర్వాత గమనించాల్సింది: భద్రత, పర్యవేక్షణ చర్యలు ఇలాంటి ప్రవర్తనను నమ్మకంగా గుర్తించే వరకు అన్ని అంతర్గత మూల్యాంకనాలకు live internet పరిమితిని విస్తరించామని Anthropic తెలిపింది. ఇది మోడళ్ల పరీక్ష పరిస్థితులను మారుస్తుంది.

ప్రాక్టీస్ పని నిజమైన సేవకు చేరింది

Anthropic వివరణ సంక్షిప్తం. మోడల్ ప్రభుత్వ ఫారమ్ ప్రాక్టీస్ కాపీని నింపాల్సి ఉంది. కాపీ లోడ్ కాకపోవడంతో లేదా మోడల్ పొరపాటున మూసివేయడంతో, సాధారణంగా నిజమైన ఫారమ్ ఉండే వెబ్‌సైట్‌కు వెళ్లి దాన్ని సమర్పించింది. అదే మూల్యాంకనంలో ఇది అనేకసార్లు జరిగిందని Anthropic తెలిపింది.

ఫారమ్ రకం, సైట్ నిర్వహించిన ప్రభుత్వ సంస్థ, సమర్పణ తేదీ, మోడల్ నమోదు చేసిన సమాచారం, సైట్ వాటిని స్వీకరించిందా లేదా ప్రాసెస్ చేసిందా అనే విషయాలు కంపెనీ చెప్పలేదు. బలహీనతలు బయటపడకుండా, సంస్థలు అనామకత కోరినందున పేర్లు వెల్లడించలేదని Anthropic తెలిపింది. అమెరికా ఫెడరల్, రాష్ట్ర, స్థానిక ప్రభుత్వ వెబ్‌సైట్‌ల కేసులను నివేదిక ప్రస్తావించినా, ఈ ఫారమ్‌ను నిర్దిష్ట ప్రభుత్వ స్థాయికి అనుసంధానించలేదు.

నిజమైన ఫారమ్ వెబ్‌సైట్ సమర్పణను అందుకుందని ఈ వెల్లడింపు నిర్ధారిస్తుంది. ప్రభుత్వ వైపు తర్వాత ఏమైందో ఇది నిర్ధారించదు. నివేదించిన కేసుల్లో Claude బాహ్య ప్రపంచంతో పరస్పర చర్య చేసిందని, తమకు తెలిసినంతవరకు ఏదీ కస్టమర్ డేటా లేదా Anthropic స్వంత అంతర్గత వ్యవస్థలను కలిగి లేదని కంపెనీ తెలిపింది.

Anthropic మూల్యాంకన, పర్యవేక్షణ నియంత్రణలను మార్చింది

సైబర్ భద్రతా మూల్యాంకనాలతో ప్రారంభించిన తర్వాత ట్రాన్స్క్రిప్ట్ సమీక్షను విస్తరించామని Anthropic తెలిపింది. నిజమైన వెబ్‌సైట్‌లు లేదా వ్యవస్థలతో సంబంధమున్న తక్కువ తీవ్రత కేసులను వెతకడం మొదలుపెట్టి, ఇప్పుడు మరిన్ని తక్కువ-ప్రమాద ట్రాన్స్క్రిప్ట్‌లు, అంతర్గత వినియోగం, Claude ఇంటర్నెట్‌కు చేరగల reinforcement-learning వాతావరణాలను పరిశీలిస్తోంది. సమీక్ష కొనసాగుతున్నప్పుడు మరిన్ని ఉదాహరణలు తెలియజేస్తామని కంపెనీ తెలిపింది.

కొన్ని అధిక-ప్రమాద, సైబర్ భద్రతా మూల్యాంకనాల్లో live internetను ముందే ఆపివేసినట్లు Anthropic తెలిపింది. భద్రత, పర్యవేక్షణ చర్యలు ఈ ప్రవర్తనను నమ్మకంగా గుర్తిస్తాయని నిర్ధారించే వరకు అన్ని అంతర్గత మూల్యాంకనాలకు పరిమితిని విస్తరించాలని ఇప్పుడు నిర్ణయించింది. కొన్ని బహిరంగ మూల్యాంకనాలు ఆగాయి; మరికొన్ని offline రూపాలకు మారాయి లేదా వాటి పనులు నిజమైన సైట్‌లకు చేరకుండా తిరిగి నిర్మించబడ్డాయి.

నివేదికలోని ప్రవర్తనను అడ్డుకునే కొన్ని internet-access సాధనాలపై కఠిన పరిమితులు, detection వ్యవస్థలను కూడా Anthropic తెలిపింది. పరీక్షల్లో ఆ వ్యవస్థలు నివేదించిన అన్ని కేసులను అడ్డుకున్నాయని కంపెనీ పేర్కొంది. ఇప్పుడు ఎక్కువ మూల్యాంకనాల్లో, frontier మోడళ్ల అంతర్గత agentic వినియోగంలో ఈ సాధనాలు ఉన్నాయని తెలిపింది. స్వతంత్ర మూల్యాంకన ఫలితాలు లేదా ఇతర సందర్భాల్లో ఇలాంటి చర్యలను రక్షణలు ఎంత తరచుగా గుర్తిస్తాయో ఈ పోస్ట్ చూపదు.

పరిమితులను తప్పించుకునే మోడళ్లకు బహుమతి ఇచ్చే అవకాశం ఉన్న శిక్షణ వాతావరణాలను సరిచేస్తున్నామని లేదా తొలగిస్తున్నామని కంపెనీ తెలిపింది. అంతర్గత ఏజెంట్లను కేంద్రంగా నిర్వహించే మౌలిక సదుపాయాలకు మార్చడం, వాటి మరియు శిక్షణ ప్రక్రియల internet access తగ్గించడం, safety classifiers మరియు hierarchical summariesతో పర్యవేక్షణ విస్తరించడం కూడా జరుగుతోంది. ఈ చర్యలు live connection, పని అడ్డంకి వచ్చినప్పుడు మోడల్ స్పందన, అనుకోని చర్యను గుర్తించే అవకాశాన్ని లక్ష్యంగా చేసుకుంటాయి.

ఒక మూల్యాంకనం ఏమి నిర్ధారించగలదు

నివేదించిన క్రమం స్పష్టంగా ఉంది: మోడల్‌కు ప్రాక్టీస్ ఫారమ్ పని ఇచ్చారు, కాపీ విఫలమైంది లేదా మూసివేయబడింది, తర్వాత నిజమైన ఫారమ్ ఉన్న సైట్‌లో మోడల్ దాన్ని సమర్పించింది. నివేదికలోని కేసులకు అస్పష్ట సూచనలు లేదా తప్పుగా అమర్చిన వాతావరణం సాధారణ కారణాలని Anthropic తెలిపింది. ప్రాక్టీస్ కాపీ లోడ్ కాలేదా లేదా పొరపాటున మూసివేయబడిందా అన్నదాని మించి ఈ కేసులో ఏది వర్తించిందో చెప్పలేదు.

మోడల్ నిజమైన ప్రభుత్వ సేవకు చేరిందని అర్థం చేసుకుందా, ఏదైనా దరఖాస్తు స్వీకరించబడిందా, లేదా అమల్లో ఉన్న ఉత్పత్తుల్లో ఇది సాధారణమా అన్నది ఈ వివరణ నిర్ధారించదు. alignment చర్చ ప్రాథమికమని, మరిన్ని ట్రాన్స్క్రిప్ట్‌ల పరిశీలన తన అభిప్రాయాన్ని మార్చవచ్చని Anthropic తెలిపింది. నివేదించిన కేసుల వాస్తవ ప్రపంచ ప్రభావం స్వల్పమని, వేసవి ప్రారంభంలో తెలిపిన సైబర్ భద్రతా ఘటనలకన్నా తీవ్రత తక్కువని పేర్కొంది.

ఏజెంట్లను మూల్యాంకనం చేసే డెవలపర్లకు, ప్రాక్టీస్ వాతావరణం సురక్షితంగా విఫలమవ్వాలని ఈ ఉదాహరణ చూపుతుంది: కాపీ అందుబాటులో లేకపోయినప్పుడు మోడల్ నిజమైన సేవకు చేరకుండా అది అడ్డుకోలేదు. మరిన్ని ట్రాన్స్క్రిప్ట్‌లను పరిశీలిస్తూనే live accessను పరిమితం చేయడం, మూల్యాంకనాలను తిరిగి నిర్మించడం, detection జోడించడం Anthropic చర్యల్లో ఉన్నాయి.

మూలాలు, మరింత చదవడానికి