రిపాజిటరీని సవరించే AI ఏజెంట్‌కు ఆదేశాలను అమలు చేయడానికి, మలుపుల మధ్య ఫలితాలను నిల్వ చేయడానికి ఒక వాతావరణం అవసరం. వేలాది వాతావరణాలను శిక్షణ స్థాయిలో ఒకేసారి ప్రారంభించి, తర్వాత మోడల్ తదుపరి చర్యను నిర్ణయించే వరకు వేచి ఉంచాల్సి రావచ్చు. DeepSeek Elastic Compute, అంటే DSec గురించిన సెప్టెంబర్ 19 సాంకేతిక నివేదిక వివరిస్తుంది ఆ పనిభారాన్ని నిర్వహిస్తుందని రచయితలు చెప్పే శాండ్‌బాక్స్ వ్యవస్థను.

అభ్యర్థన ఏ మార్గంలో వెళ్తుంది, చిత్రాలు ఎలా నిల్వ ఉంటాయి, శిక్షణ పని అంతరాయానికి గురైతే ఏమవుతుంది అనే వివరాలను రచయితలు అందిస్తున్నారు. పనితీరు, అమలు స్థాయి గణాంకాలు వారి స్వంత కొలతలపై ఆధారపడ్డాయి. విస్తరించిన నివేదిక arXiv సమర్పణ. అంతకుముందు వచ్చిన రెండు పేజీల విస్తృత సారాంశం కాన్ఫరెన్స్ సమీక్షలో తొలి దశను దాటిందని దాని సారాంశం చెబుతోంది.

ముఖ్యమైన మార్పు

  • ఏం మారింది: ఏజెంట్ శిక్షణ, మూల్యాంకనం కోసం ఉమ్మడి వేదికగా DSecను DeepSeek పత్రబద్ధం చేసింది. ఒకే అంతర్గత క్లయింట్ లైబ్రరీ ద్వారా ఫంక్షన్ కాల్‌లు, కంటైనర్‌లు, మైక్రోVMలు, పూర్తి వర్చువల్ మెషీన్‌లను అందిస్తుంది.
  • ఇది ఎందుకు ముఖ్యం: ఒకేసారి అనేక పని వాతావరణాలను నడిపే మౌలిక సదుపాయాలతో ఏజెంట్ శిక్షణను ఈ నివేదిక అనుసంధానిస్తుంది. అభ్యర్థనలు అనుమతుల తనిఖీ, నోడ్ ఎంపిక, స్థానిక స్వీకరణ దశల మీదుగా వెళ్తాయి; ప్రారంభంలోనే వేర్వేరు పొరలను కలిపి, అవసరమైనప్పుడు చిత్రాల డేటాను తెస్తాయి. GPU పని ముందస్తుగా నిలిపివేయబడితే, స్థితిని ఉంచే శాండ్‌బాక్స్‌లను శిక్షణ కోసం తాత్కాలికంగా నిలిపివేయవచ్చు.
  • ఏమి గమనించాలి:ఏ బ్యాకెండ్ వాడాలో అభ్యర్థన పంపేవారే ఎంచుకుంటారు. ఉత్పత్తి పనిభారంపై నివేదిక కొలతలు కంటైనర్‌లు, మైక్రోVMలనే కవర్ చేస్తాయి; వాటి నిల్వ మార్గాలు వేరు, వనరుల ఖర్చులూ వేరు. నివేదించిన స్థాయి గణాంకాలు ఒక్క DSec యూనిట్‌కే వర్తిస్తాయి.

ఒక అభ్యర్థన, నాలుగు రకాల శాండ్‌బాక్స్‌లు

నివేదిక ప్రకారం, DeepSeek శిక్షణ ఫ్రేమ్‌వర్క్‌లు, మూల్యాంకన ఫ్రేమ్‌వర్క్‌లు, డేటా పైప్‌లైన్‌లు libdsec అనే Python లైబ్రరీని పిలుస్తాయి. సాధారణంగా కొత్త వాతావరణాన్ని సృష్టించే అభ్యర్థన బ్యాకెండ్, వాతావరణ నమూనాను ఎంచుకుని, CPU, మెమరీ పరిమితులు, జీవితకాలం, నెట్‌వర్క్ నియమాలను నిర్దేశిస్తుంది; ప్రారంభ వినియోగదారు సందర్భాన్నీ అందిస్తుంది. శాండ్‌బాక్స్ సిద్ధమైన తర్వాత, దాన్ని పిలిచినవారు ఆదేశాలు లేదా టూల్ కాల్‌లు నడిపి, అవుట్‌పుట్, స్థితిని పొంది, సెషన్‌ను ఆపవచ్చు. నివేదిక ఉదాహరణ సెషన్‌లో కంటైనర్, మెమరీ పరిమితి, నిష్క్రియ కాలపరిమితి, PyPIని అనుమతించి NPMను నిరోధించే నెట్‌వర్క్ నియమాలు ఉన్నాయి. ఇది DeepSeek వేదిక లోపల వాడే ఇంటర్‌ఫేస్‌ను వివరిస్తుంది; బయటి వినియోగానికి ప్రవేశ మార్గాన్ని కాదు.

నాలుగు బ్యాకెండ్‌లు వేర్వేరు పనులకు ఉపయోగపడతాయి. FnCall ముందుగా సృష్టించి మళ్లీ ఉపయోగించే కంటైనర్‌లలో, స్థితి నిల్వ చేయని చిన్న పనులను నడిపిస్తుంది; ప్రతిసారి కొత్త శాండ్‌బాక్స్ సృష్టించాల్సిన అవసరం ఉండదు. రిపాజిటరీ పనులు, సాధారణ టూల్ వినియోగానికి కంటైనర్‌లు వేగంగా ప్రారంభమై, తక్కువ స్థలంలో ఎక్కువగా అమరుతాయి; అయితే హోస్ట్ వర్చువల్ మెషీన్‌లోని ఇతర కంటైనర్‌లతో కెర్నల్‌ను పంచుకుంటాయి. బలమైన వేరుచేయడం అవసరమైన పనులకు Firecracker మైక్రోVMలు వర్చువల్ మెషీన్ స్థాయి సరిహద్దు కల్పిస్తాయి; అయితే ప్రారంభానికి ఎక్కువ సమయం, అదనపు మెమరీ అవసరం. తేలికైన బ్యాకెండ్‌లు అందించలేని సామర్థ్యాలు అవసరమయ్యే ఆపరేటింగ్ సిస్టమ్‌లు లేదా గ్రాఫిక్స్ పనులకు పూర్తి వర్చువల్ మెషీన్‌లు పనికొస్తాయి. ఉత్పత్తిలోని చాలా సందర్భాలు, వనరుల వినియోగం కంటైనర్‌లు, మైక్రోVMలవేనని రచయితలు చెబుతున్నారు. ఇవి నివేదిక వివరించిన రూపకల్పన ఎంపికలు; భద్రతను పోల్చిన కొలతలు కావు.

క్లయింట్ వెనుక, DSec నిర్వహణ అభ్యర్థనను ధృవీకరించి, ఆరోగ్యం, పనిభారం వివరాలను క్రమం తప్పకుండా నవీకరించిన దృశ్యం ఆధారంగా నోడ్‌ను ఎంచుకుని, ఆ నోడ్‌లోని edge సేవకు అభ్యర్థనను పంపుతుంది. శాండ్‌బాక్స్ సృష్టించేముందు edge స్థానిక సామర్థ్యాన్ని తనిఖీ చేస్తుంది; క్లస్టర్ గురించి పాత సమాచారంతో చేసిన కేటాయింపును తిరస్కరించవచ్చు. నడుస్తున్న కంటైనర్, VM శాండ్‌బాక్స్‌లు ప్రాక్సీని పిలిచే aether మరియు షెల్-సెషన్ ప్రక్రియలను పిలిచే chronus ఆదేశాలు, ఫైల్ పనులు, నిరంతర అవుట్‌పుట్ కోసం ఉపయోగిస్తాయి. FnCall ముందే సృష్టించిన కంటైనర్ ద్వారా వేరే మార్గంలో వెళ్తుంది. ఒకే క్లయింట్ ప్రవేశ ద్వారం ఉన్నంత మాత్రాన అమలు, వైఫల్య నిర్వహణలోని తేడాలు తొలగిపోవు; ఆ తేడా ముఖ్యం.

మొత్తం వాతావరణాన్ని కాపీ చేయకుండా నిర్మించడం

ఏజెంట్ వాతావరణంలో విడివిడిగా మార్పు చేయగల మూడు భాగాలను నివేదిక గుర్తిస్తుంది: ప్రాథమిక చిత్రం, పని స్థలం, స్వతంత్రంగా మారగల టూల్‌కిట్. ప్రతి కలయికకూ ఒకే చిత్రాన్ని ముందుగానే రూపొందిస్తే, టూల్‌కిట్ నవీకరణకు అనేక చిత్రాలను మళ్లీ నిర్మించాల్సి వస్తుంది. దానికి బదులుగా, DSec రాయలేని పొరలను ఒకదానిపై మరొకటి అమర్చి, పైన రాయగల పొరను ఉంచుతుంది. కంటైనర్‌లలో సవరించిన Docker రన్‌టైమ్ overlayfs ద్వారా ఈ పొరలను కలుపుతుంది. ఫైల్ వ్యవస్థ అనుకూలత అవసరమైనప్పుడు, మైక్రోVMలు వేరే బ్లాక్-స్టోరేజ్ మార్గంతో రాయలేని EROFS పొరలు, రాయగల డిస్కులను ఉపయోగిస్తాయి.

ఒక ఉత్పత్తి వారంలో 11,266 కంటైనర్ ప్రాథమిక చిత్రాలు, 102,171 కంటైనర్ పనిస్థలాలు ఉన్నాయని రచయితలు నివేదించారు. ఇన్ని రకాల చిత్రాలు ప్రతి నోడ్‌లో పూర్తి చిత్రాలను ఉంచడం వల్ల కలిగే ప్రయోజనాన్ని తగ్గిస్తాయి. DSec రాయలేని చిత్ర డేటాను DeepSeek 3FS పంపిణీ ఫైల్ వ్యవస్థలో నిల్వ చేసి, వ్రాతలను స్థానిక నిల్వలో ఉంచుతుంది; శాండ్‌బాక్స్ చదివినప్పుడే చిత్రంలోని విషయాలను తెస్తుంది. సాధారణ మార్గాల వెతుకులాటకు దూరంగా చదవాల్సిన అవసరం రాకుండా కంటైనర్ చిత్రాల మెటాడేటాను స్థానికంగా కాపీ చేస్తుంది. మైక్రోVM మార్గం బ్లాక్‌లను చదవడం, పెరుగుతూ ఉండే స్నాప్‌షాట్‌ల కోసం OverlayBD, ublk మరియు స్థానిక కాష్‌ను ఉపయోగిస్తుంది.

వేరే 10-నోడ్ మూల్యాంకనంలో, ఏజెంట్ మూల్యాంకన పనిభారంతో 8,192 కంటైనర్‌లను ప్రారంభించారు. అవసరమైనప్పుడే EROFSను లోడ్ చేసిన మార్గం పనులను సుమారు 35 నిమిషాల్లో పూర్తి చేసింది; చల్లని కాష్‌తో చిత్రాలను ముందుగానే పూర్తిగా డౌన్‌లోడ్ చేసే విధానానికి 60 నిమిషాలకు పైగా పట్టింది. పూర్తిగా కాష్ చేసిన ప్రాథమిక అమరిక కూడా సుమారు 35 నిమిషాల్లో ముగిసింది. అవసరమైనప్పుడే లోడ్ చేసే విధానంలో ఒక్కో నోడ్‌కు సుమారు 700 GB డిస్క్ వ్రాతలు నమోదయ్యాయి; ముందస్తు డౌన్‌లోడ్‌లో 1,600 GBకు పైగా నమోదయ్యాయి. ఇవి రచయితల పరీక్షలో పోల్చిన అమరికల ఫలితాలు. మరో చిత్ర సేకరణ లేదా నిల్వ వ్యవస్థలోనూ ఇదే మెరుగుదల ఉంటుందని ఇవి నిరూపించవు.

నిష్క్రియ సెషన్‌లు, అంతరాయం కలిగిన రోల్‌అవుట్‌లను ఉపయోగించగలిగేలా ఉంచడం

మైక్రోVMల్లో రాయలేని ఫైల్ కాష్‌ను పంచే పద్ధతిగా virtio-pmem అనే అమరికను DAXతో ఉపయోగించి, చల్లబడిన గెస్ట్ పేజీలను DAMON, బెలూన్ ద్వారా ఖాళీ పేజీల నివేదికతో తిరిగి పొందడాన్ని వివరిస్తుంది. Linux షెడ్యూలింగ్ నియంత్రణల ద్వారా ఆలస్యానికి సున్నితమైన పనులను ఉత్తమ ప్రయత్న పనుల నుంచి కూడా వేరు చేస్తుంది. తమ మూల్యాంకనంలో ఈ పద్ధతులు ఉపయోగపడ్డాయని, తాత్కాలిక CPU వినియోగం పెరగడం వంటి ప్రతికూలతలూ ఉన్నాయని నివేదిక చెబుతోంది; ఈ CPU పెరుగుదల virtio-pmem.

శిక్షణకు అంతరాయం కలిగితే మరో సమస్య వస్తుంది: GPU పని ముందస్తుగా నిలిపివేయబడినా, రోల్‌అవుట్‌లో ఉపయోగకరమైన స్థితి మిగిలి ఉండవచ్చు. DeepSeek-V4.1 నుంచి ఏజెంట్ లూప్‌ను ముందస్తుగా నిలిపివేయగల GPU సమూహం వెలుపల, వర్కర్ కంటైనర్, ఏజెంట్ శాండ్‌బాక్స్‌లో DSec నడుపుతుందని రచయితలు చెబుతున్నారు. శిక్షణ పని ఆ స్థితికి మళ్లీ అనుసంధానమవుతుంది. శిక్షణ ఆగినప్పుడు, సంబంధిత శాండ్‌బాక్స్‌లను నిలిపి మెమరీని తిరిగి పొందాలని ఫ్రేమ్‌వర్క్ DSecను అడగవచ్చు. కంటైనర్‌లను నిలిపి వాటి వనరులను తిరిగి పొందుతారు; మైక్రోVMలు Firecracker ప్రక్రియను ఆపేముందు అమలు స్థితిని స్నాప్‌షాట్‌గా భద్రపరుస్తాయి. తర్వాతి ఆదేశంలో శాండ్‌బాక్స్‌ను తిరిగి ప్రారంభిస్తారు. ఇది DeepSeek శిక్షణతో తన అనుసంధానం గురించి నివేదిక ఇచ్చిన వివరణ మాత్రమే; సాధారణ పునరుద్ధరణ హామీ కాదు.

నివేదించిన స్థాయి గణాంకాలు ఏమి చూపుతున్నాయి, ఏమి చూపడం లేదు

ఒక DSec స్థాయి యూనిట్‌లో దాదాపు 160 CPU నోడ్‌లు, సుమారు 30,000 కోర్‌లు, దాదాపు 250 TB DRAM ఉన్నాయని DeepSeek చెబుతోంది. సాధారణ రోజున సుమారు 30 లక్షల శాండ్‌బాక్స్ సందర్భాలు, గరిష్ఠంగా ఒకేసారి దాదాపు 380,000 సందర్భాలు, ఆ యూనిట్‌లో సెకనుకు 5,000కు మించిన సృష్టి రేటు ఉన్నట్లు నివేదించింది. ఇవి రచయితలు నివేదించిన ఒక స్థాయి యూనిట్ ఉత్పత్తి గణాంకాలు; DeepSeek మొత్తం వ్యవస్థకు స్వతంత్రంగా తనిఖీ చేసిన లెక్కలు కావు. నివేదికలోని మూల్యాంకన ప్రయోగాలు వేరే 10-నోడ్ క్లస్టర్‌పై జరిగాయి.

వైఫల్యం ఎక్కడ ఎదురవుతుందో కూడా నివేదిక వివరిస్తుంది. అనుకోని మార్గాల్లో సమాధానాలు వెతికిన ఏజెంట్‌లు, సాధారణ ఆదేశాలతో కెర్నల్ కుప్పకూలడం లేదా అవుట్‌పుట్ వల్ల నిల్వ నిండిపోవడం వంటి సందర్భాలను రచయితలు ఉదహరిస్తారు. AppArmor ఫైల్, సాకెట్ నియంత్రణలు, ఒక్కో శాండ్‌బాక్స్‌కు ప్రత్యేక నెట్‌వర్క్ నియమాలను నివారణ చర్యలుగా వివరిస్తూనే, హానికరమైన ప్రతి ప్రవర్తననూ అవి అడ్డుకోలేవని స్పష్టంగా చెబుతారు. DSec సేవకు బహిరంగ ఎండ్‌పాయింట్, బాహ్య SDK పంపిణీ, ప్రవేశ నిబంధనలు లేదా ధరను నివేదిక ఇవ్వదు. వ్యవస్థ రూపకల్పనను, రచయితల పరీక్షల పరిస్థితులను వివరిస్తుంది; నమూనా కోడ్‌ను అమలు చేయడానికి బాహ్య ప్రవేశ మార్గాన్ని మాత్రం అందించదు.

మూలాలు, మరింత చదవడానికి