AI agentu koji menja repozitorijum potrebno je okruženje za pokretanje komandi i čuvanje rezultata između koraka. Pri obuci velikih razmera hiljade takvih okruženja možda moraju da se pokrenu istovremeno, a zatim da sačekaju dok model ne odluči šta dalje. DeepSeek-ov tehnički izveštaj o DeepSeek Elastic Compute-u, odnosno DSec-u, od 19. septembra opisuje sistem izolovanih okruženja za koji kompanija navodi da obrađuje takvo opterećenje.

Autori opisuju putanju zahteva, skladištenje slika i postupak u slučaju prekida obuke. Podaci o performansama i primeni potiču iz njihovih sopstvenih merenja. Prošireni izveštaj je predat na arXiv; u sažetku piše da je raniji dvostrani prošireni sažetak prošao prvi krug konferencijske recenzije.

Suštinska promena

  • Šta se promenilo: DeepSeek je opisao DSec kao zajedničku platformu za obuku i evaluaciju agenata, sa pozivima funkcija, kontejnerima, mikrovirtuelnim mašinama i punim virtuelnim mašinama dostupnim kroz jednu internu klijentsku biblioteku.
  • Zašto je to važno: Izveštaj povezuje obuku agenata sa infrastrukturom koja istovremeno održava veliki broj okruženja za zadatke. Zahtevi prolaze kroz autorizaciju, raspoređivanje i lokalnu proveru kapaciteta; slojevi se kombinuju pri stvaranju okruženja, a sadržaj slike preuzima se po potrebi. Obuka može da pauzira stanje izolovanih okruženja kada se GPU poslovi prekinu zbog višeg prioriteta.
  • Na šta obratiti pažnju: Pozivalac i dalje bira pozadinski sistem. Merenja proizvodnog opterećenja u radu obuhvataju kontejnere i mikrovirtuelne mašine, koje koriste različite putanje skladištenja i imaju različite troškove resursa. Brojke o obimu odnose se na jednu jedinicu DSec-a.

Jedan zahtev, četiri vrste izolovanog okruženja

Prema opisu u radu, okviri za obuku, evaluaciju i obradu podataka kompanije DeepSeek pozivaju Python biblioteku pod nazivom libdsec. Tipičan zahtev za stvaranje okruženja bira pozadinski sistem i artefakt okruženja, postavlja ograničenja za procesor i memoriju, trajanje i mrežna pravila i prosleđuje početni korisnički kontekst. Kada je izolovano okruženje spremno, pozivalac može da pokreće komande ili pozive alata, preuzme izlazne podatke i status i završi sesiju. U primeru sesije iz rada koriste se kontejner, ograničenje memorije, vremensko ograničenje neaktivnosti i mrežna pravila koja dozvoljavaju PyPI, a blokiraju NPM. Opisuje se interfejs unutar platforme DeepSeek-a, a ne spoljni način pristupa.

Četiri pozadinska sistema namenjena su različitim zadacima. FnCall pokreće kratke zadatke bez stanja u unapred kreiranim kontejnerima koji se ponovo koriste, pa nije potrebno stvarati novo izolovano okruženje za svaki poziv. Kontejneri se koriste za rad sa repozitorijumima i opštu upotrebu alata; brzo se pokreću i omogućavaju gusto pakovanje, ali dele jezgro sa drugim kontejnerima u virtuelnoj mašini domaćinu. Mikrovirtuelne mašine Firecracker obezbeđuju granicu na nivou virtuelne mašine za zadatke kojima treba jača izolacija, uz veću potrošnju vremena pri pokretanju i memorije. Pune virtuelne mašine služe za operativne sisteme ili grafička opterećenja koja zahtevaju mogućnosti koje lakši pozadinski sistemi ne pružaju. Autori navode da kontejneri i mikrovirtuelne mašine čine većinu proizvodnih instanci i potrošnje resursa. To su projektne odluke opisane u radu, a ne izmereno bezbednosno poređenje.

Iza klijenta, DSec proverava autentičnost zahteva za upravljanje, bira čvor na osnovu periodično osvežavanog prikaza ispravnosti i opterećenja i prosleđuje zahtev čvoru koji pruža edge uslugu. Rubni čvor proverava lokalni kapacitet pre stvaranja izolovanog okruženja; može da odbije raspoređivanje zasnovano na zastarelim informacijama o klasteru. Kontejnerima i virtuelnim mašinama u radu upravlja posrednički server nazvan aether, kao i procesi za komandne sesije nazvani chronus koji služe za komande, rad sa datotekama i strimovani izlaz. FnCall koristi odvojenu putanju kroz unapred kreirani kontejner. Ova razlika je važna jer jedna ulazna tačka klijenta ne uklanja razlike u izvršavanju ili obradi grešaka.

Izgradnja okruženja bez kopiranja svega

U radu se navode tri dela tipičnog okruženja za agenta: osnovna slika, radni prostor za zadatak i skup alata koji se mogu nezavisno menjati. Kada bi se svaka kombinacija spakovala u jednu sliku, ažuriranje alata zahtevalo bi ponovnu izgradnju brojnih slika. DSec umesto toga slaže slojeve samo za čitanje i dodaje sloj za pisanje na vrh. Za kontejnere, izmenjeni Docker runtime kombinuje te slojeve uz overlayfs. Mikrovirtuelne mašine koriste slojeve EROFS samo za čitanje uz diskove za upisivanje, sa drugačijom putanjom blokovskog skladištenja kada to zahteva kompatibilnost sistema datoteka.

Autori navode da je tokom jedne proizvodne nedelje korišćeno 11.266 osnovnih slika kontejnera i 102.171 radni prostor kontejnera. Zbog te raznovrsnosti manje vredi čuvati cele slike na svakom čvoru. DSec čuva podatke slika samo za čitanje u distribuiranom sistemu datoteka 3FS kompanije DeepSeek, upise smešta na lokalno skladište i preuzima sadržaj slike kada ga izolovano okruženje zatraži. Metapodaci o slikama kontejnera kopiraju se lokalno, tako da rutinsko traženje putanja ne zahteva udaljene pozive. Putanja za mikrovirtuelne mašine koristi OverlayBD, ublk i lokalni keš za obradu čitanja blokova i postepenih snimaka stanja.

U zasebnom testiranju na 10 čvorova, autori su pokrenuli 8.192 kontejnera pod opterećenjem za evaluaciju agenata. Njihova putanja EROFS-a sa učitavanjem na zahtev završila je zadatke za oko 35 minuta, u poređenju sa više od 60 minuta kada se slike unapred preuzimaju bez keširanja; osnovni postupak sa potpuno keširanim slikama takođe je završio za oko 35 minuta. Prijavljeni upisi na disk iznosili su oko 700 GB po čvoru pri učitavanju na zahtev naspram više od 1.600 GB pri unapred obavljenom preuzimanju. Brojke porede podešavanja u testu autora. Ne dokazuju da bi se isto poboljšanje postiglo sa drugom zbirkom slika ili sistemom skladištenja.

Održavanje neaktivnih sesija i nastavak prekinutih procesa

Izolovano okruženje agenta može da čeka između komandi i zadrži datoteke, procese i memoriju. U uzorku od jedne nedelje autori su utvrdili da je oko 90% kontejnera i mikrovirtuelnih mašina u proseku koristilo najviše 5% zatraženog kapaciteta procesora. DSec zato smešta brojne aktivne sesije na iste čvorove, uz nastojanje da ograniči rasipanje memorije i nadmetanje za resurse. Za mikrovirtuelne mašine rad opisuje deljenje keša datoteka samo za čitanje kroz virtio-pmem uz DAX, kao i oslobađanje hladnih stranica u gostujućem sistemu pomoću DAMON-a i izveštavanja o slobodnim stranicama balona. Osetljive zadatke takođe odvaja od poslova bez garancije roka kroz kontrole raspoređivanja u Linux-u. U radu se navode koristi od tih mehanizama u sopstvenoj evaluaciji, uz kompromise poput većeg privremenog opterećenja procesora pri korišćenju virtio-pmem.

Prekidi obuke stvaraju još jedan problem: rad agenta možda i dalje sadrži korisno stanje kada se njegov GPU posao prekine zbog preuzimanja resursa. Autori navode da, počev od DeepSeek-V4.1, DSec pokreće petlju agenta izvan skupa GPU-ova čiji se poslovi mogu prekinuti, u radnom kontejneru i izolovanom okruženju agenta. Posao obuke može ponovo da se poveže sa tim stanjem. Kada se obuka pauzira, okvir može da zatraži od DSec-a da pauzira povezana izolovana okruženja i oslobodi memoriju. Kontejneri se zamrzavaju i njihovi resursi oslobađaju; kod mikrovirtuelnih mašina stanje izvršavanja se čuva u snimku pre zaustavljanja procesa Firecracker. Kasnija operacija nastavlja rad izolovanog okruženja. To je opis integracije obuke DeepSeek-a iz samog rada, a ne opšta garancija oporavka.

Šta prijavljeni obim pokazuje, a šta ne

DeepSeek navodi da jedna jedinica DSec-a ima gotovo 160 čvorova sa procesorima, oko 30.000 procesorskih jezgara i približno 250 TB DRAM memorije. Za tu jedinicu prijavljuje oko tri miliona instanci izolovanih okruženja tokom uobičajenog dana, najveći broj od oko 380.000 istovremeno aktivnih instanci i stopu stvaranja veću od 5.000 instanci u sekundi. To su podaci o proizvodnom sistemu jedne jedinice koje navode autori, a ne nezavisno provereni ukupni podaci za čitav sistem DeepSeek-a. Eksperimenti u radu sprovedeni su na zasebnom klasteru od 10 čvorova.

U izveštaju se opisuju i granice sistema pri kvarovima. Autori navode da su agenti pokušavali da do odgovora dođu nepredviđenim kanalima i da su uobičajene komande rušile jezgro ili punile skladište izlaznim podacima. Kao mere za ublažavanje posledica opisuju kontrole datoteka i priključaka AppArmor-a i mrežna pravila za svako izolovano okruženje, uz izričitu napomenu da te kontrole ne sprečavaju svako štetno ponašanje. U radu se ne navode javna krajnja tačka DSec usluge, distribucija spoljnog SDK-a, uslovi pristupa ni cena. Opisani su dizajn sistema i uslovi testiranja autora, ali nije ponuđen spoljni način pristupa za pokretanje primera koda.

Izvori i dodatna literatura