Intelovi Xeon kontejneri za inferenciju prepuštaju korisnicima testiranje bezbednosti i radnog opterećenja

Intel je 14. oktobra najavio Inference Microservices: kontejnere za pojedinačne modele koji na podržanim Xeon procesorima opslužuju po jedan veliki jezički model. Pri pokretanju kontejner otkriva host, bira Intelov profil za taj model i procesor, a zatim pokreće vLLM iza HTTP API-ja kompatibilnog sa OpenAI-jem. Programeru sa Xeon kapacitetom neposredni zadatak je da utvrdi može li dokumentovana slika da obradi aplikacioni zahtev na internoj mreži, a zatim izmeri radno opterećenje na tom hostu.

Prve objavljene slike nose oznaku 0.1.0. Namenjene su Xeon procesorima četvrte, pete i šeste generacije sa BF16 preciznošću, na Linuxu sa Docker Engine 20.10 ili novijim, odnosno Kubernetesom 1.24 ili novijim. Dokumentacija opisuje lokalni paket za opsluživanje, a ne Intelovu hostovanu krajnju tačku: Intel API ključ nije potreban. Tvrdnje da profili štede vreme podešavanja ili poboljšavaju performanse potiču od dobavljača; BIG CHANGE nije pokrenuo slike niti ih merio.

Šta se promenilo

• Šta je novo: Intel je upakovao konfiguracije vLLM-a za pojedinačne modele u kontejnere koji proveravaju podržani Xeon host i biraju ugrađeni profil za opsluživanje pre izlaganja standardnog API-ja.
• Zašto je važno: Aplikacija može da pozove poznatu chat krajnju tačku, ali kontejner ne obezbeđuje rutiranje aplikacije, autentifikaciju, TLS, usklađenost sa licencom modela niti dokaz da određeno radno opterećenje ispunjava ciljeve kašnjenja i kapaciteta.
• Šta pratiti: Proverite da li traženi model ima sliku u katalogu i odgovarajući profil, a zatim testirajte spremnost, ponašanje odgovora i opterećenje na predviđenom hostu. Intel navodi podršku za GPU, druge mehanizme i preciznosti, Helm grafikon i operator kao budući rad, a ne kao funkcije ovog prvog izdanja.

Šta kontejner radi, a za šta je tim i dalje odgovoran

Intel kaže da detekcija pri pokretanju uzima u obzir Xeon generaciju, dostupna jezgra, NUMA raspored i podržane mogućnosti procesora. Slika za određeni model pronalazi profil koji određuje preciznost, raspodelu rada i raspored memorije za vLLM. Ako ne pronađe odgovarajući profil za taj model, pokretanje se završava greškom umesto da se neprimetno pređe na opšti profil. Intelova osnovna slika za druge Hugging Face modele ima drugačiju rezervnu opciju sa opštim profilom. Ta razlika je važna kada se procenjuje da li uspešno pokretanje koristi konfiguraciju određenog modela koju je tim nameravao da ispita.

Dokumentovani API izlaže GET /health, GET /v1/models, POST /v1/chat/completions, POST /v1/completions i GET /metrics na portu 8000 po podrazumevanoj vrednosti. /health vraća prazan HTTP 200 kada je model spreman, a 503 dok nije; provera statusnog koda korisnija je od traženja tela odgovora. /v1/models vraća jedini ID modela koji se opslužuje. Aplikacija mora da pošalje taj ID u chat zahtevu i da izabere rutiranje ako opslužuje više modela. Intel dokumentuje streaming i klijentske biblioteke kompatibilne sa OpenAI-jem, ali kompatibilan oblik zahteva ne dokazuje kvalitet ni brzinu konkretnog modela i prompta tima.

Postoji i jasna granica poverenja. Bezbednosni vodič navodi da sama krajnja tačka ne obezbeđuje TLS niti autentifikaciju pozivaoca. Ne izlažite port 8000 javnoj mreži bez zaštitnog gejtveja ili mrežne granice. Za Kubernetes Intel preporučuje ograničavanje pristupa pomoću NetworkPolicy-ja i gejtvej ili ingress za TLS i autentifikaciju. Pošto se servis izvršava na infrastrukturi korisnika, tim je odgovoran i za kapacitet hosta, smeštaj keša, nadzor i pristup ograničenim težinama modela.

Dokumentovana lokalna provera, pa test radnog opterećenja

Za javni primer Qwen3-4B, Intelov brzi početak daje ovu Linux/Docker komandu. Ovde je reč samo o dokumentovanom postupku; BIG CHANGE ga nije izvršio:

docker run --rm -p 8000:8000 \
  --cap-add SYS_NICE \
  --shm-size=2g \
  intel/inference-xeon-qwen-qwen3-4b:0.1.0

Intel kaže da prvo pokretanje preuzima težine modela i može da traje nekoliko minuta. U drugom terminalu, curl -i http://localhost:8000/health trebalo bi da prikaže HTTP 200 sa praznim telom kada je mehanizam spreman. Zatim bi GET /v1/models trebalo da prikaže Qwen/Qwen3-4B, a POST /v1/chat/completions zahtev koji koristi taj ID i niz messages trebalo bi da vrati odgovor za završetak chata. Ove provere dokazuju samo da je dokumentovana krajnja tačka pokrenuta i odgovorila. Odluka o primeni i dalje zahteva timske promptove, konkurentnost, kašnjenje i merenja resursa, kao i proveru ponašanja pri greškama i ponovnim pokretanjima.

Intelovi preduslovi predlažu 32 GB RAM-a i 50 GB slobodnog prostora na disku za keš za modele 4B–8B, a veći modeli zahtevaju više memorije. Preporučuje se Ubuntu 22.04 LTS ili noviji, mada je softverski uslov Linux koji može da pokrene Docker Engine 20.10 ili noviji. Qwen3-4B u Intelovom primeru ne zahteva Hugging Face token, a njegova kartica modela navodi Apache 2.0. Drugi modeli mogu biti ograničeni: licence, odobrenje pristupa i token za čitanje moraju se proveriti zasebno. Intelova javna dokumentacija ne navodi cenu softvera za mikrousluge niti utvrđuje hardverske ili operativne troškove ove primene.

Intelova lista podržanih funkcija razlikuje ugrađeni, provereni put od vLLM prosleđivanja opcija. Pozivanje alata, strukturisani izlaz, LoRA i promena dužine konteksta zahtevaju dodatne INFERENCE_ENGINE_ARGS zastavice. One mogu da promene ili ponište podešenu konfiguraciju; Intel kaže da treba pregledati razrešenu komandu pomoću dry-run i testirati rezultat pod opterećenjem. Tretirajte ih kao poseban integracioni projekat, a ne kao mogućnost koju je dokazala podrazumevana slika. Kubernetes primene mogu da dodaju replike i probe spremnosti, ali aplikacija ili gejtvej i dalje rutira između modela. Intelovo ranije izveštavanje o D seriji odnosi se na zasebnu najavu GPU hardvera, a ne na ovo Xeon izdanje za opsluživanje.

Izvori i dodatna literatura

• Intelovo saopštenje, 14. oktobar 2026. Opisuje kontejner za određeni model, otkrivanje hosta, profile, početni Xeon obuhvat i planirana proširenja. Tvrdnje o podešavanju i performansama su Intelove; BIG CHANGE ih nije nezavisno testirao.
• Dokumentacija Intel Inference Microservices, označena kao ažurirana 24. septembra 2026. Njen 0.1.0 brzi početak daje komandu za Qwen3-4B i početni postupak provere zdravlja/chata; gornji postupak je samo dokumentovan.
• Preduslovi, API referenca, podržane funkcije i bezbednosne smernice, Intelova dokumentacija označena kao ažurirana 24. septembra 2026. Definišu podržane hostove, odgovore spremnosti, ugrađene naspram vLLM prosleđenih funkcija i HTTP granicu bez autentifikacije.
• Kartica modela Qwen/Qwen3-4B, pregledana 15. oktobra 2026. Navodi licencu Apache 2.0 za primer modela; drugi modeli mogu imati drugačije uslove i ograničenja pristupa.