AI-translated from English; not yet reviewed by a fluent editor.

# Intelovi Xeon kontejneri za inferenciju prepuštaju korisnicima testiranje bezbednosti i radnog opterećenja

> Novi Intel Inference Microservices bira Xeon profil za opsluživanje jednog modela po kontejneru. Programeri i dalje moraju da zaštite HTTP krajnju tačku i testiraju svoje radno opterećenje.

By BIG CHANGE Editorial

Published: 2026-10-15T05:59:18.080Z
Updated: 2026-10-15T05:59:18.080Z
Canonical: https://bigchange.ai/blog/intel-inference-microservices-xeon-container-explainer

![Conceptual charcoal illustration of the rear of an unbranded rackmount server, with a power cable and an orange network cable routed downward.](https://bigchange.ai/api/media/file/intel-xeon-local-serving-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; generic server hardware, with no actual Intel product, interface, deployment or test result depicted.

Intel je 14. oktobra najavio [Inference Microservices](https://www.intel.com/content/www/us/en/newsroom/news/artificial-intelligence/intel-inference-microservices-tuned-llm-processors.html): kontejnere za pojedinačne modele koji na podržanim Xeon procesorima opslužuju po jedan veliki jezički model. Pri pokretanju kontejner otkriva host, bira Intelov profil za taj model i procesor, a zatim pokreće vLLM iza HTTP API-ja kompatibilnog sa OpenAI-jem. Programeru sa Xeon kapacitetom neposredni zadatak je da utvrdi može li dokumentovana slika da obradi aplikacioni zahtev na internoj mreži, a zatim izmeri radno opterećenje na tom hostu.

Prve objavljene slike nose oznaku `0.1.0`. Namenjene su Xeon procesorima četvrte, pete i šeste generacije sa BF16 preciznošću, na Linuxu sa Docker Engine 20.10 ili novijim, odnosno Kubernetesom 1.24 ili novijim. [Dokumentacija](https://swcatalog.intel.com/developer/docs/intel-inference-microservices) opisuje lokalni paket za opsluživanje, a ne Intelovu hostovanu krajnju tačku: Intel API ključ nije potreban. Tvrdnje da profili štede vreme podešavanja ili poboljšavaju performanse potiču od dobavljača; BIG CHANGE nije pokrenuo slike niti ih merio.

## Šta se promenilo

- **Šta je novo:** Intel je upakovao konfiguracije vLLM-a za pojedinačne modele u kontejnere koji proveravaju podržani Xeon host i biraju ugrađeni profil za opsluživanje pre izlaganja standardnog API-ja.
- **Zašto je važno:** Aplikacija može da pozove poznatu chat krajnju tačku, ali kontejner ne obezbeđuje rutiranje aplikacije, autentifikaciju, TLS, usklađenost sa licencom modela niti dokaz da određeno radno opterećenje ispunjava ciljeve kašnjenja i kapaciteta.
- **Šta pratiti:** Proverite da li traženi model ima sliku u katalogu i odgovarajući profil, a zatim testirajte spremnost, ponašanje odgovora i opterećenje na predviđenom hostu. Intel navodi podršku za GPU, druge mehanizme i preciznosti, Helm grafikon i operator kao budući rad, a ne kao funkcije ovog prvog izdanja.

## Šta kontejner radi, a za šta je tim i dalje odgovoran

Intel kaže da detekcija pri pokretanju uzima u obzir Xeon generaciju, dostupna jezgra, NUMA raspored i podržane mogućnosti procesora. Slika za određeni model pronalazi profil koji određuje preciznost, raspodelu rada i raspored memorije za vLLM. Ako ne pronađe odgovarajući profil za taj model, pokretanje se završava greškom umesto da se neprimetno pređe na opšti profil. Intelova osnovna slika za druge Hugging Face modele ima drugačiju rezervnu opciju sa opštim profilom. Ta razlika je važna kada se procenjuje da li uspešno pokretanje koristi konfiguraciju određenog modela koju je tim nameravao da ispita.

Dokumentovani [API](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/api-reference) izlaže `GET /health`, `GET /v1/models`, `POST /v1/chat/completions`, `POST /v1/completions` i `GET /metrics` na portu 8000 po podrazumevanoj vrednosti. `/health` vraća prazan HTTP 200 kada je model spreman, a 503 dok nije; provera statusnog koda korisnija je od traženja tela odgovora. `/v1/models` vraća jedini ID modela koji se opslužuje. Aplikacija mora da pošalje taj ID u chat zahtevu i da izabere rutiranje ako opslužuje više modela. Intel dokumentuje streaming i klijentske biblioteke kompatibilne sa OpenAI-jem, ali kompatibilan oblik zahteva ne dokazuje kvalitet ni brzinu konkretnog modela i prompta tima.

Postoji i jasna granica poverenja. [Bezbednosni vodič](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/deployment/security-network-tokens-and-cache-mounts) navodi da sama krajnja tačka ne obezbeđuje TLS niti autentifikaciju pozivaoca. Ne izlažite port 8000 javnoj mreži bez zaštitnog gejtveja ili mrežne granice. Za Kubernetes Intel preporučuje ograničavanje pristupa pomoću NetworkPolicy-ja i gejtvej ili ingress za TLS i autentifikaciju. Pošto se servis izvršava na infrastrukturi korisnika, tim je odgovoran i za kapacitet hosta, smeštaj keša, nadzor i pristup ograničenim težinama modela.

## Dokumentovana lokalna provera, pa test radnog opterećenja

Za javni primer Qwen3-4B, Intelov [brzi početak](https://swcatalog.intel.com/developer/docs/intel-inference-microservices) daje ovu Linux/Docker komandu. Ovde je reč samo o dokumentovanom postupku; BIG CHANGE ga nije izvršio:

```sh
docker run --rm -p 8000:8000 \
  --cap-add SYS_NICE \
  --shm-size=2g \
  intel/inference-xeon-qwen-qwen3-4b:0.1.0
```

Intel kaže da prvo pokretanje preuzima težine modela i može da traje nekoliko minuta. U drugom terminalu, `curl -i http://localhost:8000/health` trebalo bi da prikaže HTTP 200 sa praznim telom kada je mehanizam spreman. Zatim bi `GET /v1/models` trebalo da prikaže `Qwen/Qwen3-4B`, a `POST /v1/chat/completions` zahtev koji koristi taj ID i niz `messages` trebalo bi da vrati odgovor za završetak chata. Ove provere dokazuju samo da je dokumentovana krajnja tačka pokrenuta i odgovorila. Odluka o primeni i dalje zahteva timske promptove, konkurentnost, kašnjenje i merenja resursa, kao i proveru ponašanja pri greškama i ponovnim pokretanjima.

Intelovi [preduslovi](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/getting-started/prerequisites) predlažu 32 GB RAM-a i 50 GB slobodnog prostora na disku za keš za modele 4B–8B, a veći modeli zahtevaju više memorije. Preporučuje se Ubuntu 22.04 LTS ili noviji, mada je softverski uslov Linux koji može da pokrene Docker Engine 20.10 ili noviji. Qwen3-4B u Intelovom primeru ne zahteva Hugging Face token, a njegova [kartica modela](https://huggingface.co/Qwen/Qwen3-4B) navodi Apache 2.0. Drugi modeli mogu biti ograničeni: licence, odobrenje pristupa i token za čitanje moraju se proveriti zasebno. Intelova javna dokumentacija ne navodi cenu softvera za mikrousluge niti utvrđuje hardverske ili operativne troškove ove primene.

Intelova [lista podržanih funkcija](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/supported-features) razlikuje ugrađeni, provereni put od vLLM prosleđivanja opcija. Pozivanje alata, strukturisani izlaz, LoRA i promena dužine konteksta zahtevaju dodatne `INFERENCE_ENGINE_ARGS` zastavice. One mogu da promene ili ponište podešenu konfiguraciju; Intel kaže da treba pregledati razrešenu komandu pomoću `dry-run` i testirati rezultat pod opterećenjem. Tretirajte ih kao poseban integracioni projekat, a ne kao mogućnost koju je dokazala podrazumevana slika. Kubernetes primene mogu da dodaju replike i probe spremnosti, ali aplikacija ili gejtvej i dalje rutira između modela. Intelovo ranije izveštavanje o [D seriji](https://bigchange.ai/blog/intel-d-series-d270-160gb-partner-480gb) odnosi se na zasebnu najavu GPU hardvera, a ne na ovo Xeon izdanje za opsluživanje.

## Izvori i dodatna literatura

- [Intelovo saopštenje](https://www.intel.com/content/www/us/en/newsroom/news/artificial-intelligence/intel-inference-microservices-tuned-llm-processors.html), 14. oktobar 2026. Opisuje kontejner za određeni model, otkrivanje hosta, profile, početni Xeon obuhvat i planirana proširenja. Tvrdnje o podešavanju i performansama su Intelove; BIG CHANGE ih nije nezavisno testirao.
- [Dokumentacija Intel Inference Microservices](https://swcatalog.intel.com/developer/docs/intel-inference-microservices), označena kao ažurirana 24. septembra 2026. Njen `0.1.0` brzi početak daje komandu za Qwen3-4B i početni postupak provere zdravlja/chata; gornji postupak je samo dokumentovan.
- [Preduslovi](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/getting-started/prerequisites), [API referenca](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/api-reference), [podržane funkcije](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/supported-features) i [bezbednosne smernice](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/deployment/security-network-tokens-and-cache-mounts), Intelova dokumentacija označena kao ažurirana 24. septembra 2026. Definišu podržane hostove, odgovore spremnosti, ugrađene naspram vLLM prosleđenih funkcija i HTTP granicu bez autentifikacije.
- [Kartica modela Qwen/Qwen3-4B](https://huggingface.co/Qwen/Qwen3-4B), pregledana 15. oktobra 2026. Navodi licencu Apache 2.0 za primer modela; drugi modeli mogu imati drugačije uslove i ograničenja pristupa.

## Sources

- [Najava Intel Inference Microservices](https://www.intel.com/content/www/us/en/newsroom/news/artificial-intelligence/intel-inference-microservices-tuned-llm-processors.html) — Saopštenje dobavljača; tvrdnje o performansama i prednostima podešavanja potiču od Intela.
- [Dokumentacija Intel Inference Microservices](https://swcatalog.intel.com/developer/docs/intel-inference-microservices) — Dokumentacija označena kao ažurirana 24. septembra 2026; brzi početak za oznaku slike 0.1.0.
- [Intelovi preduslovi](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/getting-started/prerequisites) — Podržani hostovi, preporuke za memoriju/keš, Docker i pristup ograničenim modelima.
- [Intelove podržane funkcije](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/supported-features) — Proverena površina naspram vLLM prosleđenih opcija.
- [Intelova API referenca](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/api-reference) — Putanje, statusi spremnosti, ID modela i oblik odgovora.
- [Intelov bezbednosni vodič](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/deployment/security-network-tokens-and-cache-mounts) — HTTP krajnja tačka nema TLS ni autentifikaciju pozivaoca.
- [Kartica modela Qwen/Qwen3-4B](https://huggingface.co/Qwen/Qwen3-4B) — Primer modela navodi licencu Apache 2.0.