Markdown издање

AI-translated from English; not yet reviewed by a fluent editor.

# Intel-ови Xeon inference контејнери препуштају корисницима безбедносно и workload тестирање

> Нови Intel Inference Microservices бирају Xeon serving профил за један модел по контејнеру. Програмери и даље морају да обезбеде HTTP крајњу тачку и тестирају свој workload.

By BIG CHANGE Editorial

Published: 2026-10-15T05:59:18.080Z
Updated: 2026-10-15T05:59:18.080Z
Canonical: https://bigchange.ai/blog/intel-inference-microservices-xeon-container-explainer

![Conceptual charcoal illustration of the rear of an unbranded rackmount server, with a power cable and an orange network cable routed downward.](https://bigchange.ai/api/media/file/intel-xeon-local-serving-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; generic server hardware, with no actual Intel product, interface, deployment or test result depicted.

Intel је 14. октобра најавио [Inference Microservices](https://www.intel.com/content/www/us/en/newsroom/news/artificial-intelligence/intel-inference-microservices-tuned-llm-processors.html): контејнере за појединачне моделе који на подржаним Xeon процесорима покрећу по један велики језички модел. При покретању контејнер открива хост, бира Intel профил за тај модел и процесор и покреће vLLM иза HTTP API-ја компатибилног са OpenAI-јем. Програмер са Xeon капацитетом треба најпре да утврди може ли документована слика да послужи захтев апликације у интерној мрежи, а затим да измери workload на том хосту.

Прве објављене слике носе ознаку `0.1.0`. Намењене су Xeon процесорима четврте, пете и шесте генерације уз BF16 прецизност, на Linux-у са Docker Engine 20.10 или новијим, односно Kubernetes-ом 1.24 или новијим. [Документација](https://swcatalog.intel.com/developer/docs/intel-inference-microservices) описује локални пакет за serving, а не Intel-ову хостовану крајњу тачку: Intel API кључ није потребан. Intel-ове тврдње да профили смањују посао подешавања или побољшавају перформансе изјаве су добављача; BIG CHANGE није покренуо нити benchmark-овао слике.

## Велика промена

- **Шта се променило:** Intel је упаковао конфигурације vLLM-а специфичне за модел у контејнере. Они проверавају подржани Xeon хост и бирају уграђени serving профил пре него што изложе стандардни API.
- **Зашто је важно:**Апликација може да позове познату chat крајњу тачку, али контејнер не обезбеђује рутирање апликације, аутентификацију, TLS, усаглашеност са лиценцом модела нити доказ да одређени workload испуњава циљеве за кашњење и капацитет.
- **Шта пратити:**Проверите да ли је за потребни модел доступна слика из каталога са одговарајућим профилом, а затим тестирајте спремност, понашање одговора и оптерећење на предвиђеном хосту. Intel наводи GPU подршку, друге engine-е и прецизности, Helm chart и operator као будући рад, а не функције првог издања.

## Шта контејнер обавља, а за шта је тим и даље одговоран

Intel каже да откривање при покретању узима у обзир генерацију Xeon-а, доступна језгра, NUMA распоред и подржане могућности процесора. Слика специфична за модел проналази профил који за vLLM одређује прецизност, расподелу рада и меморијски распоред. Ако нема одговарајућег профила специфичног за модел, покретање не успева уместо да се неприметно пређе на општи профил. Intel-ова основна слика за друге Hugging Face моделе има другачију, општу резервну опцију профила. Та разлика је важна када тим процењује да ли успешно покретање заиста представља конфигурацију специфичну за модел коју је намеравао да тестира.

Документовани [API](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/api-reference) излаже `GET /health`, `GET /v1/models`, `POST /v1/chat/completions`, `POST /v1/completions` и `GET /metrics` подразумевано на порту 8000. `/health` враћа празан HTTP 200 када је модел спреман, а 503 док није; провера статусног кода кориснија је од тражења тела одговора. `/v1/models` враћа једини ID модела који се сервира. Апликација мора да пошаље тај ID у chat захтеву и сама одреди рутирање ако сервира више модела. Intel документује streaming и OpenAI-компатибилне клијентске библиотеке, али компатибилан облик захтева не доказује квалитет ни брзину конкретног модела и prompt-а тима.

Постоји и јасна граница поверења. [Безбедносни водич](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/deployment/security-network-tokens-and-cache-mounts) наводи да сама крајња тачка не обезбеђује TLS ни аутентификацију позивалаца. Не излажите порт 8000 јавној мрежи без заштитног gateway-а или мрежне границе. За Kubernetes, Intel препоручује ограничење приступа помоћу NetworkPolicy-ја и gateway или ingress за TLS и аутентификацију. Услуга ради на инфраструктури корисника, па тим одговара и за капацитет хоста, смештај кеша, надзор и приступ закључаним тежинама модела.

## Најпре документована локална провера, затим тест workload-а

За јавни пример Qwen3-4B, Intel-ов [брзи почетак](https://swcatalog.intel.com/developer/docs/intel-inference-microservices) даје ову Linux/Docker команду. Овде је реч само о документованом поступку; BIG CHANGE га није извршио:

```sh
docker run --rm -p 8000:8000 \
  --cap-add SYS_NICE \
  --shm-size=2g \
  intel/inference-xeon-qwen-qwen3-4b:0.1.0
```

Intel каже да прво покретање преузима тежине модела и може трајати неколико минута. У другом терминалу, `curl -i http://localhost:8000/health` треба да прикаже HTTP 200 са празним телом када је engine спреман. Затим `GET /v1/models` треба да наведе `Qwen/Qwen3-4B`, а `POST /v1/chat/completions` захтев који користи тај ID и `messages` низ треба да врати chat-completion одговор. Те провере потврђују само да је документована крајња тачка покренута и да одговара. Одлука о deployment-у и даље захтева сопствене prompt-ове, concurrency, кашњење и мерења ресурса, као и проверу понашања при отказима и поновним покретањима.

Ови [предуслови](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/getting-started/prerequisites) препоручују 32 GB RAM-а и 50 GB слободног простора на диску за кеш за моделе од 4B–8B; већи модели захтевају више меморије. Препоручује се Ubuntu 22.04 LTS или новији, мада је софтверски услов Linux који може да покрене Docker Engine 20.10 или новији. Qwen3-4B у Intel-овом примеру не захтева Hugging Face токен, а његова [картица модела](https://huggingface.co/Qwen/Qwen3-4B) наводи Apache 2.0. Други модели могу имати ограничен приступ: лиценцу, одобрење приступа и read токен треба проверити засебно. Intel-ова јавна документација не наводи цену microservices софтвера нити утврђује трошак хардвера и рада за овај deployment.

Intel-ова [листа подржаних функција](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/supported-features) разликује уграђени, проверени пут од vLLM pass-through опција. Позивање алата, структурирани излаз, LoRA и измењена дужина контекста захтевају додатне `INFERENCE_ENGINE_ARGS` заставице. Оне могу изменити или поништити подешену конфигурацију; Intel каже да треба прегледати разрешену команду помоћу `dry-run` и тестирати резултат под оптерећењем. Третирајте то као засебан integration пројекат, а не као способност коју је подразумевана слика доказала. Kubernetes deployment-и могу додати реплике и readiness probe-ове, али апликација или gateway и даље усмерава захтеве између модела. Intel-ово раније [извештавање о D-series-у](https://bigchange.ai/blog/intel-d-series-d270-160gb-partner-480gb) односи се на засебну најаву GPU хардвера, а не на ово Xeon serving издање.

## Извори и додатна литература

- [Intel-ова најава](https://www.intel.com/content/www/us/en/newsroom/news/artificial-intelligence/intel-inference-microservices-tuned-llm-processors.html), 14. октобар 2026. Описује контејнер специфичан за модел, откривање хоста, профиле, почетни опсег Xeon-а и планирана проширења. Intel износи тврдње о подешавању и перформансама; BIG CHANGE их није независно тестирао.
- [Документација Intel Inference Microservices-а](https://swcatalog.intel.com/developer/docs/intel-inference-microservices), означена као ажурирана 24. септембра 2026. Њен `0.1.0`брзи почетак даје команду за Qwen3-4B и почетни health/chat пут; горе наведени поступак је само из документације.
- [Предуслови](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/getting-started/prerequisites), [API референца](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/api-reference), [подржане функције](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/supported-features) и [безбедносна упутства](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/deployment/security-network-tokens-and-cache-mounts), Intel-ова документација означена као ажурирана 24. септембра 2026. Дефинишу подржане хостове, одговоре спремности, разлику уграђених могућности и vLLM pass-through опција, као и HTTP границу без аутентификације.
- [Картица модела Qwen/Qwen3-4B](https://huggingface.co/Qwen/Qwen3-4B), приступљено 15. октобра 2026. Наводи Apache 2.0 за пример модела; други модели могу имати другачије услове и ограничења приступа.

## Sources

- [Најава Intel Inference Microservices-а](https://www.intel.com/content/www/us/en/newsroom/news/artificial-intelligence/intel-inference-microservices-tuned-llm-processors.html) — Најава продавца; користи у перформансама и подешавању су Intel-ове тврдње.
- [Документација Intel Inference Microservices-а](https://swcatalog.intel.com/developer/docs/intel-inference-microservices) — Означена као ажурирана 24. септембра 2026; брзи почетак за ознаку слике 0.1.0.
- [Intel-ови предуслови](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/getting-started/prerequisites) — Подржани хостови, препоруке за меморију и кеш, Docker и приступ моделима са ограничењем.
- [Intel-ове подржане функције](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/supported-features) — Разлика између проверене површине и vLLM pass-through опција.
- [Intel API референца](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/api-reference) — Путање, статуси спремности, ID модела и облик одговора.
- [Intel-ова безбедносна упутства](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/deployment/security-network-tokens-and-cache-mounts) — HTTP крајњој тачки недостају TLS и аутентификација позивалаца.
- [Картица модела Qwen/Qwen3-4B](https://huggingface.co/Qwen/Qwen3-4B) — Пример модела наводи лиценцу Apache 2.0.