Markdown பதிப்பு

AI-translated from English; not yet reviewed by a fluent editor.

# Intel-இன் Xeon inference containers பாதுகாப்பு, workload சோதனைகளைப் பயனர்களிடமே விடுகின்றன

> Intel-இன் புதிய Inference Microservices ஒவ்வொரு container-க்கும் ஒரு model-க்கான Xeon serving profile-ஐத் தேர்ந்தெடுக்கின்றன. Developers HTTP endpoint-ஐப் பாதுகாத்து தங்கள் workload-ஐச் சோதிக்க வேண்டும்.

By BIG CHANGE Editorial

Published: 2026-10-15T05:59:18.080Z
Updated: 2026-10-15T05:59:18.080Z
Canonical: https://bigchange.ai/blog/intel-inference-microservices-xeon-container-explainer

![Conceptual charcoal illustration of the rear of an unbranded rackmount server, with a power cable and an orange network cable routed downward.](https://bigchange.ai/api/media/file/intel-xeon-local-serving-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; generic server hardware, with no actual Intel product, interface, deployment or test result depicted.

அக்டோபர் 14 அன்று Intel [Inference Microservices](https://www.intel.com/content/www/us/en/newsroom/news/artificial-intelligence/intel-inference-microservices-tuned-llm-processors.html)-ஐ அறிவித்தது: ஆதரிக்கப்படும் Xeon processors-இல் ஒவ்வொரு container-மும் ஒரு பெரிய language model-ஐ வழங்கும் model-specific containers. தொடக்கத்தில் container host-ஐக் கண்டறிந்து, அந்த model மற்றும் processor-க்கான Intel profile-ஐத் தேர்ந்தெடுத்து, OpenAI-compatible HTTP API-க்குப் பின்னால் vLLM-ஐத் தொடங்கும். Xeon திறன் கொண்ட developer முதலில் ஆவணப்படுத்தப்பட்ட image உள் network-இல் application request-ஐ வழங்குமா என முடிவு செய்து, அந்த host-இல் workload-ஐ அளவிட வேண்டும்.

முதல் வெளியிடப்பட்ட images-இன் tag `0.1.0`. அவை BF16 precision-இல் நான்காம், ஐந்தாம், ஆறாம் தலைமுறை Xeon-களுக்காக வடிவமைக்கப்பட்டவை; Linux-இல் Docker Engine 20.10 அல்லது அதற்கு மேல், அல்லது Kubernetes 1.24 அல்லது அதற்கு மேல் தேவை. [ஆவணம்](https://swcatalog.intel.com/developer/docs/intel-inference-microservices) Intel-hosted endpoint அல்ல, உள்ளூர் serving package-ஐ விவரிக்கிறது: Intel API key பெறத் தேவையில்லை. Profiles tuning வேலையைச் சேமிக்கலாம் அல்லது performance-ஐ மேம்படுத்தலாம் என்பது Intel-இன் vendor கூற்று; BIG CHANGE images-ஐ இயக்கவோ benchmark செய்யவோ இல்லை.

## முக்கிய மாற்றம்

- **என்ன மாறியது:** Intel model-specific vLLM configurations-ஐ containers-இல் தொகுத்துள்ளது. அவை ஆதரிக்கப்படும் Xeon host-ஐச் சரிபார்த்து, standard API-ஐ வெளியிடும் முன் built-in serving profile-ஐத் தேர்ந்தெடுக்கின்றன.
- **இது ஏன் முக்கியம்:**Application பழக்கமான chat endpoint-ஐ அழைக்கலாம்; ஆனால் container application routing, authentication, TLS, model-license இணக்கம் அல்லது குறிப்பிட்ட workload latency மற்றும் capacity இலக்குகளை எட்டுகிறது என்பதற்கான ஆதாரத்தை வழங்காது.
- **எதைக் கவனிக்க வேண்டும்:**தேவையான model-க்கு catalog image மற்றும் பொருந்தும் profile உள்ளதா எனப் பார்த்து, இலக்கு host-இல் readiness, response நடத்தை, load ஆகியவற்றைச் சோதியுங்கள். GPU support, பிற engines மற்றும் precisions, Helm chart, operator ஆகியவற்றை Intel எதிர்காலப் பணியாகக் குறிப்பிடுகிறது; முதல் வெளியீட்டின் அம்சங்களாக அல்ல.

## Container கையாளுவது என்ன, team-இன் பொறுப்பாகத் தொடர்வது என்ன

தொடக்கக் கண்டறிதல் Xeon தலைமுறை, கிடைக்கும் cores, NUMA layout, ஆதரிக்கப்படும் processor திறன்களைக் கருத்தில் கொள்கிறது என Intel கூறுகிறது. Model-specific image vLLM-க்கான precision, வேலைப் பகிர்வு, memory layout ஆகியவற்றை அமைக்கும் profile-ஐத் தீர்மானிக்கிறது. பொருந்தும் model-specific profile கிடைக்காவிட்டால், பொதுவான profile-க்கு அமைதியாக மாறாமல் startup-இல் தோல்வியடைகிறது. பிற Hugging Face models-க்கான Intel base image-இல் வேறான general-profile fallback உள்ளது. வெற்றிகரமான startup team மதிப்பிட நினைத்த model-specific configuration-ஐக் காட்டுகிறதா எனத் தீர்மானிக்கும்போது இந்த வேறுபாடு முக்கியம்.

ஆவணப்படுத்தப்பட்ட [API](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/api-reference) வழங்குவது `GET /health`, `GET /v1/models`, `POST /v1/chat/completions`, `POST /v1/completions` மற்றும் `GET /metrics`; இயல்புநிலையாக port 8000-இல். `/health` Model தயாராக இருக்கும்போது காலியான HTTP 200-ஐயும் தயாராக இல்லாதபோது 503-ஐயும் வழங்கும்; response body-ஐத் தேடுவதைவிட status code-ஐச் சரிபார்ப்பது பயனுள்ளது. `/v1/models` வழங்கப்படும் ஒரே model ID-ஐத் திருப்பும். Chat request-இல் application அந்த ID-ஐ வழங்க வேண்டும்; பல models வழங்கினால் requests எங்கு route ஆக வேண்டும் என்றும் தீர்மானிக்க வேண்டும். Streaming மற்றும் OpenAI-compatible client libraries-ஐ Intel ஆவணப்படுத்துகிறது; ஆனால் request வடிவம் பொருந்துவது team-இன் குறிப்பிட்ட model மற்றும் prompt-இன் தரம் அல்லது வேகத்தை நிரூபிக்காது.

வெளிப்படையான trust boundary-யும் உள்ளது. [பாதுகாப்பு வழிகாட்டி](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/deployment/security-network-tokens-and-cache-mounts) endpoint தானாக TLS அல்லது caller authentication வழங்காது என்கிறது. பாதுகாப்பு gateway அல்லது network boundary இல்லாமல் port 8000-ஐ public network-இல் வெளிப்படுத்த வேண்டாம். Kubernetes-இல் NetworkPolicy மூலம் அணுகலைக் கட்டுப்படுத்தவும் TLS, authentication-க்கு gateway அல்லது ingress பயன்படுத்தவும் Intel பரிந்துரைக்கிறது. Service வாடிக்கையாளர் infrastructure-இல் இயங்குவதால் host capacity, cache placement, monitoring, gated model weights-க்கான அணுகலும் team-இன் பொறுப்பு.

## முதலில் ஆவணப்படுத்தப்பட்ட உள்ளூர் சரிபார்ப்பு, பின்னர் workload சோதனை

பொது Qwen3-4B எடுத்துக்காட்டுக்கு Intel-இன் [விரைவு தொடக்க வழிகாட்டி](https://swcatalog.intel.com/developer/docs/intel-inference-microservices) இந்த Linux/Docker command-ஐ வழங்குகிறது. இது ஆவணத்தில் உள்ள நடைமுறை மட்டுமே; BIG CHANGE இதை இயக்கவில்லை:

```sh
docker run --rm -p 8000:8000 \
  --cap-add SYS_NICE \
  --shm-size=2g \
  intel/inference-xeon-qwen-qwen3-4b:0.1.0
```

முதல் தொடக்கத்தில் model weights பதிவிறக்கப்படும்; சில நிமிடங்கள் ஆகலாம் என Intel கூறுகிறது. இரண்டாவது terminal-இல், `curl -i http://localhost:8000/health` engine தயாரானதும் காலியான body உடன் HTTP 200 காட்ட வேண்டும். பின்னர் `GET /v1/models` என்பது `Qwen/Qwen3-4B`-ஐ அடையாளம் காட்ட வேண்டும்; அந்த ID மற்றும் `POST /v1/chat/completions` array பயன்படுத்தும் `messages` request chat-completion response-ஐத் தர வேண்டும். ஆவணப்படுத்தப்பட்ட endpoint தொடங்கி பதிலளித்தது என்பதை மட்டுமே இவை உறுதிசெய்கின்றன. Deployment முடிவுக்கு team-இன் prompts, concurrency, latency, resource அளவீடுகள் மற்றும் failures, restarts நேர நடத்தைச் சோதனைகள் இன்னும் தேவை.

இந்த [முன்தேவைகள்](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/getting-started/prerequisites) 4B–8B models-க்கு 32 GB RAM மற்றும் cache disk-இல் 50 GB காலியிடத்தைப் பரிந்துரைக்கின்றன; பெரிய models-க்கு அதிக memory தேவை. Ubuntu 22.04 LTS அல்லது பின்னர் பதிப்பு பரிந்துரைக்கப்படுகிறது; software தேவையோ Docker Engine 20.10 அல்லது அதற்கு மேல் இயக்கக்கூடிய Linux மட்டுமே. Intel எடுத்துக்காட்டின் Qwen3-4B-க்கு Hugging Face token தேவையில்லை; அதன் [model card](https://huggingface.co/Qwen/Qwen3-4B) Apache 2.0 எனக் குறிப்பிடுகிறது. பிற models கட்டுப்படுத்தப்பட்ட அணுகலுடன் இருக்கலாம்: அவற்றின் licenses, access approval, read token ஆகியவற்றைத் தனித்தனியாகச் சரிபார்க்க வேண்டும். Microservices software-க்கான விலையை Intel பொது ஆவணம் கூறவில்லை; இந்த deployment-இன் hardware அல்லது operating cost-ஐயும் அது நிர்ணயிக்கவில்லை.

Intel-இன் [ஆதரிக்கப்படும் அம்சப் பட்டியல்](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/supported-features) built-in, validate செய்யப்பட்ட வழியையும் vLLM pass-throughs-ஐயும் வேறுபடுத்துகிறது. Tool calling, structured output, LoRA, மாற்றிய context length ஆகியவற்றுக்கு கூடுதல் `INFERENCE_ENGINE_ARGS` flags தேவை. அவை tuned configuration-ஐ மாற்றவோ செல்லாததாக்கவோலாம்; resolved command-ஐ `dry-run` கொண்டு ஆய்வு செய்து முடிவை load-test செய்ய Intel கூறுகிறது. இவற்றை default image நிரூபித்த திறனாக அல்ல, தனி integration project-ஆகக் கருதுங்கள். Kubernetes deployments replicas மற்றும் readiness probes சேர்க்கலாம்; models இடையே routing செய்வது application அல்லது gateway-தான். Intel-இன் முந்தைய [D-series செய்தி](https://bigchange.ai/blog/intel-d-series-d270-160gb-partner-480gb) தனி GPU hardware அறிவிப்பைப் பற்றியது; இந்த Xeon serving வெளியீட்டைப் பற்றியது அல்ல.

## ஆதாரங்களும் மேலும் வாசிப்பும்

- [Intel அறிவிப்பு](https://www.intel.com/content/www/us/en/newsroom/news/artificial-intelligence/intel-inference-microservices-tuned-llm-processors.html), அக்டோபர் 14, 2026. Model-specific container, host கண்டறிதல், profiles, தொடக்க Xeon வரம்பு, திட்டமிட்ட விரிவாக்கங்களை விவரிக்கிறது. Tuning மற்றும் performance கூற்றுகள் Intel-இன்வை; BIG CHANGE அவற்றைத் தனியாகச் சோதிக்கவில்லை.
- [Intel Inference Microservices ஆவணம்](https://swcatalog.intel.com/developer/docs/intel-inference-microservices), செப்டம்பர் 24, 2026 அன்று புதுப்பிக்கப்பட்டதாகக் குறிக்கப்பட்டது. அதன் `0.1.0`விரைவு தொடக்க வழிகாட்டி Qwen3-4B command மற்றும் தொடக்க health/chat வழியை வழங்குகிறது; மேலுள்ள நடைமுறை ஆவணத்தில் இருந்து மட்டுமே எடுக்கப்பட்டது.
- [முன்தேவைகள்](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/getting-started/prerequisites), [API குறிப்பு](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/api-reference), [ஆதரிக்கப்படும் அம்சங்கள்](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/supported-features) மற்றும் [பாதுகாப்பு வழிகாட்டல்](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/deployment/security-network-tokens-and-cache-mounts), செப்டம்பர் 24, 2026 அன்று புதுப்பிக்கப்பட்டதாகக் குறிக்கப்பட்ட Intel ஆவணங்கள். அவை ஆதரிக்கப்படும் hosts, readiness responses, built-in அம்சங்களுக்கும் vLLM pass-throughs-க்கும் உள்ள வேறுபாடு, authentication இல்லாத HTTP எல்லை ஆகியவற்றை வரையறுக்கின்றன.
- [Qwen/Qwen3-4B model card](https://huggingface.co/Qwen/Qwen3-4B), அக்டோபர் 15, 2026 அன்று அணுகப்பட்டது. எடுத்துக்காட்டு model-க்கு Apache 2.0 உரிமம் எனக் குறிப்பிடுகிறது; பிற models-க்கு வேறு விதிமுறைகளும் அணுகல் கட்டுப்பாடுகளும் இருக்கலாம்.

## Sources

- [Intel Inference Microservices அறிவிப்பு](https://www.intel.com/content/www/us/en/newsroom/news/artificial-intelligence/intel-inference-microservices-tuned-llm-processors.html) — Vendor அறிவிப்பு; performance, tuning நன்மைகள் Intel-இன் கூற்றுகள்.
- [Intel Inference Microservices ஆவணம்](https://swcatalog.intel.com/developer/docs/intel-inference-microservices) — செப்டம்பர் 24, 2026 புதுப்பிப்பு குறிப்பு; image tag 0.1.0-க்கான விரைவு தொடக்கம்.
- [Intel முன்தேவைகள்](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/getting-started/prerequisites) — ஆதரிக்கப்படும் hosts, memory/cache பரிந்துரைகள், Docker, gated model அணுகல்.
- [Intel ஆதரிக்கப்படும் அம்சங்கள்](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/supported-features) — Validate செய்யப்பட்ட மேற்பரப்புக்கும் vLLM pass-throughs-க்கும் இடையிலான வேறுபாடு.
- [Intel API குறிப்பு](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/api-reference) — Paths, readiness statuses, model ID மற்றும் response வடிவம்.
- [Intel பாதுகாப்பு வழிகாட்டல்](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/deployment/security-network-tokens-and-cache-mounts) — HTTP endpoint-இல் TLS மற்றும் caller authentication இல்லை.
- [Qwen/Qwen3-4B model card](https://huggingface.co/Qwen/Qwen3-4B) — எடுத்துக்காட்டு model Apache 2.0 உரிமத்தைக் குறிப்பிடுகிறது.