Intel-இன் Xeon inference containers பாதுகாப்பு, workload சோதனைகளைப் பயனர்களிடமே விடுகின்றன

அக்டோபர் 14 அன்று Intel Inference Microservices-ஐ அறிவித்தது: ஆதரிக்கப்படும் Xeon processors-இல் ஒவ்வொரு container-மும் ஒரு பெரிய language model-ஐ வழங்கும் model-specific containers. தொடக்கத்தில் container host-ஐக் கண்டறிந்து, அந்த model மற்றும் processor-க்கான Intel profile-ஐத் தேர்ந்தெடுத்து, OpenAI-compatible HTTP API-க்குப் பின்னால் vLLM-ஐத் தொடங்கும். Xeon திறன் கொண்ட developer முதலில் ஆவணப்படுத்தப்பட்ட image உள் network-இல் application request-ஐ வழங்குமா என முடிவு செய்து, அந்த host-இல் workload-ஐ அளவிட வேண்டும்.

முதல் வெளியிடப்பட்ட images-இன் tag 0.1.0. அவை BF16 precision-இல் நான்காம், ஐந்தாம், ஆறாம் தலைமுறை Xeon-களுக்காக வடிவமைக்கப்பட்டவை; Linux-இல் Docker Engine 20.10 அல்லது அதற்கு மேல், அல்லது Kubernetes 1.24 அல்லது அதற்கு மேல் தேவை. ஆவணம் Intel-hosted endpoint அல்ல, உள்ளூர் serving package-ஐ விவரிக்கிறது: Intel API key பெறத் தேவையில்லை. Profiles tuning வேலையைச் சேமிக்கலாம் அல்லது performance-ஐ மேம்படுத்தலாம் என்பது Intel-இன் vendor கூற்று; BIG CHANGE images-ஐ இயக்கவோ benchmark செய்யவோ இல்லை.

முக்கிய மாற்றம்

• என்ன மாறியது: Intel model-specific vLLM configurations-ஐ containers-இல் தொகுத்துள்ளது. அவை ஆதரிக்கப்படும் Xeon host-ஐச் சரிபார்த்து, standard API-ஐ வெளியிடும் முன் built-in serving profile-ஐத் தேர்ந்தெடுக்கின்றன.
• இது ஏன் முக்கியம்:Application பழக்கமான chat endpoint-ஐ அழைக்கலாம்; ஆனால் container application routing, authentication, TLS, model-license இணக்கம் அல்லது குறிப்பிட்ட workload latency மற்றும் capacity இலக்குகளை எட்டுகிறது என்பதற்கான ஆதாரத்தை வழங்காது.
• எதைக் கவனிக்க வேண்டும்:தேவையான model-க்கு catalog image மற்றும் பொருந்தும் profile உள்ளதா எனப் பார்த்து, இலக்கு host-இல் readiness, response நடத்தை, load ஆகியவற்றைச் சோதியுங்கள். GPU support, பிற engines மற்றும் precisions, Helm chart, operator ஆகியவற்றை Intel எதிர்காலப் பணியாகக் குறிப்பிடுகிறது; முதல் வெளியீட்டின் அம்சங்களாக அல்ல.

Container கையாளுவது என்ன, team-இன் பொறுப்பாகத் தொடர்வது என்ன

தொடக்கக் கண்டறிதல் Xeon தலைமுறை, கிடைக்கும் cores, NUMA layout, ஆதரிக்கப்படும் processor திறன்களைக் கருத்தில் கொள்கிறது என Intel கூறுகிறது. Model-specific image vLLM-க்கான precision, வேலைப் பகிர்வு, memory layout ஆகியவற்றை அமைக்கும் profile-ஐத் தீர்மானிக்கிறது. பொருந்தும் model-specific profile கிடைக்காவிட்டால், பொதுவான profile-க்கு அமைதியாக மாறாமல் startup-இல் தோல்வியடைகிறது. பிற Hugging Face models-க்கான Intel base image-இல் வேறான general-profile fallback உள்ளது. வெற்றிகரமான startup team மதிப்பிட நினைத்த model-specific configuration-ஐக் காட்டுகிறதா எனத் தீர்மானிக்கும்போது இந்த வேறுபாடு முக்கியம்.

ஆவணப்படுத்தப்பட்ட API வழங்குவது GET /health, GET /v1/models, POST /v1/chat/completions, POST /v1/completions மற்றும் GET /metrics; இயல்புநிலையாக port 8000-இல். /health Model தயாராக இருக்கும்போது காலியான HTTP 200-ஐயும் தயாராக இல்லாதபோது 503-ஐயும் வழங்கும்; response body-ஐத் தேடுவதைவிட status code-ஐச் சரிபார்ப்பது பயனுள்ளது. /v1/models வழங்கப்படும் ஒரே model ID-ஐத் திருப்பும். Chat request-இல் application அந்த ID-ஐ வழங்க வேண்டும்; பல models வழங்கினால் requests எங்கு route ஆக வேண்டும் என்றும் தீர்மானிக்க வேண்டும். Streaming மற்றும் OpenAI-compatible client libraries-ஐ Intel ஆவணப்படுத்துகிறது; ஆனால் request வடிவம் பொருந்துவது team-இன் குறிப்பிட்ட model மற்றும் prompt-இன் தரம் அல்லது வேகத்தை நிரூபிக்காது.

வெளிப்படையான trust boundary-யும் உள்ளது. பாதுகாப்பு வழிகாட்டி endpoint தானாக TLS அல்லது caller authentication வழங்காது என்கிறது. பாதுகாப்பு gateway அல்லது network boundary இல்லாமல் port 8000-ஐ public network-இல் வெளிப்படுத்த வேண்டாம். Kubernetes-இல் NetworkPolicy மூலம் அணுகலைக் கட்டுப்படுத்தவும் TLS, authentication-க்கு gateway அல்லது ingress பயன்படுத்தவும் Intel பரிந்துரைக்கிறது. Service வாடிக்கையாளர் infrastructure-இல் இயங்குவதால் host capacity, cache placement, monitoring, gated model weights-க்கான அணுகலும் team-இன் பொறுப்பு.

முதலில் ஆவணப்படுத்தப்பட்ட உள்ளூர் சரிபார்ப்பு, பின்னர் workload சோதனை

பொது Qwen3-4B எடுத்துக்காட்டுக்கு Intel-இன் விரைவு தொடக்க வழிகாட்டி இந்த Linux/Docker command-ஐ வழங்குகிறது. இது ஆவணத்தில் உள்ள நடைமுறை மட்டுமே; BIG CHANGE இதை இயக்கவில்லை:

docker run --rm -p 8000:8000 \
  --cap-add SYS_NICE \
  --shm-size=2g \
  intel/inference-xeon-qwen-qwen3-4b:0.1.0

முதல் தொடக்கத்தில் model weights பதிவிறக்கப்படும்; சில நிமிடங்கள் ஆகலாம் என Intel கூறுகிறது. இரண்டாவது terminal-இல், curl -i http://localhost:8000/health engine தயாரானதும் காலியான body உடன் HTTP 200 காட்ட வேண்டும். பின்னர் GET /v1/models என்பது Qwen/Qwen3-4B-ஐ அடையாளம் காட்ட வேண்டும்; அந்த ID மற்றும் POST /v1/chat/completions array பயன்படுத்தும் messages request chat-completion response-ஐத் தர வேண்டும். ஆவணப்படுத்தப்பட்ட endpoint தொடங்கி பதிலளித்தது என்பதை மட்டுமே இவை உறுதிசெய்கின்றன. Deployment முடிவுக்கு team-இன் prompts, concurrency, latency, resource அளவீடுகள் மற்றும் failures, restarts நேர நடத்தைச் சோதனைகள் இன்னும் தேவை.

இந்த முன்தேவைகள் 4B–8B models-க்கு 32 GB RAM மற்றும் cache disk-இல் 50 GB காலியிடத்தைப் பரிந்துரைக்கின்றன; பெரிய models-க்கு அதிக memory தேவை. Ubuntu 22.04 LTS அல்லது பின்னர் பதிப்பு பரிந்துரைக்கப்படுகிறது; software தேவையோ Docker Engine 20.10 அல்லது அதற்கு மேல் இயக்கக்கூடிய Linux மட்டுமே. Intel எடுத்துக்காட்டின் Qwen3-4B-க்கு Hugging Face token தேவையில்லை; அதன் model card Apache 2.0 எனக் குறிப்பிடுகிறது. பிற models கட்டுப்படுத்தப்பட்ட அணுகலுடன் இருக்கலாம்: அவற்றின் licenses, access approval, read token ஆகியவற்றைத் தனித்தனியாகச் சரிபார்க்க வேண்டும். Microservices software-க்கான விலையை Intel பொது ஆவணம் கூறவில்லை; இந்த deployment-இன் hardware அல்லது operating cost-ஐயும் அது நிர்ணயிக்கவில்லை.

Intel-இன் ஆதரிக்கப்படும் அம்சப் பட்டியல் built-in, validate செய்யப்பட்ட வழியையும் vLLM pass-throughs-ஐயும் வேறுபடுத்துகிறது. Tool calling, structured output, LoRA, மாற்றிய context length ஆகியவற்றுக்கு கூடுதல் INFERENCE_ENGINE_ARGS flags தேவை. அவை tuned configuration-ஐ மாற்றவோ செல்லாததாக்கவோலாம்; resolved command-ஐ dry-run கொண்டு ஆய்வு செய்து முடிவை load-test செய்ய Intel கூறுகிறது. இவற்றை default image நிரூபித்த திறனாக அல்ல, தனி integration project-ஆகக் கருதுங்கள். Kubernetes deployments replicas மற்றும் readiness probes சேர்க்கலாம்; models இடையே routing செய்வது application அல்லது gateway-தான். Intel-இன் முந்தைய D-series செய்தி தனி GPU hardware அறிவிப்பைப் பற்றியது; இந்த Xeon serving வெளியீட்டைப் பற்றியது அல்ல.

ஆதாரங்களும் மேலும் வாசிப்பும்

• Intel அறிவிப்பு, அக்டோபர் 14, 2026. Model-specific container, host கண்டறிதல், profiles, தொடக்க Xeon வரம்பு, திட்டமிட்ட விரிவாக்கங்களை விவரிக்கிறது. Tuning மற்றும் performance கூற்றுகள் Intel-இன்வை; BIG CHANGE அவற்றைத் தனியாகச் சோதிக்கவில்லை.
• Intel Inference Microservices ஆவணம், செப்டம்பர் 24, 2026 அன்று புதுப்பிக்கப்பட்டதாகக் குறிக்கப்பட்டது. அதன் 0.1.0விரைவு தொடக்க வழிகாட்டி Qwen3-4B command மற்றும் தொடக்க health/chat வழியை வழங்குகிறது; மேலுள்ள நடைமுறை ஆவணத்தில் இருந்து மட்டுமே எடுக்கப்பட்டது.
• முன்தேவைகள், API குறிப்பு, ஆதரிக்கப்படும் அம்சங்கள் மற்றும் பாதுகாப்பு வழிகாட்டல், செப்டம்பர் 24, 2026 அன்று புதுப்பிக்கப்பட்டதாகக் குறிக்கப்பட்ட Intel ஆவணங்கள். அவை ஆதரிக்கப்படும் hosts, readiness responses, built-in அம்சங்களுக்கும் vLLM pass-throughs-க்கும் உள்ள வேறுபாடு, authentication இல்லாத HTTP எல்லை ஆகியவற்றை வரையறுக்கின்றன.
• Qwen/Qwen3-4B model card, அக்டோபர் 15, 2026 அன்று அணுகப்பட்டது. எடுத்துக்காட்டு model-க்கு Apache 2.0 உரிமம் எனக் குறிப்பிடுகிறது; பிற models-க்கு வேறு விதிமுறைகளும் அணுகல் கட்டுப்பாடுகளும் இருக்கலாம்.