Intel نے 14 اکتوبر کو Inference Microservices کا اعلان کیا: model-specific containers جو معاون Xeon processors پر ہر container میں ایک بڑا language model چلاتے ہیں۔ Startup پر container host کا پتا لگاتا ہے، اس model اور processor کے لیے Intel profile منتخب کرتا ہے اور OpenAI-compatible HTTP API کے پیچھے vLLM شروع کرتا ہے۔ Xeon گنجائش رکھنے والے developer کا فوری کام یہ طے کرنا ہے کہ دستاویزی image اندرونی network پر application request سنبھال سکتی ہے یا نہیں، پھر اسی host پر workload ناپنا ہے۔

پہلی جاری کردہ images کا tag 0.1.0 ہے۔ یہ BF16 precision کے ساتھ چوتھی، پانچویں اور چھٹی نسل کے Xeon کے لیے ہیں؛ Linux پر Docker Engine 20.10 یا بعد کا، یا Kubernetes 1.24 یا بعد کا درکار ہے۔ دستاویزات مقامی serving package بتاتی ہیں، Intel-hosted endpoint نہیں: Intel API key حاصل کرنے کی ضرورت نہیں۔ Profiles سے tuning کا کام کم ہونے یا performance بہتر ہونے کے Intel کے دعوے vendor کے بیانات ہیں؛ BIG CHANGE نے images چلائی یا benchmark نہیں کیں۔

بڑی تبدیلی

  • کیا بدلا: Intel نے model-specific vLLM configurations کو containers میں پیک کیا ہے۔ یہ معاون Xeon host کی جانچ کرکے standard API ظاہر کرنے سے پہلے built-in serving profile چنتے ہیں۔
  • یہ کیوں اہم ہے:Application ایک مانوس chat endpoint کو call کرسکتی ہے، مگر container application routing، authentication، TLS، model-license کی پابندی یا اس بات کا ثبوت نہیں دیتا کہ کوئی خاص workload latency اور capacity کے اہداف پورے کرتا ہے۔
  • کیا دیکھنا ہے:دیکھیں کہ مطلوبہ model کے لیے catalog image اور matching profile موجود ہیں، پھر طے شدہ host پر readiness، response کا رویہ اور load آزمائیں۔ Intel GPU support، دوسرے engines اور precisions، Helm chart اور operator کو مستقبل کا کام بتاتا ہے، پہلے release کی خصوصیات نہیں۔

Container کیا سنبھالتا ہے اور team کی ذمہ داری کیا رہتی ہے

Intel کے مطابق startup detection Xeon generation، دستیاب cores، NUMA layout اور معاون processor capabilities کو دیکھتا ہے۔ Model-specific image ایسا profile ڈھونڈتی ہے جو vLLM کے لیے precision، کام کی تقسیم اور memory layout طے کرتا ہے۔ مناسب model-specific profile نہ ملے تو عمومی profile پر خاموشی سے بدلنے کے بجائے startup ناکام ہوجاتا ہے۔ دوسرے Hugging Face models کے لیے Intel base image میں الگ general-profile fallback ہے۔ یہ فرق جاننا اہم ہے کہ کامیاب startup وہی model-specific configuration دکھاتا ہے جس کا team جائزہ لینا چاہتی تھی یا نہیں۔

دستاویزی API فراہم کرتا ہے GET /health, GET /v1/models, POST /v1/chat/completions, POST /v1/completions اور GET /metrics بطور default port 8000 پر۔ /health Model تیار ہو تو خالی body کے ساتھ HTTP 200، اور تیار نہ ہو تو 503 لوٹاتا ہے؛ response body ڈھونڈنے سے status code دیکھنا زیادہ مفید ہے۔ /v1/models واحد served model ID لوٹاتا ہے۔ Application کو chat request میں یہ ID دینی ہوگی، اور کئی models serve کرنے کی صورت میں requests کی routing بھی چننی ہوگی۔ Intel streaming اور OpenAI-compatible client libraries دستاویز کرتا ہے، لیکن request shape کی مطابقت team کے مخصوص model اور prompt کے معیار یا رفتار کو ثابت نہیں کرتی۔

یہاں ایک واضح trust boundary بھی ہے۔ سکیورٹی گائیڈ کے مطابق endpoint خود TLS یا caller authentication فراہم نہیں کرتا۔ حفاظتی gateway یا network boundary کے بغیر port 8000 کو public network پر ظاہر نہ کریں۔ Kubernetes میں Intel NetworkPolicy سے access محدود کرنے اور TLS و authentication کے لیے gateway یا ingress استعمال کرنے کی سفارش کرتا ہے۔ Service صارف کے infrastructure پر چلتی ہے، اس لیے host capacity، cache placement، monitoring اور محدود رسائی والے model weights تک رسائی بھی team کی ذمہ داری ہے۔

پہلے دستاویزی مقامی جانچ، پھر workload کا امتحان

Public Qwen3-4B مثال کے لیے Intel کا quickstart یہ Linux/Docker command دیتا ہے۔ یہاں صرف دستاویزی طریقہ بیان ہے؛ BIG CHANGE نے اسے نہیں چلایا:

Terminal
docker run --rm -p 8000:8000 \
  --cap-add SYS_NICE \
  --shm-size=2g \
  intel/inference-xeon-qwen-qwen3-4b:0.1.0

Intel کہتا ہے کہ پہلی شروعات model weights download کرتی ہے اور کئی منٹ لے سکتی ہے۔ دوسرے terminal میں curl -i http://localhost:8000/health engine تیار ہونے پر خالی body کے ساتھ HTTP 200 دکھانا چاہیے۔ پھر GET /v1/models کو Qwen/Qwen3-4B دکھانا چاہیے، اور اس ID اور POST /v1/chat/completions array کے ساتھ messages request کو chat-completion response دینا چاہیے۔ یہ جانچ صرف ثابت کرتی ہے کہ دستاویزی endpoint شروع ہوا اور جواب دے رہا ہے۔ Deployment کا فیصلہ اب بھی team کے اپنے prompts، concurrency، latency اور resource measurements، نیز failure اور restart کے وقت رویے کی جانچ کا تقاضا کرتا ہے۔

یہ پیشگی شرائط 4B–8B models کے لیے 32 GB RAM اور cache disk پر 50 GB خالی جگہ تجویز کرتی ہیں؛ بڑے models کو زیادہ memory درکار ہے۔ Ubuntu 22.04 LTS یا بعد کا تجویز کردہ ہے، اگرچہ software requirement ایسا Linux ہے جو Docker Engine 20.10 یا بعد کا چلا سکے۔ Intel کی مثال میں Qwen3-4B کے لیے Hugging Face token نہیں چاہیے، اور اس کا model card Apache 2.0 درج کرتا ہے۔ دوسرے models تک رسائی محدود ہوسکتی ہے: ان کے licenses، access approval اور read token الگ الگ جانچیں۔ Intel کی public documentation microservices software کی قیمت نہیں بتاتی اور اس deployment کے hardware یا operating cost کا تعین بھی نہیں کرتی۔

Intel کی معاون features کی فہرست built-in، validated راستے کو vLLM pass-throughs سے الگ کرتی ہے۔ Tool calling، structured output، LoRA اور context length کی تبدیلی کے لیے اضافی INFERENCE_ENGINE_ARGS flags درکار ہیں۔ یہ tuned configuration بدل یا خراب کرسکتے ہیں؛ Intel کہتا ہے کہ resolved command کو dry-run کے ذریعے دیکھیں اور نتیجے پر load test کریں۔ انہیں الگ integration project سمجھیں، default image سے ثابت شدہ صلاحیت نہیں۔ Kubernetes deployments replicas اور readiness probes بڑھاسکتے ہیں، مگر models کے درمیان routing application یا gateway ہی کرتا ہے۔ Intel کی سابقہ D-series کی کوریج الگ GPU hardware اعلان سے متعلق ہے، اس Xeon serving release سے نہیں۔

ذرائع اور مزید مطالعہ

  • Intel کا اعلان، 14 اکتوبر 2026۔ Model-specific container، host detection، profiles، ابتدائی Xeon دائرہ اور منصوبہ بند توسیع بیان کرتا ہے۔ Tuning اور performance کے دعوے Intel کے ہیں؛ BIG CHANGE نے انہیں آزادانہ طور پر نہیں آزمایا۔
  • Intel Inference Microservices documentation، جس پر 24 ستمبر 2026 کی تازہ کاری درج ہے۔ اس کا 0.1.0quickstart Qwen3-4B command اور ابتدائی health/chat راستہ دیتا ہے؛ اوپر کا طریقہ صرف documentation پر مبنی ہے۔
  • ضروریات, API reference, معاون features اور سکیورٹی رہنمائی، Intel documentation جس پر 24 ستمبر 2026 کی تازہ کاری درج ہے۔ یہ معاون hosts، readiness responses، built-in features اور vLLM pass-throughs کا فرق، اور authentication کے بغیر HTTP boundary متعین کرتے ہیں۔
  • Qwen/Qwen3-4B model card، 15 اکتوبر 2026 کو دیکھی گئی۔ مثال کے model کے لیے Apache 2.0 درج ہے؛ دوسرے models کی شرائط اور access gates مختلف ہوسکتے ہیں۔