14 অক্টোবর Intel ঘোষণা করেছে Inference Microservices: model-নির্দিষ্ট container, যার প্রতিটি সমর্থিত Xeon processor-এ একটি বড় language model পরিবেশন করে। Startup-এ container host শনাক্ত করে, ওই model ও processor-এর জন্য Intel profile বেছে নেয় এবং OpenAI-compatible HTTP API-এর পেছনে vLLM চালু করে। Xeon ক্ষমতা থাকা developer-এর তাৎক্ষণিক কাজ হলো নথিভুক্ত image অভ্যন্তরীণ network-এ application request পরিবেশন করতে পারে কি না নির্ধারণ করা, তারপর সেই host-এ workload মাপা।

প্রথম প্রকাশিত image-গুলির tag 0.1.0। এগুলি BF16 precision-এ চতুর্থ, পঞ্চম ও ষষ্ঠ প্রজন্মের Xeon লক্ষ্য করে; Linux-এ Docker Engine 20.10 বা পরের সংস্করণ, অথবা Kubernetes 1.24 বা পরের সংস্করণ লাগে। নথি স্থানীয় serving package বর্ণনা করে, Intel-hosted endpoint নয়: Intel API key নেওয়ার দরকার নেই। Profile tuning-এর কাজ কমায় বা performance বাড়ায়—Intel-এর এই বক্তব্য vendor-এর দাবি; BIG CHANGE image চালায়নি বা benchmark করেনি।

বড় পরিবর্তন

  • কী বদলেছে: Intel model-নির্দিষ্ট vLLM configuration container-এ প্যাক করেছে। এগুলি সমর্থিত Xeon host পরীক্ষা করে standard API প্রকাশের আগে built-in serving profile বেছে নেয়।
  • কেন গুরুত্বপূর্ণ:Application পরিচিত chat endpoint ডাকতে পারে, কিন্তু container application routing, authentication, TLS, model-license compliance বা নির্দিষ্ট workload latency ও capacity লক্ষ্য পূরণ করে—এমন প্রমাণ দেয় না।
  • কী দেখবেন:প্রয়োজনীয় model-এর catalog image ও মিলে যাওয়া profile আছে কি না দেখুন, তারপর নির্ধারিত host-এ readiness, response আচরণ ও load পরীক্ষা করুন। GPU support, অন্য engine ও precision, Helm chart এবং operator-কে Intel ভবিষ্যতের কাজ বলেছে, প্রথম release-এর feature নয়।

Container যা সামলায়, আর team-এর দায়িত্ব যা থেকে যায়

Intel বলেছে startup detection Xeon generation, উপলভ্য core, NUMA layout ও সমর্থিত processor capability বিবেচনা করে। Model-নির্দিষ্ট image vLLM-এর precision, কাজের বণ্টন ও memory layout নির্ধারণকারী profile মেলায়। উপযুক্ত model-specific profile না পেলে সাধারণ profile-এ নিঃশব্দে না গিয়ে startup-এ ব্যর্থ হয়। অন্য Hugging Face model-এর জন্য Intel base image-এ আলাদা general-profile fallback আছে। সফল startup team যে model-specific configuration মূল্যায়ন করতে চেয়েছিল সেটিই দেখায় কি না, এই পার্থক্য তা বোঝার জন্য জরুরি।

নথিভুক্ত API দেয় GET /health, GET /v1/models, POST /v1/chat/completions, POST /v1/completions এবং GET /metrics default-এ port 8000-এ। /health Model প্রস্তুত হলে body-শূন্য HTTP 200, প্রস্তুত না হলে 503 দেয়; response body খোঁজার চেয়ে status code দেখা বেশি উপযোগী। /v1/models একটিমাত্র পরিবেশিত model ID দেয়। Application-কে chat request-এ সেই ID দিতে হবে এবং একাধিক model পরিবেশন করলে request কোথায় route হবে তা বেছে নিতে হবে। Intel streaming ও OpenAI-compatible client library নথিভুক্ত করেছে, কিন্তু request shape মিলে যাওয়া team-এর নির্দিষ্ট model ও prompt-এর গুণমান বা গতি প্রমাণ করে না।

এখানে স্পষ্ট trust boundary-ও আছে। নিরাপত্তা নির্দেশিকা বলেছে endpoint নিজে TLS বা caller authentication দেয় না। সুরক্ষামূলক gateway বা network boundary ছাড়া port 8000 public network-এ প্রকাশ করবেন না। Kubernetes-এ NetworkPolicy দিয়ে access সীমিত করা এবং TLS ও authentication-এর জন্য gateway বা ingress ব্যবহারের পরামর্শ Intel দেয়। Service customer infrastructure-এ চলে, তাই host capacity, cache placement, monitoring এবং gated model weight-এ access-ও team-এর দায়িত্ব।

প্রথমে নথিভুক্ত local check, তারপর workload পরীক্ষা

Public Qwen3-4B উদাহরণের জন্য Intel-এর quickstart এই Linux/Docker command দেয়। এটি শুধু নথিতে বর্ণিত পদ্ধতি; BIG CHANGE চালায়নি:

Terminal
docker run --rm -p 8000:8000 \
  --cap-add SYS_NICE \
  --shm-size=2g \
  intel/inference-xeon-qwen-qwen3-4b:0.1.0

Intel বলেছে প্রথম startup model weight download করে এবং কয়েক মিনিট লাগতে পারে। দ্বিতীয় terminal-এ curl -i http://localhost:8000/health engine প্রস্তুত হলে body-শূন্য HTTP 200 দেখানো উচিত। এরপর GET /v1/models দেখাবে Qwen/Qwen3-4B, আর সেই ID ও POST /v1/chat/completions array ব্যবহার করা messages request chat-completion response দেবে। এই check-গুলি শুধু নথিভুক্ত endpoint চালু ও উত্তর দিচ্ছে তা নিশ্চিত করে। Deployment সিদ্ধান্তে team-এর নিজের prompt, concurrency, latency ও resource মাপা এবং failure ও restart-এ আচরণ পরীক্ষা এখনও দরকার।

এই পূর্বশর্তগুলি 4B–8B model-এর জন্য 32 GB RAM এবং cache disk-এ 50 GB খালি জায়গা প্রস্তাব করে; বড় model-এ আরও memory লাগে। Ubuntu 22.04 LTS বা পরের সংস্করণ সুপারিশ করা হয়েছে, যদিও software requirement হলো Docker Engine 20.10 বা পরের সংস্করণ চালাতে পারে এমন Linux। Intel-এর উদাহরণে Qwen3-4B-তে Hugging Face token লাগে না এবং তার model card Apache 2.0 উল্লেখ করে। অন্য model gated হতে পারে: license, access approval ও read token আলাদাভাবে যাচাই করতে হবে। Intel-এর public documentation microservices software-এর দাম জানায় না এবং এই deployment-এর hardware বা operating cost-ও নির্ধারণ করে না।

Intel-এর সমর্থিত feature তালিকা built-in, validated পথকে vLLM pass-through থেকে আলাদা করে। Tool calling, structured output, LoRA ও context length বদলাতে অতিরিক্ত INFERENCE_ENGINE_ARGS flag লাগে। এগুলি tuned configuration বদলাতে বা অকার্যকর করতে পারে; resolved command dry-run দিয়ে পরীক্ষা ও ফল load-test করতে Intel বলে। এগুলিকে আলাদা integration project হিসেবে ধরুন, default image-এ প্রমাণিত ক্ষমতা হিসেবে নয়। Kubernetes deployment replica ও readiness probe যোগ করতে পারে, কিন্তু model-এর মধ্যে routing application বা gateway-ই করে। Intel-এর আগের D-series প্রতিবেদন পৃথক GPU hardware ঘোষণার বিষয়ে, এই Xeon serving release-এর নয়।

সূত্র ও আরও পড়ুন

  • Intel ঘোষণা, 14 অক্টোবর 2026। Model-নির্দিষ্ট container, host detection, profile, প্রাথমিক Xeon পরিসর এবং পরিকল্পিত সম্প্রসারণ বর্ণনা করে। Tuning ও performance দাবি Intel-এর; BIG CHANGE স্বাধীনভাবে পরীক্ষা করেনি।
  • Intel Inference Microservices documentation, 24 সেপ্টেম্বর 2026-এ হালনাগাদ বলে চিহ্নিত। এর 0.1.0quickstart Qwen3-4B command ও প্রাথমিক health/chat পথ দেয়; উপরের পদ্ধতি কেবল documentation-ভিত্তিক।
  • পূর্বশর্ত, API reference, সমর্থিত feature এবং নিরাপত্তা নির্দেশনা, Intel documentation-এ 24 সেপ্টেম্বর 2026-এ হালনাগাদের চিহ্ন আছে। এগুলি সমর্থিত host, readiness response, built-in feature ও vLLM pass-through-এর পার্থক্য এবং authentication-হীন HTTP boundary নির্ধারণ করে।
  • Qwen/Qwen3-4B model card, 15 অক্টোবর 2026-এ দেখা হয়েছে। উদাহরণ model-এর Apache 2.0 license উল্লেখ করে; অন্য model-এর শর্ত ও access gate আলাদা হতে পারে।