Intel 於 10 月 14 日宣布推出 Inference Microservices：這是依模型設計的容器，每個容器在支援的 Xeon 處理器上服務一個大型語言模型。容器啟動時會偵測主機，為該模型與處理器選擇 Intel 設定檔，並在相容 OpenAI 的 HTTP API 後方啟動 vLLM。對擁有 Xeon 資源的開發者來說，眼前的工作是判斷文件所述映像能否在內部網路中處理應用程式請求，接著在該主機上測量工作負載。

首批公開映像使用標籤 0.1.0。它們以 BF16 精度支援第四、第五與第六代 Xeon；作業系統為 Linux，並須使用 Docker Engine 20.10 以上版本或 Kubernetes 1.24 以上版本。文件描述的是本機服務套件，而非由 Intel 託管的端點：不需要取得 Intel API 金鑰。Intel 宣稱其設定檔可減少調校工作或提升效能，這些是供應商的說法；BIG CHANGE 尚未執行這些映像或進行效能測試。

重大變化

  • 變更內容： Intel 將依模型設計的 vLLM 設定封裝在容器中。容器會檢查支援的 Xeon 主機，在提供標準 API 前選擇內建服務設定檔。
  • 重要性：應用程式可以呼叫熟悉的聊天端點，但容器不會提供應用程式路由、驗證、TLS、模型授權合規，也不會證明特定工作負載符合延遲與容量目標。
  • 後續觀察：確認所需模型是否有目錄映像及相符設定檔，再於預定主機測試就緒狀態、回應行為與負載。Intel 將 GPU 支援、其他引擎與精度、Helm chart 和 operator 列為未來工作，而非首版功能。

容器負責的部分，以及團隊仍須負責的部分

Intel 表示，啟動時會檢查 Xeon 世代、可用核心數、NUMA 配置與支援的處理器能力。依模型設計的映像會解析出設定檔，為 vLLM 設定精度、工作分配與記憶體配置。如果找不到相符的專用設定檔，容器會在啟動時失敗，而不會悄悄改用通用設定檔。Intel 為其他 Hugging Face 模型提供的基礎映像則有不同的通用設定檔備援。判斷成功啟動是否代表團隊要評估的專用模型設定時，這項差異很重要。

這份 文件所述的 API提供 GET /health、GET /v1/models、POST /v1/chat/completions, POST /v1/completions，以及GET /metrics；預設使用連接埠 8000。/health 在模型就緒時會傳回空白本文的 HTTP 200，尚未就緒時則傳回 503；查看狀態碼比尋找回應本文更有用。/v1/models會傳回唯一的服務模型 ID。應用程式必須在聊天請求中提供該 ID；若服務多個模型，也須自行決定請求路由位置。Intel 記載了串流功能與相容 OpenAI 的用戶端函式庫，但請求格式相容並不能證明團隊特定模型與提示的品質或速度。

此外，這裡有明確的信任界線。安全指南指出此端點本身不提供 TLS 或呼叫者驗證。若沒有防護閘道或網路邊界，請勿將連接埠 8000 暴露於公用網路。對 Kubernetes，Intel 建議以 NetworkPolicy 限制存取，並透過閘道或 ingress 提供 TLS 與驗證。服務運行於客戶基礎架構，因此主機容量、快取位置、監控，以及存取受限模型權重也由團隊負責。

先依文件執行本機檢查，再測試工作負載

針對公開的 Qwen3-4B 範例，Intel 的 快速入門提供以下 Linux／Docker 指令。這裡只記載文件中的程序；BIG CHANGE 並未執行：

Terminal
docker run --rm -p 8000:8000 \
  --cap-add SYS_NICE \
  --shm-size=2g \
  intel/inference-xeon-qwen-qwen3-4b:0.1.0

Intel 表示，首次啟動會下載模型權重，可能需要數分鐘。在另一個終端機中，curl -i http://localhost:8000/health應在引擎就緒後顯示空白本文的 HTTP 200。接著，GET /v1/models應指出 Qwen/Qwen3-4B；使用該 ID 與POST /v1/chat/completions陣列的 messages請求應傳回聊天完成回應。這些檢查只能確認文件所述端點已啟動並回應。部署決策仍須以團隊自己的提示、並行度、延遲與資源測量結果為依據，並檢查故障及重新啟動時的行為。

這份 先決條件建議 4B–8B 模型使用 32 GB RAM 與 50 GB 可用快取磁碟空間；更大型模型需要更多記憶體。建議使用 Ubuntu 22.04 LTS 或更新版本，不過軟體需求是能執行 Docker Engine 20.10 以上版本的 Linux。Intel 範例中的 Qwen3-4B 不需要 Hugging Face 權杖，其模型卡列出 Apache 2.0 授權。其他模型可能受存取限制：須分別檢查其授權、存取核准與讀取權杖。Intel 公開文件未列出 microservices 軟體價格，也未確定此部署的硬體或營運成本。

Intel 的支援功能清單區分內建且經驗證的路徑與 vLLM 透傳功能。工具呼叫、結構化輸出、LoRA 與變更內容長度都需要額外 INFERENCE_ENGINE_ARGS旗標。這些旗標可能改變或使調校設定失效；Intel 建議使用 dry-run檢視解析後的命令並對結果進行負載測試。應將其視為獨立整合專案，而非預設映像已證明的能力。Kubernetes 部署可以增加副本與就緒探針，但跨模型的路由仍由應用程式或閘道處理。Intel 先前的D-series 報導談的是另一項 GPU 硬體公告，並非此次 Xeon 服務版本。

來源與延伸閱讀

  • Intel 公告，2026 年 10 月 14 日。說明依模型設計的容器、主機偵測、設定檔、首批 Xeon 支援範圍與規劃中的擴充。調校與效能說法來自 Intel；BIG CHANGE 未獨立測試。
  • Intel Inference Microservices 文件，標示更新日期為 2026 年 9 月 24 日。其中的 0.1.0快速入門提供 Qwen3-4B 指令與初始健康檢查／聊天流程；上文所述程序僅來自文件。
  • 先決條件、API 參考、支援功能與安全指引，Intel 文件標示更新日期為 2026 年 9 月 24 日。內容定義支援的主機、就緒回應、內建功能與 vLLM 透傳功能的差別，以及未驗證的 HTTP 邊界。
  • Qwen/Qwen3-4B 模型卡，查閱日期為 2026 年 10 月 15 日。列出範例模型採 Apache 2.0 授權；其他模型可能有不同條款與存取限制。