14 октября Intel объявила о выпуске Inference Microservices: контейнеров для отдельных моделей, каждый из которых обслуживает одну большую языковую модель на поддерживаемых процессорах Xeon. При запуске контейнер определяет хост, выбирает профиль Intel для этой модели и процессора и запускает vLLM за HTTP API, совместимым с OpenAI. Разработчику с ресурсами Xeon сначала нужно выяснить, сможет ли документированный образ обслуживать запросы приложения во внутренней сети, а затем измерить нагрузку на этом хосте.

Первые опубликованные образы имеют тег 0.1.0. Они предназначены для Xeon четвёртого, пятого и шестого поколений с точностью BF16; требуется Linux с Docker Engine 20.10 или новее либо Kubernetes 1.24 или новее. Документация описывает локальный пакет для обслуживания моделей, а не размещённую Intel конечную точку: ключ API Intel получать не нужно. Заявления Intel о том, что профили сокращают настройку или повышают производительность, являются утверждениями поставщика; BIG CHANGE не запускала и не тестировала эти образы.

Главное изменение

  • Что изменилось: Intel упаковала конфигурации vLLM для отдельных моделей в контейнеры. Они проверяют поддерживаемый хост Xeon и выбирают встроенный профиль обслуживания, прежде чем открыть стандартный API.
  • Почему это важно:Приложение может обращаться к привычной конечной точке чата, но контейнер не обеспечивает маршрутизацию приложения, аутентификацию, TLS, соблюдение лицензии модели или доказательство того, что конкретная нагрузка достигает целевых показателей задержки и ёмкости.
  • Что отслеживать:Проверьте, есть ли в каталоге образ для нужной модели с подходящим профилем, а затем протестируйте готовность, ответы и нагрузку на целевом хосте. Поддержка GPU, других движков и точностей, Helm chart и operator указаны Intel как будущая работа, а не функции первого выпуска.

За что отвечает контейнер, а что остаётся обязанностью команды

По словам Intel, при запуске учитываются поколение Xeon, доступные ядра, топология NUMA и поддерживаемые возможности процессора. Образ для конкретной модели находит профиль, задающий для vLLM точность, распределение работы и компоновку памяти. Если подходящего профиля для модели нет, запуск завершается ошибкой, а не незаметно переключается на общий профиль. У базового образа Intel для других моделей Hugging Face предусмотрен другой резервный общий профиль. Это различие важно, чтобы понять, соответствует ли успешный запуск конфигурации модели, которую команда собиралась оценить.

Документированный API предоставляет GET /health, GET /v1/models, POST /v1/chat/completions, POST /v1/completions и GET /metrics по умолчанию на порту 8000. /health возвращает пустой HTTP 200, когда модель готова, и 503, пока она не готова; код состояния полезнее, чем поиск тела ответа. /v1/models возвращает единственный ID обслуживаемой модели. Приложение должно передавать этот ID в запросе чата и самостоятельно выбирать маршрутизацию, если обслуживает несколько моделей. Intel документирует потоковую передачу и клиентские библиотеки, совместимые с OpenAI, однако совместимость формата запроса не доказывает качество или скорость конкретной модели и prompt команды.

Здесь также есть чёткая граница доверия. Руководство по безопасности указывает, что сама конечная точка не обеспечивает TLS или аутентификацию вызывающих сторон. Не открывайте порт 8000 в публичную сеть без защитного шлюза или сетевой границы. Для Kubernetes Intel рекомендует ограничить доступ с помощью NetworkPolicy и использовать шлюз или ingress для TLS и аутентификации. Служба работает на инфраструктуре заказчика, поэтому команда также отвечает за ресурсы хоста, размещение кеша, мониторинг и доступ к закрытым весам модели.

Сначала документированная локальная проверка, затем тест нагрузки

Для общедоступного примера Qwen3-4B в кратком руководстве Intel приведена эта команда для Linux/Docker. Здесь описана только документация; BIG CHANGE её не выполняла:

Terminal
docker run --rm -p 8000:8000 \
  --cap-add SYS_NICE \
  --shm-size=2g \
  intel/inference-xeon-qwen-qwen3-4b:0.1.0

Intel сообщает, что при первом запуске скачиваются веса модели и это может занять несколько минут. Во втором терминале curl -i http://localhost:8000/health должна возвращать HTTP 200 с пустым телом, когда движок готов. Затем GET /v1/models должна показать Qwen/Qwen3-4B, а запрос POST /v1/chat/completions с этим ID и массивом messages должен вернуть ответ chat completion. Эти проверки подтверждают только запуск и ответ документированной конечной точки. Для решения о развёртывании команде всё равно нужны собственные измерения prompt, параллельности, задержки и ресурсов, а также проверка поведения при сбоях и перезапусках.

В предварительных условиях рекомендуется 32 ГБ ОЗУ и 50 ГБ свободного места на диске кеша для моделей 4B–8B; более крупным моделям нужно больше памяти. Рекомендуется Ubuntu 22.04 LTS или новее, хотя программное требование — Linux, способный запускать Docker Engine 20.10 или новее. Для Qwen3-4B в примере Intel токен Hugging Face не требуется, а его карточка модели указывает Apache 2.0. Доступ к другим моделям может быть ограничен: отдельно проверьте их лицензии, одобрение доступа и токен чтения. В общедоступной документации Intel не указана цена ПО microservices и не определены расходы на оборудование или эксплуатацию этого развёртывания.

В списке поддерживаемых функций Intel отделяет встроенный проверенный путь от возможностей vLLM pass-through. Для вызова инструментов, структурированного вывода, LoRA и изменения длины контекста нужны дополнительные INFERENCE_ENGINE_ARGS флаги. Они могут изменить или нарушить настроенную конфигурацию; Intel советует проверить разрешённую команду с помощью dry-run и нагрузочно протестировать результат. Считайте это отдельным проектом интеграции, а не возможностью, подтверждённой образом по умолчанию. Развёртывания Kubernetes могут добавлять реплики и проверки готовности, но маршрутизацию между моделями по-прежнему выполняет приложение или шлюз. Предыдущие материалы Intel о серии D касаются отдельного анонса GPU-оборудования, а не этого выпуска для Xeon.

Источники и дополнительные материалы

  • Анонс Intel, 14 октября 2026 года. Описывает контейнер для конкретной модели, обнаружение хоста, профили, начальный охват Xeon и запланированные расширения. Заявления о настройке и производительности принадлежат Intel; BIG CHANGE не проверяла их независимо.
  • Документация Intel Inference Microservices, помеченная как обновлённая 24 сентября 2026 года. В её 0.1.0кратком руководстве приведены команда для Qwen3-4B и начальная проверка состояния и чата; описанная выше процедура взята только из документации.
  • Предварительные условия, справочник API, поддерживаемые функции и руководство по безопасности, документация Intel с пометкой об обновлении 24 сентября 2026 года. В ней определены поддерживаемые хосты, ответы о готовности, различие встроенных функций и vLLM pass-through, а также незащищённая HTTP-граница.
  • Карточка модели Qwen/Qwen3-4B, просмотрена 15 октября 2026 года. Для примера указана лицензия Apache 2.0; у других моделей могут быть иные условия и ограничения доступа.