Edisi Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Kontainer inferensi Xeon Intel menyerahkan pengujian keamanan dan beban kerja kepada pengguna

> Inference Microservices baru dari Intel memilih profil penyajian Xeon untuk satu model per kontainer. Pengembang tetap harus mengamankan endpoint HTTP dan menguji beban kerja mereka.

By BIG CHANGE Editorial

Published: 2026-10-15T05:59:18.080Z
Updated: 2026-10-15T05:59:18.080Z
Canonical: https://bigchange.ai/blog/intel-inference-microservices-xeon-container-explainer

![Conceptual charcoal illustration of the rear of an unbranded rackmount server, with a power cable and an orange network cable routed downward.](https://bigchange.ai/api/media/file/intel-xeon-local-serving-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; generic server hardware, with no actual Intel product, interface, deployment or test result depicted.

Intel mengumumkan [Inference Microservices](https://www.intel.com/content/www/us/en/newsroom/news/artificial-intelligence/intel-inference-microservices-tuned-llm-processors.html) pada 14 Oktober: kontainer khusus model yang menyajikan satu model bahasa besar pada masing-masing prosesor Xeon yang didukung. Saat mulai, kontainer mendeteksi host, memilih profil Intel untuk model dan prosesor itu, lalu menjalankan vLLM di balik API HTTP yang kompatibel dengan OpenAI. Bagi pengembang yang memiliki kapasitas Xeon, tugas langsungnya adalah menentukan apakah image yang didokumentasikan dapat melayani permintaan aplikasi di jaringan internal, lalu mengukur beban kerja pada host tersebut.

Image pertama yang diterbitkan memakai tag `0.1.0`. Image tersebut ditujukan untuk Xeon generasi keempat, kelima, dan keenam dengan presisi BF16, di Linux dengan Docker Engine 20.10 atau yang lebih baru, atau Kubernetes 1.24 atau yang lebih baru. [Dokumentasi](https://swcatalog.intel.com/developer/docs/intel-inference-microservices) menjelaskan paket penyajian lokal, bukan endpoint yang di-host Intel: tidak ada kunci API Intel yang perlu diperoleh. Klaim Intel bahwa profilnya menghemat pekerjaan penyetelan atau meningkatkan kinerja berasal dari vendor; BIG CHANGE belum menjalankan image atau mengukurnya.

## Perubahan utamanya

- **Apa yang berubah:** Intel mengemas konfigurasi vLLM khusus model dalam kontainer yang memeriksa host Xeon yang didukung dan memilih profil penyajian bawaan sebelum membuka API standar.
- **Mengapa penting:** Aplikasi dapat memanggil endpoint chat yang lazim, tetapi kontainer tidak menyediakan perutean aplikasi, autentikasi, TLS, kepatuhan terhadap lisensi model, atau bukti bahwa beban kerja tertentu memenuhi sasaran latensi dan kapasitasnya.
- **Yang perlu dipantau:** Periksa apakah model yang dibutuhkan memiliki image katalog dan profil yang cocok, lalu uji kesiapan, perilaku respons, dan beban pada host yang dituju. Intel mencantumkan dukungan GPU, mesin dan presisi lain, bagan Helm, serta operator sebagai pekerjaan mendatang, bukan fitur rilis pertama ini.

## Apa yang ditangani kontainer dan apa yang tetap menjadi tanggung jawab tim

Intel mengatakan deteksi saat mulai mempertimbangkan generasi Xeon, jumlah inti yang tersedia, tata letak NUMA, dan kemampuan prosesor yang didukung. Image khusus model memilih profil yang mengatur presisi, pembagian kerja, dan tata letak memori untuk vLLM. Jika image tidak menemukan profil khusus model yang cocok, proses gagal saat mulai alih-alih diam-diam beralih ke profil umum. Image dasar Intel untuk model Hugging Face lainnya memiliki mekanisme cadangan profil umum yang berbeda. Perbedaan ini penting saat menentukan apakah proses yang berhasil dimulai benar-benar menggunakan konfigurasi khusus model yang hendak dievaluasi tim.

API yang [terdokumentasi](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/api-reference) menyediakan `GET /health`, `GET /v1/models`, `POST /v1/chat/completions`, `POST /v1/completions` dan `GET /metrics` secara bawaan pada port 8000. `/health` mengembalikan HTTP 200 dengan isi kosong saat model siap dan 503 saat belum siap; memeriksa kode status lebih berguna daripada mencari isi respons. `/v1/models` mengembalikan satu-satunya ID model yang disajikan. Aplikasi harus menyertakan ID tersebut dalam permintaan chat dan menentukan perutean jika menyajikan beberapa model. Intel mendokumentasikan streaming dan pustaka klien yang kompatibel dengan OpenAI, tetapi kesesuaian format permintaan tidak membuktikan mutu atau kecepatan model dan prompt tertentu milik tim.

Ada pula batas kepercayaan yang jelas. [Panduan keamanan](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/deployment/security-network-tokens-and-cache-mounts) menyatakan endpoint itu sendiri tidak menyediakan TLS maupun autentikasi pemanggil. Jangan membuka port 8000 ke jaringan publik tanpa gateway pelindung atau batas jaringan. Di Kubernetes, Intel menyarankan pembatasan akses dengan NetworkPolicy dan penggunaan gateway atau ingress untuk TLS dan autentikasi. Layanan berjalan di infrastruktur pelanggan, sehingga tim juga bertanggung jawab atas kapasitas host, penempatan cache, pemantauan, dan akses ke bobot model yang dibatasi.

## Pemeriksaan lokal yang terdokumentasi, lalu pengujian beban kerja

Untuk contoh publik Qwen3-4B, [panduan mulai cepat](https://swcatalog.intel.com/developer/docs/intel-inference-microservices) memberikan perintah Linux/Docker berikut. Ini hanya prosedur berdasarkan dokumentasi; BIG CHANGE tidak menjalankannya:

```sh
docker run --rm -p 8000:8000 \
  --cap-add SYS_NICE \
  --shm-size=2g \
  intel/inference-xeon-qwen-qwen3-4b:0.1.0
```

Intel mengatakan proses mulai pertama mengunduh bobot model dan dapat memerlukan beberapa menit. Di terminal kedua, `curl -i http://localhost:8000/health` seharusnya menampilkan HTTP 200 dengan isi kosong setelah mesin siap. Lalu `GET /v1/models` seharusnya menunjukkan `Qwen/Qwen3-4B`, dan permintaan `POST /v1/chat/completions` yang memakai ID itu serta sebuah larik `messages` seharusnya mengembalikan respons penyelesaian chat. Pemeriksaan tersebut hanya membuktikan bahwa endpoint yang didokumentasikan mulai berjalan dan menjawab. Keputusan penerapan tetap memerlukan prompt, konkurensi, latensi, dan pengukuran sumber daya milik tim sendiri, serta pemeriksaan perilaku saat gagal dan dimulai ulang.

Persyaratan [prasyarat ](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/getting-started/prerequisites)menyarankan RAM 32 GB dan ruang disk cache kosong 50 GB untuk model 4B–8B, dengan memori lebih besar untuk model yang lebih besar. Ubuntu 22.04 LTS atau yang lebih baru direkomendasikan, meski persyaratan perangkat lunaknya adalah Linux yang dapat menjalankan Docker Engine 20.10 atau lebih baru. Contoh Intel untuk Qwen3-4B tidak membutuhkan token Hugging Face, dan [kartu modelnya](https://huggingface.co/Qwen/Qwen3-4B) mencantumkan Apache 2.0. Model lain mungkin dibatasi: lisensi, persetujuan akses, dan token baca harus diperiksa secara terpisah. Dokumentasi publik Intel tidak menyebut harga perangkat lunak microservices dan tidak menetapkan biaya perangkat keras atau operasional untuk penerapan ini.

Daftar fitur yang [didukung](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/supported-features) Intel membedakan jalur bawaan yang telah divalidasi dari opsi pass-through vLLM. Pemanggilan alat, keluaran terstruktur, LoRA, dan perubahan panjang konteks memerlukan `INFERENCE_ENGINE_ARGS` flag tambahan. Flag tersebut dapat mengubah atau membatalkan konfigurasi yang disetel; Intel menyarankan pemeriksaan perintah hasil resolusi dengan `dry-run` serta uji beban hasilnya. Perlakukan ini sebagai proyek integrasi terpisah, bukan kemampuan yang dibuktikan oleh image bawaan. Penerapan Kubernetes dapat menambahkan replika dan probe kesiapan, tetapi aplikasi atau gateway tetap merutekan permintaan di antara model. Liputan Intel sebelumnya mengenai [seri D](https://bigchange.ai/blog/intel-d-series-d270-160gb-partner-480gb) membahas pengumuman perangkat keras GPU yang terpisah, bukan rilis penyajian Xeon ini.

## Sumber dan bacaan lebih lanjut

- [Pengumuman Intel](https://www.intel.com/content/www/us/en/newsroom/news/artificial-intelligence/intel-inference-microservices-tuned-llm-processors.html), 14 Oktober 2026. Menjelaskan kontainer khusus model, deteksi host, profil, cakupan awal Xeon, dan perluasan yang direncanakan. Pernyataan tentang penyetelan dan kinerja adalah klaim Intel; BIG CHANGE tidak mengujinya secara independen.
- [Dokumentasi Intel Inference Microservices](https://swcatalog.intel.com/developer/docs/intel-inference-microservices), ditandai diperbarui 24 September 2026. `0.1.0` panduan mulai cepatnya menyediakan perintah Qwen3-4B dan jalur awal untuk pemeriksaan kesehatan/chat; prosedur di atas hanya dijelaskan dalam dokumentasi.
- [Prasyarat](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/getting-started/prerequisites), [referensi API](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/api-reference), [fitur yang didukung](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/supported-features) dan [panduan keamanan](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/deployment/security-network-tokens-and-cache-mounts), dokumentasi Intel bertanda diperbarui 24 September 2026. Dokumen ini menetapkan host yang didukung, respons kesiapan, fitur bawaan dibanding pass-through vLLM, dan batas HTTP tanpa autentikasi.
- [Kartu model Qwen/Qwen3-4B](https://huggingface.co/Qwen/Qwen3-4B), diakses 15 Oktober 2026. Mencantumkan lisensi Apache 2.0 untuk model contoh; model lain mungkin memiliki ketentuan dan pembatasan akses berbeda.

## Sources

- [Pengumuman Intel Inference Microservices](https://www.intel.com/content/www/us/en/newsroom/news/artificial-intelligence/intel-inference-microservices-tuned-llm-processors.html) — Pengumuman vendor; klaim kinerja dan manfaat penyetelan berasal dari Intel.
- [Dokumentasi Intel Inference Microservices](https://swcatalog.intel.com/developer/docs/intel-inference-microservices) — Dokumentasi bertanda diperbarui 24 September 2026; panduan mulai cepat untuk tag image 0.1.0.
- [Prasyarat Intel](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/getting-started/prerequisites) — Host yang didukung, saran memori/cache, Docker, dan akses ke model terbatas.
- [Fitur Intel yang didukung](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/supported-features) — Permukaan yang divalidasi dibandingkan opsi pass-through vLLM.
- [Referensi API Intel](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/reference/api-reference) — Rute, status kesiapan, ID model, dan bentuk respons.
- [Panduan keamanan Intel](https://swcatalog.intel.com/developer/docs/intel-inference-microservices/deployment/security-network-tokens-and-cache-mounts) — Endpoint HTTP tidak memiliki TLS dan autentikasi pemanggil.
- [Kartu model Qwen/Qwen3-4B](https://huggingface.co/Qwen/Qwen3-4B) — Model contoh mencantumkan lisensi Apache 2.0.