Laporan MAI-Base-2 Microsoft mengukur prapelatihan, bukan model yang telah dirilis

Microsoft AI menyatakan telah menyelesaikan prapelatihan MAI-Base-2, model mixture-of-experts dengan 80 miliar parameter aktif dan total 2,8 triliun parameter. Laporan teknisnya pada 15 Oktober menjelaskan proses selama 38 hari pada 16.000 GPU GB200 sepanjang Agustus dan September 2026. Bagi insinyur yang menilai hasilnya, pertanyaan yang berguna lebih spesifik daripada peringkat model: apa yang diukur laporan ini sebelum pascapelatihan dan akses publik?

Jawabannya terdiri dari dua bagian. Microsoft melaporkan bit per byte (BPB) yang lebih rendah pada empat kategori evaluasi yang disisihkan dibandingkan checkpoint yang diuji. Secara terpisah, perusahaan memperkirakan resep pelatihannya membutuhkan FLOPs pelatihan 4,2–12,3 kali lebih sedikit daripada DeepSeek-V4-Pro-Base untuk mencapai BPB yang sama, berdasarkan kurva yang dicocokkan dengan rangkaian eksperimen skalanya sendiri. Itu merupakan temuan berbeda dengan batasan berbeda.

Perubahan besar

• Apa yang berubah: Microsoft melaporkan selesainya proses model dasar berskala besar, disertai evaluasi teks yang disisihkan dan uraian terperinci tentang resep pelatihannya. MAI-Base-2 masih menjalani pascapelatihan.
• Mengapa penting: Insinyur dapat memeriksa cara Microsoft menghubungkan kualitas model dengan komputasi pelatihan, serta pilihan data, arsitektur, dan infrastruktur yang menurutnya berkontribusi. Buktinya menyangkut loss prapelatihan dan pengukuran internal Microsoft; tidak ada layanan inferensi publik MAI-Base-2 atau checkpoint yang dirilis untuk diuji pada suatu beban kerja.
• Apa yang perlu diperhatikan: Hasil pascapelatihan dan ketentuan akses akan menentukan apakah fondasi ini berguna dalam produk atau bagi tim eksternal. Rencana Microsoft untuk melisensikan bobot melalui Foundry merupakan penawaran mendatang, bukan ketersediaan saat ini.

Arti perbandingan pada data yang disisihkan

Microsoft mengevaluasi model pralatih pada teks yang disisihkan menggunakan BPB, yang menyatakan loss prediksi per byte dan menghindari skor yang bergantung pada tokenizer. Laporan menyebut evaluasi kode, STEM, matematika, serta tanya jawab. Disebutkan bahwa set kode berasal dari basis kode MAI sendiri, sedangkan Microsoft memesan set lain dari vendor; Microsoft menyatakan telah mendekontaminasi keempatnya terhadap data pelatihannya. Itu merupakan langkah pengamanan yang dijelaskan evaluator, bukan audit data yang direplikasi secara independen.

Pada set-set tersebut, Microsoft melaporkan bahwa MAI-Base-2 memiliki BPB lebih rendah daripada setiap model yang diuji. Perbedaan checkpoint penting. DeepSeek-V4-Pro-Base adalah model dasar yang telah dirilis dan dipakai Microsoft sebagai acuan resepnya. Microsoft menyatakan hanya checkpoint pascapelatihan yang tersedia untuk Kimi K3, Qwen3.8-2.4T-A95B, dan MiMo-V2.6-Pro-RL, serta mengakui bahwa pascapelatihan dapat memengaruhi evaluasi ini. Karena itu, grafik BPB model dasar versus model pascapelatihan bukan perbandingan terkontrol atas resep prapelatihan keempat pesaing. Laporan tidak menyajikan uji checkpoint OpenAI, sehingga tidak memberi dasar untuk menyatakan MAI-Base-2 mengalahkan model OpenAI.

BPB juga menjawab pertanyaan yang berbeda dari kegunaan asisten. Metrik ini mengukur loss pada materi evaluasi terpilih yang disisihkan, bukan kepatuhan pada instruksi, penalaran setelah pascapelatihan, latensi, keamanan, atau biaya operasional aplikasi. Microsoft menyatakan MAI-Base-2 masih menjalani pascapelatihan; laporannya tidak menyediakan bobot publik, endpoint inferensi, harga, atau hasil pelanggan.

Asal rentang efisiensi komputasi

Klaim 4,2–12,3× berasal dari kurva penskalaan yang dicocokkan. Microsoft mencocokkan kurva BPB terhadap FLOPs pelatihan secara terpisah untuk masing-masing dari empat evaluasi, menggunakan rangkaian skala dan hasil akhir MAI-Base-2 yang telah diketahui. Perusahaan kemudian memperkirakan komputasi yang dibutuhkan resepnya untuk menyamai BPB DeepSeek-V4-Pro-Base dan membandingkan estimasi itu dengan komputasi pelatihan model acuan yang dilaporkan. Menurut Microsoft, titik-titik penyamaan berada dalam rentang model hasil pencocokan, bukan diekstrapolasi melampauinya.

Rentang itu merupakan estimasi pada loss yang sama untuk resep Microsoft dalam evaluasi tersebut. Itu bukan pengurangan terukur pada tagihan pelatihan MAI-Base-2 yang sesungguhnya, percepatan inferensi, atau bukti bahwa laboratorium lain akan memperoleh hasil yang sama. Microsoft juga melaporkan estimasi peningkatan efisiensi FLOPs 6,3–12,7× dibandingkan MAI-Base-1 miliknya sendiri. Dalam kedua kasus, pembaca perlu mengetahui acuan, set evaluasi, dan metode pencocokan yang dipilih untuk menafsirkan angka tersebut.

Microsoft memberikan sepasang angka lain untuk proses pelatihan produksi: rata-rata utilisasi FLOPs model (MFU) 21% dan goodput 89%, dengan goodput berarti porsi waktu ketika pelatihan mengalami kemajuan. Laporan menormalkan MFU terhadap kapasitas teoretis 2,5 PFLOPS per GB200 dalam BF16 dan mengecualikan FLOPs rematerialisasi serta optimizer. MFU menyangkut seberapa banyak kapasitas komputasi teoretis itu digunakan perhitungan pelatihan; goodput menyangkut gangguan dan kemajuan sepanjang waktu yang berlalu. Keduanya bukan rasio efisiensi FLOPs pada BPB yang sama. Microsoft secara tegas membedakan peningkatan yang diukur dalam FLOPs pelatihan dari peningkatan yang diukur dalam waktu nyata yang berlalu ketika mengevaluasi pilihan desain.

Resep yang menurut Microsoft menghasilkan hasil tersebut

Laporan menawarkan mekanisme yang masuk akal sekaligus batas bukti yang dimiliki. Rangkaian skalanya membatasi sampel unik pada proses yang lebih kecil agar set data berulang dengan jumlah yang sama seperti proses penuh. Menurut Microsoft, hal itu mencegah eksperimen kecil mengunggulkan pilihan yang akan mengalami overfitting pada skala lebih besar. Laporan juga menjelaskan aturan penskalaan empiris untuk laju pembelajaran, weight decay, dan dropout, yang diperiksa pada model berukuran menengah sebelum proses penuh.

Pada model sparse, Microsoft menyatakan perubahan pada perutean pakar, kapasitas memori tetap, dan komunikasi berkelompok menaikkan MFU lapisan MoE dari 24% menjadi 35%, sehingga MoE dapat dipakai pada setiap lapisan. Ini pengukuran internal pada tingkat komponen, bukan rata-rata MFU 21% untuk seluruh proses 38 hari. Laporan menjelaskan pekerjaan optimizer yang membuat Muon memerlukan 165 milidetik, atau 2,1% dari satu iterasi pelatihan rata-rata, serta pemangkasan gradien aktivasi untuk menstabilkan pelatihan. Bagian datanya menyatakan korpus token unik bertambah sekitar 36% dari MAI-Base-1. Dilaporkan 4,5 triliun token visi-bahasa unik; dengan pengulangan, data visi-bahasa membentuk 18% dari campuran pelatihan 50 triliun token.

Detail ini menjadikan makalah tersebut berguna sebagai uraian rekayasa tentang cara Microsoft menghadapi skala besar. Detail itu tidak memisahkan kontribusi kausal tiap perubahan melalui proses yang direplikasi secara independen. Microsoft mengaitkan hasilnya dengan kualitas data dan pilihan pemodelan; tim eksternal tidak dapat memastikan efek tersebut hanya dari laporan. Bukti langsungnya adalah model dasar yang selesai, loss pada data yang disisihkan pilihan Microsoft, dan analisis efisiensi resep dari kurva yang dicocokkan. Kinerja produk tetap merupakan pengukuran terpisah untuk checkpoint berikutnya.

Sumber dan bacaan lanjutan

• Microsoft AI, “Prapelatihan Terdepan di Microsoft AI”, 15 Oktober 2026. Laporan teknis pihak pertama mengenai arsitektur, proses pelatihan, perbandingan BPB pada data yang disisihkan, rentang efisiensi komputasi hasil pencocokan, utilisasi, data, dan tahap rilis yang dinyatakan. Semua pengukuran dan efek implementasi di sini dilaporkan Microsoft; BIG CHANGE tidak mereplikasi pelatihan atau mengevaluasi MAI-Base-2.