Markdown 버전

AI-translated from English; not yet reviewed by a fluent editor.

# Microsoft의 MAI-Base-2 보고서가 측정한 것은 사전 학습이며 출시된 모델이 아니다

> Microsoft는 MAI-Base-2의 학습에서 제외한 텍스트 평가 결과와 곡선 적합으로 추정한 학습 효율을 공개했다. 기반 모델은 아직 사후 학습 중이며 공개된 체크포인트가 없어 시험할 수 없다.

By BIG CHANGE Editorial

Published: 2026-10-16T16:13:14.938Z
Updated: 2026-10-16T16:13:14.938Z
Canonical: https://bigchange.ai/blog/microsoft-mai-base-2-pretraining-efficiency-report

![Conceptual charcoal illustration of a storage rack connected by overhead cables to compute racks, with a separate blank evaluation workstation in a generic room.](https://bigchange.ai/api/media/file/mai-base-2-pretraining-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; not actual Microsoft hardware or a measured result.

Microsoft AI는 활성 매개변수 800억 개, 전체 매개변수 2조 8000억 개인 전문가 혼합 모델 MAI-Base-2의 사전 학습을 마쳤다고 밝혔다. 회사의 [10월 15일 기술 보고서](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/)는 2026년 8\~9월 GB200 GPU 16,000개에서 진행한 38일간의 학습을 설명한다. 결과를 검토하는 엔지니어에게 유용한 질문은 모델 순위보다 범위가 좁다. 사후 학습과 공개 이용 이전에 이 보고서는 무엇을 측정했는가?

답은 두 부분으로 나뉜다. Microsoft는 학습에서 제외해 둔 네 가지 평가 범주에서 시험한 체크포인트들보다 바이트당 비트 수(BPB)가 낮았다고 보고한다. 이와 별도로 자체 규모별 실험 단계에 맞춘 곡선을 이용해, 동일한 BPB에 도달하는 데 자사 학습 방식이 DeepSeek-V4-Pro-Base보다 4.2\~12.3배 적은 학습 FLOPs를 필요로 한다고 추정한다. 서로 다른 결과이며 한계도 다르다.

## 큰 변화

- **달라진 점:** Microsoft는 대규모 기반 모델 학습을 완료했다고 보고하면서 학습에서 제외한 텍스트 평가와 학습 방식의 상세한 설명을 공개했다. MAI-Base-2는 여전히 사후 학습 중이다.
- **중요한 이유:** 엔지니어는 Microsoft가 모델 품질과 학습 연산량을 어떻게 연결하는지, 어떤 데이터·아키텍처·인프라 선택이 기여했다고 설명하는지 검토할 수 있다. 근거는 사전 학습 손실과 Microsoft의 내부 측정에 관한 것이다. 특정 작업 부하로 시험할 수 있는 공개 MAI-Base-2 추론 서비스나 출시된 체크포인트는 없다.
- **지켜볼 점:** 사후 학습 결과와 이용 조건에 따라 이 기반 모델이 제품이나 외부 팀에 유용할지가 결정된다. Microsoft가 밝힌 Foundry를 통한 가중치 라이선스 제공 계획은 향후의 제안이지 현재 이용 가능하다는 뜻이 아니다.

## 학습에서 제외한 자료의 비교가 말해 주는 것

Microsoft는 학습에서 제외한 텍스트로 사전 학습 모델을 평가할 때 BPB를 사용한다. 이는 바이트당 예측 손실을 나타내며 토크나이저에 따라 달라지는 점수를 피한다. 보고서는 코드, STEM, 수학, 질의응답 평가를 명시한다. 코드 데이터는 MAI 자체 코드베이스에서 가져왔고 나머지 데이터는 Microsoft가 공급업체에 의뢰했다고 설명한다. Microsoft는 네 데이터 모두 자사 학습 데이터와의 오염을 제거했다고 밝힌다. 이는 평가자가 설명한 보호 조치이며, 독립적으로 재현된 데이터 감사가 아니다.

Microsoft는 이 데이터들에서 MAI-Base-2가 시험한 모든 모델보다 낮은 BPB를 기록했다고 보고한다. 체크포인트의 구분이 중요하다. DeepSeek-V4-Pro-Base는 Microsoft가 자사 학습 방식의 기준으로 삼는, 공개된 *기반* 모델이다. Microsoft의 설명에 따르면 *사후 학습된* 체크포인트만 Kimi K3, Qwen3.8-2.4T-A95B, MiMo-V2.6-Pro-RL의 경우 이용할 수 있었으며, Microsoft는 사후 학습이 이 평가에 영향을 줄 수 있음을 인정한다. 따라서 기반 모델과 사후 학습 모델을 함께 놓은 BPB 도표는 네 경쟁 모델 모두의 사전 학습 방식을 통제한 비교가 아니다. 보고서는 OpenAI 체크포인트 시험을 제시하지 않으므로 MAI-Base-2가 OpenAI 모델을 능가한다는 주장을 뒷받침하지 않는다.

BPB는 어시스턴트의 유용성과도 다른 질문에 답한다. 선택한 별도 평가 자료의 손실을 측정할 뿐, 지시 이행, 사후 학습 뒤의 추론 능력, 지연 시간, 안전성, 애플리케이션 운영 비용을 측정하지 않는다. Microsoft는 MAI-Base-2가 아직 사후 학습 중이라고 밝힌다. 보고서는 공개 가중치, 추론 엔드포인트, 가격, 고객 성과를 제공하지 않는다.

## 연산 효율 범위는 어디에서 나왔나

4.2\~12.3배라는 주장은 적합시킨 규모 확장 곡선에서 나온다. Microsoft는 자체 규모별 실험 단계와 알려진 MAI-Base-2의 최종 결과를 이용해 네 평가 각각에 대해 BPB와 학습 FLOPs의 관계 곡선을 별도로 적합시켰다. 그런 다음 자사 방식이 DeepSeek-V4-Pro-Base의 BPB와 같아지는 데 필요한 연산량을 추정하고, 이를 기준 모델이 보고한 학습 연산량과 비교했다. Microsoft는 일치 지점이 적합 모델 범위 안에 있으며 범위 밖으로 외삽한 것이 아니라고 설명한다.

이 범위는 해당 평가에서 Microsoft 학습 방식의 *동일 손실 기준 추정치*에 해당한다. MAI-Base-2의 실제 학습 비용 청구액이 얼마나 줄었는지 측정한 값도, 추론 속도 향상도, 다른 연구소가 같은 결과를 얻는다는 증거도 아니다. Microsoft는 자사 MAI-Base-1 대비 6.3\~12.7배의 FLOPs 효율 향상도 추정해 보고한다. 두 경우 모두 수치를 해석하려면 선택한 기준, 평가 데이터, 곡선 적합 방법을 알아야 한다.

Microsoft는 본 학습 실행에 대해 또 다른 두 수치를 제시한다. 평균 모델 FLOPs 활용률(MFU)은 21%, goodput은 89%다. 여기서 goodput은 학습이 실제로 진전된 시간의 비율이다. 보고서는 BF16에서 GB200 한 개당 이론상 2.5 PFLOPS를 기준으로 MFU를 정규화하며 재계산(rematerialization)과 옵티마이저의 FLOPs는 제외한다. MFU는 학습 계산이 이론적 연산 능력을 얼마나 사용했는지에 관한 것이고, goodput은 경과 시간 중 중단과 진전에 관한 것이다. 둘 다 동일 BPB 기준 FLOPs 효율 비율은 아니다. Microsoft는 설계 선택을 평가할 때 학습 FLOPs로 측정한 개선과 실제 경과 시간으로 측정한 개선을 명확히 구분한다.

## Microsoft가 결과를 만들었다고 설명하는 학습 방식

보고서는 그럴듯한 작동 원리와 근거의 한계를 함께 제시한다. 규모별 실험 단계에서는 작은 학습 실행의 고유 샘플 수를 제한해 데이터가 전체 학습과 같은 횟수만큼 반복되도록 한다. Microsoft는 이 방법이 작은 실험에서 대규모 학습 시 과적합을 일으킬 선택을 선호하는 일을 막았다고 설명한다. 학습률, 가중치 감쇠, 드롭아웃의 경험적 규모 조정 규칙도 설명하며, 전체 학습에 앞서 중간 크기 모델에서 점검했다고 밝힌다.

희소 모델에서 Microsoft는 전문가 라우팅, 고정 메모리 용량, 그룹 통신을 바꿔 MoE 계층의 MFU를 24%에서 35%로 높였으며 그 덕분에 모든 계층에 MoE를 쓸 수 있었다고 설명한다. 이는 구성 요소 수준의 내부 측정이며 38일간 전체 실행의 평균 MFU 21%가 아니다. 보고서는 옵티마이저 작업을 통해 Muon이 평균 학습 반복의 2.1%인 165밀리초를 차지하게 됐고, 활성화 값의 기울기를 클리핑해 학습을 안정화했다고 설명한다. 데이터 부분에 따르면 고유 토큰 말뭉치는 MAI-Base-1 대비 약 36% 늘었다. 고유 비전·언어 토큰은 4.5조 개라고 보고한다. 반복 사용을 포함하면 비전·언어 데이터는 총 50조 토큰의 학습 혼합물 중 18%였다.

이 세부 내용은 Microsoft가 규모 확대에 어떻게 접근했는지 보여 주는 유용한 엔지니어링 기록이다. 그러나 독립적으로 재현한 학습 실행들을 통해 각 변화의 인과적 기여를 분리해 내지는 않는다. Microsoft는 결과를 데이터 품질과 모델링 선택 덕분이라고 설명하지만 외부 팀은 보고서만으로 그 효과를 확인할 수 없다. 현재 직접 제시된 근거는 완성된 기반 모델, Microsoft가 선택한 별도 평가 자료의 손실, 적합 곡선을 이용한 학습 방식의 효율 분석이다. 제품 성능은 이후 체크포인트에서 따로 측정해야 한다.

## 출처 및 추가 읽을거리

- [Microsoft AI, 「Microsoft AI의 프런티어 사전 학습」](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/), 2026년 10월 15일. 아키텍처, 학습 실행, 별도 평가 자료의 BPB 비교, 적합 곡선 기반 연산 효율 범위, 활용률, 데이터, 명시된 공개 단계를 다루는 당사자 기술 보고서다. 이 글의 모든 측정과 구현 효과는 Microsoft가 보고한 내용이다. BIG CHANGE는 학습을 재현하거나 MAI-Base-2를 평가하지 않았다.

## Sources

- [Microsoft AI: Microsoft AI의 프런티어 사전 학습](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) — 모든 정량적 주장과 구현 설명의 출처인 당사자 기술 보고서다. 성능과 작동 원리는 Microsoft가 보고한 것으로 독립적으로 재현되지 않았다.