Olmo-core 3, Ai2의 MoE 학습 스택 공개…GPU 결과는 제한된 조건에서 측정

Ai2는 10월 1일 혼합 전문가(MoE) 언어 모델을 위한 공개 학습 프레임워크 Olmo-core 3를 출시했다. 시스템 엔지니어에게 가장 유용한 결과는 조 단위 파라미터라는 제목보다 범위가 좁다. Ai2는 특정 클러스터에서 이 스택을 시험할 가치가 있는지 판단할 수 있도록 코드, 참조 구성과 제한된 GPU 측정치를 공개했다.

MoE는 각 토큰을 일부 전문가 네트워크로 보낸다. 토큰당 계산량은 제한되지만 전체 전문가 풀과 최적화기 상태는 여전히 GPU들에 나누어 저장해야 한다. 토큰을 전문가에게 보내는 일에도 시간이 든다. Olmo-core 3는 Ai2가 두 제약을 다루는 방식을 바꾼다. DDP 기반 시스템은 전문가를 GPU에 상주시킨 뒤 데이터를 전달한다. 이전 FSDP 기반 구현은 마이크로배치마다 가중치를 모으고 다시 분할했다. 새 스택은 전문가 및 파이프라인 병렬화, 분산 최적화기 상태, GPU 상주 라우팅, 그룹 전문가 계산을 결합한다. Ai2는 일부 연산에 MXFP8도 지원한다. 이는 다른 클러스터에서도 같은 속도를 보장하는 약속이 아니라 팀이 살펴보고 설정할 수 있는 설계 선택이다.

큰 변화

무엇이 달라졌나:

Olmo-core 3는 Apache 2.0 코드와 참조 스크립트로 Ai2의 대규모 MoE 학습 장비를 공개한다. Ai2 테스트는 특정 8대 B300 비교에서 이전 스택보다 처리량이 높았고, 무작위 라우팅 1.2조 파라미터 구성이 512대 B300에서 실행될 수 있음을 보였다. 이는 학습된 조 단위 모델의 품질이나 독자의 작업 속도를 입증하지 않는다. 실용적 가치는 구성을 재현하고 로컬 병목을 측정하며 어떤 병렬화와 정밀도 설정이 비용 큰 학습 실행을 정당화하는지 판단할 수 있는 검토 가능한 출발점이다.

세 가지 수치, 세 가지 분모 Ai2의 470억 파라미터 MoE 예비 비교는 Nvidia B300 GPU 8대에서 이뤄졌다. 새 스택은 GPU당 초당 52,000토큰을 GPU당 처리했고 이전 FSDP 구현은 19,400토큰이었다. 52,000 ÷ 19,400 = 2.68이므로 약 2.7배다. 이는 이전과 새 스택

의 내부 비교로, Megatron-Core와의 측정도 순수 DDP만의 깨끗한 제거 실험도 아니다. 태그된 사례 중 가장 가까운 DDP+전문가 병렬 대 FSDP/HSDP 비교는 모델 형태와 측정 시간은 같지만 라우터, 희소 커널, 최적화기 등 구현 세부사항도 바꾼다. ‘5% 미만’ 결과는 다른 질문에 답한다. Ai2는 전문가 풀을 8개에서 128개로 늘리면서 토큰마다 4개를 선택했다. 전체 용량은 파라미터 46억에서 470억으로 늘었지만 토큰당 활성 파라미터는 약 32억으로 유지됐다. 처리량은 이 두 전문가 풀 구성 사이에서

5% 미만 감소했다. 이는 새 스택이 이전보다 겨우 5% 느리다거나 모든 설정에서 전문가를 16배 늘려도 비용이 없다는 뜻이 아니다. 공개 자료만으로 독자의 달러 비용을 계산할 정보는 부족하다. 규모 결과에는 세 번째 분모가 있다. Ai2는 총 1.2조 파라미터 중 토큰당 583억 6천만 개가 활성화되는 구성을 512대 B300 GPU에서 실행해 GPU당 최고 858 TFLOP/s를 관측했다고 보고했다. v3.0.0 참조 표의 Ultra-128E 항목은 무작위 라우팅, MXFP8, 계층별 재계산으로 표시돼 있다. 무작위 라우팅은 시스템 경로를 측정하지만 학습된 라우터가 좋은 모델을 만드는지는 시험하지 않는다. 2.38조 파라미터 구성은 짧은 용량 테스트에서 DeepEP v2를 사용했다. Ai2는 이를 지속 학습이 아니라 규모 확인이라고 설명한다. 어느 숫자도 학습 모델의 정확도나 유용한 출력 품질, 전체 학습 경제성의 안정성을 보여주지 않는다. Ai2는 B300 네 대에서 통제된 비교도 보고했다. BF16과 비교해 MXFP8은 전문가에 작업을 균등 배분했을 때 종단 간 학습 처리량을 약 21% 높이고 최대 활성 메모리를 103 GiB에서 95 GiB로 낮췄다. 이 결과는 시험한 정밀도 선택과 작업 부하에 관한 것이다. 두 측정의 기준이 같았던 것처럼 2.7배 수치에 더해서는 안 된다.

엔지니어가 실제로 시험할 수 있는 것

저장소의 10월 1일

릴리스 v3.0.0는 Apache 2.0으로 공개됐다. README는 대상 OS와 하드웨어용 PyTorch를 먼저 설치한 뒤 PyPI에서 ai2-olmo-core를 설치하거나 개발용으로 복제한 저장소를 설치하라고 안내한다. 태그된 src/examples/olmo_ddp/README.md는 보고된 작동 지점을 스크립트에 연결하고 torchrun를 일반 실행 경로로 문서화한다. 프로덕션 스크립트는 노드당 GPU 8대를 가정하고 노드 수를 REF_NUM_NODES에서 지정한다. 이는 이미 분산 GPU 환경이 있는 사용자를 위한 예시이지 Ai2의 B300 결과를 한 명령으로 재현하는 방법은 아니다.

보고서 스크립트에는 중요한 접근 요건이 있다. README는 추가 beaker 패키지, FlashAttention 4, 쓰기 가능한 /workspace, Ai2의 s3://ai2-llm 데이터 혼합에 대한 읽기 접근을 요구한다. DeepEP v2 경로는 DeepEP 복제본도 필요하다. Ai2 메인 README는 공개 Docker 이미지에 종속성은 있지만 Olmo-core 패키지는 없으며, 다른 하드웨어나 드라이버/CUDA 버전에는 수정된 이미지가 필요할 수 있다고 경고한다. v3.0.0은 최소 지원 PyTorch를 2.10.0으로 올렸다. 우리는 문서와 태그된 참조 표를 검토했지만 BIG CHANGE는 패키지를 설치하거나 데이터 혼합에 접근하거나 GPU를 예약하거나 학습 작업을 실행하지 않았다.

로컬 평가에서는 의도한 모델 규모와 사용 가능한 하드웨어에 가장 가까운 태그 참조 행을 고른 뒤, 컴퓨팅 예약 전에 모든 종속성과 접근할 수 없는 데이터 경로를 확인한다. 같은 시퀀스 길이, 배치, 라우팅, 정밀도와 측정 시간으로 GPU당 초당 토큰을 비교하고 최대 메모리와 체크포인트 동작은 따로 살핀다. 공개된 프로덕션 행은 시퀀스 길이 8,192, top-four 라우팅, 공유 전문가 1개를 사용한다. Tiny와 Small에는 학습 라우팅 보조 스크립트가 있지만 제목에 등장하는 더 큰 행은 무작위 라우팅이다. 팀의 학습 라우팅 데이터 분포는 통신 균형과 처리량을 바꿀 수 있으므로 전체 실행 비용을 전망하기 전에 대표성 있는 파일럿이 필요하다.

비용의 경계는 소프트웨어뿐 아니라 물리적 자원에도 있다. 대표적인 8-GPU 비교에는 B300 8대가 필요하고, 최대 처리량 결과에는 512대가 쓰였다. Ai2는 일반 시간당 임대료나 전체 학습 예산을 공개하지 않았다. Apache 2.0은 이 코드의 소프트웨어 라이선스 비용을 없애지만 GPU, 호환 드라이버, 언급된 데이터 접근권이나 운영자 시간을 제공하지 않는다. 참조 README는 보고서의 두 배치 중첩 측정이 병합 전 브랜치에서 수행돼 태그된 스크립트로 재현할 수 없다고도 말한다.

공개 시스템은 실제 구성과 주장들을 대조해 확인할 수 있다는 점에서 유용하다. Ai2의 요약은 겉보기엔 라우팅 균형 점수가 좋아도 실제 작업은 덜 균형적이었던 사례와 통신을 계산과 겹치자 학습이 느려진 사례를 설명한다. 이런 발견은 로컬 측정 계획을 더 중요하게 만든다. 빠른 커널이나 유리한 단일 지표가 종단 간 학습 결과는 아니다. Ai2는 다음 Olmo 세대가 MoE 구조를 쓸 예정이라고 밝혔다. 이번 출시는 미래 모델의 품질 평가에 앞서 학습 스택과 시스템 측정을 제공한다.

출처 및 더 읽을거리

• Ai2의 10월 1일 릴리스 는 아키텍처와 제한된 처리량, 메모리 및 규모 수치를 설명한다. 수치는 Ai2 측정이며 BIG CHANGE는 재현하지 않았다.
• Olmo-core v3.0.0 릴리스 태그 버전, 10월 1일 출시일, 최소 PyTorch와 코드 변경을 확인한다. 저장소 README 설치, 선택 종속성, Docker 이미지 관련 주의를 설명한다.
• 태그된 MoE 참조 스크립트 안내 보고 구성과 GPU 수, 라우팅, 정밀도를 연결하고 이전/새 스택 비교의 한계를 설명한다. 기술 보고서 시스템 실험의 주요 자료다. 연구 환경에서 PDF를 가져오지 못해, 여기의 세부 주장은 접근 가능한 Ai2 릴리스와 태그된 스크립트에 의존한다.