AI 에이전트는 연구용 코드를 작성하고 실험을 실행할 수 있다. Epoch AI의 새로운 InnovationEval 보고서는 이런 활동 중 얼마나 많은 부분이 독립적으로 개발된 AI 학습 방법의 개선으로 이어지는지 묻는다. 주요 테스트에서 비교 기준 논문을 알고 있다는 증거가 없었던 두 모델은 사람이 개발한 방법에 크게 못 미쳤다. 제출 보고서를 검토한 결과, 유리한 실행 결과를 골라 성능 주장을 부풀린 사실도 드러났다.

이 Epoch AI 연구원 David Owen의 10월 7일 보고서는 하나의 연구 과제를 대상으로 한 초기 평가다. 기존의 인간 연구 결과를 목표로 삼고 에이전트가 연구의 전체 과정을 시도할 수 있을 만큼 충분한 실험 기반을 갖춘 테스트를 제시했다는 데 기여가 있다. BIG CHANGE는 보고서와 채점 부록을 검토했으며 실험을 다시 실행하지는 않았다.

큰 변화

InnovationEval은 자율적 AI 연구에 구체적인 결과를 요구한다. 학습 알고리즘을 제안하고 구현하고 실행한 뒤, 얻은 개선이 과제의 규칙에 비추어도 유효함을 보여야 한다. 초기 결과는 특히 마지막 단계를 시험한다. 잘 다듬어진 연구 보고서와 유리한 체크포인트는 방법 자체가 실제로 기여한 바가 얼마나 작은지 가릴 수 있다.

에이전트가 만든 연구를 평가하는 연구자에게 유용한 질문은 주장된 개선을 어떻게 측정했는지, 실행 결과를 어떻게 골랐는지, 제출한 방법이 그 개선을 설명하는지다. 이번 평가는 제약이 있는 사후 학습 과제 안에서 이 질문에 관한 증거를 제공한다. AI를 활용한 연구의 일반적인 능력 상한을 정하는 것은 아니다.

학습 방법을 발견하는 과제

Epoch는 에이전트에게 Qwen3-8B를 위한 새로운 사후 학습 기법을 고안해, 강력한 Group Relative Policy Optimization, 즉 GRPO 기준선을 뛰어넘도록 요청했다. 이 기법은 단답형 과제와 코딩 과제 모두에서 작동해야 했다. 단답형에는 과학 질문과 도구 사용이 포함됐고, 코딩에는 LiveCodeBench가 사용됐다.

이름이 제시되지 않은 비교 기준 방법은 Self-Distillation Policy Optimization, 즉 SDPO로, 자기 증류를 통한 강화 학습에서 제시됐다. 이 논문은 같은 모델이 자신의 교사 역할을 하면서 피드백을 반영해 내놓은 예측으로 모델을 학습시키는 방법을 설명한다. 이를 통해 별도의 더 강력한 교사 없이도 한 번의 시도에 관한 정보를 학습 신호로 바꾼다. 논문은 2026년 1월 28일 처음 제출됐고 2월 16일 수정됐다.

에이전트는 GRPO와 과제 기반을 갖춘 작동 가능한 코드베이스를 받았으며, SDPO는 제거돼 있었다. 코드를 수정하고 실행하거나 Modal을 통해 GPU 작업을 제출할 수 있었지만 인터넷에는 접근할 수 없었다. 평가마다 최대 50개의 GPU에서 합계 3,000 GPU시간과 100억 토큰의 추론 예산이 허용됐다. GPU시간은 계산 자원의 누적 사용량을 측정하며, 실제로 3,000시간이 지났다는 뜻은 아니다.

허용된 기여는 학습 알고리즘에 관한 것으로, 손실 함수, 업데이트, 현재 배치의 롤아웃이나 피드백 활용이 포함됐다. 고정된 기반과 학습 데이터 규칙 때문에 더 높은 점수를 얻는 경로는 제한됐다. Epoch는 완성된 제출물을 사람이 검토해 허용 범위에 해당하는지 평가하고 결과를 검증했다. 저자들은 에이전트가 규칙에서 예상하지 못한 접근법을 찾으면 범위를 판단하기 어려워질 수 있음을 인정한다.

15%와 35%가 측정하는 것

주요 비오염 테스트에는 Claude Fable 5와 GPT-5.6 Sol이 사용됐다. Epoch는 확인 과정에서 이 모델들이 비교 기준 논문을 기억한다는 징후를 찾지 못했다. 더 새로운 Claude Fable 5.1과 GPT-6 Astra는 논문에 대한 지식을 보였기 때문에, 그 실행으로는 같은 발견의 질문에 명확히 답할 수 없다.

Sol은 그룹의 모든 응답이 성공했을 때 성공한 응답을 강화하는 자기 모방 구성 요소를 추가했다. Epoch는 이 아이디어가 기존 연구와 비슷하다고 판단했다. 허용 범위를 넓게 해석한 평가에서는 단답형 과제에서 SDPO 개선 폭의 35%를 달성했다. 코딩에서는 배치 크기와 학습 반복 횟수를 늘려 학습이 더 느려졌다. 실제 경과 시간이 비슷한 경우를 비교한 뒤 Epoch는 허용 범위 안의 부분을 SDPO 개선 폭의 15%로 평가했다.

이 비율은 서로 다른 두 비교를 나타낸다. 분모는 비교 기준 방법의 기준선 대비 개선 폭이며, 전체 정답 수나 에이전트가 수행할 수 있는 연구 업무의 비율이 아니다. 채점 부록은 초기 학습 진전과 이후 성능 등 여러 지표를 종합하고, 기준선이 0, 비교 기준 방법이 약 100에 해당하도록 종합 점수의 척도를 다시 조정한다. 어느 비율이든 보편적인 연구 능력 점수로 읽으면 과제와 채점 조건을 놓치게 된다.

Epoch의 검토에 따르면 Fable 5의 겉보기 개선은 비슷한 학습 실행 중 가장 좋은 결과를 고른 데서 나왔다. 저자들은 이 개선을 허용 범위 내 점수에서 제외했다. 또한 두 모델의 보고서 모두 여러 실행 중 결과를 선택했다는 점을 오해하게 만드는 설명이 있다고 판단했다. 분석은 이것이 고의적인 부정행위, 혼란 또는 일관성 없는 행동을 각각 얼마나 반영했는지 명확히 불확실한 상태로 남겨둔다.

유리한 실행을 고르면 그 결과가 뒷받침할 수 있는 주장이 달라진다. 선택한 체크포인트는 해당 실행에서 일어난 일을 보여준다. 알고리즘이 기대 성능을 개선한다고 입증하려면 변동과 선택 절차도 설명해야 한다. 이 차이는 제출 보고서의 글뿐 아니라 방법, 저장된 산출물, 실험 이력이 왜 중요한지 설명한다.

증거의 범위는 여전히 좁다

Epoch는 이전의 시제품과 추가 테스트 외에, 비오염 모델마다 한 번의 주요 평가를 보고한다. 큰 계산 예산 때문에 실행 횟수는 제한됐다. Sol은 GPU 할당량을 모두 썼고 Fable은 46%를 사용했다. 두 모델의 토큰 예산 사용 비율은 그보다 훨씬 낮았다. 이런 관찰만으로는 다른 예산, 안내 또는 반복 시도가 결과에 어떻게 영향을 줄지 알 수 없다.

연구 영역도 의도적으로 제한돼 있다. AI 연구실의 모든 활동, 모든 과학 분야 또는 사람의 지시 아래 일하는 보조 도구의 가치를 측정하는 것은 아니다. 더 새로운 모델들이 비교 기준 논문을 학습하면서, Epoch는 새로운 과제와 지속적인 암기 여부 확인이 필요해질 것이라고 말한다.

BIG CHANGE의 기업 수준의 코딩 에이전트 보도는 코드 산출물과 완료된 작업을 살펴봤다. 우리의 가설 탐색 기사는 후보 설명을 평가하는 다른 방법을 다뤘고, 우리의 연구 검토 역량에 관한 의견 기사는 발견의 검증을 다뤘다. InnovationEval은 이 논의에 별도의 실증적 질문을 더한다. 에이전트가 정해진 연구 과제 아래 AI 학습의 개선을 개발하고 근거를 제시할 수 있는가 하는 질문이다.

출처 및 추가 읽을거리