AI-translated from English; not yet reviewed by a fluent editor.

# AI 자기개선 설문, 자동화와 더 나은 후속 모델 사이의 격차를 분석하다

> 새 설문은 AI가 자기 개선을 통제하는 다섯 단계를 제시한다. 기존 시스템에서 제한적인 개선은 관찰됐지만, 세대를 거듭하며 안정적으로 더 나아지는 개선은 아직 입증되지 않았다.

By BIG CHANGE Editorial

Published: 2026-09-24T22:02:18.653Z
Updated: 2026-09-24T22:02:18.653Z
Canonical: https://bigchange.ai/blog/ai-self-improvement-successor-test

![A charcoal-and-ink illustration of an intact orange chain link held between the jaws of a steel materials-testing machine.](https://bigchange.ai/api/media/file/self-improvement-link-test-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE.

지난 [9월 10일 arXiv에 게시되고 9월 22일 개정된 설문](https://arxiv.org/html/2609.11873v3)은 AI 시스템을 개선하는 과정에 AI가 어느 정도 관여하는지 다섯 단계로 정리한다. 논문 제목인 *인간이 만든 마지막 AI*는 지향점을 가리키는 말이지, 저자들이 보고한 사건이 아니다. 이들이 제시한 근거는 시스템이 자체 개발 과정의 일부를 수정한 제한적인 사례까지다. 세대를 거듭하며 더 나은 후속 모델을 안정적으로 만들어 내는 시스템이 입증된 것은 아니다.

자동화된 AI 연구에 관한 주장을 해석할 때 이 구분은 중요하다. 에이전트가 실험을 수행하고, 교훈을 저장하고, 벤치마크 점수를 높이더라도 사람은 여전히 목표를 정하고 시험을 통제하며 어떤 변경을 유지할지 결정할 수 있다. 더 강한 주장을 뒷받침하려면 시스템이 다음 버전을 만드는 *방법* 자체를 개선했고, 수정된 방법이 공정한 비교에서 더 잘 작동했다는 근거가 필요하다.

## 큰 변화

- **달라진 점:** 연구자들은 이제 AI 개선 순환 과정에서 시스템이 통제하는 범위를 더 정확히 설명할 수 있다. 지정된 업데이트를 수행하는 일부터 이후 업데이트에 쓰일 절차를 수정하는 일까지를 구분한다. 새 설문은 기존 연구를 체계화한 것이며, 자율적으로 후속 모델을 완성하는 도구가 등장했다고 발표한 것은 아니다.
- **중요한 이유:** AI 연구소는 새로운 에이전트가 다음 에이전트를 더 잘 만드는지 입증하지 않고도 실험을 더 많이 자동화할 수 있다. 이 차이는 연구자들이 성능 주장을 해석하는 방식과 사람의 검토 및 독립 시험을 유지할 지점에 영향을 준다.
- **지켜볼 점:** 결정적인 근거는 이전된 뒤 수정된 개선 방법을 사용해 후속 시스템을 연속적으로 만들고, 비슷한 자원을 투입해 기존 방법과 보호된 평가 과제에서 비교하는 것이다. 설문이 검토한 연구에서는 이런 기준에 따른 통계적으로 신뢰할 만한 누적 개선이 아직 입증되지 않았다.

## 개선 순환의 통제 수준을 설명하는 다섯 단계

논문은 먼저 단일 과제 수정(B0)과 지속적인 개선을 구분한다. 모델이 답변을 검사 기준에 맞을 때까지 고치면 그 답변은 개선된 것이다. 그 변경이 이후의 독립된 과제에 이어지지 않는 한 시스템 자체가 지속적인 업데이트를 얻은 것은 아니다.

제 **1단계**에서는 사람이 목표와 성공 시험을 선택하고, AI는 사람이 정한 데이터 품질 규칙을 적용하는 등 업데이트를 수행한다. **2단계**에서는 AI가 지정된 목표를 위한 전략도 선택한다. 예를 들어 코딩 에이전트의 실패 원인을 진단하고 도구 변경을 제안할 수 있다. 목표와 수용 시험은 여전히 시스템 외부에서 정한다.

제 **3단계**에서는 시스템이 다음에 필요한 경험을 선택하는 데 도움을 준다. 예컨대 스스로 발견한 약점을 겨냥한 연습 과제를 고를 수 있다. **4단계**에서는 계속 사용하며 얻는 피드백을 더한다. 새로운 조건을 만난 뒤 승인된 변경 사항을 메모리, 규칙 또는 구성요소에 유지한다. 논문은 두 단계 모두 피드백의 품질과 어떤 변경을 남길지 정하는 규칙에 달려 있다고 본다.

**5단계**는 설문의 핵심 개념에 해당한다. AI가 *이후*의 개선을 이끄는 절차, 예를 들어 검색 정책, 평가기 또는 후속 시스템을 제안하는 에이전트를 수정한다. 수정된 절차는 유지되어 다음 차례에 사용되어야 한다. 이 단계에서도 사람은 전체 목표, 보호된 수용 시험과 자원에 대한 통제권을 계속 가질 수 있다고 논문은 설명한다. 단계는 위임된 책임의 정도를 나타낼 뿐, 진전이나 제한 없는 자율성을 보장하지 않는다.

## 기존 시스템이 보여 주는 경계

해당 [Darwin Gödel Machine 연구](https://arxiv.org/html/2505.22954)는 변형된 코딩 에이전트가 에이전트 코드를 수정하고 성공적인 변형을 보관소에 추가하면서, 연구의 SWE-bench 하위 집합 점수를 20%에서 50%로 높였다고 보고한다. 저자들은 보관소 유지 방식과 어떤 변형을 부모로 선택할지 정하는 규칙은 고정되어 있었다고도 밝힌다. 설문은 이를 통해 후속 모델의 성능이 향상됐다는 사실만으로 후속 모델을 선택하는 과정 자체가 개선됐음을 입증할 수 없는 이유를 보여 준다.

[A-Evolve-Training](https://arxiv.org/html/2606.20657)은 범위가 더 좁은 5단계 사례다. 이 연구는 300억 매개변수 모델을 사후 학습하는 네 차례의 반복을 수행했다. 내부 개발 점수가 외부 리더보드와의 연동성을 잃자, 메타 에이전트가 결과를 종합하고 이후 작업자를 이끌 연구 정책을 변경했다. 연구가 보고한 최종 점수는 0.86으로, 당시 최고 인간 제출 점수 0.87과 비교됐다. 이전된 정책은 이후 실험의 선택 방식을 바꿨다. 작업자의 기반 시스템과 대회 목표는 고정되어 있었다. 이는 모델 개발의 모든 부분을 자율적으로 통제하는 사례가 아니라, 범위가 정해진 프로젝트 안에서 수정된 연구 절차가 작동한 사례다.

해당 [HyperAgents 연구](https://arxiv.org/html/2603.19461)는 개선된 에이전트 구축 절차가 새로운 분야로 이전되는지 시험한다. 수학 채점 과제에서 200회 반복한 뒤, 이전된 개선 사항을 적용해 시작한 실행의 시험 점수는 0.640이었다. 초기 에이전트로 시작한 실행은 0.610이었다. 저자들은 이 차이가 통계적으로 유의하지 않았다고 보고한다. 이 결과는 이전 연구의 필요성을 뒷받침하지만, 반복 실행을 거친 신뢰할 만한 누적 개선을 입증하지는 않는다.

## 활동량이 많다고 개선이 입증되는 것은 아니다

설문은 수정된 절차를 재사용하는 것을 *구조적 재귀*라고 부르고, 이를 *효과적 재귀*와 구분한다. 효과적 재귀란 비슷한 자원과 독립적인 평가 아래 수정된 절차가 더 강력한 후속 시스템을 만들어 내는 것이다. 극적인 논문 제목을 읽은 독자가 이미 일어났다고 생각하기 쉬운 것은 바로 두 번째 결과다.

활동을 진전으로 착각할 수 있는 경로는 여러 가지다. 시스템이 더 많은 컴퓨팅 시간을 들여 탐색하거나, 반복해서 조회한 벤치마크에 과적합하거나, 한 과제에는 도움이 되지만 다른 과제에는 해가 되는 변경을 유지할 수 있다. 평가기 자체도 변경한다면 점수 상승은 새로운 잣대를 반영한 것일 수 있다. 따라서 논문은 무엇을 수정했는지 기록하고, 수정된 구성요소가 실제로 다음 차례를 이끌었는지 보여 주며, 자원을 맞춘 조건에서 기존 구성요소와 비교하고, 독립 과제에서 변경 사항의 유지와 이전을 시험할 것을 요구한다.

저자들은 현재 결과가 개선 시스템, 평가기와 연구 정책에 대한 제한적인 변경을 뒷받침할 뿐이며, “비슷한 자원을 투입했을 때 세대에 걸친 통계적으로 신뢰할 만한 누적 개선은 아직 열린 문제”라고 명시한다. “인간이 만든 마지막 AI”라는 표현은 그들의 틀이 지향하는 목적지를 가리킨다. 설문은 그 목적지를 향한 진전을 평가하는 기준을 제시한다.

## 출처 및 추가 읽을거리

- [Duan 외, *인간이 만든 마지막 AI*, 3판](https://arxiv.org/html/2609.11873v3) (2026년 9월 22일). 이 주요 설문은 B0와 1\~5단계를 정의하고 구조적 재귀와 효과적 재귀를 구분하며 근거의 한계를 밝힌다. 분류 체계와 해석은 저자들이 제시한 틀이며, 새로운 시스템 시연은 아니다.
- [Zhang 외, *Darwin Gödel Machine*](https://arxiv.org/html/2505.22954) (3판, 2026년 3월 12일). 원 연구는 코딩 벤치마크 점수 향상을 보고하고 보관소 유지와 부모 선택 방식은 고정되어 있다고 명시한다.
- [Shi 외, *A-Evolve-Training*](https://arxiv.org/html/2606.20657) (3판, 2026년 9월 8일). 원 프리프린트는 사후 학습 네 차례, 정책 수정, 명시된 리더보드 점수를 설명한다. 목표와 기반 작업자 시스템은 외부에서 정해져 있다.
- [Zhang 외, *HyperAgents*](https://arxiv.org/html/2603.19461) (2026). 원 연구는 에이전트 구축 절차의 이전을 시험하고, 여기서 인용한 200회 반복 비교는 통계적으로 유의하지 않다고 보고한다.
- [Manuel Muñoz Plá의 상세 분석](https://manpla.net/en/posts/the-last-ai-read-from-the-inside/) (2026년 9월 18일)은 설문의 상위 단계 사례와 근거의 한계를 살펴본다. 해당 글은 논문의 이전 개정판을 분석했으며, 위 기사는 사실 주장에 3판과 인용된 원 연구를 사용한다.
- [South China Morning Post 보도](https://www.scmp.com/tech/tech-trends/article/3367486/chinese-researchers-chart-five-stage-path-toward-last-ai-built-humans) (2026년 9월 14일)는 설문의 5단계 로드맵과 AI 연구 맥락을 다룬다. 이는 2차 보도이지 연구 결과의 근거가 아니다.
- [The Rundown AI 해설](https://www.therundown.ai/news/chinese-researchers-ai-recursive-self-improvement-roadmap) (2026년 9월 16일)은 단계들을 요약하고 자동화된 AI 연구 논쟁에서 논문이 놓인 위치를 설명한다. 이는 2차 보도이며, 위 사실 주장은 논문과 원 연구에 근거한다.

## Sources

- [Duan 외: 인간이 만든 마지막 AI, 3판](https://arxiv.org/html/2609.11873v3) — 자율성 단계와 연구 사례를 다룬 주요 설문이다. 구조적 재귀와 효과적 재귀를 정의하고, 비슷한 자원을 투입했을 때 세대에 걸친 통계적으로 신뢰할 만한 누적 개선은 아직 입증되지 않았다고 밝힌다. 새로 구축된 자율 AI를 시연하지는 않는다.
- [arXiv 제출 이력: 2609.11873](https://arxiv.org/abs/2609.11873) — 2026년 9월 10일의 1판과 9월 22일의 3판을 기록하고 Yi Duan과 공동 저자 34명의 이름을 확인할 수 있다.
- [Zhang 외: Darwin Gödel Machine](https://arxiv.org/html/2505.22954) — 원 연구는 SWE-bench 하위 집합에서 20%에서 50%로 향상된 점수를 보고하며, 시스템이 보관소 유지와 부모 선택을 변경할 수 없다고 밝힌다.
- [Shi 외: A-Evolve-Training](https://arxiv.org/html/2606.20657) — 원 프리프린트는 자율 사후 학습 네 차례, 유지된 연구 정책 수정, 명시된 비교 시점의 리더보드 점수 0.86 대 0.87을 설명한다. 기반 작업자 시스템과 목표는 고정되어 있다.
- [Zhang 외: HyperAgents](https://arxiv.org/html/2603.19461) — 원 연구는 수학 채점 시험 집합에서 200회 반복한 이전 비교 점수 0.640 대 0.610을 보고한다. 차이는 통계적으로 유의하지 않다.
- [Manuel Muñoz Plá: 인간이 만든 마지막 AI, 심층 분석](https://manpla.net/en/posts/the-last-ai-read-from-the-inside/) — 이전 개정판 설문에 대한 독립적인 상세 분석이다. 맥락을 위해 수록했으며, 이 기사의 연구 주장은 원 논문들에 근거한다.
- [South China Morning Post: 중국 연구자들이 제시한 5단계 경로](https://www.scmp.com/tech/tech-trends/article/3367486/chinese-researchers-chart-five-stage-path-toward-last-ai-built-humans) — 이 설문과 연구 맥락을 다룬 2차 보도다. 실험 결과의 주요 근거가 아니라 추가 읽을거리다.
- [The Rundown AI: 중국 연구자들이 후속 AI를 만들 AI를 제안하다](https://www.therundown.ai/news/chinese-researchers-ai-recursive-self-improvement-roadmap) — 논문의 다섯 단계를 설명하고 더 넓은 논쟁을 다룬 2차 해설이다. 이 기사의 사실에 관한 연구 주장은 원 논문들에 근거한다.