Sakana AI 연구진은 과학 논문을 읽은 뒤 리뷰를 작성하는 시스템을 시험했다. 10월 8일 프리프린트에서 Multi-Layered Review 시스템은 생성된 리뷰 4개를 함께 고려했을 때 논문의 주요 주장에 의도적으로 넣은 모순 73.43%를 찾아냈다. 이 수치는 합성 벤치마크에서 가장 핵심적인 범주를 설명한다. 실제 문제가 보고돼 철회된 논문을 따로 모은 세트에서는 엄격한 기준으로 리뷰가 철회 사유와 정확히 일치한 비율이 16.11%, 느슨한 기준으로 비슷한 문제를 제기한 비율이 26.07%였다.

큰 변화

  • 무엇이 달라졌나: Sakana 팀은 생성된 리뷰가 인간 리뷰와 얼마나 비슷한지만 보지 않고, 식별 가능한 오류를 의도적으로 삽입해 AI 리뷰와 대조했다. 주목받은 73.43%는 가장 핵심적인 삽입 모순과 논문당 네 번의 시도에 해당한다.
  • 왜 중요한가: 리뷰어와 편집자에게는 그럴듯한 문장만이 아니라 실질적 오류를 가리키는 도구가 필요하다. 철회 논문에서 일치율이 훨씬 낮았다는 점은 오류의 종류와 탐지 측정 방식에 따라 성능이 달라짐을 보여준다.
  • 앞으로 볼 점: 다음으로 유용한 시험은 여러 분야와 더 긴 논문에서 자연스럽게 생긴 문제를 시스템이 찾고, 리뷰어가 확인할 증거를 제시할 수 있는지 보는 것이다. 이 프리프린트는 제출 텍스트의 숨은 지시문이 리뷰 점수에 영향을 줄 수도 있다고 밝혔다.

모순 시험은 어떻게 진행됐나

연구진은 ACL, AISTATS, CVPR, ICML 2025와 NeurIPS 2024의 AI 학회 논문 257편으로 시작했다. Gemini 2.5 Pro로 각 논문의 주장과 이를 뒷받침하는 세부 내용을 연결했다. GPT-4.1은 그 지도에서 주요 주장과의 거리가 다른 모순 문단을 만들었다. 원래 문단을 바꾸고 논문을 다시 편집해 각기 모순 하나를 심은 변형본 1,164편을 얻었다. 논문 설계에서 거리 0은 주요 주장 자체의 모순이고, 거리가 커질수록 주변적인 세부 사항에 해당한다.

Claude Sonnet 4를 기반으로 한 Sakana 리뷰어는 먼저 논문 개요를 잡고, 증거·가정·약점을 더 자세히 읽은 뒤 리뷰를 작성한다. 전체 프레임워크에는 부록 요약과 문헌 검색을 더할 수 있다. 모순 시험에서는 연구진이 선택 기능 두 개를 모두 빼고 Review Agent만 사용했다. o3 모델은 각 리뷰를 원본 및 변형 문단과 비교해 목표한 모순을 찾았는지 판단했다. 연구진은 이 판단을 열 번 반복해 평균을 보고했다.

73.43%는 프리프린트 표 14에서 나온다. 거리 0 모순은 생성된 리뷰 네 개 중 하나라도 찾아내면 탐지된 것으로 계산됐다. 벤치마크 구성에서는 원 논문 257편마다 거리 0 변형본 하나를 만들었다. MLR 리뷰 하나의 해당 범주 점수는 60.79%였다. 삽입된 모순 1,164개 전체에서는 리뷰 네 개가 40.95%, 하나가 28.32%를 기록했다. 오류가 주요 주장과 멀어질수록 비율은 낮아졌지만 가장 먼 그룹에는 사례가 적었다.

비교에는 설정을 함께 고려해야 한다. 거리 0 오류에서 GPT-4.1을 쓴 LLM-Review 점수는 14.56%였다. 기준 모델을 Claude Sonnet 4로 바꾸고 텍스트 자르기를 없애자 35.40%로 올랐다. 단일 MLR 리뷰의 60.79%는 더 높았다. 이 순서는 모델 선택과 리뷰 절차 모두 중요했음을 시사한다. 리뷰 네 개의 73.43%는 오류를 지적할 기회가 여러 번이라는 이점도 얻는다. 기준 시스템은 서로 다른 모델과 리뷰 형식을 사용했으므로 헤드라인 수치만으로 3단계 절차의 효과를 따로 측정할 수는 없다.

실제 논문 검사는 더 어려웠다

저자들은 철회된 arXiv 논문과 철회 사유를 짝지은 데이터셋인 WithdrarXiv-Check도 평가했다. 원래 245편 테스트 세트 가운데 30쪽 이하인 논문 211편을 사용했다. o3 평가자는 생성된 리뷰의 우려가 철회 사유와 일치하는지 찾았다. ‘정확한’ 일치 기준에서 MLR은 16.11%, 비슷한 우려도 허용하면 26.07%였다. 비슷한 우려를 허용한 조건에서 다음으로 높은 기준 시스템 AgentReview는 18.48%였다. 이는 문서화된 철회 사유와의 일치율이지 각 논문의 모든 잠재적 결함을 측정한 수치가 아니다.

두 데이터셋의 비교에는 한계가 있다. 저자들은 철회 논문 상당수가 수학과 물리 분야인 반면 시스템은 주로 AI 학회 제출물을 대상으로 설계됐다고 말한다. 부록은 쪽수가 늘수록 탐지율이 떨어졌다고 보고한다. 합성 벤치마크에도 고유한 이점이 있다. 삽입 모순 50개를 수작업으로 감사했을 때 인간 평가자는 34%가 주변 문장의 자연스러운 흐름을 끊는다고 판단했다. 연구나 글쓰기 과정에서 생긴 오류보다 일부 인공 편집이 더 쉽게 눈에 띌 수 있다.

프리프린트는 의도적 조작도 시험했다. 연구진은 거절된 논문 50편의 결론 뒤에 아주 작은 흰 글자로 텍스트를 숨겼다. 삽입된 지시문은 시험한 모든 리뷰 시스템에 영향을 줬고, MLR은 여덟 사례에서 이를 명시적으로 알아챘다고 논문은 보고한다. 자체 리뷰 점수의 평균 변화는 작았지만 개별 변화는 크게 달랐다. 제출 원고의 문장을 신뢰할 수 있는 지시로 취급하지 말아야 한다는 별도의 경고다.

이 연구는 AI 리뷰어가 알려진 오류를 찾아내는지 묻는 더 구체적인 방법을 제시한다. 자동화된 동료 심사가 신뢰할 만하다는 점을 입증하지는 않는다. 결과는 시스템 제작자가 프리프린트에 보고한 것이며, BIG CHANGE는 코드를 실행하거나 평가를 독립적으로 재현하지 않았다.

출처 및 더 읽을거리