AI-translated from English; not yet reviewed by a fluent editor.

# OmicsBench, 서로 의존하는 생물정보학 단계에서 AI 에이전트를 평가하다

> 저자들이 직접 보고한 벤치마크가 AI 에이전트의 의존적인 생물정보학 과제 수행을 추적한다. 뒤 단계로 갈수록 점수가 떨어지며, 피드백은 제한적인 조건에서 결과를 개선한다.

By BIG CHANGE Editorial

Published: 2026-10-17T16:20:34.838Z
Updated: 2026-10-17T16:20:34.838Z
Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows

![Conceptual charcoal illustration of an unbranded workstation with abstract dots on its monitor and an external drive beside it.](https://bigchange.ai/api/media/file/omicsbench-bioinformatics-workstation-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance.

OmicsBench는 AI 에이전트에게 연속적이며 서로 의존하는 요청에 따라 생물정보학 분석을 진행하도록 요구한다. [10월 15일 프리프린트](https://arxiv.org/html/2610.21074v1)에서 Gideon Shaked와 Siddharth Nagisetty는 평가 대상 에이전트의 정확도가 세션이 진행될수록, 또 앞선 답에 의존하는 단계에서 낮아졌다고 보고했다. 이 결과는 계산생물학자에게 에이전트가 고립된 과제 하나를 풀 수 있느냐보다 구체적인 질문을 던진다. 연구가 진행되는 내내 데이터와 지시를 충실하게 따르는 분석을 유지할 수 있을까?

## 핵심 변화

- **달라진 점:** OmicsBench는 하나의 연속된 에이전트 세션에서 서로 의존하는 분석 단계의 순서에 따라 점수를 매긴다. 최종 답 하나가 가릴 수 있는 오류를 드러내지만, 여기서 제시된 근거는 벤치마크 저자들의 자체 프리프린트에서 나왔다.
- **중요한 이유:** 여러 단계의 분석에 쓸 에이전트를 평가하는 연구팀은 지정된 선택 기준을 따르는지를 비롯해 결과가 어디서 어긋나는지 살펴볼 수 있다. 논문은 의존적인 단계의 점수가 낮다고 보고하므로, 프롬프트 하나에 대한 좋은 답은 전체 작업 흐름을 뒷받침하는 약한 근거에 그친다.
- **지켜볼 점:** 공개 실행 프로그램과 공개된 과제 세 개로 연구자들이 방법을 살펴볼 수 있다. 나머지 94개 과제는 비공개다. 따로 남겨 둔 평가 과제에 대한 독립 평가와 답 일치 여부를 넘어선 분석 품질 검증이 있어야 실제 활용에 관한 더 강한 근거를 얻을 수 있다.

## 벤치마크가 연구를 따라가는 방식

OmicsBench는 출판된 생물학 연구와 그 데이터셋을 바탕으로 만든 97개 과제를 662개 하위 과제로 나눈다. 각 과제는 단계의 그래프이며, 간선은 뒤의 답이 앞의 답에 의존한다는 뜻이다. 과제별 하위 과제 수의 중앙값은 일곱 개이고, 가장 긴 의존 사슬 길이의 중앙값은 세 단계다. 하위 과제 하나는 연속 세션의 사용자 턴 하나가 된다. 에이전트는 데이터와 앞서 만든 파일을 쓸 수 있지만, 매 턴 지정된 답 파일을 작성해야 한다. 저자들에 따르면 인간 전문가들이 연구를 선별했고, 에이전트가 초안을 만든 뒤 그 결과로 나온 과제를 검토했다. [논문의 방법론](https://arxiv.org/html/2610.21074v1)은 이런 구성 방식과 평가 절차를 설명한다.

이 설계는 질문마다 응답 한 번으로 끝나는 짧은 평가와 다르다. 에이전트에게 연구 전체의 목표를 한꺼번에 주고 최종 산출물만 평가하는 연구 규모의 프롬프트와도 다르다. 여기서는 단계의 순서를 통해 앞선 결과가 뒤 분석에 제대로 이어지는지 관찰할 수 있다. 한 [공개 예제](https://arxiv.org/html/2610.21074v1)는 에이전트에게 신장 세포 상태 시그니처를 찾아내고 그 결과를 후속 조절 인자 및 생물학적 프로그램 분석에 사용하도록 요구한다. 이런 연결은 의존 관계를 구체적으로 보여주지만, 전체 작업 흐름이 타당한 새로운 과학적 발견을 만들어 낸다는 근거는 아니다.

점수는 평균값이다. 하나 이상의 결정론적 채점기가 각 답 파일의 필드를 정답표와 비교하며, 그 평균이 하위 과제 점수가 되고 과제 점수는 하위 과제 점수의 평균이다. 저자들은 유전자 집합, 농축 분석 결과, 수치 등의 출력에 맞춰 58종류의 채점기를 만들었다. 일부는 참조 데이터베이스를 통해 대체 생물학적 식별자를 해석하므로, 유효한 유전자 동의어가 단순 문자열 비교에서 반드시 오답 처리되는 것은 아니다. 따라서 점수는 벤치마크가 정한 답과 허용 오차에 얼마나 부합하는지 측정하며, 분석이나 과학적 해석에 대한 전문가의 종합 판단은 아니다.

## 결과는 피드백에 따라 달라진다

저자들은 세 가지 에이전트 실행 프레임워크에서 12개 모델을 시험했다. 각 과제를 네트워크에서 격리된 컨테이너 안에서 모드별로 세 번 실행했고, 보고된 평균값은 먼저 과제 수준에서 그 실행 결과를 평균한 것이다. *단일 실행* 모드에서는 다음 하위 과제로 넘어가기 전에 답에 대한 피드백을 받지 않는다. 모델과 실행 프레임워크 조합별 과제 평균 점수는 0에서 1까지의 척도에서 0.43\~0.57이었다. *문턱값 적용* 모드에서는 0.7 미만의 점수가 실패 알림과 최대 두 번의 추가 시도를 유발한다. 평균 점수는 0.54\~0.67이었다. 보고된 최고 조합인 OpenCode의 Opus 5는 피드백 없이 0.57, 피드백이 있으면 0.67을 기록했다. 이는 저자들이 보고한 벤치마크 결과이며, BIG CHANGE의 실행 결과나 독립 재현이 아니다.

재시도에 따른 개선은 신중히 해석해야 한다. 저자들은 일부 폐쇄형 선택 하위 과제에서 에이전트가 선택지를 추측하며 시도하는 모습을 관찰해, 턴과 재시도 분석에서 그런 하위 과제 177개를 제외했다. 다른 방식으로 피드백 체계를 공략할 가능성도 있으며, 문턱값 모드의 개선 중 이런 행동이 차지하는 비중은 정량화되지 않았다고 밝혔다. 이 모드의 점수는 해당 신호와 시도 횟수 제한이라는 특정 조건에서의 성능을 설명한다. 에이전트가 기저 분석을 고쳤다는 증거로 받아들여서는 안 된다.

조합 전반에서, 논문의 단일 실행 분석상 두 번째 턴 하위 과제 점수는 첫 번째보다 0.06\~0.12 낮았다. 앞선 답에 의존하는 하위 과제는 독립적인 하위 과제보다 점수가 낮았다. 문턱값을 적용해 재시도했을 때, 그 재시도 분석에 포함된 하위 과제 중 세 번 안에 0.7 기준에 도달한 비율은 22%\~34%뿐이었다. 첫 시도에서는 15%\~24%였다. 이런 양상은 모델 순위표보다 벤치마크의 핵심 질문을 더 직접적으로 다룬다. 이 시험들에서는 작업 사슬을 온전히 유지하기가 여전히 어렵다.

## 실패 분석이 보여주는 것

저자들은 하위 과제 150개의 표본에서 실패한 첫 시도를 살펴봤다. 자동 분석에서는 에이전트가 결과를 너무 많이 내놓거나, 요청된 선택 규칙을 자기 규칙으로 바꾸거나, 다른 절차를 쓰거나, 준비된 데이터 대신 사전 지식으로 답한 사례가 나타났다. 생물학자가 받은 목록은 잘못된 통계 필터로 골랐더라도 그럴듯해 보일 수 있다. 논문의 사례는 이런 실패를 단일 종합 점수보다 더 유용하게 살펴볼 수 있게 한다.

이런 실패 유형 표시는 탐색적 결과다. 언어모델 판정기가 설명과 범주를 생성했다. 저자들은 반복 주석의 일치도를 확인했지만, 인간 주석자와 비교해 유형 표시를 검증하지는 않았다. 제한적인 프레임워크 간 실행만으로는 점수 차이 중 모델에서 오는 부분과 주변 에이전트 소프트웨어에서 오는 부분을 분리할 수도 없다. 과제 모음은 여러 생물학 분야를 아우르지만, 저자들은 각 분야의 과제 수가 분야 내 모델 비교를 신뢰성 있게 하기에는 너무 적다고 설명한다.

연구자들은 [저자들이 링크한 저장소](https://huggingface.co/datasets/gideonshaked/OmicsBench)를 살펴볼 수 있다. 여기에는 실행 프로그램과 정답표가 있는 공개 과제 파일 세 개가 담겨 있다. 논문에 따르면 나머지 94개는 비공개 시험 세트로 남겨 두었다. 이 공개 부분집합은 OmicsBench의 구성 방식을 살펴보는 데는 도움이 되지만, 그것만으로 논문의 97개 과제 전체 순위를 재현할 수는 없다. 프리프린트는 지정된 분석 답을 기준으로 에이전트를 측정한다. 에이전트가 신뢰할 만한 과학적 발견을 하거나, 연구실에서 감독 없이 작동하거나, 계산생물학자를 대신할 수 있음을 입증하지 않는다.

## 출처 및 더 읽을거리

- [Shaked·Nagisetty, 「OmicsBench」, arXiv v1, 2026년 10월 15일](https://arxiv.org/html/2610.21074v1). 방법론, 결과, 한계와 부록은 이 기사에 나온 수치와 채점 설명을 뒷받침한다. 저자들이 직접 결과를 보고한 프리프린트다.
- [OmicsBench 공개 저장소](https://huggingface.co/datasets/gideonshaked/OmicsBench). 저자들이 링크한 공개 자료에는 실행 프로그램과 공개 과제 파일 세 개가 있다. 논문 부록 E는 따로 남겨 둔 시험 세트와 라이선스를 설명한다.

## Sources

- [Shaked·Nagisetty: OmicsBench, arXiv v1](https://arxiv.org/html/2610.21074v1) — 저자들이 직접 보고한 프리프린트다. 방법론, 결과, 한계와 부록 E가 97개 과제 벤치마크와 공개된 세 과제를 설명한다. BIG CHANGE는 이를 실행하지 않았다.
- [OmicsBench 공개 저장소](https://huggingface.co/datasets/gideonshaked/OmicsBench) — 저자들이 링크한 실행 프로그램과 공개 질문 파일 세 개를 저장소 트리 목록에서 직접 확인했다. 논문에 따르면 나머지 94개 과제는 비공개로 유지된다.