한 미시간대학교 프리프린트 는 하드웨어 데이터시트를 검색 가능한 지식 그래프로 바꾸면서 추출된 각 사양을 출처에 연결하는 방법을 설명한다. 데이터시트 20개에서 저자들은 그래프 속 속성의 98.8%가 인용된 출처 문단으로 뒷받침됐고, 한 번에 처리하는 방식은 76.1%였다고 보고했다. 이 결과는 저자 평가에서의 추출 품질에 관한 것이다. 어느 그래프에서 선택한 부품이 완성된 설계에서 작동한다는 뜻은 아니다.

큰 변화

  • 달라진 점: 연구진은 모델에 한 번의 응답으로 전체 그래프를 만들게 하는 대신, 데이터시트 처리를 제한된 추출, 그래프 배치, 반복 정리 단계로 나눴다.
  • 왜 중요한가: 부품의 제약을 찾는 엔지니어에게는 값, 작동 조건, 데이터시트로 돌아가는 경로가 필요하다. 이 비교에서 단계형 방식은 출처로 뒷받침되는 속성을 훨씬 더 많이 보존했다.
  • 지켜볼 점: 보고된 점수는 문서 20개에서 나왔고 한 가지 단일 단계 기준 방식과 비교됐다. 독립적 재현과 실제 부품 선정 또는 검증 과정에서의 시험은 아직 남아 있다.

파이프라인은 각 사양을 출처와 연결한다

데이터시트는 본문과 표 곳곳에 사양을 흩어 놓는다. 전압 범위는 장치 변형이나 작동 모드에 따라 달라질 수 있으므로 숫자만 따로 있으면 엔지니어의 질문에 완전한 답이 되지 않는다. 저자들의 방식은 먼저 PDF 데이터시트를 Markdown으로 바꾸고 표 구조를 보존한 뒤 텍스트를 구간으로 나눈다. 표는 온전하게 유지해 제목과 단위가 설명 대상 셀과 함께 남도록 한다. 도표는 입력에서 제외되는데, 사양이 도식으로 표시된 문서에는 중요한 한계다.

모델은 각 구간에서 찾은 속성마다 이름, 설명, 값 또는 범위, 단위를 추출한다. 출처에 조건, 구성, 장치 변형이 있으면 설명에 담는다. 각 속성에는 출처 구간이 연결된다. 두 번째 단계에서는 그래프의 기능 블록 아래에 속성을 배치한다. 예를 들어 UART 전송 속도 사양은 UART 블록에 속하고, 여러 주변 장치가 공유하는 사양은 계층에서 더 높은 곳에 놓인다. 시작 카테고리 템플릿에 블록이 없으면 모델이 새 블록을 제안할 수 있다.

시스템은 모델에 배치와 편집을 위한 명시적 지침을 요청한다. 로컬 소프트웨어가 그 지침을 확인하고 저장된 속성에 적용하므로 모델이 그래프 전체와 값을 다시 생성하지 않는다. 후속 단계는 중복 사양을 합치고 이름이 같은 속성을 구별하며 더 적합한 블록이 생기기 전에 배치한 속성을 다시 검토한다. 이런 분리는 잘못된 값이나 배치를 출처 구간과 처리 단계까지 추적하기 쉽게 한다. 그렇다고 모델의 의미 판단이 항상 정확해지는 것은 아니다.

검색할 때 시스템은 관련 기능 블록을 식별하고, 그 속성과 상위 블록에서 물려받은 적용 가능한 속성을 살펴볼 수 있다. 이는 그래프 검색 범위를 좁히기 위한 문서화된 설계다. 논문은 엔지니어링 작업이 빨라지거나 호환성 실패가 줄었다는 현장 시험 결과를 보고하지 않는다.

비교에서 측정한 것

저자들은 GPT-5.4, temperature 0.2로 데이터시트 20개에서 두 방식을 모두 실행했다. 센서 7개, 처리 부품 5개, 전원 모듈 5개, 통신 부품 3개였다. 문서 분량은 총 1,040쪽이다. 단일 단계 기준 방식은 단계형 시스템과 같은 파싱된 Markdown을 받았고 한 번의 질의에서 전체 그래프를 추출하고 중복 제거 및 구성해야 했다. 따라서 이 비교에서 두 방식 모두 도표 내용은 입력받지 않았다.

98.8%와 76.1%는 속성 충실도를 측정한다. 즉 추출한 속성에 붙인 문단이 그 속성을 뒷받침하는지 여부다. LLM이 의미상 뒷받침되는지 판단했고, 기준 방식이 제시한 참조도 입력 텍스트와 일치해야 했다. 이어서 연구진은 한 그래프의 충실한 정보 중 얼마나 많은 부분을 다른 그래프에서 찾을 수 있는지 비교했다. 단계형 그래프는 기준 방식의 충실하고 정규화된 속성 중 83.6%를 완전히 포함했다. 반대 방향으로는 기준 방식이 단계형 그래프 속성의 10.5%를 완전히 포함했다.

이는 방향성이 있는 상대적 포함률이지 원본 데이터시트 전체 사양의 비율은 아니다. 완전한 정답 목록은 없었다. 저자들은 그래프마다 사양을 나누는 방식의 차이를 줄이기 위해 속성을 정규화한 다음 모델에 완전, 부분, 또는 미포함 여부를 판단하게 했다. 수동 점검에서는 표본으로 뽑은 정규화 지침 200개 중 186개가 제시된 규칙을 따랐고, 8개는 그렇지 않았으며 6개는 모호했다. 이러한 오류는 포함률 총계에 영향을 줄 수 있다.

처리 비용도 있다. 논문에 따르면 속성 800개가 넘는 Analog Devices 센서 그래프의 정제 반복 한 번에 모델 질의와 API 지연 때문에 약 17분이 걸렸다. 저자들은 절충안으로 세 번 반복을 선택했다. 논문은 데이터시트당 일반적인 비용을 제시하거나 생산 규모에서 파이프라인이 경제적임을 입증하지 않는다.

엔지니어링 활용은 아직 검증되지 않았다

실험은 추출된 지식을 측정했지 부품 결정은 측정하지 않았다. 저자들의 시험에서는 밀도 높은 문서를 추적 가능한 추출과 그래프 편집 단계로 나눈 결과 단일 단계 기준 방식보다 출처로 뒷받침되는 정보가 더 많이 나왔다. 엔지니어는 이런 그래프를 이용해 후보 제약을 찾고 연결된 원문 구간을 확인할 수 있다. 부품을 결정하기 전에는 원본 데이터시트와 적용 조건을 사람이 계속 확인해야 하며, 특히 파이프라인이 입력하지 않은 도표에 정보가 있는 경우가 그렇다.

이 논문은 두 저자의 프리프린트로, 버전 1이 2026년 10월 8일 제출됐다. BIG CHANGE는 논문과 보고된 방법 및 결과를 검토했지만 파이프라인을 실행하거나 그래프를 데이터시트 20개와 독립적으로 대조하지 않았다. 논문은 다른 추출 시스템, 더 넓은 문서 집합, 배포된 하드웨어 업무 흐름과 비교한 성능을 입증하지 않는다.

출처 및 추가 읽을거리