John Heibel은 뮤직비디오 “I’m Upping My P(doom)”의 프로젝트 파일을 공개했다. 그는 Claude Opus 5.5가 스토리보드와 JavaScript 애니메이션을 작성했다고 말한다. 파일을 보면 브라우저가 프레임을 그린 뒤 ffmpeg가 기존 곡과 결합한다. 완성된 영상은 YouTube에서 볼 수 있다.

이 영상은 9월 22일 Opus 5.5 출시 이후 창작자들이 올린 사례 중 작업 내용이 문서로 공개된 사례다. “Claude가 영상을 만들었다”는 말은 비디오 모델처럼 움직이는 이미지를 직접 생성했다는 뜻이 아니라, 장면을 작성하고 렌더링 코드를 만든다는 뜻일 수 있다. 영상의 어느 부분이 모델에서 나왔고 음악과 도구, 사람의 지시에 얼마나 의존했는지 판단할 때 이 차이가 중요하다.

큰 변화

  • 무엇이 달라졌나: 창작자들은 AI 코딩 에이전트를 사용해 애니메이션을 소프트웨어 프로젝트로 만들고 결과를 영상으로 렌더링한다. Heibel은 이 작업 흐름의 코드와 재사용 가능한 시작 도구 모음을 공개했다.
  • 왜 중요한가: 스토리보드와 장면 파일, 렌더러를 보면 클립 제작 과정과 다른 곳에서 제공된 입력을 확인할 수 있다. 완성된 영상만으로는 이런 역할 분담을 알 수 없다.
  • 아직 불확실한 점: 공개된 사례만으로 일반적인 제작 시간과 비용, 성공률, 다른 창작자가 같은 품질을 얼마나 쉽게 얻을 수 있는지는 알 수 없다. BIG CHANGE는 두 프로젝트를 직접 재현하지 않았다.

P(doom) 프로젝트에 실제로 담긴 것

Heibel은 이 영상이 Claude Code에서 두 차례 생성 과정을 거쳤다고 말한다. 첫 번째는 Opus 5.5를 중간 수준의 추론 강도로 사용했다. 그 뒤 그는 두 번째 작업을 지시하면서 p5 붓질을 사용하고 장면을 더 흥미롭게 만들며 각 장면을 다음 장면과 연결하도록 했다. 저장소 설명에 따르면 그는 개별 장면 아이디어를 지정하지 않았지만 Clawd 캐릭터를 지정하고 각 가사를 서로 구별되는 시각적 방식으로 표현해 달라고 요청했다.

완성된 프로젝트에는 컷별 스토리보드와 하위 에이전트에게 작업을 전달할 때 사용한 애니메이션 가이드, 장별 파일 9개, 캐릭터 및 타임라인 공통 코드와 studio.html 페이지가 있으며 p5.js와 p5.brush로 그렸다. 렌더링 스크립트는 헤드리스 Chrome으로 프레임을 캡처하고 ffmpeg를 사용해 MP4로 인코딩한다. 저장소에는 오디오 자산으로 곡이 포함돼 있고 이전 녹음을 출처로 표시한다. Opus 5.5가 곡을 작곡했다고 주장하지 않는다. Heibel은 이전 X 게시물을 영감의 출처로 들었다.

Heibel은 이후 캐릭터 자산과 가이드, 브라우저 스튜디오, 렌더링 스크립트가 포함된 시작 도구 모음 Claude Animation Base를 공개했다. README에서 권하는 첫 요청은 15초짜리 Clawd 만화다. README는 에이전트가 스토리보드를 만들고 장면을 구성하며 콘택트 시트를 확인한 뒤 MP4를 작성한다고 설명한다. Node.js와 Chrome, ffmpeg를 필요 조건으로 든다. Heibel은 전용 GPU가 없으면 수채화 채우기 효과의 프레임 하나를 렌더링하는 데 몇 초가 걸릴 수 있다고 전한다.

또 다른 뮤직비디오는 사람의 지시 과정을 드러낸다

Joshua Ledbetter의 “Functional Emotions” 프로젝트는 유용한 비교 사례다. 창작자는 이전 Claude 모델이 곡 가사를 쓰고 Suno가 음악을 만들었다고 말한다. 이어 Claude Code에서 Opus 5.5가 영상 프로젝트를 작성했다. Ledbetter는 처음 나온 가사 영상 방식을 거부하고 장면과 타이밍을 더 강하게 살려 달라고 요청했으며, 장면 전개 속도에 참고하라며 Heibel의 P(doom) 영상을 에이전트에 보여 줬다. 저장소에는 거부된 첫 버전과 수정된 스토리보드, 장별 코드, 오프라인 렌더러가 있다. 저장소 설명에 따르면 하위 에이전트 7개가 후반 장면을 그렸고 모델은 콘택트 시트를 검토했다.

Ledbetter의 프로젝트는 맞춤형 WebGL2 붓질 렌더러를 사용하며 비트 그리드와 단어 단위 타이밍으로 기존 곡에 장면을 맞춘다. 창작자가 게시한 영상은 원본 자료와 함께 볼 수 있다. 공개된 수정 과정은 첫 요청과 게시된 결과물 사이에 어떤 창작 지시가 있었는지 보여 준다. 저장소는 코드를 기록하지만 저자나 제작 시간에 관한 모든 주장을 독립적으로 검증할 수는 없다.

이 형식은 뮤직비디오를 넘어선다. criticasterdotcom이라는 이름으로 게시하는 한 창작자는 Headroom 제품 해설 영상과 렌더링된 버전 두 개가 담긴 저장소를 공유했다. 파일은 Canvas 애니메이션과 브라우저에서 ffmpeg로 내보내는 과정을 설명한다. 창작자는 로컬 Kokoro 모델이 음성을 만들었고, 샘플링한 악기와 음향 효과가 오디오 일부를 제공했다고 말한다. 게시물은 Opus 5.5를 사용한 55분 작업과 추가 자산 비용이 없었다고 보고한다. 시간과 비용 수치는 자체 보고이지 독립적으로 측정된 결과는 아니다.

사례를 본 뒤 원본 자료도 살펴보자

이 프로젝트들은 창작자가 편집 가능한 소프트웨어 작업 흐름을 통해 영상을 연출할 수 있음을 보여 준다. 문서화된 뮤직비디오 두 편에서는 Opus 5.5가 상당한 애니메이션 코드를 작성했지만, 기존 곡과 프롬프트, 참고 자료, 사람의 검토도 완성된 작업에 영향을 미쳤다.

출처 및 더 읽을거리