ジョン・ハイベルは、ミュージックビデオ「I’m Upping My P(doom)」のプロジェクトファイルを公開している。同氏によると、Claude Opus 5.5がストーリーボードとJavaScriptのアニメーションを書いた。ファイルからは、ブラウザーで各フレームを描画し、既存の楽曲とffmpegで合成したことが分かる。完成版の動画はYouTubeで公開されている。

この映像は、Opus 5.5の9月22日のリリース後にクリエイターが投稿した事例の一つとして記録されている。「Claudeが動画を作った」とは、動画生成モデルのように動画像を直接出力したのではなく、シーンの作成と描画コードの記述を指す場合がある。クリップのどれだけがモデルによるもので、どれだけが音楽やツール、人間の指示に依存したのかを評価するうえで、この違いは重要だ。

大きな変化

  • 変わったこと：クリエイターはAIコーディングエージェントを使い、ソフトウェアプロジェクトとしてアニメーションを作り、その成果を動画に描画している。ハイベルは、そうした手順の一例について、コードと再利用できるスターターキットを公開した。
  • なぜ重要か：ストーリーボード、シーンファイル、レンダラーから、クリップ制作の工程や外部から提供された入力が見える。完成した動画だけでは、その作業分担は分からない。
  • まだ分からないこと：公開事例からは、一般的な制作時間、費用、成功率、別のクリエイターが同じ品質をどれほど簡単に実現できるかは分からない。BIG CHANGEは、どちらのプロジェクトも再現していない。

「P(doom)」プロジェクトに実際に含まれるもの

ハイベルによると、この映像はClaude Codeで2回の生成を経て制作された。1回目はOpus 5.5を中程度の推論強度で使い、2回目ではp5のブラシストロークを使うこと、シーンをより面白くすること、各シーンを次につなぐよう指示した。リポジトリの説明によると、同氏は個々のシーンのアイデアまでは指定せず、Clawdというキャラクターを指定し、歌詞ごとに異なるビジュアル表現を求めた。

完成したプロジェクトには、ショットごとのストーリーボード、サブエージェントへの指示に使ったアニメーションガイド、9つの章のファイル、キャラクターとタイムラインの共通コードのほか、studio.htmlページをp5.jsとp5.brushで描画したものが含まれる。レンダリング用スクリプトはヘッドレスChromeでフレームを取得し、ffmpegでMP4にエンコードする。リポジトリには音源アセットとして楽曲が含まれ、以前の録音がクレジットされている。Opus 5.5が作曲したとは記されていない。ハイベルは着想源として以前のXへの投稿を挙げている。

その後、Claude Animation Baseというスターターキットを公開した。キャラクター素材、ガイド、ブラウザースタジオ、描画スクリプトが含まれる。最初に試すリクエストとして、Clawdの15秒アニメーションを提案している。READMEによると、エージェントはストーリーボードを作り、ショットを組み立て、コンタクトシートを確認してからMP4を書き出す。Node.js、Chrome、ffmpegが必要だ。ハイベルによると、専用GPUがない場合、水彩の塗りつぶしは1フレームに数秒かかることがある。

別のミュージックビデオでは、人間による演出が見える

ジョシュア・レッドベターの「Functional Emotions」プロジェクトは、有用な比較例だ。作者によると、旧世代のClaudeモデルが歌詞を書き、Sunoが楽曲を生成した。その後、Claude Codeで動くOpus 5.5が動画プロジェクトを書いた。レッドベターは最初の歌詞動画の演出を却下し、より印象的なシーンとタイミングを求め、テンポの参考としてハイベルの「P(doom)」動画をエージェントに示した。リポジトリには却下された版、改訂版のストーリーボード、章ごとのコード、オフラインのレンダラーが含まれる。作者の説明によると、7つのサブエージェントが後半の章を描き、モデルがコンタクトシートを確認した。

レッドベターのプロジェクトは独自のWebGL2ブラシストローク・レンダラーを使い、ビートグリッドと単語単位のタイミングでショットを既存の楽曲に合わせている。作者が公開した動画は、ソースとあわせて視聴できる。公開された修正過程からは、最初のリクエストから投稿版に至るまでの演出が分かる。リポジトリにはコードが記録されているが、著作者や制作時間に関する主張すべてを独立に検証できるわけではない。

この形式はミュージックビデオ以外にも広がっている。criticasterdotcom名義のクリエイターは、Headroomの製品解説動画と描画済みバージョン2本を含むリポジトリを公開した。ファイルにはCanvasアニメーションと、ブラウザーからffmpegへ書き出す手順が記されている。作者によると、音声にはローカルのKokoroモデルを使い、サンプリング音源と効果音も取り入れた。投稿ではOpus 5.5を55分間使い、追加のアセット料金はなかったと報告している。この時間と費用は本人による申告で、独立に測定された結果ではない。

事例を視聴したら、ソースにも目を通そう

これらのプロジェクトでは、編集可能なソフトウェア工程を通じてクリエイターが動画を演出できる。記録のある2本のミュージックビデオでは、既存の楽曲、プロンプト、参考資料、人間による確認を取り入れながら、Opus 5.5がアニメーションコードの主要部分を書いた。

出典・関連資料