【MinimaxH3】曲に合わせて絵コンテを自動生成！AIで本格ミュージックビデオを作るワークフローと開発ノード

🗓️ 公開日: 2026年10月17日　 🔄 最終更新日: 2026年10月23日

今回はMinimaxH3でMV（ミュジックビデオ）を作成するワークフローと作成ノードH3PromptDirector(MV)の解説記事になります。

「AIでミュージックビデオ（MV）を作りたいけど、シーンごとに英語のプロンプトを考えるのが大変…」「曲の盛り上がりに合わせてカメラワークを変えたり、リップシンク（口パク）させるのが難しすぎる」そんな悩みを抱えていませんか？

今回は、ComfyUIとMinimax（H3）モデルを使用して、日本語の指示だけで誰でも簡単に本格的なMV動画が作れるノード「H3PromptDirector(MV)」の解説と、具体的なワークフローをご紹介します！

H3PromptDirector(MV)とは？

「H3PromptDirector(MV)」は、MinimaxH3を使用して一貫性のある長尺ミュージックビデオのプロンプトを作成することに特化したカスタムノードです。

通常、曲に合わせてキャラクターを動かしたりリップシンク（歌唱）させる長尺動画を作るには、非常に複雑で緻密なプロンプトの記述が求められます。しかし、このノードを使えば、LLM（大規模言語モデル）が楽曲の波形を自動解析し、日本語の簡単な指示から完璧な英語の絵コンテ・プロンプトを自動構築してくれます。

前回開発した「H3PromptDirector(GUI)」の派生版であり、UIの見た目は似ていますが、中身の構造はMV制作用に完全に別物として進化しており、より高度で複雑な生成が可能になっています。

H3PromptDirector(MV)とワークフローのダウンロード

H3PromptDirector(MV)はHKMC-Nodesに同梱されています。
以下のリポジトリを custom_nodes ディレクトリにクローン、またはzipファイルをダウンロード後custom_nodesにComfyUI-HKMC-Nodesフォルダを展開してください（フォルダ名にmainと付く場合は削除しても構いません）

⚠️ 以前H3PromptDirector(GUI)をお使いになっていた方へ

H3PromptDirector(GUI)に同梱されている【H3 Media Dispatcher】と【clip_prompt_dispatcher.py】が仕様変更されていますので、H3PromptDirector(GUI)のアップデートを必ず実施してH3PromptDirector(MV)を使ってください。

GitHub

GitHub - hkmc-ailab/ComfyUI-HKMC-Nodes: Custom node for optimizing MiniMax H3 prompts with LLM · GitHub

https://github.com/hkmc-ailab/ComfyUI-HKMC-Nodes

ワークフローは当サイトのダウンロードページよりダウンロードできます。

HKMC-AILab

ダウンロード

https://www.hkmc-ailab.com/download

H3PromptDirector(MV)の使い方

それでは、H3PromptDirector(MV)を使った具体的なMV作成の手順を解説していきます。
多機能ゆえに最初は難しく感じるかもしれませんが、順番通りに進めればAIがほとんどの作業をやってくれます！

楽曲の読み込み

まずは、ノード下部にある「メディアボックス」を開きます。ここにはいくつかの音声スロットがありますが、必ず右下にある［Final］（Final_audio）のスロットをクリックして、MVに使用したい楽曲のwavファイルを読み込んでください。

ここに読み込むことで、生成された動画内でそのまま楽曲が流れるようになります。（※別のオーディオボックスは扱いが異なる為、間違えないように注意してください）

キャラクター設定

［キャラクター設定］では動画に登場させるキャラクターの設定を行います。

キャラクター名

登場するキャラクターの名前をローマ字で入力してください。

プリセット

キャラクターの特徴を記述した「キャラクター設定」タブでは、動画に登場させる人物のベースとなる設定を行います。

プリセット機能: キャラクターの容姿や服装を記述したtxtファイルをあらかじめ 📁/ComfyUI/custom_nodes/ComfyUI-HKMC-Nodes/characters に入れておくと、ここからプルダウンで自動読み込みが可能です。

キャラクター画像

メディアボックスで読み込んだリファレンス画像（P1〜P9）と、キャラクターを紐付けます。該当するPボタンをクリックするだけでOKです（複数選択可）。

REF2VAだけじゃなくFL2VAにも対応しています。
その場合は下のキーフレーム画像に画像を読み込んでください。

動作スタイル (おしとやかさ/激しさ)

キャラクターが曲に合わせて動く「基本的なテンション」を定義します。
具体的な動きは後の絵コンテでLLMが指示してくれるため、ここはベースとなる性格づけ程度に考えてください。

ボイスリファレンス

動画内でセリフを放つ事が出来ますが、MV動画では用途があまりないと思うのでノードにはセリフ欄は設けていません。
もしセリフを設定する場合は直接プロンプトによる指示をお願いします。

特徴定義・追記

プリセットがない場合はこちらにキャラクターの特徴を記述してください。
プリセットにない追加の特徴を記述する場合もこちらに記述してください。

以上がキャラクター設定です。

クリップについて

クリップとは生成する一つひとつの動画の事です。
H3PromptDirector(MV)では最大14個（C14）まで生成する事が出来ます。

それぞれのクリップにマスク処理をしながらシームレスに繋げて1本の長尺動画を生成します。

それぞれのクリップに演出、保持要素、環境音を記述し、ショット割りを組んでアクションやカメラワークを記述する事になるのですが、音楽のタイムラインに沿って記述するのは難易度が高いと思うので、後述する［おまかせ］機能で土台を作ってから後で編集する事をオススメします。

［おまかせ］機能ついては後ほど詳しく解説します。

LLMの設定について

ここからはLLMを使って作業する為、先に進む前にLLMの設定の手順を解説します。

LLMは現在Gemini、ChatGPT、Ollamaの３つから選択できます。使用したいプロバイダを選択してください。

APIキーについて

使用するLLMがGeminiやChatGPTの場合はAPIキーが必要です。
APIキーを直接入力する事も出来ますが、セキュリティの関係上あまり推奨はしません！
metaデータを残さないように設定していますが、万が一の漏洩の為にwindowsの環境変数からAPIキーを読み込む事を推奨しています。

windowsの環境変数からAPIキーを読み込む方法

windowsボタンを押し、検索欄に【環境変数】と入力。
【環境変数を編集】をクリック。
ユーザーの環境変数欄の【新規】をクリック。
【変数名】にGeminiの場合はGEMINI_API_KEYと入力、ChatGPTの場合はOPENAI_API_KEYと入力します。
【変数値】にAPI Keyを入力しOKを押します。
これで、H3PromptDirectorのAPI Keyの入力欄を空欄にすれば自動的にAPI Keyをwindowsから取得します。

⚠️Geminiをお使いの方へ

GeminiのAPIキーの仕様変更に伴い、古いAPIキーではエラーが出て弾かれてしまいます。
必ずAQ.から始まるAPIキーを発行してwindowsの環境変数から読み込むようにしてください。
以前の僕のノードをお使いの方でLLMでGeminiを選んでいた方はキャッシュで古いAPIキーを参照している可能性がありますので、新たにAPIキーを発行して、新たに環境変数を設定し、ComfyUIを再起動して使うようにしてください。

現在LLMにGeminiをお使いする事ができません。ご不便おかけして申し訳ありません🙇‍♀️

【超時短】LLMにおまかせ！絵コンテ自動生成機能

このノードの最大の目玉が、「おまかせ構成」タブです。

LLMが楽曲を解析し、ユーザーが指定した世界観をもとに、動画のカット割り（絵コンテ）を自動で作成してくれます。わざわざ秒数を計算してプロンプトを考える必要がなくなるため、大幅な時短になります！

MVの全体演出・シチュエーション

ここに、作りたいMVの世界観やテーマを日本語で入力します。
右上の［📋 テンプレを挿入］ボタンを押すと、LLMが最も解釈しやすい最適化されたフォーマットが自動入力されます。「サイバーパンクな都市」「雨上がりの夕暮れ」など、好きなシチュエーションに書き換えてください。
テンプレ通りでなくてもお好きにLLMに対して指示をしても大丈夫です。

禁止事項＆スタイル維持

全クリップを通して絶対に崩したくない要素（画風の維持、3D化の禁止、顔の一貫性など）を入力します。こちらもテンプレ挿入ボタンを使えば、強力なプロンプトが自動で入力されます。
クリップには表示されませんが、最終的に結合してプロンプトとして出力されます。

推奨制作プラン・生成ガイド

メディアボックスのFinalに楽曲を読み込ませる事で「何秒尺のクリップをいくつ生成すれば曲が完走するか」を自動計算してガイド表示してくれます。
H3PromptDirector(MV)では最大14クリップ（最大約190秒）まで生成可能なので、完走させる場合は必ず14クリップ以内に収まるように尺の秒数調整をしてください。

楽曲解析

※読み込む楽曲は必ずwavファイルを読み込んでください。mp3やflac、ACC等は生成時にコンディショニングエラーが出ます。

尺の目安を確認したら、１クリップの基本生成尺を入力し、「解析モードの選択」を行います。 H3PromptDirector(MV)では、使用するLLM（AIモデル）の特性に合わせて、2つの高度な楽曲解析アプローチを搭載しています。

Gemini 直接音源解析（LLM設定で「Gemini (Cloud)」選択時に推奨）
マルチモーダル（複合処理）に優れたGeminiの能力をフル活用し、AIが実際にオーディオファイルを「耳で聴いて」解析します。単なる音の大小だけでなく、ボーカルが入るタイミング、楽器構成の変化、転調の瞬間、静と動の繊細なニュアンスまでをAIが直接感じ取り、それに完璧にリンクしたドラマチックなカメラワークや演出を提案してくれます。
Python 波形エネルギー解析（OllamaやChatGPT選択時に推奨）
ローカルLLM（Ollama）やChatGPTなど、音源データを直接聴くことができないモデル向けの解析モードです。裏側でPythonのプログラムが楽曲の音響エネルギー（波形のRMS）を精密にスキャンし、「ここは静寂」「ここはビルドアップ」「ここは最大の盛り上がり（音圧ピーク）」といったタイムラインごとの診断テキストを生成。その分析データをLLMに渡すことで、テキストベースのAIでも音楽の展開にシンクロした絵コンテを構築できます。

ご自身の使用するAIモデルに合わせてモードを選び、［▶ 楽曲を解析して全体絵コンテを自動生成 (LLM)］ボタンを押しましょう。

しばらく待つと、曲の波形や盛り上がりに合わせて、LLMが考案した14クリップ分の日本語の絵コンテがエディタに出力されます！

内容を確認して［この全体構成をクリップタブに一括反映する］を押す事で、クリップやショット割りを自動で行います。
修正がある場合は全体構成エディタかクリップタブどちらで修正しても大丈夫です。

反映されたクリップタブ

絵コンテが反映されたら、「クリップ」タブを開いて各クリップ・ショットを修正してください。

LLMは楽曲を解析し、ざっくりとしたプロンプトしか生成しませんので、クリップとショットを動画生成しながら地道に修正してください。

LLMがほとんどの項目を自動入力してくれていますが、以下の2点だけは手動でチェック（ON/OFF）を行う必要があります。

繋がり設定のチェック

［前回の動画の続きを生成する］: 前のクリップからカメラワークや空間をそのまま引き継ぐ場合にチェックします。
［今回の動画を次に繋げる］: クリップの終わりに動きを止めず、次の動画へ勢い（モメンタム）を残したい場合にチェックします。

口パク（歌唱）のチェック

このノードは曲のボーカルに合わせた完璧なリップシンクが可能です。
ショット内の「口パク (歌唱)」のチェックボックスをONにしてください。歌詞が入る秒数・クリップを自分で予測しながら、歌わせたいシーンだけONにするのがコツです。

プロンプト生成

全ての確認・修正が終わったら、「プロンプト生成」タブに移動し、［▶ クリッププロンプトを構築・翻訳］ボタンを押します。 LLMがこれまで設定した日本語の情報をすべて英語に翻訳し、MinimaxH3に最適化されたプロンプトに変換してくれます。（※処理中に別のタブに切り替えると生成がキャンセルされるので注意してください）

プロンプトが完成すれば、あとは生成を実行するだけです！

2026/10/18
クリップ毎にプロンプトを生成出来るようにしました。

注意事項⚡️

読み込んだ楽曲よりも長い動画を生成しようとすると最後に結合エラーを起こします。
楽曲の末尾を無音で伸ばす等の対策をして秒数調整を行い、必ず楽曲より短い合計尺で生成してください。

失敗しない長尺動画生成のコツ

最初から14クリップ一気に生成しようとすると、途中でイメージと違う方向に進んだり、VRAMエラーが起きたりするリスクがあります。 最初はクリップの有効化を少なめに絞り、順番に映像を確認しながら生成を進めることを強くオススメします。
特に1クリップ目は全てのクリップの要になってくるので、時間をかけてじっくり調整する事が大事です。

各クリップのシード値は固定されているため、一度生成が成功したクリップはComfyUIのキャッシュ機能によってスキップされ、スムーズに続きから生成（リファレンス継続）を行うことができます。（※プロンプトのテキストを少しでも書き換えると再生成される点には注意してください）

サンプルMV動画

クリップ1以外の残りの9クリップは運試しの1発で生成しました。
クリップ1の雰囲気が引き継がれていくので、クリップ1だけは時間をかけて生成した方がいいかもしれません。

【おまかせ構成】で楽曲はGeminiの音源解析（3.8-flash）、プロンプトはOllama（qwen2.5:7b-instruct-q5_K_M）で生成しています。

【未公開ノードを使ったテスト生成版】

2本目は波形レベルに応じて［カメラの動き］［ショット］［キャラクターの動き］［照明］を調整するようにLLMに指示をするH3 PromptDirector（MV)専用の拡張ノード「H3 Design Director（仮）」を使って作った動画です。
まだ制作中ですが、演出面、キャラクターの動き、ショットアングルが多彩になり、動画に躍動感が出てきました。
カメラの動きがまだ弱いので調整中です。