素人が作る実写っぽいミュージックビデオの作り方 その２
今回のポイント
・歌の音ファイルの作り方
・音ファイルを動画生成用に分割する
・リップシンクの動画ファイルの作り方
・動画編集
前段は前回の記事を参照してください
音楽ファイルの作成
SUNO AIを使用して作成しています。
ベースの歌詞をAIに作成してもらって、手直しします。
どんな歌詞を作るか、概要をまとめてAIに渡します。
具体的なプロンプト
作りたい歌詞の内容や使用したい単語、曲のイメージを説明します。
それに、以下の分をコピペしてくっつけてAIに投げます。
歌詞は以下のタグ中から使用してください
[Verse 1]
[Verse 2]
[Verse 3]
[Verse 4]
[Chorus]
[Powerful‐Chorus]
[Bridge]
[Outro]
[Lead-In]
[Pre-Chorus]
[Post-Chorus]
[Ending]
[rap]
[hook]
[drop]
[hook]
[Piano-solo]
[Violin‐solo]
[Drums‐solo]
[Bass Drum‐solo]
[Electric Guitar‐solo]
[Guitar‐solo]
[Shamisen‐solo]
[Shakuhachi‐solo]
と指示すると、いい感じに、SUNOに流し込むだけで利用できる歌詞を作成してくれます。
AIはクラウドのサービスであれば、ほぼ問題無く生成してくれます。
以下のサービスでは問題ありませんでした。
GPT-5
Grok4
Claude 4 Sonnet
Gemini 2.5 Pro
歌詞の手直し
SUNOが歌いにくい単語などがあるので、実際に１曲作成して、それを聞くと苦手な単語や、読み間違える漢字が分かるので、違う言葉に置き換えた漢字を平仮名に変えるなど、変更を加えます。
それから、実際に曲として聞いてみると、歌詞の意味や言葉のチョイスで気になる単語が出てくるので、あれば変更します。
曲調の指定
曲調ですが、いわゆるj-popとかrockとか、曲のスタイルを指定します。
これは作りたい曲調を指定するのが良いのですが、ドット絵のイメージ曲だったら、
chiptune, 8-bit
って感じで指定すると、ピコピコ音の楽曲が生成されます。
スタイルの数は多いので、解説している記事などを参考にするといいと思いますが、よく使うスタイルのプロンプトを管理するツールの、prompt builder を使用しています。
生成AIは、過去に使用したプロンプトを組み合わせて使用する事が多いので、結構便利です。
ある程度歌詞が固まったら、曲調を変更して何種類か曲を生成してもらいます。
１０曲とか作っても、最初の曲が一番いいなんて事もあったりしますが、沢山作ると全部聞いて判断するので結構時間かかります。
そして、いい曲ができたらダウンロードします。
次に、ダウンロードしたWAVファイルを分割して生成で利用しやすくします。
音ファイルの分割
その１でも軽く説明しましたが、ファイルを分割した方が生成の効率が良いので、分割するツールを利用します。
Audio Converter & Splitter
https://test.aisgm.me/test_prog/app/audio-converter/
これを利用します。
使い方を近日中に別記事を書きます
「Audio Converter & Splitter」の使い方
このツールはファイル分割とファイルのフォーマット変換を行う事ができるWEBツールで、処理はブラウザ上のローカルで行われるため、ファイルをサーバーにはアップロードしないので、セキュリティー的にも安心です。
その代わり、PCの性能が影響するので、遅いPCで使用すると、処理に時間がかかります。
分割は、分割数と秒数で分割する事ができます。
分割数指定は、指定した分割数で等分に分割します。
秒数指定分割は、して秒数毎に分割していき、最後のファイルは余った時間が入る感じになります。
その１でも書きましたが、今回の音楽は３分１８秒 ＝ １９８秒となるので、１４秒で分割して１５ファイル作成します。
作成した１５ファイルを全部リップシンクの動画化していきます。
プロンプトもシンプルに、「女性はスタジオで歌を歌っている」で作成していきます。
元イメージは以下になります。
まず、このイメージを作成してから、このイメージを元に広げていきました。
QwenImageEditを使用して、服装や場所を変えていきます。
背景を海や砂漠にして、MVっぽい感じを出していきます。
実際に制作した画像が以下になります。
ここから、動画を作成します。
実際に作成した物はこちら（※注意 音が出ます）
プロンプトは「女性は歌いながらリズムに合わせてダンスをする」など、ここからカメラワークを足したり、歌わずにダンスだけさせるなど、バリエーションを作っていきます。
ここでは、４動画しか紹介していませんが、３００動画ほど作成して、そこから良い物を使うといった感じになります。
生成AIの種類やワークフロー（生成する時の設定的なやつ）次第で時間の長さや、生成にかかる時間も違うので、試しながら良い結果が得られる物を探していく感じになります。
特に、リップシンクがうまく行っていないケースや、伴奏に口の動きが持っていかれているケースなど、変な動画も大量にできるので、ガチャ感は強いかもですね。
ちなみに５秒の動画生成にかかる時間が１５分程度です。
最後にパーツの動画編集します
最後は、元の曲を動画編集ソフトのタイムラインに置いて、そこに音も入っている動画ファイルなので、音の位置を合わせれば動画データが沢山あっても簡単にきっちり合わせる事ができます。（一番下のラインが曲で、その上に動画をはめ込んでます）
音のない動画もあった思いますが、これは、間奏など歌っていない時に動きが欲しかったので、踊らせたりリズムを取らせる動画を作成して、それを良さそうな場所にはめ込んで全体を埋めていく感じです。
そんな感じで、今回の動画は完成しました。
まだ、未熟な点は多いですが、一旦こんな感じで、できあがったので公開しました。
