素人が作る実写っぽいミュージックビデオの作り方 その１
結構長くなりそうなので、何回かに分けて書きます。
続きは以下からどうぞ
素人が作る実写っぽいミュージックビデオの作り方 その２
今回作成したミュージックビデオです。
音楽以外はローカルで作成しました。
クラウドサービスは、結構サービス料金がかかりますが、GPUの購入価格と比較すると、どちらが高くなるかは、使用頻度なんかで変わるかと思います。
一点、ローカルで有利なので、試行錯誤を行いやすい事でしょうか？
ローカル環境の紹介と大雑把な制作の流れ、クラウドとの比較なんかをしていきたいと思います。
今回の実際に作成した過程や、ローカル環境での細かい作り方等は次回行いたいと思います。
まず作成環境
動画生成
AMD Ryzen AI 9 HX 370 / Radeon 890M
RTX5070TI
動画生成ツールは「ComfyUI」を使用
AIは「WAN2.2」と「humo」を使用しました。
音楽はSUNOを使用しました。
音楽作成はSUNO Ver4.5+が最新だったので、Ver4.5+です。
元々の女性はQwenImageを使用しました。
動画は比較的生成に時間のかからない「720*480」の解像度で作成して、後に動画編集してからアップスケールする感じです。
「WAN2.2」も「humo」もちゃんと音を指定すれば、日本語の歌詞でもリップシンクしてくれるので、歌うシーンそのものは作りやすいです。
問題は、同時に出せる時間が短いので、それを切り貼りして１曲分に仕上げています。
まず前提条件として、最初から用意されているテンプレートを使用しています。
高速化とか色々複雑なワークフローを使っている人もいますが、テンプレートも高速化等のアップデートが行われているので、それだけでもある程度の物は作成できると思います。
「WAN2.2」は、１４秒まで作成可能
「humo」はベースは３秒で５秒までは作成可能
この短い時間しか作成できないので、これをうまく組み合わせるしか無い事になります。
「WAN2.2」で１４秒毎のリップシンク動画を作成します。
今回の音楽は３分１８秒 ＝ １９８秒となります。
動画作成時音楽ファイルを指定すると、その先頭から１４秒作ってくれるので、音楽ファイルを１５分割して、作成する必要があります。
なので、歌のWAVファイルを１５分割して、１５回生成すると最後までの映像が完成します。
ここから実際の作成例です
まず、没映像ですが、３秒で作成するとワンフレーズ入らないので難しいです。
カメラワークもリップシンクもいい感じなんですが、突然切れてしまうので使いにくい映像になっています。
次に１４秒生成できる「WAN2.2」を使ってベースとなる動画の作成例です。
１４秒毎に区切ったWAVファイルが１５個できるので、これを一旦全部作成して、これをベースの映像にしようと考えました。
ベースなので、オーソドックスな物にしました。
作成した最初の１４秒が以下になります。
実際の動画では最初の７秒ぐらいまで別の映像を使用してから、この映像に切り替えています。
結局AIで生成する場合、何度も生成して、できがいい物を使う事になるので、ベースを作っておいて、そこにできが良い映像を重ねていくといった手法で作成しています。
また、間奏の時に色々な映像を入れたいと思ったので、いくつかの生成AIを試してみました。
その時に、かなり珍映像が作成されので、紹介したいと思います。
プロンプトは同じで、４種類のAI生成サービスをテストしました
以下がプロンプトです
女性がフリスビーを投げて、フリスビーが画面外へ飛んで行き、戻ってくるフリスビーを女性が一回転してかっこよくフリスビーをキャッチする
テストした生成AIのサービスは以下になります。
Runway Gen-3
Runway Gen-3は、特にAIを活用した動画生成と編集に強みを持つツールです。Gen-3 Alpha Turboモデルでは、5〜10秒のクリップを1分以内に生成可能で、高速な処理が特徴です。
Kling 1.6
リアルな映像やクリエイティブな動画を生成することが可能です。
自然な動きや細かいディテールの再現に優れ、商用利用にも適しています。
Veo3
非常に高性能なモデルとして知られています。リアルな映像生成や複雑なシーン描写が可能です。
オブジェクト除去、カメラやモーション制御、効果音や環境音の追加などが可能です。
それでは、それぞれのモデルの実行結果です。
Runway Gen-3
残念感半端ないです。人種も変わった感じになっていますし、手に変な物を持っています。
謎な補完が多いですね。
Kling 1.6
一番それっぽくなった例です。
フリスビーがよく分からない事になっていますが、一回転しているし、何かを投げているので、できるだけ再現しようとしているのが分かります。
Veo3
オプション盛々で音も付けました。
動きは悪くないし、映像も綺麗なんですが、人物が変わっちゃってますし、投げたフリスビーのへなちょこぶりもなんとも・・・・
この辺は、人種指定とかをしないとダメなのかもしれません。
まとめ
それぞれの、AIで同じプロンプトで作成してみましたが、全体的に酷い事になっていると思います。
どうしたら良くなるのかや、プロンプトのテクニックは、やはりAIに聞くのが一番なんですが、そうは言っても試行錯誤が必要で、何度も生成できる方が有利なので、長尺の動画生成を行うにはローカルで試行錯誤しながら生成するのが良いかなと思ったりします。
もちろんお金が潤沢なら、クラウドサービスを使いまくって生成する方が、面倒くさいセッティングやPCを置く場所とか気にしなくても良いので、メリットはあります。
今回は動画生成の入り口的な話でしたが、次は実際に作成した時の過程を紹介したいと思います。
おまけ
今回MVで使用したローカル生成AIでも同じプロンプトで作成したので最後に紹介です
Wan2.2
いつもより余計に回っておりますｗ
humo
今度は「humo」で何度か作成した結果、一番できがいいのと残念なの２種類です。
できがいい奴
人物はほぼ維持されていて、フリスビーは疑惑はありますが投げています
今度はできの悪い奴
ダイナミックでいい映像になっているのですが、人物が全然違う人になっていたり、髪型も違うので、思うようにいきませんでした。
という訳で、次回、大雑把に制作過程を説明していきたいと思います。
