ローカルで効果音が作成できるAI「MMAudio」を使ってみた（「Waves Place」と同じ効果音も作ってみました）

MMAudio は、ビデオやテキストや画像の入力が与えられると、動画は同期されたオーディオ、画像はそれに合った音を生成します。

使用方法は

Pinokio
https://pinokio.co/

こちらのアプリからインストールして、「MMAudio」を使います。
インストール方法などは別記事を書きたいと思います。

比較対象として
時計のG-shockでおなじみのCASIO（カシオ）の新サービス！AIで効果音が生成できる「Waves Place」を試してみた
の記事と比較しやすいように、同じようなプロンプトで作成します。

MMAudio は、ビデオやテキストや画像の入力が与えられると、動画は同期されたオーディオ、画像はそれに合った音を生成します。
使い方が非常に簡単な上に、動画に合わせて生成できるのも使い勝手がいいですね。カシオの「Waves Place」はテキストからだけだったので、こちらの方が少し上な感じがします。

実際にできるのは、
・テキストから効果音生成
・画像から効果の音生成
・動画に合わせて効果音生成

前に「Waves Place」用に作成した動画が、丁度あるので、これに音を付け直してもらいます。
既にある動画に音を入れる事ができるのは面白いですね。

最初は鯨の動画の音を変えてみます。

動画は「Waves Place」と同じで、効果音だけ付け直しました。
「MMAudio」は動画を指定するだけで、音を付け替えてくれるので、結構簡単に作成できます。
今回は４秒でしたが、もっと長い音でも大丈夫です。

次は花火大会です

結構リアルでいい感じになってますね。
特に花火を遠くから見ている時の独特な反響とか、送れてから音が届く感じなどが良く表現されているように思います。

次はダイナマイトの爆発です。

爆発音としての強さがあって、「Waves Place」よりも「MMAudio」の方がいい感じですね。
好みもあるとは思いますが、概ね「MMAudio」の方がリアリティーがある音になっているかと思います。

最後に自販機いってみます

動画には合っていますが、動画がおかしいのでなんとも言えませんｗ
なので、今度はテキストから効果音を作成してみたいと思います。

最初は鯨

歯がちょっと怖い感じになっていますがいい感じです。
次は、花火です。

花火も、ちょっと距離を感じる音がしますが、いい感じです。
次はダイナマイトです。

これも、ダイナマイト本体が結構長く残っていますが、効果音がちゃんと爆発音な感じなので、悪くないです。

次は、自動販売機ですが、これがなかなか前回もうまく行きませんでしたが、今回もうまく行きません。
爆発とか水しぶきなど、分かりやすい音は再現性高いですが、それ以外となると、色々と難しいですね。
自動販売機も動作音と、缶が落ちてくる音など、別々に生成して組み合わせる方が精度高そうです。

本末転倒ですが、家の近くにある自動販売機で購入音を録音した方が早そうですよねｗ
と言う訳で、数々の失敗自販機の動画をお送りしますｗ

自販機が稼働している音はしますが、何も動かないｗ
自販機を撮影しただけになっています。
次は、新型自販機ですｗ

なんと中身が動いているんですが、意味があるのでしょうか？ｗ
次は、ただいま印刷中！

３Dプリンタでジュースを印刷しているような演出ｗ
そんな自販機なら、凄いですけどねｗ
次は、ジュースを充填しながら売っています。
後ろの方を注目して見てください。

蕎麦やうどんの自販機みたいに、自販機で調理しているみたいな感じですかね。
謎の飲み物を、充填してますｗ
次は踊る自販機です

これは、今でも実現できそう！既にあってもおかしくないですね
次は、縮尺・・・？？？

一見普通の自販機ですが・・・・
人が出てくるとおかしな感じになりますｗ

と言うわでどうだったでしょうか？
AIで効果音を作って動画を作る所までやってみましたが、AIに得意な物と不得意な物がよく分かりますね
結構簡単だったので、近日中に効果音を作るAIのインストールから使い方の記事も書きたいと思います。

最後おまけで、プロンプト間違えて、鯨の動画作る時に、ダイナマイトのプロンプトを入れて作った結果です・・・