画像生成ＡＩをローカルで動かしてみた(ComfyUI(FLUX.1))

今回は「ComfyUI」を使用して、工夫もなくデフォルトのテンプレートを使用して遊んでみます。
インストールから動かす所まで、軽く解説します。

動作環境はNVIDIAのGPUを搭載しているPCでグラフィックRAMの容量によって、画像サイズや使用するデータ（モデル）の種類が限られる感じになります。
CPUモードもあるので、使っている環境に合わせて起動してください
今回は両方試して、処理速度の差も分かります

今回のサンプルを動作させるにはストレージは20Gぐらいはあった方が良いかもって感じです。
いろいろ試したい場合は、必要に応じてギガ単位のモデルをダウンロードするので、ストレージの消費が激しいので注意です。

「ComfyUI」をダウンロードです。
以下のサイトへアクセスして、
https://github.com/comfyanonymous/ComfyUI

スクリーンショットのような「Installing」の項目に「Direct link to download」とあるので、これをクリックします。
2G程容量があるので、ダウンロードしてください

ダウンロードが終わると、7zip形式で圧縮されているので、展開できるフリーソフトがあるので、ソフトを入れて展開してください。
展開すると6Gぐらいになります。
「ComfyUI_windows_portable」を開くと

スクリーンショットのように「run_nvidia_gpu.bat」をダブルクリックするだけで、環境さえ揃っていれば動作します。
すごい簡単ですね。
ちなみに、CPUで動かしたい場合は「run_cpu.bat」を実行します。

これぐらい簡単だと楽でいいのですが、「ComfyUI」を使ったシステムって、「ComfyUI」そのものが少し難しいので、素直にテンプレートでいじってみます。

まずは、「ワークフロー」の「テンプレート」を選択します。

開くと左メニューから「Flux」を選択して、「Flux Dev」を選択します。
すると、モデルが無いと言われるので、ダウンロードボタンを押して、ダウンロードします。

サンプルを見ると、プロンプトを英語で入れているので、英語で入れた方が再現度が高そうです。

翻訳サイトで翻訳するとして、今回は以下のプロンプトを実行してみます。
英語の部分だけを入れて実行します。

戦闘メイド服を着た青いロングヘアーをなびかせた女性が夕日が綺麗な草原を背景にヘッドホンで音楽を聴いている
A woman with long blue hair wearing a combat maid uniform is listening to music with headphones against the backdrop of a beautiful grassland with a sunset

GPUとCPUで、何が違うのかだけ少し解説します。

CPUは複雑な計算が得意でGPUは単純な計算が得意です。
3DグラフィックやAIの計算などは単純な計算ですが、大量に行う必要があります。
これは、CPUよりGPUの方が向いていて、GPUは大量のコアと高速なメモリーで一気に処理するので、AIには向いているわけです。
実際、今回の計算で差がどれぐらい出たかを示したいと思います。

比較は
GPU　RTX5070ti
CPU　i9-12900K

CPUの方が少し古いですが、わかりやすい比較にはなると思います。
注意点としては、CPUで計算中メモリーが足りてなさそうだった事です。
64Gメモリーで足りない感じだったので、CPUで試す方は注意です。

むちゃくちゃメモリー食ってますｗ

GPUの場合メモリー使用量

３２ギガぐらいまでしか使っていません

実際に画像が出力されるまでにかかった時間です。
CPU

２時間２２分かかっています。
もはや秒単位は誤差です。１枚でこの時間だと、さすがに１回試せば十分です。
CPUに計算させながら、このブログ書いていましたが、数秒フリーズしたり通常作業にも影響がありました。

GPU

GPUで処理すると２３秒で生成が終了します。
これなら、気軽に利用できます。試行錯誤もできますし、多少変な物が生成されてもやり直しがききます。
GPUのパワーを思い知りますね

このスクリーンショットは実際の処理中に進行度を表示している部分で、このスクリーンショットは実際の処理中に進行度を表示している部分で、１００％になった時、かかった時間が表示されます。

遅い原因はメモリーが足りないとか、メモリーがDDR4で遅いとか色々ありますが、少し早くなるぐらいではGPUに太刀打ちできないのが分かるかと思います。
結果としては、GPUを利用した方が早いし安定しているので、NVIDIAのグラフィックカードがある方は利用した方がいいですね。
世界でGPUの取り合いになるニュースがありますが、それがよく分かる結果かと思います。

セル的なイラストになっています。
夕焼けもいい感じで、プロンプト通りになっていますね。

今度は以下のプロンプトで実行してみます。

ゴシックなメイド服を着た紫色のロングヘアーをなびかせた女性が夕日が綺麗な草原を背景にヘッドホンで音楽を聴いている

A woman with long purple hair wearing a gothic maid outfit is listening to music with headphones against the backdrop of a beautiful grassland with a sunset

このプロンプトで出てきた画像です。

なぜか、突然実写みたいな画像になりました。
夕日の感じもよく出ていますし、プロンプト通りのメイド服になっていると思いますが、なぜか実写風のリアルっぽい女性になっています。　
この違いは何なのかよく分からないですが、何の違いが影響しているの実験するために、以下のプロンプトを実行してみます。

戦闘メイド服を着た紫色のロングヘアーをなびかせた女性が夕日が綺麗な草原を背景にヘッドホンで音楽を聴いている
A woman with long purple hair wearing a combat maid uniform is listening to music with headphones against the backdrop of a beautiful grassland with a sunset.

どうやら、ゴシックメイド服だと実写風で、戦闘メイド服だとアニメ風になりました。
指定を変更してどうなるか試してみます。

戦闘メイド服のコスプレをした紫色のロングヘアーをなびかせた女性が夕日が綺麗な草原を背景にヘッドホンで音楽を聴いている
A woman with long purple hair dressed in a combat maid outfit is listening to music with headphones against the backdrop of a beautiful grassland with a sunset.

戦闘メイド服コスチュームを着た紫色のロングヘアーをなびかせた女性が夕日が綺麗な草原を背景にヘッドホンで音楽を聴いている
A woman with long purple hair wearing a combat maid costume is listening to music with headphones against the backdrop of a beautiful grassland with a sunset

ゴシックロリータ服を着た紫色のロングヘアーをなびかせた女性が夕日が綺麗な草原を背景にヘッドホンで音楽を聴いている
A woman with long purple hair wearing Gothic Lolita clothing is listening to music with headphones against the backdrop of a grassland with a beautiful sunset.

同じプロンプトで何度か出してみました。

今回の結論としては、学習した物の問題だと思いますが、実在する服は実写になる場合が多く、空想上の服とかアニメで使われている事が多い服は、アニメ調になるって事でしょう。
ゴスロリなんかは、実写もアニメも多いですからね。

着物を着た紫色のロングヘアーをなびかせた女性が夕日が綺麗な草原を背景にヘッドホンで音楽を聴いている
A woman with long purple hair wearing a kimono is listening to music with headphones against the backdrop of a grassland with a beautiful sunset

メイド服とかゴスロリが好きなだけの人になりそうなので、違うパターンも出しておきましたｗ。

最後にリクルートスーツで健全な感じにしておきましたｗ
夕日ばかりも何なので、朝日も・・・・