ネットでは動画生成の記事を目にする機会が増えてきました。以前は画像生成を楽しんでいましたが、ローカル環境で動画も生成できないかと思うようになりました。ForgeにはSVDが組み込まれていますが、旧Macでは重くて実用的ではありません。そこで他の方法を探してみたところ、AnimateDiffというものがあり、SD1.5ベースのモデルを使用して簡単な動画を生成できることがわかりました。
Forgeに組み込む方法を調べましたが、うまくいかず、公式ページにはComfyUIへの組み込み方法が紹介されていました。そこで、ComfyUI環境をローカルに構築してみることにし、Apple Silicon Mac用の構築手順を参考にしてIntel Macに導入してみました。
ComfyUIは最初は難しそうに見えましたが、理解が深まるにつれて拡張がしやすくなり、とても楽しくなってきました。上手く生成できないこともありますが、Forgeではプロンプトを工夫していたのに対し、ComfyUIではノードやモデルを使って生成結果を思い通りに調整する楽しさがあります。
さて、動画生成ですが、AnimateDiffEvolvedを使い、さらにLCMを組み合わせて生成時間を短縮します。まだ満足のいく結果は得られていませんが、現時点ではこのような感じです。
