今回はLDM、VAE、ControlNet、LoRAの導入について解説します。これらを知ることでAIイラスト生成の理解が深まり、ComfyUIの学習速度が向上します。 AIイラスト生成の流れ LDMは図のように画像を生成します。 今回取り扱う題材は上図では「モデル読み込み」と ...

VAE_KL_MEM_RATIOの値が過剰なので、適切な値に調整する。 と出ればHIGH_VRAM状態。 生成速度が通常のNORMAL VRAMと比べてHIGH VRAM時に1秒以上向上したのなら、このVAEチューニングをおススメする。 にてVAEの設定が行われている。 そして、そのすぐ下で、 VAE_KL_MEM_RATIO ...

では実際に生成を試してみよう。なお、筆者の生成環境は以下となる。 まずはファイルのダウンロードから。必要となるのは「モデル本体（diffusion model）」「テキストエンコーダー（text encoder）」「VAE」の3種類だ。これらはComfyUI内の所定フォルダーに配置 ...

ComfyUIとは「AUTOMATIC1111」と同様、Stable Diffusionを中心とした画像生成AIに対応したアプリケーションだ。以下の画面キャプチャをご覧いただきたいが、普通のWebアプリ的な雰囲気は皆無。一体何が何だか分からない状態で起動する(笑)。 各ボックスは、Nodeと ...

ComfyUIの「公式ワークフロー」を試すには、ComfyUIを最新のものにアップデートする必要がある。 Stability Matrixを使ってComfyUIをインストールしている場合は「更新」をクリックするだけでアップデートが完了する。Stability Matrixを使っていない場合は自分で git ...