透過AI快速生成圖片,可以大大加速概念發想的設計流程。如果在構圖這部分,也能讓設計師隨心所欲控制,達到設計師想要強調的輪廓與透視構圖,那對整個設計流程,都能有加速的效果。
以下介紹如何讓Blender產生的初步構圖,讓AI接手執行之後的渲染生成的階段。這裡所使用的AI工具,是安裝於本地端的Stable diffusion,並透過ComfyUI介面,來進行操作。整個工作流程,是參考這一位YouTuber – Mickmumpitz – 所介紹的。
透過他的介紹得知,從Blender輸出三種圖樣,深度圖、輪廓圖與語意分割圖後,即可透過Comfy UI中的ControlNet,作為AI生成圖片的參考基準,進而產生想要的構圖。
操作如下:
首先讓Blender輸出深度圖:
接著產生輪廓圖,
再將不同的區塊,以Emission的方式上色,即可得到如下的彩色區塊圖:
接著進到ComfyUI介面,輸入這三張圖,選擇想使用的Checkpoint,以及增加LoRA節點來增添細節的控制。Check point與LoRA都可以到 Civital網站搜尋下載。
即可透過AI Prompt讓AI替這樣的構圖,增添上細節,最終完成這樣的一張AI合成圖。
既然是AI生成,透過Prompt的調整,與SDXL style的選擇,可以得到不同的結果,可以透過多試來找出最適合自己需求的生成圖。
AI目前在生成文字上,還是容易出問題,這部分再透過後製來做處理吧。
ComfyUI以及此Workflow,可以從 Mickmumpitz 的Patreon網站下載: