Ridley

GF 2024-04-12 22:20

（空的）

只看GF | | 小中大

[comfyui] 一键AI去衣工作流教程（一）—— 基础篇

本教程系列最终为了在comfyui里实现“一键AI去衣”工作流，参考前一个帖子https://north-plus.net/read.php?tid-2157478.html，大抵会分为几个篇章循序渐进，以帮助第一次使用的朋友。

本篇教程为第一篇——基础篇，不管你有没有相关基础，只要认真阅读相关教程都能完成搭建。基础篇基本就能涵盖A1111's webui里的“AI去衣”流程。

第二篇——自动识别：https://north-plus.net/read.php?tid-2164519.html

第三篇——肤色与修复（完结）：https://north-plus.net/read.php?tid-2173721.html

前置工作

1. 下载comfyui

   （建议使用整合包，我用的是秋葉的
https://www.bilibili.com/video/BV1Ew411776J/）

2. 节点安装

    如果你使用的不是秋葉整合包，请留意是否有以下几个节点插件
    （感谢评论区补充）
    ComfyUI-Manager
    AIGODLIKE-ComfyUI-Translation
    ComfyUI_Custom_Nodes_AlekPet
    Crystools
    efficiency-nodes-comfyui（如果你也用的秋葉包可能需要卸载重装这个节点）
    Comfyui-Impact-Pack
    ComfyUI-Advanced-ControlNet
    comfyui-controlnet-aux
    ComfyUI-WD14-Tagger （可选）

    除了以上秋葉整合包自带的插件外，为了实现最终工作流你还需要安装
    Segment Anything (https://github.com/storyicon/comfyui_segment_anything)
    Lama Remover (https://github.com/Layer-norm/comfyui-lama-remover)
    Masquerade Nodes (https://github.com/BadCafeCode/masquerade-nodes-comfyui)
    WAS Node Suite (https://github.com/WASasquatch/was-node-suite-comfyui)

    （建议先简单了解下这些插件的作用，如果你连不上github，秋葉启动器里搜索该插件应该有对应镜像网址）

    以上插件除了WAS Node Suite都可以直接通过秋葉启动器或comfyui manager直接安装；
    而安装WAS Node Suite你可能需要遵照github里的安装教程：
      -来到 /ComfyUI/custom_nodes/ 文件夹
      -将github或者镜像网站里下载的节点包/was-node-suite-comfyui粘贴进来
      （如果你装了git，直接在最上面路径那一栏里覆盖输入cmd，在命令行里输入运行 git clone https://github.com/WASasquatch/was-node-suite-comfyui/）
      -然后在命令行里输入运行 path/to/ComfUI/python_embeded/python.exe -s -m pip install -r requirements.txt
      -比如我的就是“E:\ComfyUI-aki-v1.3\python\python.exe -s -m pip install -r requirements.txt”

    除了插件本身外，通常插件会在调用时自动下载自身需要的模型，部分插件需要额外下载模型，各类模型的本地安装地址通常在\models文件夹下，小部分则直接放在\custom_nodes对应节点文件夹里，如果遇到模型缺失请留意。

    另外，在安装以上插件后如果跟原有插件之间有冲突，不用担心，直接卸载那个原有插件（你也可以忽视warning继续，通常这类冲突只在插件内一小部分节点中存在，不影响使用）。

3. SD大模型与VAE模型下载

    这个就不用多说了，要重绘真人就用真人模型，要重绘二次元就用二次元模型（尽量选择画图效果与原图相近的和泛化性足够强的）。

    （貌似很多朋友是真的第一次接触Stable Diffusion，原本不想写推荐模型的但照顾一下新玩家我就瞎推荐两个SD1.5的好了。希望你能早点找到自己中意的大模型并学会使用）
    真人模型：[Checkpoint]fantasticmix_k1+[VAE] vae-ft-mse-840000-ema-pruned（秋葉包自带）
    二次元模型：[Checkpoint]meinamix_meinaV11+[VAE] （Baked/不需要）

    Checkpoint模型放置地址\models\checkpoints\，VAE模型放置地址\models\vae\

    多逛逛https://civitai.com/models

4. controlnet模型下载

    整合包通常是自带controlnet插件节点的，但模型需要自行下载，或者你使用过A1111's webui的controlnet，可以直接拿来用。这里主要使用的是SD1.5的模型，如果你想在sdxl下实现请自行寻找对应controlnet模型。

    你可以通过https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main下载所有SD1.5模型或者通过https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main等下载这些模型的fp16版本，推荐用fp16版本的节省内存。

    模型放置地址\models\controlnet\

5. 打开comfyui检查（建议设置为中文）

Comfyui基础使用方法

右键新建节点/双击搜索节点——选择需要的节点并设置——将节点与节点之间用线连接

基础工作流

1. 图生图

    AI去衣的工作流核心依旧是图生图局部重绘，因此我们可以先复刻一遍A1111's webui里的局部重绘功能。

    值得注意的是旧webui里的局部重绘有非常多的选项功能，比如蒙版区域处理、蒙版模式等等，本篇教程只介绍最适合“AI去衣”的重绘方式。

    因为comfyui的token权重插值方式和随机生成方式跟A1111的不同，推荐使用效率节点里的模型加载器和K采样器，这样可以更方便地在comfyui里实现A1111的画图功能。

    如图就是底图+噪声的局部重绘方式，对应A1111里的【蒙版模式】重绘蒙版内容-【蒙版内容处理】原图-【重绘区域】整张图片。

    在{加载图像}节点里直接拖入你要重绘的图片，然后右键{遮罩编辑器中打开}，绘制蒙版（左键画笔右键橡皮）后保存到节点。

    需要注意的点：
    （1）输入图像如果过大需要适当缩放，具体缩放到什么分辨率取决于你的显存和大模型（通常小于<1024*1536就可以了，越小跑得越快）；
    （2）模型效率加载器里，大模型和vae（模型放置地址在\models\checkpoints和\models\vae下）基于你自身喜好（或者像我一样用fantasticmix_k1 + vae-ft-mse-840000-ema-pruned，但我不推荐任何inpainting后缀的模型，具体原因以后会提及），SD1.5模型通常建议clip skip设置为-2，以及权重插值方式设置为A1111；
    （3）K采样器（效率）里的降噪也即重绘幅度，建议0.6~0.7（重绘幅度越低需要的蒙版越细致）。

    设置完毕后点页面右上角“添加提示词队列”就能运行。

2. 引入controlnet

    controlnet的主要作用就是在画图过程中在潜空间上进行条件控制，因此我们不再将正负条件直接输入采样器，而是先经过controlnet。

    如图我们以controlnet inpaint为例，在前面图生图的基础上添加一个controlnet应用，选择对应预处理器和加载controlnet inpaint模型，再将经controlnet调整过后的正负条件输入到采样器中。

同样地，我们可以串联多个controlnet

3. 颜色遮罩

在前面的局部重绘过程中，我们只使用了最基础的遮罩模式，而我们希望使用颜色遮罩覆盖原图，即对想去衣的人体部位用与肤色相近的蒙版，这样可以在较低重绘幅度下更好地实现去衣。

如图，我们将在对输入图像进行VAE编码前，将遮罩区域替换成我们需要的颜色。

    这里我们会用到Masque节点的{遮罩混合颜色}。
    由于本质是图像与图像合并，我们需要将遮罩先转成图像，再经过相同系数缩放后再与原图像合并。
    其中RGB颜色需要换成你吸取到的颜色（关于如何自动吸取肤色将在后面教程介绍，现在这里需要手动通过其他软件吸取图像颜色），并不需要太精确，大致颜色相近就能获得很好的重绘效果。

    值得注意的是，对于输入到controlnet里的图像，通常不建议用颜色遮罩合并后的图像，因为这样会损失很多图像细节导致部分controlnet效果变差。

如此，一个简单的去衣工作流就完成了

经过上面这些步骤，你应该已经搭建完这一工作流了，当然你也可以直接在我这下载图中示例的工作流（如果你是第一次接触comfyui，强烈建议你~~当做连连看~~从头搭建试试。对工作流的任一步骤不够理解，都可能会导致在使用时遇到障碍）

此帖售价 0 SP币,已有 243 人购买

若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!

以上就是如何在comfyui中复刻webui中的局部重绘功能，后面的教程（如果我还有时间写的话）应该都是在webui中无法实现的功能了。如果你对这一工作流有什么想法或者建议，欢迎给出反馈。

顶端

鱼

B1F 2024-04-12 22:27

（ACG小宅而已）

只看该作者 | | 小中大

技术贴牛逼，收藏了

顶端

Timoo

B2F 2024-04-12 22:37

只看该作者 | | 小中大

马一个

顶端

纯爱也会性焦虑嘛

B3F 2024-04-12 22:42

（哪位大神知道我的头像是谁啊出自哪里？）

只看该作者 | | 小中大

支持！！！！回家就搞

顶端

小细腿

B4F 2024-04-12 22:44

（自用稳定机场https://shandianpro.com/#/register?code=vKIG7v2u 存档ipb_member_id: 7 ..）

只看该作者 | | 小中大

学习一个

顶端

97487ggg

B5F 2024-04-13 00:34

马

| ▼展开

只看该作者 | | 小中大

chuanliang

B6F 2024-04-13 09:06

只看该作者 | | 小中大

大佬牛

顶端

f0dd67e5

B7F 2024-04-13 09:09

（wsdde）

只看该作者 | | 小中大

强

顶端

08de8663

B8F 2024-04-13 09:12

mark

| ▼展开

只看该作者 | | 小中大

xdm我好了

B9F 2024-04-13 14:24

（一切都是命运石之门的选择）

只看该作者 | | 小中大

这个流程图是怎么画的啊，好看

顶端

Ridley

B10F 2024-04-13 20:13

（空的）

只看该作者 | | 小中大

回 9楼(xdm我好了) 的帖子

你是说最后一张图么？设置里连线换成直角线就行

顶端

empirehwm

B11F 2024-04-14 00:52

只看该作者 | | 小中大

这个看着有点历害

顶端

fileimg

B12F 2024-04-14 11:59

只看该作者 | | 小中大

大佬牛逼，求续作

顶端

徒悲叹

B13F 2024-04-14 13:23

只看该作者 | | 小中大

请问这个和st 图生图加插件和inapint模型 segment插件的区别在哪里呢 comfyui的效果好一点还是需要的显存条件更低一点

顶端

陌阳

B14F 2024-04-14 13:30

只看该作者 | | 小中大

爱看爱学请大佬继续深入教学

顶端

秀利理

B15F 2024-04-14 15:26

只看该作者 | | 小中大

搞了几次漫画图，最后一次算可以吧，就是颜色不太对，等大佬下一个教程。

顶端

Ridley

B16F 2024-04-14 15:36

（空的）

只看该作者 | | 小中大

回 13楼(徒悲叹) 的帖子

a1111是搭载好了几个固定工作流，优化相对较差；comfyui更加自由，可以实现更复杂和天马行空的工作流，而且更快捷稳定（包括启动），需要的显存更低，不用担心爆显存和各种原因导致必须重启。
（a1111=宝宝巴士，comfyui=可能性的野兽）
至于画图效果，你可以干涉的地方更多了，自然就能调出更好的效果。

顶端

a9b33358

B17F 2024-04-14 15:50

只看该作者 | | 小中大

感谢分享，想用SDXL模型，但没找到SDXL的controlnet的inpaint模型，只找到openpost的，需要拿什么替换阿，我试过直接忽略inpaint节点效果不是很好。
SDXL的controlnet模型我是从这里找的https://huggingface.co/lllyasviel/sd_control_collection/tree/main

顶端

Ridley

B18F 2024-04-14 15:51

（空的）

只看该作者 | | 小中大

回 15楼(秀利理) 的帖子

我觉得你这可能是大模型或vae的问题

顶端

Ridley

B19F 2024-04-14 16:03

（空的）

只看该作者 | | 小中大

回 17楼(a9b33358) 的帖子

截至目前没有人发布sdxl的inpaint模型，只有一个类似inpaint实则颜色过于自由的模型。
inpaint作用主要就是颜色与纹理补偿，如果你的大模型和vae本身就跟原图契合，原则上可以不要inpaint。
如果你是重绘后构图出现问题，可以加点低强度的controlnet深度模型或者法向模型。

顶端

秀利理

B20F 2024-04-14 16:11

只看该作者 | | 小中大

回 18楼(Ridley) 的帖子

图片：

我换了好几次大模型和vae模型，出了这个

顶端

秀利理

B21F 2024-04-14 16:14

只看该作者 | | 小中大

我还是得继续学习，controlnet还不太会弄

顶端

b6681d3f

B22F 2024-04-14 23:40

只看该作者 | | 小中大

很奇怪，我按大佬的教程搭建完以后（也对比了大佬给的工作流），绘制蒙板的时候只有覆盖衣服部分，但最终输出结果把面部（表情）还是重绘了，请问是哪里的设置不对吗

顶端

蓝淘法网

B23F 2024-04-14 23:58

| ▼展开

只看该作者 | | 小中大

恨姐不是秋

B24F 2024-04-15 00:41

只看该作者 | | 小中大

学习了

顶端

Ridley

B25F 2024-04-15 02:06

（空的）

只看该作者 | | 小中大

回 22楼(b6681d3f) 的帖子

你可能在VAE编码后漏掉了{设置latent噪波遮罩}，但是由于controlnet的inpaint在生效，最终重绘出来衣物以外区域只是有细微变化，看起来像是表情变了

顶端

a373a277

B26F 2024-04-15 18:20

只看该作者 | | 小中大

很好很好，支持一下

顶端

鸡儿放假？

B27F 2024-04-15 19:37

马克

| ▼展开

只看该作者 | | 小中大

hyr2nb

B28F 2024-04-15 22:12

（excuse me？）

只看该作者 | | 小中大

支持一波~
另外问下大佬，comfyui和sd哪个好点

顶端

Ridley

B29F 2024-04-16 00:05

（空的）

只看该作者 | | 小中大

回 28楼(hyr2nb) 的帖子

通常建议先玩A1111再玩comfyui，入门肯定是A1111好点，但也仅限入门了

顶端

4c668ca1

B30F 2024-04-16 00:19

只看该作者 | | 小中大

大佬牛哇

顶端

漫区特设

蜜柑计划

综合交流

人民囧府

[comfyui] 一键AI去衣工作流教程（一）—— 基础篇

此帖售价 0 SP币,已有 243 人购买

回 9楼(xdm我好了) 的帖子

回 13楼(徒悲叹) 的帖子

回 15楼(秀利理) 的帖子

回 17楼(a9b33358) 的帖子

回 18楼(Ridley) 的帖子

回 22楼(b6681d3f) 的帖子

回 28楼(hyr2nb) 的帖子