无图版
帮助
论坛首页
登录
注册
讨论区
搜索
社区服务
屏蔽配置
刷新黑名单
好奇模式
清空列表
管理列表
■
帖子 |
■
头像
社区论坛任务
用户名
UID
Email
认证码
点此显示验证码
热门版块:
茶馆
询问&求物
免空资源区
网赚资源区
同人音声
游戏资源
Soulplus
Wind
用户中心首页
编辑个人资料
查看个人资料
好友列表
用户权限查看
积分管理
积分转换
特殊组购买
收藏夹
我的主题
基本统计信息
到访IP统计
管理团队
管理统计
在线统计
会员排行
版块排行
帖子排行
个人首页
我的收藏
好友近况
南+ South Plus
AI交流 (beta)
[comfyui] 一键AI去衣工作流教程(一)—— 基础篇
漫区特设
Comic Market 103
Comic Market 102
サンクリ
Comic1☆
其他同人志
一般漫画
例大祭&紅楼夢
汉化本发布
旧物仓库
蜜柑计划
- 蜜柑计划 - Mikan Project
综合交流
ACG交流
轻小说
原创绘画
原创小说区
询问&求物
茶馆
AI交流 (beta)
免空资源区
网赚资源区
人民囧府
事务受理
上一主题
下一主题
新 帖
|
浏览器收藏
|
打印
Ridley
作者资料
发送短消息
加为好友
UID:
1327522
精华:
0
发帖:
243
HP:
0 点
SP币:
13038 G
昵称: Ridley
在线时间: 1371(小时)
注册时间:
2020-08-11
最后登录:
2024-05-16
GF
2024-04-12 22:20
(空的)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
[comfyui] 一键AI去衣工作流教程(一)—— 基础篇
本教程系列最终为了在comfyui里实现“一键AI去衣”工作流,参考前一个帖子
https://north-plus.net/read.php?tid-2157478.html
,大抵会分为几个篇章循序渐进,以帮助第一次使用的朋友。
本篇教程为第一篇——
基础篇
,不管你有没有相关基础,只要认真阅读相关教程都能完成搭建。基础篇基本就能涵盖A1111's webui里的“AI去衣”流程。
第二篇——自动识别:
https://north-plus.net/read.php?tid-2164519.html
第三篇——肤色与修复(完结):
https://north-plus.net/read.php?tid-2173721.html
正式版工作流:
https://north-plus.net/read.php?tid-2180363.html
前置工作
1.
下载comfyui
(建议使用整合包,我用的是秋葉的
https://www.bilibili.com/video/BV1Ew411776J/
)
2.
节点安装
如果你使用的不是秋葉整合包,请留意是否有以下几个节点插件
(感谢评论区补充)
ComfyUI-Manager
AIGODLIKE-ComfyUI-Translation
ComfyUI_Custom_Nodes_AlekPet
Crystools
efficiency-nodes-comfyui
(如果你也用的秋葉包可能需要卸载重装这个节点)
Comfyui-Impact-Pack
ComfyUI-Advanced-ControlNet
comfyui-controlnet-aux
ComfyUI-WD14-Tagger
(可选)
除了以上秋葉整合包自带的插件外,为了实现最终工作流你还需要安装
Segment Anything
(
https://github.com/storyicon/comfyui_segment_anything
)
Lama Remover
(
https://github.com/Layer-norm/comfyui-lama-remover
)
Masquerade Nodes
(
https://github.com/BadCafeCode/masquerade-nodes-comfyui
)
WAS Node Suite
(
https://github.com/WASasquatch/was-node-suite-comfyui
)
(建议先简单了解下这些插件的作用,如果你连不上github,秋葉启动器里搜索该插件应该有对应镜像网址)
以上插件除了WAS Node Suite都可以直接通过秋葉启动器或comfyui manager直接安装;
而安装WAS Node Suite你可能需要遵照github里的安装教程
:
-来到 /ComfyUI/custom_nodes/ 文件夹
-将github或者镜像网站里下载的节点包/was-node-suite-comfyui粘贴进来
(如果你装了git,直接在最上面路径那一栏里覆盖输入cmd,在命令行里输入运行 git clone
https://github.com/WASasquatch/was-node-suite-comfyui/
)
-然后在命令行里输入运行 path/to/ComfUI/python_embeded/python.exe -s -m pip install -r requirements.txt
-比如我的就是“E:\ComfyUI-aki-v1.3\python\python.exe -s -m pip install -r requirements.txt”
除了插件本身外,通常插件会在调用时自动下载自身需要的模型,部分插件需要额外下载模型,各类模型的本地安装地址通常在\models文件夹下,小部分则直接放在\custom_nodes对应节点文件夹里,如果遇到模型缺失请留意。
另外,在安装以上插件后如果跟原有插件之间有冲突,不用担心,直接卸载那个原有插件(你也可以忽视warning继续,通常这类冲突只在插件内一小部分节点中存在,不影响使用)。
3.
SD大模型与VAE模型下载
这个就不用多说了,要重绘真人就用真人模型,要重绘二次元就用二次元模型(尽量选择画图效果与原图相近的和泛化性足够强的)。
(貌似很多朋友是真的第一次接触Stable Diffusion,原本不想写推荐模型的但照顾一下新玩家我就瞎推荐两个SD1.5的好了。希望你能早点找到自己中意的大模型并学会使用)
真人模型
:[Checkpoint]
fantasticmix_k1
+[VAE]
vae-ft-mse-840000-ema-pruned(秋葉包自带)
二次元模型
:[Checkpoint]
meinamix_meinaV11
+[VAE] (Baked/不需要)
Checkpoint模型放置地址\models\checkpoints\,VAE模型放置地址\models\vae\
多逛逛
https://civitai.com/models
4.
controlnet模型下载
整合包通常是自带controlnet插件节点的,但模型需要自行下载,或者你使用过A1111's webui的controlnet,可以直接拿来用。这里主要使用的是SD1.5的模型,如果你想在sdxl下实现请自行寻找对应controlnet模型。
你可以通过
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
下载所有SD1.5模型或者通过
https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main
等下载这些模型的fp16版本,
推荐用fp16版本的节省内存
。
模型放置地址\models\controlnet\
5.
打开comfyui检查
(建议设置为中文)
Comfyui基础使用方法
右键新建节点/双击搜索节点——选择需要的节点并设置——将节点与节点之间用线连接
基础工作流
1.
图生图
AI去衣的工作流核心依旧是图生图局部重绘,因此我们可以先复刻一遍A1111's webui里的局部重绘功能。
值得注意的是旧webui里的局部重绘有非常多的选项功能,比如蒙版区域处理、蒙版模式等等,本篇教程只介绍最适合“AI去衣”的重绘方式。
因为comfyui的token权重插值方式和随机生成方式跟A1111的不同,推荐使用效率节点里的模型加载器和K采样器,这样可以更方便地在comfyui里实现A1111的画图功能。
如图就是底图+噪声的局部重绘方式,对应A1111里的
【蒙版模式】重绘蒙版内容-【蒙版内容处理】原图-【重绘区域】整张图片
。
在{加载图像}节点里直接拖入你要重绘的图片,然后右键{遮罩编辑器中打开},绘制蒙版(左键画笔右键橡皮)后保存到节点。
需要注意的点:
(1)输入图像如果过大需要适当缩放,具体缩放到什么分辨率取决于你的显存和大模型(通常小于<1024*1536就可以了,越小跑得越快);
(2)模型效率加载器里,大模型和vae(模型放置地址在\models\checkpoints和\models\vae下)基于你自身喜好(或者像我一样用
fantasticmix_k1
+
vae-ft-mse-840000-ema-pruned
,但我不推荐任何inpainting后缀的模型,具体原因以后会提及),SD1.5模型通常建议clip skip设置为-2,以及权重插值方式设置为A1111;
(3)K采样器(效率)里的降噪也即重绘幅度,建议0.6~0.7(重绘幅度越低需要的蒙版越细致)。
设置完毕后点页面右上角“
添加提示词队列
”就能运行。
2.
引入controlnet
controlnet的主要作用就是在画图过程中在潜空间上进行条件控制,因此我们不再将正负条件直接输入采样器,而是先经过controlnet。
如图我们以controlnet inpaint为例,在前面图生图的基础上添加一个controlnet应用,选择对应预处理器和加载controlnet inpaint模型,再将经controlnet调整过后的正负条件输入到采样器中。
同样地,我们可以串联多个controlnet
3.
颜色遮罩
在前面的局部重绘过程中,我们只使用了最基础的遮罩模式,而我们希望使用颜色遮罩覆盖原图,即对想去衣的人体部位用与肤色相近的蒙版,这样可以在较低重绘幅度下更好地实现去衣。
如图,我们将在对输入图像进行VAE编码前,将遮罩区域替换成我们需要的颜色。
这里我们会用到Masque节点的{遮罩混合颜色}。
由于本质是图像与图像合并,我们需要将遮罩先转成图像,再经过相同系数缩放后再与原图像合并。
其中RGB颜色需要换成你吸取到的颜色(关于如何自动吸取肤色将在后面教程介绍,现在这里需要手动通过其他软件吸取图像颜色),并不需要太精确,大致颜色相近就能获得很好的重绘效果。
值得注意的是,对于输入到controlnet里的图像,通常不建议用颜色遮罩合并后的图像,因为这样会损失很多图像细节导致部分controlnet效果变差。
如此,一个简单的去衣工作流就完成了
经过上面这些步骤,你应该已经搭建完这一工作流了,当然你也可以直接在我这下载图中示例的工作流(如果你是第一次接触comfyui,强烈建议你
当做连连看
从头搭建试试。对工作流的任一步骤不够理解,都可能会导致在使用时遇到障碍)
此帖售价 0 SP币,已有 382 人购买
若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!
以上就是如何在comfyui中复刻webui中的局部重绘功能,后面的教程(如果我还有时间写的话)应该都是在webui中无法实现的功能了。如果你对这一工作流有什么想法或者建议,欢迎给出反馈。
顶端
回复
引用
分享
chuanliang
作者资料
发送短消息
加为好友
UID:
1849111
精华:
0
发帖:
223
HP:
0 点
SP币:
2273 G
昵称: chuanliang
在线时间: 118(小时)
注册时间:
2023-07-01
最后登录:
2024-05-16
B1F
2024-04-13 09:06
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
大佬牛
顶端
回复
引用
分享
上一主题
下一主题
南+ South Plus
AI交流 (beta)
[-- 查看移动版 --]