粉丝4204获赞1.8万

在使用工作流之前,我们首先需要来了解一下 confiy 到底是什么? web ui 和 confiyi, 它俩都属于 stable diffusion, 也就是我们通常说的 s d。 web ui 的操作界面更类似于我们常用的网页界面。 web ui 通常会提供绿色的模板或者选项,类似现在文生图、 图生图后期处理等等一些预设的模块,你可以快速的开始使用。固定的模块就意味着较低的灵活性,如果你有其他需求就难以实现,所以在康菲 ui 中,你自由的组合度 就会更高。咖啡 ui 就适合我们对图像生成有更高或者是更多具体目的的用户,而外部 ui 就适合想要快捷简单生成图像的普通用户。 而康复 ui 它是一个节点式界面,意思就是你可以通过拼接不同的模块,就像拼图一样来定制图像的生成过程。 在康复 ui 中,模块的功能就比较单一和简单,例如这一个节点用来加载图像,而这一个节点只用来加载大模型, 这样的节点只用来输入我们的文本。这样单一的节点模式就意味着非常高的灵活性。 我们就可以通过拼接节点的方式,针对特定目的、具体需求和效果搭建一个完整的处理流程。在咖啡 ui 里就叫做工作流。 简单来说,康复 ui 更加的复杂灵活,而外部 ui 就更加的简洁和易用。 更高的灵活度就意味着你需要更丰富的节点知识。许多小伙伴看到复杂的连线就感到头皮发麻, 在这样的情况下,使用已经搭建好的成熟的工作流就是一个非常好的选择,你只需要上传图片,选择相应的功能,进行一些简单的操作,然后再执行工作流, 就可以生成这样高质量的图像结果。不需要复杂的节点知识,也不需要对 ai 太多深层次的了解,简单、快速、高效的得到高清高质量的结果。 现在我们就通过一个最简单的 confi ui 默认文生图工作流来了解生成一张图片的基本组成节点以及它的工作原理。 首先我们这个工作流包含大模型、 clip 文本编码器、 k 采样器以及 vae 解码和保存图像,这些节点节点的名称可能会让你摸不着头脑,那这里我来换一个说法, 假如要拍摄一张图片,我们首先需要一个摄影师,大模型就类似我们摄影师的大脑,他提供给我们足够的摄影知识和数据。那接下来我们就需要表达需求, 我们需要一张什么样的摄影照片? clip 文本编码器的作用就是理解我们的需求并传达给 aik 采样器在接收到需求之后,根据大模型也就是摄影师的丰富知识开始拍摄。 拍摄完成之后, vae 就充当一个翻译官的角色,翻译成我们可以观看的图像,最后就将这个图像保存到我们的电脑里。有了这样一个完整的运行流程,我们就只需要将这个流程运行起来,他就会从左 到右开始执行每一个节点的功能任务。当这个绿色的外框跑到了最后的保存图像,我们这个整个任务就完成了。执行最后生成的这张图像就是我们提出的需求,一个装有紫色银河的玻璃瓶, 那大模型的话,他就像是一个大佬,接受了许多的图像训练,所以他非常的占用资源。就像我们每个人擅长不同的技能,不同的大模型他也有擅长的风格。 我们可以在一些平台看到其他模型师训练的模型,以当前这个平台为例,我们在旁边这里点击筛选, 在下方你就可以看到有许多的模型类型,那这个 checkpoint 就是刚刚我们在工作流里的第一个加载的大模型。点击 checkpoint 以后,你就可以在下方 看到所有的模型都为这个类型的打模型了,我们再来查看筛选里面你可以看到切破模型, 他也会有很多的分类,比如说我们 sd 最早的是一点五模型,也就是幻语 v 一到 v 三使用的大模型,接下来 幻语 v 四使用的就是 s d 叉 l 的大模型,那现在 v 五的话,主要是 使用的就是 flax 模型,当然也保留了 sd 叉 l 的风格。参考不同的大模型,当然它的功能和效果也有很大的不同,这个从最初的版本使用到现在的小伙伴就可以知道它的区别。 不同版本的大模型他的体量也不一样,例如最初的 sd 一点五的大模型,一个模型可能只有两个 g 或者四个 g, 那 sdxl 的模型的话,他一个模型可能就在六个 g 到八个 g 左右。 现在 flax 的话,它就更加的庞大,一般在十多个 g 以上,所以说本地运行它需要的电脑配置就更高。我们 常用的除了 checkpoint 大模型,还有罗尔模型,罗尔模型就类似于基于大模型 针对某个功能或者是某个效果进行强化的一个精简版的小模型,他的目标是尽量在保持在大模型的能力范围内减少计算资源和时间。 例如从筛选的这个结果上来看,有些 loro 模型可以对质感进行加强, 有些罗尔模型针对某个角色的表情做了训练,或者是针对风光摄影有更加良好的表现。所以说如果你有特定的目的,你就可以使用 一些特定的模型。当然,使用罗绕模型也需要对应大模型的版本,例如我们可以在这个上方的标签查看,这个罗绕模型对应的是 fefe, 就是 flax 大模型, 如果这里是叉 l, 那它对应的就是叉 l 大模型,你需要和 s d 叉 l 大模型结合使用。 在我们的工作流里,你通常可以同时加载两个 lord 模型,我们可以通过上方的开关方便的管理是否加载 lord 模型。 回到工作流,我们就可以在 load checkpoint 这个节点里面选择不同版本的模型来使用,例如里面可以选择一 点五或者是 s d 叉 l。 为什么没有 flax 模型呢?是因为加载 flax 需要使用另外一个节点, 所以在 load checkpoint 这个节点你就只能选择一点五或者是 s d 叉 l。 像刚刚我们说的,上方,如果我选择了一点五,那么下面的 lora 就必须选择一点五的 lora 模型。 在了解 ai 生图最重要的大模型和 lora 模型他们的关系之后,接下来就来到了 clip 文本编码器,也就是刚刚我们所说的,需要在这里填写我们的需求, 告诉 ai 我们需要生成一张什么样的图片。描述需求当然也 也有他的一个语言规则,例如我现在想要编写一个提示词,一个穿着蓝色连衣裙的女孩站在花园里, 那使用 sd 一点五,他的提示词格式相对简单,主要使用英文单词,关键字需要着重调整权重的就用括号括起来,然后后面是数字这样的格式。正面和负面提示词需要分开编写, 如果使用 s d 叉 l, 他对提示词顺序的话会更敏感,所以重要的一般写在前面。对自然语言描述支持的更好,你可以使用简单的短语,当然也需要正向以及负面提示词。 flax 就对支持提示词 非常的友好,可以支持更为复杂的条件控制,还有对画面的超长的描述也可以解析的非常到位。他生成的图像镜头感也非常强,这也是为什么大家现在喜欢使用 flax 的原因。 对比三种大模型生成的图像,你不难发现,从 s d 到 flax 模型,不管是从真实感,细节还有美观度都有极大的提升。 填写提示词现在也不用担心,在我们的工作流里,经常都会有这样的自动反推提示词的一个开关,你也可以使用中文来填写你的需求, 例如在我们的纹身图工作流,也可以打开反推图片作为提示词,也就是图声文,或者是使用这样的平台进行图声文。也可以使用你们熟悉的豆包来为你编写提示词, 所以不会写提示词,完全不用担心有各种各样的工具帮你编写,或者是你直接找到你想要的风格进行图声文再文声图都是可以的。 或者使用我们的素材生成器,不需要提示词,只上传一张图片就可以生成相似风格的其他变体,非常的方便。 下一个视频将来简单介绍一下,作为我们整个流程最重要的执行节点,这个 k 采样器它的基本参数有什么作用?
![ComfyUI 使用Controlnet教程及常见报错 使用ControlUI的时候出现An error happened while trying to locate the file on the Hub and we cannot find the requested files...的报错该如何解决?
Main.py文件中
if __name__ == "__main__": 后面复制粘贴如下代码后保存即可(记得得是英文字符)
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
ComfyUI中Controlnet的使用技巧简介
#AI绘图 #comfyui #stablediffusion #controlnet #人工智能](https://p3-pc-sign.douyinpic.com/image-cut-tos-priv/75b02879e5ee488d14276832eb828bb3~tplv-dy-resize-origshort-autoq-75:330.jpeg?lk3s=138a59ce&x-expires=2084666400&x-signature=yO1ETSq79O4AhZVDQd9IuWxwqGY%3D&from=327834062&s=PackSourceEnum_AWEME_DETAIL&se=false&sc=cover&biz_tag=pcweb_cover&l=20260125105151233B5F1A88471918C336)

