粉丝686获赞2531

hello, everyone, this is matteo and today i'm going to play a little with comfy ui the goal is to create this kind of anime like realistic illustrations without the need of laura or checkpoint specifically trained for that and the cool thing is that you can set the realism factor from cartoonish to very realistic, so everything starts from a good checkpoint you need a generic model and i find deliberate to be a good one for what we are going to do today the prompt is very simple i like to split it into three parts the first is the main subject then we have the settings of the scene and finally keywords like cinematic, highly detailed and so on, and also all these will serve only as a scuffled in for the illustration that we are going to do later, so i'm not worried about the fine details i just want that the composition is fine let's see what we've got okay this is a good start already the image is a little bit burnt, but it is not important because we are going for an anima style so high contrast is good, but what i don't like is that there's a lot of bleeding between the tokens that are given in the positive prompt you can see that in the prompt, i have perfect piercing blue eyes and the scene became all blue not only the eyes, but also the armor and the big ground too so to fix that we can split our positive prompt into two vectors and merge them with a conditioning concat note like so the order is not important now in the first prompt, i will only have the main subject so portrait photo of a muscular woman wearing a sci fi or mac armor now, there are a couple of important keywords here one is muscular and the other is sci fi muscular helps to bring the attention back to the body of the woman otherwise, we will very likely get only the face and the sci fi keeps the attention away from fantasy because we used armor we only want futuristic armors and not fantasy ones now we can remove from the second prompt the main subject and keep everything else this way we have two separate vectors that do not bleed too much into each other so let's see the difference as you can see now the scene is less blue the armor is still bluish, but better than before and overall we have more brown tones which is nice so i think this is a good start for our illustration let's go to the next step that is adding a touch of ip adapters just for curiosity say let me try to remove muscular and write like strong and see if we get a portrait instead of a body shot you can see the attention is not on the body anymore, but only on the face because we have portrait as first token in our prompt, so let's put muscular back and go to the next step so the easiest way to add the ip adapter is by starting with the apply ip adapter node and then you can simply drag all the inputs and select the node this is the ip adapter model loader then the clip vision loader and we have to load an image then we connect the model and back to the case sample now we have essentially three options for the ip adapter model one is the base model, the other is the plus model and the last one is the light model you have to experiment a little, but if you want just a hint of the reference image you either pick the light model or the base model the plus would be too strong so i'm starting with the base model and as for the reference image i have this very nice scene you can pick actually whatever you want, but it has to be very simple and very cartoonish there should be not too many elements otherwise the scene is going to be contaminated too much of course we want to lower the weight i'm starting with point 35 and it's always a good practice to prepare the image for the clip vision so i'm going also to add a prep image for clip vision node the crop position is in the center and let's see the result and now we have a strong comic book graphic novel kind of illustration it's not exactly what i was aiming for also the eye is a little bit crooked and so i'm going to first of all lower the weight and i'm also adding a bit of noise that often helps with a generation now it's closer to what i want, but i think i'm going to add a little weight to get some anima style back and this is pretty good now the face is a little vanilla i wanted to have a stronger character so i'm going to try to add some famous art actress to the positive prompt we need someone who played some strong character and we can try with michelle rodriguettes now it is certainly more interesting we can try with like lucy flawless zoe salgana and i'm about to or this are your tools on now this is a good one now let's try to change the reference image and see if we get more interesting result as you can see the reference image doesn't need to be of the same kind of the image that we want to generate in this case this is not a sci fi scene, but of course if it is close it is better so let me see what i have here okay this is closer to what we want let's see what happens now since the reference is closer to our subject now we can set a higher weight let's try with and of course this is the portrait, so we lost part of the body, but but it's fine it's very nice illustration, very well lit and a good candidate for the next step which is upscaling so there are many ways we can upscal an image aka hires fix if the upscaled image can be very different from the original, we can upscale the latent directly and probably one one of the best method is with the an an latent upscale, but we want to use a low denois, so i'm not going to use this one on the other side of the spectrum we have upscaling with tile control net and that we grant an upscaled image that is very close to the original, but i want a certain grade of freedom when i'm scaling so what i'm actually going to use is a model upscaling in the pixel space so i add an image upscale with model then i grab the inputs and select the upscale model loader i like the full handy remarkry model, but you can use whatever you want we connect the image so this is a four times up scaler and it is a little too much so i'm going to scale the image down note with image scale by note by point five so the resulting image will be two times the original then we need to convert the pixel image into the latin space with vade and code we need the v model and finally we can connect a second k sample i can copy this and with ctrl shift v we'll pass the k sample keeping all the pipe connections course any delayton from the upscaled image now for the model i don't want the one that comes from the ip adapter, but i'm going to connect directly from the regional model because i want to be able to get back some realists out of this image when i'm scaling i like to use dpm plus plus 2m with kara scheduler and we change the seed we don't need many steps 20 are usually more than enough and of course we need to lower the denials, the lower, the denials, the closer will be to the original image。

本期视频主要讲一下怎么在康复 ui 上搭建 ipadapter 工作流。先讲一下什么是 ipadapter, ipadapter 它可以识别参考图的艺术风格和内容,然后生成相似的作品,并且还可以搭配其他控制器使用。 接下来我将详细地从模块节点的安装和模型下载开始,再到如何在 comfort ui 上使用 ipadapter 的方式,最后讲解如何结合 contranite 工作流的方法。这条视频讲的非常详细,建议你先点赞收藏。 首先我们打开 confu i 界面,打开我们之前安装好的 confu i manager, 选择第一个安装节点,在右上角搜索 ipad after, 会出现两个插件,我们点击安装, 我们可以看到在插件的描述中,作者提示我们需要到模型下载中下载两个种类的模型,一个是 ip adapter 模型,另一个是 keep vision 模型。安装成功之后会看到这里变成两个按钮。如果不确定是否安装好,我们可以打开 comfort ui 的 目录,在 custom 下滑键 notes 可以找到这两个文件。确定这两个文件安装好了之后,我们还是使用 comfy ui manager。 选择第三个按钮安装模型,在右上角搜索 ip adapter 会出现很多模型,我们选择这三个模型进行安装。安装 s d 一点五的和 s d x l 的模型,因为后面使用的时候需要对应着模型选择, 下载完成按钮会变成绿色。然后我们继续在右上角搜索 clip, 同样选择名称中带有 ipadette 的模型,分别下载 sd 一点五和 sdxl 的 toip vision 模型。 clip 模型比较大,可能时间会更长一点。下载好了之后,打开这个插件的 models 文件夹, 将下载的 ipadapter 模型复制到另一个插件的 models 文件夹中,这样这两个 ipadapter 插件都有了可使用的模型。 crepe 模型的位置在 comfy ui models clip vision 中应该能看到两个文件夹分别对应着 s d 一点五和 s d x l 模型。充, 重新打开 comfu i 后,你可以在新建节点中分别找到这两个模块节点。这两个使用 ipadapter 的方式比较类似,这次我先讲解第一个插件的使用方法。首先我们先调出 opriipadapter 模块,可以看到上面有四个节点, 第一个是输入 ipadapter 模型,第二个是输入 cooperation 模型,第三个是进行风格模仿的参考图,最后一个是大模型的输入, 所以我们可以这样理解。我们将一张风格参考图输入到 i p adapter 之后,需要通过可以 recent 模型对图像中的内容进行理解,再通过 ip adapter 模型和大模型综合一下,作为条件输入到前空间,以达到图像风格模仿的效果。 我们明白了原理,现在来搭建一下。点击新建一个默认流程,添加 upper ip adapter 节点,从 ip adapter 节点拖出,选择 low ip adapter model create vision 模型,同样连接上,选择 s d 一点五的模型, low image, 选择你想要添加的参考图。最后将 model 节点 连接到 checkpoint 节点,连接好之后,将 model 节点连接到 case super 采样器中,把提示词都删掉,确保输出的效果不受提示词的影响。这里我使用的模型是这个,你们可以按照自己的喜好选择点击生成图片, 可以看到输出的图片带有明显的参考图特征。再来尝试一张室内的风格图,可以看到对风格参考也还不错。接下来我们按照上节课讲到内容,将 control net 融入到工作流中,调出 control net 应用模块。 这里我使用 dept 模型,选择深度图与处理器,可以看到风格也很好地迁移过来了。最后我搭建了一个带有 control net 和图像放大的工作流,可以直接使用呦,放在视频简介或者粉丝群里了。总结一下, 想要使用 i p adapter 需要输入四的内容,分别是参考图片 type 模型、 ip adapter 模型和 checkpoint 大模型。在 ip adapter 应用模块处理之后,输出到前空间即可。这就是在 confu i 上使用 ip adapter 的方法。插件二,相比这个插件多了一个节点,可以在其中添加遮罩,以达到生成图是由两张参考图像分区生成的能力。 如果想学,把想学打到公屏上,我看看有没有更新的必要。这就是这期视频的全部内容。制作视频不易,如果这个视频对你有帮助,请不要忘记点赞收藏。你的支持对我制作下一期教程非常重要,感谢你的观看。我是设计师,学 ai 教你实操,正于虚言,我们下期再见。

还是一个康费 ui 的工作流的分享,使用 ip adapter 加上一个 openpose 的骨架图,加上 animate def 生成视频,并且呢在潜在空间当中啊进行放大,那么效果就是这个样子的, 那么这个地方还是一样,我还是和大家一起构建一下,从最简单的 anymate 的工作流进行构建。 加载 anymate def 模型, 加载采样器 click 设置停止层,我这里设置为负二,当然对你来说的话可有可无,然后设置正向,反向提示词,要经过采样器 设置 nintend 从潜在空间出来的话,我们肯定需要解码,解码的话加载一下 v a 一 好,那么这就是一个 animate def 的最简单的工作流程,我这个地方呢,也已经是演示了好多遍了,那么和开头说的一样,我这个地方还需要加入 ip adapter 和 contranet。 先加载一下 ip adapter 加载模型, 加载 clip 视觉加载器, 加载图像 模型,连到大模型这个地方来,让大模型从它经过,然后再连到我们的 animate def 的加载器上, 那原来的线啊就断掉了。经过了这个 ip adapter, 设置一下模型,这里设置为 clip h。 那么 ctrl net 加载什么地方呢?加载在这个提示词后面,采样器之前就在中间这个部位, 所以我要让正向反向提示死都过一下这个 continue it 粘过来,粘过来 ctrl net 这个地方加载一下 ctrl net 模型就和一开始所说的一样,我们应当加载一个 open pose 模型。 那么现在这个 ctrl 这个地方呢,还需要输入图像,那么这个图像从哪里来呢?好,加载视频, 如果需要的话,图像这个地方还可以做一个缩放, 直接连过来。 这个地方呢,就不需要日处理器了,用过 wifi ui 的朋友们应该都清楚,这已经是处理后的图像了。然后这个地方我选择在 潜在空间进行放大,因为在潜在空间进行放大可以获得一个更加好的效果,选择 little, 按系数缩放。那么这样的一个流程呢,我在之前的纹身图当中啊,也已经说过了, 模型正向,反向提示词都从原来这个地方接过来,后面 latin 的这个后面我们做与上面相一致的设置 框,选 ctrl 加 c, ctrl 加 v, latin 接入好,那么这样的话,在前 在空间进行的一个放大就已经完成。这个地方呢,我下载一个图像,包括还有其他的设置呢,仅供参考。提示词这个地方呢,可填可不填,那么我这里使用了 ipa debuter 就可以不填这个提示词,我对比下来差距不大,当然也可以填了。最大的帧数呢,我设置为一百五十帧, 因为这是一个五秒钟的视频。下面加载视频的这个地方呢,我也设置为一百五十帧。 想要生成视频的宽度为五幺二,高度为九幺二。 ctrl net 的长度呢,我设置为零点七五,不需要太强。然后 latin 这个地方我发现已经失误,显然这个地方不 应当设置为空的 later, 我们应该在这个地方将图片进行 v a e 编码,使其进入到潜在空间,这才是正确的。所以图像这个地方,我接一个 v a e 编码,然后将它进入到潜在空间当中。 v a e 这个地方粘上 v a e 加载器,设置一下采样器和调度器,这根据你自己的自由啊进行选择。那么我的这个潜在空间的放大呢?我选择放大一点五倍,后面一个采样器我也做类似的设定。 降噪这个地方理解为重绘幅度我设置为零点五, 真日呢,我设置为二十四,保存的格式 我设置为 m p 四,后面这个同样也做一样的设定。 注意的话,这个地方我们用了两个采样器,我们也可以把它的随机种子转为输入 新建节点使用工具,原节点 随机种子两个都连过来 啊,设置为随机,这样的话尽管种子随机,那么两者也是一 制的,也许能够在潜在空间进行发达的时候取得更强的一致性,这样的话整个工作流程呢就配置完成。

大家好,今天给大家分享的还是 ipo depth 加 condex 工作流。如果我们现在只使用现在最新版的 ipo depth 来控制我们图像的风格和构图的话,比如说我们使用这张素材图像, 使用 ipo depth 来进行生成风格转换和构图转换的话,他只能够生成像这样的结果图像,我们控制不了人物的样貌和穿着 没有服饰的细节。所以说今天的这个工作流呢,我们是使用 ipo debt 风格加构图的 sdx 二节点,只能够使用 sdxr 模型, 所以说这里呢,要使用两张素材图像,一个作为风格参考,另一个作为构图参考。风格参考,比如说我使用的是一张这样的素材图像构图参考,我们使用的还是这张素材图像,我们现在为它加上 condonite 控制,使用 condonite 的 candy 线稿模型来进行控制画面,让生成的结果 图像和我们这张素材图像构图参考的素材呢,人物能够达到一模一样,从表情和穿着方面,所以说我们 ctrl nice 模型呢,很实用。 candy s d x r 一点零的版本 权重,在采样器里面,我们的权重不要给的太高,给到零点七五就可以了。我使用的不是快速的 sdxr 模型,而是一般的现在最新发布的 sdxr 模型, 正常的步骤比较多,采用三十步的迭代步数。正常的结果图像,嗯,就能够将人脸和人物的服饰穿着,从结构方面非常和我们的原图进行接近。至于穿着风格和装饰这些细节呢,就由这张风格素材图像来决定。比如说我们再换一张素材图像,换一张这样风格的人物, 把它生成的结果图像是这个样子的。如果我们要是画一张这张插画上的小猫,使用这个素材图像的风格, 那么我们生成的结果图像是这个样子的。这个结果图像生成的很不好,因为人物的眼睛呢,会像这只小猫的眼睛一样,还有蓝色和绿色,而头发的位置颜色也比较乱,身上的花纹 背景也比较乱。我们可以对生成的结果图像进行一个修复,我们来使用 ipo debt notes 这个节点生成图像噪声,将生成好的图像噪声呢,连接到图像反推这个节点里面,我们再来生成一下结果看一下。那么这一次生成图像就进行了一个修复, 身上的衣服的花纹没有那么花,没有那么乱,头发的颜色呢,也不至于那么乱了,但是人物的眼睛还会像小猫的眼睛一样发绿发蓝。所以说使用这种动物类型的图像作为风格参考呢,也不是很适合。 使用人物的风格作为参考是没有问题的。如果我们不使用 comenite 看内模型来进行一个图像控制的话,直接用 ipodept 来生成,那么他是一个这样的结果,人物就是随机生成的图像了,他只是人物的姿势和素材图像比较一致,而人物的外观和身上的衣服呢,和原图就没什么关系了。在后面呢,又加了一个卡通奈次深度模型来控制图像。这个深度模型呢,现在是一个没有使用的状态,我们只使用了卡内模型, 使用 candy 模型来生成图像结果的话,它是一个这样的结果,如果我们加上深度模型,那么它是右边这张图像的结果。 深度模型会让背景我们的人物的前景进行一个区分,有空间感。像左边的这张图像呢,就比较平面了,他没有空间感,所以说我们要加上深度模型,会有这种前景和后景的这种区别, 图像呢也更为柔和。我们现在可以将深度 comlide 控制去连接到我们采光器上面,从摊内模型 colonlide 控制我们去 连接到深度模型的 ctrlnet 控制节点上面,将这两个模型呢一并使用。那么如果我们将 candy 的模型呢,将它的权重 给他设置为零点三,生成权重给的低一些,而深度模型权重给的高一些,那么他会生成一个这样的结果。图像人物的姿势能够保持和原图一样,但是人物的五官和脸型,还有人物的穿着还有服装装饰都和原图 没有关系了,他会进行一个随机生成。当然生成结果图像的风格会保持和我们上传的这张素材图像的风格保持一致的。这边要注意我们在采样器的重绘幅度呢,不要给他太高,给他太高的话,他会不像我们的原图, 他会离我们这个原图呢越来越远。就比如说生成这种图像,人物的五官和穿着不可控,也非常的难看。好了,如果大家需要这个工作流的话,可以到我的网盘里去下载这个工作流,那么今天的分享呢就到这里,如果大家觉得这个工作流对你有用,那么也请帮我的视频呢,点击关注加赞连我们下期视频分享,再见!

大家好,本期视频给大家介绍一下如何使用 confui 加 control net 加 ipadapter 实现视频转会动画。 首先自行按教程安装好相应的插件及模型,然后我们开始新增视频加载节点。新增 tile line art open post 相关处理节点及图片预览节点。然后我们新增模型加载节点和正反向提示词节点。 新增 control net 加载节点并加载对应的模型并连接处理对应的图片。 然后我们新增 ip adapter 加在节点并上传我们的图片。接着新增 animate def 加载节点。然 然后我们新增 k 三 pro 采样器节点级 v 编码解码节点。最后我们新增视频保存节点,并且将前几期视频中的高清放大节点复制过来就好了好了,本期视频就到这里,我们下期再见。