粉丝6725获赞6.9万

大家好,我是灰灰老师,之前课程我们已经学习了如何安装 control net 插件,但是想要使用 control net 除了安装插件,还需要进行模型的安装。模型分为两种,一种是预处理器使用的模型, 一种是 control net 使用的模型。预处理使用的模型通常会自动下载,如果没有的话,打开屏幕上这个网址,可以看到这些都是预处理模型,点击这里进行下载。 下载好后,把这些模型放在对应的文件夹下, 如人体动作检测的 body post model c h e hand post model c h e 放在 open pose 文件夹下。 control net 使用的模型目前常见的有两种,一类是完整版,一类是经典版。打开这个网址,来到完整版模型下载界面,可以看到一共有八个,都是五 g 多的模型。 经典版打开这个网址,上方的这些就是经典版模型。两种版本作用结果相差不大,但是经典版加载时间、运算时间较短,占用的硬盘空间更小,大家可以自行选择 下载好的 control net 模型,放在下方目录文件夹下, 回到 web u i, 在扩展中点击这个按钮,进行重新加赞, 等待加载完毕,就可以看到在 control net 中模型。这里已经由我们刚刚安装的模型了,现在使用文声图来看一下怎么使用 control net 首先正常写提示词, 调节参数,然后打开 ctrl net 上传一张图片, 勾选启用按钮,这样 control net 才会参与到会图中。如果显存低于八 g, 还需要勾选低显存优化按钮。预处理器选择 carney 模型选择和预处理器对应的 control carney 下方这些参数先默认,点击生成按钮, 就可以得到一张和原图的构图细节大致相同的图片啦,我们下期见!

一、插件安装确保 sd webui 是最新版本。你可以在启动器的版本管理本体中选择最新的稳定版本,或是在版本管理扩展中更新。 control net 启动 sd webui 后, control net 后显示幺点幺 x x x 便是更新成功。 二、检查预处理器一般在插件更新后,预处理器也就随之下载好了。打开文件夹 extensions sd web we control net models 里面扩展明 yamod 文件便是预处理器。 点开 s d 为 f u i 中 ctrl net 中的预处理器列表,刚才文件夹中的各个预处理器都在这里。 三、下载模型这是 control net 模型下载地址。在这个列表中,我们只需要十四个扩展名为 p t h 的文件,并将其复制到钢材存放与处理器的文件夹中。之后点击模型右侧的蓝色刷新按钮,所有的模型就都在列表中了。

今天为大家带来 controlner 保姆级教程,分为插件安装、模型安装、使用及体验三步。 首先进行 ctrl 内插件安装,点击扩展,点击可用,点击加载字,再输入框内输入 ctrl 内 进行搜索,找到 ct rlnet, 点击安装。由于我这里已经安装过了,这里就显示已安装,等待安装完成后点击应用并重启用户界面,这样 ctrl net 就安装完成了。 nice 接下来我们安装 control net 模型,打开 hugging face 模型页面,这里都是 control net 的模型, 比如 openpods, 作用是姿势识别,点击保存,保存完成后把模型放到这个目录下就可以了。最后我们使用并体验一下效果吧,复制并导入提示。 至此,点击 control net 选项,上传姿势图片,选择启用遇处理器选择 openpose 姿势及首部检测模型,选择 control openpose。 最后点击生成。稍等两秒钟 生成了四张图片,我们看下效果吧,是不是跟参考图完全一致?视频中所有资料都进行了整理,需要的朋友请评论区留言,欢迎点赞关注!

哈喽,大家好,我们在应用 sdx 模型的时候,肯定是在关注这个 ctrl net 是否可以使用,目前的话是有测试版是可以使用了,但是能够使用的模型还非常的少, 如果大家不急着去使用这个的话,可以等到九月五号之后再来看一看这个,但是目前的话想尝鲜可以跟着我的视频一起来看一下到底是怎么样的。我们先到这个 ctrl net 的一个官网,然后进来了之后点这个地方, 它有一个 s、 d、 x、 l 的一个分支,你切换到这个分支,然后点这个绿色的图标,我们可以下载它的一个压缩包,就是这个我就不下载了,因为我下载过了,下载过后是这样的,就是这样的一个压缩包,它后缀是 s、 d、 x、 l 键 结尾的这样的一个压缩包,你要进行解压。注意了,不要直接复制这个文件,你要点进去,然后复制里边的这个文件, 然后复制好了之后,我们回到 v b、 y 的目录,因为我这里是备份了一个,然后我们点进去, 进来了之后到这个目录,我们找到 extensions 这个文件夹,点进去把我们刚复制的那个文件粘贴到这里来,因为我这里已经有了,我就不粘贴了,就是这里就是这个。 嗯,好了之后,这是第一种,当然你觉得比较麻烦的话,你可以直接就是在这个文件夹下边这个 extensions 这个文件夹下边可以不用下载压缩包,你就是运用这个命令,就是这个命令你黏贴他,然后呢,你再 在这个文件夹下边鼠标右击在终端中打开,如果没有这个,那你就在这个地方输入 power shell 或者是 cmd, 按 inter 键也可以进入这个窗口,你把这个刚刚复制的那个命令粘贴到这里来,然后按 inter 键进行运行, 然后它会自动下载,这个就是文件,我这里因为已经有了,我就不再下载了哈。 嗯,下载过后呢,他是没有 sd xl 这个后缀的,但是是这个同一个文件好了之后,接下来我们需要去匹配 ctrl net 的一个模型,他模型的话地址我也有分享给大家,就在我的视频的说明栏里,就是这个。 然后进来了之后,这里有非常多的一些模型,当然有些文件大,有些文件小,大家可以下来看 看一下。我没有去测试完,好像有一些还是不能使用,然后我就给大家去演示一下,就是这个吧,就是这两个比较大的一个文件,这个跟这个 candy 和 dips 这两个我们可以看一下效果是怎么样的。你你要点这后边这个下载 这个格式不要下错了,你就点这个下载,下载好的这个文件你把它放到这里边来, 就是我们不是还在这个 extensions 这个文件夹吗?找到这个 ctrl net 然后我们点进去,进来之后这里有个 models, 你把刚刚下的这个模型你都把它放到这里来, 就是这个地方我下了一些,然后放好了之后,你重新启动你的 vbui, 就是双击这个启动 vbui, 然后来到这里之后,这个呢是 ctrl net 注意了,这个版本它是呃一点一的,然后这后边是一个四百,这个不要弄错了, 就是这个是这样的一个版本,然后好了之后,我们这里切换成 sd xl 的一个模型,然后以及他相对应的微页,然后我们就测试一下,就弯个了吧,然后我们添加一个风格进去吧,就是这个风格,这个动画的一个风格进去, 然后我们这里一零二四,一零二四, 这个三十步吧,其他的根据自己需求去设置就行了,这采样方法我就默认,其他我就默认,然后我们打开 ctrl net, 我们上传一张参考图, 就这张三国图吧,这个是一零二四的,然后我们可以勾选这个完美像素,我们先看一下 kelly, 就是这个,然后我们点这个爆炸图标, 然后他这个地方就会有他的一个预览图了,这是这块,当然你可以看其他的,因为这里的话,我们选了之后,他会自动的帮我们去匹配相对应的这样的一个预处理器和模型的, 其他我就默认吧,大家有兴趣的话可以看一下其他的一些参数,跟以前设置是一样的。好了之后我们点真诚 这个地方,因为我电脑配置不太行,三零七零八 g 的一个显存需要的时间比较久,这里就不等了,我去测试了一下,我生产 成这样一张图大概需要十到十五分钟,所以时间太久了。我给大家看一下我之前生成的一个图片,这是他的一个文件夹,我们进来 可以看一下,这个是动画的一个风格,生成的一个效果还是非常不错的,图片也是非常惊艳的,而且他的手部啊,这些要比以前就是一点五的要好很多。 可以看一下这个是摄影的一个风格,大家下来都可以去试试看,就是你也可以去测试一下这个地方, 就是其他的一些模型,大家都下来去看一看,今天的一个分享就到这里。

大家好,下面我来讲解一下利控 v 七点零的安装教程。我们在桌面上这个是 v 七点零的软件压缩包,我们右击打开方式,运动资源管理器点击, 然后全部解压,点击提取, 然后这样就提起出来了,我们双击他,在桌面上就多了一个文件夹,我们点击双击他, 我们这里点击这个一个一程序, 点击这个安装立控 v 七点零, 然后点击下一步四演示板,点击直接下一步, 就随便起个名字给他 abcabcd, 这里我们改一下路径,我们可以找到 c 盘,我们起一个玩具夹力控, 找到我们刚刚新建的玩具家,确定下一步,下一步, 下一步都是直接点下一步的, 这样就等待他安装完成即可。 安装还是挺快的, 是否重启 four, 稍后重启完成,然后我们再点击安装 io 启动 下一步,典型下一步,下一步, 点击否,稍后重启完成,我们再点击安装图库, 哦对,我们把三六零软件关掉,如果电脑装了三六零 或者杀毒软件关掉,我们再次点击安装下一步否稍后重启, 然后安装服务器程序下一步,下一步, 下一步,否稍后重启安装扩展程序下一步, 下一步,下一步, 稍后重启,然后安装加密驱动,反正就把上面的东西都安装完就好了。 finish, finish, 安装好了点击退出,这时候我们在这里就看到这个安装好的软件了,谢谢大家观看。

大家好,这里是 ai 电影师,这期给大家讲解。 ctrl net 这期的主要内容是 ctrl net 的安装基础知识以及它的界面,如果你使用的我之前教程里面的安装方法,那么在打开之后就已经自动默认安装好了。 如果没有安装好的话,直接点击扩展,从网址安装,输入这个网址,点击安装,然后重启外部 ui 就可以了。安装完之后还需要下载 ctrl net 模型, 它的模型有两部分组成,第一是预处理器,第二是模型。大家可以看到这个页面有两个,一个是预处理器,一个是模型,这两个都需要下载。 在之前安装的那一期教程中,大队友可以选择这个 ctrl net 下载完之后,它里面有两个文件,一个是预处理器,一个是模型。下载完之后,点开预处理 器之后,有一个当漏的文件夹,把这个文件夹复制到根部路。 decision s d y b u i ctrl net 找到 annitate, 直接粘贴到这个文件夹下面,我这已经粘贴了,之后把模型文件夹,把这些一共是十四个,复制到文件夹的根部路。 models ctrl net 直接粘贴到这里之后,重启外部 ui, 重启之后,在这里就可以选择使用。 这个是他的预处理器,这个是他的模型。如果预处理器不显示的话,需要找到刚才的登录的文件夹,把这个文件夹的路径复制一下,然后点击设置,找到 ctrl, 把这个路径复制到这里,复制到这个位置,然后再保存设置重启。 wi 那下面说一下 ctrl net 命名规则,比如说这些文件夹,它的命名都是有规则的,大家可以看一下这个图片, 前面是 ctrl 下踝线 v 十一 v 十一代表的就是一点一版本,后面如果跟了个 f, 就表示是修复版本。 v 十一 f 一就表示一点一版本的第一个修复版本,大家可以看一下这个模型,就是 v 十一第一个版本的修复模型,如果后面跟的是 p, 就是可用于生成, 如果是 e 就是实验性, u 就是未完成,大家可以看一下这两个都是 e, 表示的就是实验 线。下划线 s d 十五表示的是基于 s d 一点五版本的 s d s 二就是基于 clip skip two s d 二幺就是基于 stable diffusion 的二点一版本。 s d 二幺 v 就是 stable diffusion 的二一 v 杠七六八版本。接着有个下划线,后面就是它的模型名称, 在后面点 p t h 就是它的后缀名。下面来看一下它的 ctrl net 的界面,首先呢,打开之后点击这个箭头之后,它有四个单元,也就是说可以同时启用四个 ctrl net 模型, 那这个也可以修改,点击设置,然后 ctrl net 这有一个选项,最大网络数直接在这设置,设置完之后保存重启 wiboi, 这就可以有多个单元,这可以上传图片,也可以进行批量的处理,这个是直接上传文件夹这个启用按钮,勾选启用之后才能启用这个单元, 大家可以看一下,勾选之后他就字体就变化了,而且显示一个单元正在使用,再启用一个,他就显示两个单元正在启用,这个可以直观的可以看到。 第一,显存运化,如果你的显存低于八 g 的话,你运行的时候建议勾选上这个叫像素完美,建议你使用的时候也启用这个功能,这个叫允许预览, 如果你点击这个爆炸按钮的话就可以进行预览,这有个 ctrl net type, 点击之后它就可以自动的选择上对应的预处理器和模型,那每一个 ctrl net 都有一多个预处理器, 但是模型呢?基本上都是一个,大家可以上传一个图片测试一下。启用预览,大家可以看一下,这是没有图片的,如果你点击一下这个包装按钮, 它就会显示预览图,这个预览图就是预处理器处理的过程,那么 ctrl net 模型处理的过程需要点击生成之后才会显示。如果你已经有其他的办法得到这个图片的话,那么这里就可以直接选择无,也就是说不需要进行预处理,直接上传你这个图片就可以。 大家可以看一下,这有四个按钮,这个是打开一个新的画布,比如说五幺二同五幺二新建,新建之后他就相当于一个白色的画布,可以进行涂鸦。这个呢是访问你的摄像头进行拍照,这个呢是将摄像头左右互换,这个按钮 是将图片的尺寸直接发送到参数里面,比如说把这尺寸修改一下 才生成的,是一个五幺二乘五幺二的,点击之后直接就可以修改成五幺二乘五幺二。与处理器以及各模型的使用方法,咱们下一期再单独讲解,大家可以看一下有的一处理器,这有一个 invert, 因为正常的是黑色背景,白色蒙版,如果选择之后就是将颜色进行反转。 还有一个他的预处理器和模型必须保持一致才可以使用。下面给大家讲解一下他的界面。 首先呢是 control wait, 这个是关键词对于生成图片的权重,他的值越高,关键词的权重也就越高。这个是开始接入步数,也就是说在采样步数进行到百分之多少的时候开始接入,默认的情况下是零,零就表示 开始就介入。零点二五表示步数进行到百分之五十的时候介入,这个是结束介入。也就是说在采样步数进行到百分之多少的时候就退出。计算默认是一, 如果是零点八的话,就表示步数在百分之八十的时候就退出,依旧表示在计算完的时候退出。这是控制模型。 第一个呢是平衡模式,第二个呢是关键词比较重要。第三个呢是 control net 就比较重要。 那么第一种就是两个之间的平衡。下面是画面缩放模式。第一个是拉伸,也就是说如果上传的图片和这里设置的宽高不匹配的情况下,他会将图片进行拉伸处理。第二个呢是裁剪掉多余的部分。第三个呢是调整之后 后进行填充,也就是说调整完大小之后填充空白区域,这个选项是自动将生成的图片再重新发送到 control net。 好,这期视频介绍到这里,下期继续给大家讲解各个 control net 模型的使用方法。这里是 ai 电影师再见!

哈喽,大家好,我是松柏,然后今天呢给大家带来一期如何训练 controlled 模型的视频,整个训练包呢是我自己写的,所以我先来讲解如何训练一个自己的 controlled 模型,然后再来讲解如何去安装部署 我的这套训练包。首先就是我们训练一个 controlled 模型需要的训练级和普通的模型呢,他是有很大的区别。首先大家看一下训练 controlled 使用的训练级,他是分两个文件来装的,因为我们自己使用 controlled 都会用到一张引导图, 然后用这张引导图呢去控制图片的生成,所以这两个文件夹里面呢,一个就是放你的引导图,然后另一个文件夹里呢,是用来放与引导图匹配的,生成好的图片。 我们先来看一下这个文件夹,大家可以看到在我的训练集里的图片呢,都是这样的,是由一堆个小东西,然后组合成了一 一个比较整体的一个东西,那这个就是用一堆气泡组成了一个抖音的 logo, 或者是用一些其他的元素组合成了一个数字五, 因为我们可以看到使用边缘控制类型的 ctrl net 比如 candy 啊,或者是拉啊,他这种他输出的图片呢,他这一个东西他就是一个东西,整个的边缘呢会框的比较死, 所以我希望我训练的肯德泰的模型呢能解决这个问题。就说边缘的话呀,是这种,他不是连续的,里面呢由一堆小东西组成,但是整体呢又能够连成一个形象出来。 那么这个文件夹呢,就是用来放我的目标图片的文件夹,有了这些目标图片呢,我们可以用它来生成我们的引导图片,那么在生成引导图片之前呢,我们可以复制一下他的地址,然后来到我的这个这个训练包里面来,在上面找到小工具,把刚才 的链接粘贴到这,然后开始批量重命名。这样子呢,我们的目标图片到文件夹里面所有图片的名字就能够处理好,这一步呢是让整个的命名规范化,其实你执不执行都没事。那把目标图片里面所有命名搞定完之后,我们可以开始制作与他们对应着的引导图片, 可以看到左侧呢是我处理过后的引导图片,这些呢都是我用绘图软件自己做的,就是你这么样比着来看的话,你其实就会发现,这样子和我们在那个 sd 里面,和我们使用 ctrl net 里面的 candy 生成图片的那种感觉是一样的,左边预览图,然后右边呢是生成图。 但是像使用 candy 生成的这种图片呢,它的问题就在于它的边缘它框定个太死,而且它里面呢是趋向于是一个整体,这样的看起来的话就不够丰, 丰富,也不够生动。而你看这种商业的图片,他这种感觉来说,它里边都是由于不同的东西组成起来的,他可以有不同的材质,不同的风格,这样一个商业作品看起来的话就显得非常生动,非常的丰富。所以我也想训练的 ctrlnet 模型呢,就是想要达到这种 像 candy 这种边缘轮廓控制类型的 control net 要更加的有想象力一点的这种 control net 模型,所以这是整个处理训练级的第一步,先准备目标图片,然后再准备引导图片,而且你看两边文件夹的名字都是对应的,这是一,然后呢,这也是一, 然后你可以证实二,然后呢,这也是这个二的图片,你看他都是对应好的一个关系,你要不这样的话,他一定会报错。那现在回过头来看,我们的训练夹里面,他现在有这两个文件,一个是放引导图片,一个是放目 标图片,他们两个的命名呢,一定要按照这个名字来命,否则的话一定会报错。那现在有了这两个图片呢,我们还需要为他们准备提示词,我们不能这两个文件夹里的图片都去准备,而是说只是准备目标图片, 也就是我们期望生成图片的提示词,然后呢,等你这个提示词文件全部准备完成之后,回到训练级的根部路里面,然后呢把这个根部路的路径复制一下,回到小工具这里,然后在下面找到 prompt jason 生成工具, 然后把刚才的路径复制到这里,然后点击生成 promt 之后再回到训练级的根部录里,就能看到这个 promt jason 就已经生成好了, 给大家看一下这个文件里边的内容,他是这样子的格式,就是一个文件加名,然后对着图片名,然后再是文件加名,对着图片名,然后第三个就是 promt 的内容,它都是以这样子的形式存在的,就是你想你手动去整理这些的话,真的是非常非常烦,所以我写了这样一个小工具,快速生成一个 promt 文件,然后执行到这一步,你的训练集里面应该有这三个文件,一个是这个引导图片的文件夹, 一个是目标图片的卫生间,一个是 prom 的,像这样的这三个放在这就可以,然后他们三个的名字大家也千万不要去动,因为你动的话肯定是会报错。那么处理完训练集之后, 下一步的操作我们要进行模型的预处理,然后还是在侧边栏点击这个地方,然后这个参考模型呢是需要大家去下载这个 sd 一点五的这个原始的模型,这里有七点七 g 和这个四点二七 g 的,然后大家是要下载 c k p t 格式的模型,当然这个模型呢你可以放在 到你电脑的任意地方,然后还是把他的路径粘贴到这,然后呢输出的路径就是说你预处理后的模型是放在哪一个位置,你就随便写一个你本地的一个路径就可以, 然后呢还可以给他随便起个名字,比如说写随便写一个二二二,然后可以点击开始生成空白模型,那么稍等一会,这个空白的二二二二的模型就生成好了,然后我们刚才进行的就是训练 ctr net 步骤的第二步就是生成一个空白的模型,接下来第三步就是点击特别蓝的训练模型, 然后呢在这里就是把我们刚才生成好的这个空白的模型,把他的文件地址给他复制到这里面去,当然把两边的这个引号给他去掉,然后训练级文件夹呢,就把我们刚才这个训练级文件夹的根部落他的地址给他粘贴到这来,然后我们可以给他随便起一个叫新名, 然后呢这一块默认就行,然后下面呢就是填写最大的训练轮数,默认是二十轮,然后 repeat 每张每轮当中数据的重复次数,包括你可以选择是不是随机,还有每几轮保存一次,他这是二十轮的话,那么是每四轮保存一次, 我们可以得到五个模型,然后在这呢就是把我们模型想要保存的路径给他复制到这里来。液化气呢,这里是可以选择四个,最后一个神童液化气呢,他是有两个和他匹配的参数,其中这个预热防护估计大家没见过啊, 就说啊,你如果是说在调度器这里选择这个长量预热,那么你是需要你把它给开上的啊,如果说你调度器里面是选择其他的这两个,那么你这个个地方就不用开,那他这就是一个这样的规律。然后下面的 学习率方面呢,我也做了一定的调整,就是在每一个学习率后边然后添加上了一个这个权重衰减,像学习率这一块大家应该都知道是怎么填,然后和他匹配的权重衰减呢,其实就是防止这个整个模型训练的时候后混合 的一个参数,就是你实际训练的时候,呃他这块你默认设零也可以,如果说你要添的话, 你可以是比如说比这个呃学习率可以比他多一个零,可以先这样子去训练,这样的话呢就可以增加一些你模型的那种分化能力,然后减少一些过硬核的现象,当然这个有耐的还有稳稳编码可以分开来设置,这些大家应该都明白。然后下面的调度器的参数这里我也是做了一些修改 啊,你看他三个调度器,每一个呢在下面都有一个匹配的参数,三个都不一样。第一个鱼旋, 呃,如果说你使用余弦来做调度器的话,那么你这个 t max 这个数呢,最好要等于你的这个 epoch 的这个数,呃,比如这里是二十,然后呢你在这里 啊, tmax 最好可以是二十,因为它是二十多之后啊,学习率达到最低的那个点嘛,就是你这个里最好是等于以 poke 的数量, 比如说你这里选的是鱼群重启,这里呢就可以填你重启的次数,然后再比如说你写长量预热,那就是说多少步之后,然后能慢慢的把这个学习率给他变高起来,那他就这样的一个意思, 下面就是日志的这些参数,然后这块呢其实没什么好讲的,就是默认的或者是自己填一下都可以。然后呢我们填完好这些参数之后,呃,就可以在这开始点击那个开始训练,那么在我的后台里呢,就能够看到他正在 慢慢的跑,然后等到全部训练完之后,就能够在你的输出文件夹里面,然后找到恒泰训练好的几个模型,呃,他们的命名方式都是前面是名字,然后后面呢是这个某一个 epog 生成的模型,然后呢我们就可以把它放到 sdwi 里面去进行测试,看这个模型有没有效果。 以上呢是整个可乐耐的模型的全部过程,然后现在讲一下这个训练器他是怎么安装,首先呢这是整个训练器的内部文件,想要安装他的话,首先确保你的电脑里头安装了这些东西,你安装好之后呢,在这里找到一个启动脚本, 你可以是双击它打开,也可以以管理员身份运行,都可以,它的作用是给你的这个项目包,然后自动的下载好多个文件,然后等下载完成之后呢,你的项目文件里面就会多出来这样一个文件夹,然后 con env, 这就是环境。然后想要启动这个项目呢,需要我们在这个跟播录里面找到这个文件夹,然后点进来,然后呢右键单击空白,在终端中打开,然后在这里呢写 npm run se, 然后回车,然后稍等一会,就会出现两个网址,然后这是启动你前端的一个页面,然后把这个网址复制到浏览器这里就能够打开这个网页。有了这个前端页面呢,其实我们还是需要后端的一个辅助,还是来到我们的项目跟陌路,然后在这里面找到 notelink, 然后点进来,还是右键单击,然后在终端中打开,在这里呢输入 n o d e 呃 se r e e r 点 g s, 输入这行代码,然后回车,当它出现这个标志的时候,这是已经启用后端了,我们在这里呢就可以执行各种操作,小工具或 或者是模型易处理,或者是训练模型都可以操作起来了,然后可以看到其实整个训练流程都在侧边栏都写好了, 包括各个参数是什么意思,然后我在这里呢也写的比较详细,然后大家不懂的其实在这边都能够看得到,有人可能会加载这个 uig 面失败, 不过这也不要紧,因为你有了这个虚拟环境之后,你其实就是可以直接用脚本去训练,那么你脚本的参数呢?都在这个 p r 文件里,在这里呢就能够找到训练的时候填写的参数啊,把它用记事本打开,然后呢在这里把参数填写一下 啊,填写完成之后,然后回到这个项目的根部路,还是点击空白处,然后在终端中打开,然后输入这样一行代码,回车就能够进入到整个虚拟环境里,然后把这个训练脚本的名字给复制一下,呃,再复制到这里, 然后直接按下回车就能够开启训练,那么这也是一种非常方便的训练方法,只不过他是没有一个 ui 界面作为一个可视化的呈现,但是所得到的结果都是一样的。由于我这个视频发布的平台不同呢,这个训练器的文件我要么是会放到粉丝群里面,要么是会放到那个评论区里面, 然后大家多找找就行。还有一个就是这是这个软件第一次的发布,他肯定会有一些 bug 或者考虑不周的地方,然后也欢迎大家在这个视频下面呢给我一些反馈意见,然后我好及时的进行修正。

今天教大家如何正确安装 control net 避免出现 control net 无法使用的情况出现需要最新的全套 control net 模型及预处理器文件的同学,可以进粉丝群公告领取 包含支持 s d x l 的 control net 模型,大家根据自己的需求进行下载。安装一共分为三步,分别是安装 control net 插件,下载 control net 模型给予处理器, 最后将下载的文件放到指定的文件夹内。首先是第一步,安装 control net 插件,打开 stable diffusion, 直接在扩展中搜索 control net 进行安装。你也可以通过扩展网址或者压缩包进行安装。 安装后记得更新下 control net 插件,到最新版本,可以直接在启动器的版本管理中进行更新插件。第二步,然后下载我整理好的文件夹, 有常用版 gsdxl 版供大家进行选择,常用版为常用的 control net 组件,包含光影模型以及最新的重上色模型。 s d x l 版则是增加了支持 s d x l 的 control net 模型组件,需要注意 s d x l 的 control net 模型只能支持 s d x l 大模型使用,不能向下兼容,大家根据自己的电脑情况及需求进行下载。 第三步,将下载的文件放置到指定的文件夹内,按照我文件夹的名称将文件放到对应的 sd 的文件目录中,然后就可以打开 sd 试验一下,查看是否按照成功了哦。

大家好,今天讲的是 control net 应用节点 m l s d 模型的搭建,这个模型它是专门识别直线的,所以在建筑室内方向的处理上是比较好的选择。比如说我们可以对毛坯房进行硬装, 要处理的毛坯房通过 mlsde 处理器得到一张直线的线稿图,然后我们用这个线稿图通过 ctrl net 控制纹身图,最终得到我们要的硬装图。 我们把这个画板进行清除,来看一下它的预处理器。我们新建节点,在 control net 预处理器中找到 m l s d 预处理器, 也就是这个 m l s d 线段域处理器,我们可以看到它只有一个域处理器。我们新建一个加载图像,然后 连接过来,触到预览图像中,然后我们上传一张图片,我们把这个分辨率进行一下修改,要与原图的高度保持一致。然后我们点击生图, 我们可以看到这个原图的室内环境中,它是有人物的出现的,但是我们在新生成图片中,如果不希望有人物出现,那我们使用这个 m l s d 模型,它就可以很好的避开人物线条的检测。 这里它有两个特殊的参数,一个是刻痕预值和距离预值。我们来看一下这个第一个刻痕预值, 刻痕预制的范围是在零点零一到二之间,我们把它调到二, 然后预览图像,把这个图像断开,我们与他进行一个对比, 可以看到他就没有线条了,那我们把它调到零点二, 然后进行深涂, 我们可以发现这里的话,刻痕预值的值越小,他检测到的指线也就会越多。接着我们来看这个距离预值, 我们把这个距离预值调整到十,然后输出到预览图像中, 我们把这个图像断开,点击提示词,对列声图距离预值,他的值越小就代表距离小的直线他能够被检测出来,而值越大的话,他的小距离直线就不会被检测到。 我们可以把这个图片进行对比,就能很明显看出他们之间的区别。接着我们导入一个纹身图的工作流,我们先把这个画布进行清除,然后加载一个纹身图的工作流。 接下来我们要把这个 control net m l, s d 模型 加过来,在这里我们就需要新建一个 control net 应用接点,它在条件里面。 control net 应用这个 control net 应用它有三个输入端,条件, control net 和图像。 control net 它需要输入的是模型,而模型一般都在加载器中,所以我们这里连接到 control net 加载器上, 他的图像指的是要处理的预处理后的结构图,也就是我们这边经过 mlsd 预处理器处理后的线稿图,所以我们这里新建一个。 control net 预处理器, 找到 m l s d 线段与处理器,然后我们把这个图像输出输出过来,这里新建一个加载图像 节点。 ctrl net 应用接点,它是串联在 click 文本编码器和 k 采样器之间的,所以我们直接把它连接过来,条件输出到正面提示词中, 这样的话我们整个工作流就搭建好了。接下来我们对这个毛坯房进行硬装,我们把这个毛坯房的图片加载过来, 这里的分辨率要和原图保持一致,所以我们这边输入八三二, 注意这里 control net 加载器的模型一定要与这个预处理器保持一致,所以这里要选择 m l s d 模型,因为它是真实感图片,所 对这个大模型就选择真实感模型。接下来是提示词的填写,首先是正面提示词,就是一些质量词,然后加上现代化的装修、瓷砖、地板、电视机等 负面提示词,我们就用通用的负面提示词就可以了。这个强度我们调整到零点八 种子,进行随机步数,输入二十采样器,选择欧拉采样器。 这里的空 lantern 宽高度进行一下调整,也是要与原图保持一致,不然会影响出图的效果。这里的宽度是一千高度,我们就输入八百三十二。然后整个 填写完之后,我们就可以开始进行生图了,我们点击这个提示词对列, 我们把两个图片放到一起进行对比, 这样的话我们的毛坯房印装就完成了。我们在操作中,如果图片中的杂物比较多的话,很多不需要被检测,我们可以选择适当调大一点这个刻痕绿值 ctrl net 控制权重可以适当的调小一点,让改装更自然。 提示词我们也可以大胆的去填写,更多体现你对于改装的一些需求。好了,今天的内容到这里就结束了,我们下期见。

最新的 ctrl net 已经杀疯了,一点一版本啊,已经可以达到这种一键换背景的效果了,那做背景图呢,简直太实用了有没有?那不过啊,如果你使用的是整合包版本的启动器,你很有可能没有正确的更新你的。 ctrl net 大家好,我是蒙克啊 control net 一点一呢,已经更新了快两周了,这个新版本的提升啊,效果还是非常明显的,但很多啊小伙伴还是没有正确地安装好这个 control net 那如果呢,你感觉没有多大提升,或者部分运处理器失效,又或者呢,你使用的整合包更新啊,出现了问题, 我建议啊,你收藏这个视频,一点一点的跟着我这个视频的步骤啊进行更新,能避免你的插件更新啊,走很多弯路。毕竟有的小伙伴首次更新啊,反复折磨了六个小时,还没有更新好。那 我们现在开始啊,首先呢,那打开啊,我们的 stable diffusion 的根目录在根目录里呢,我们找到 extensions。 在这个文件里啊,我们把 ctrl net 这个文件夹啊包含模型,全部都可以剪切到别的地方做备份。 这样的话,新模型如果你下载失败了,也可以继续用旧的,以防万一。那你备份完了以后呢,到 github 上这个地址,我们复制粘贴到 stable diffusion 中, 从网页中安装。呃,要等待一下他才能安装完成。如果你在这个安装的过程里面啊出现了网络波动或者呢其他的这种中断的情况, 你可以在下面这个位置找到这个文件的缓存。文件就在根目录的 t p m 文件夹里,在这里呢,把它找到,删除,尝试重新 安装就可以了。那如果呢,你只在这个拓展栏目里啊,用这个检查更新的功能啊,进行升级,你就会出现啊,界面使用的还是一点零版本的界面,但是呢,他会提醒你已经是最新的孔雀带的。安装完了以后呢,如果你看到界面是跟我一样的界面,这就证明你的安装成功了。 nice, 按照我们刚才的方法进行安装啊,你会发现啊,这里预处理器呢,会比一点零版本的预处理器要多了很多。那随后呢,就是模型的下载,大家可以直接打开啊,这个模型的下载地址,那在这里要注意啊,不要另存为, 我们要点击这里的下载按钮。下载完成以后呢,直接把这个文件啊剪切到我们 controllight 的 models 文件里,那点击打开,你会发现里面啊已经有很多预处理器的文件了。那这个 就是你在下载插件的时候啊自带的文件,而在另一边下载地址这里呢?同名文件中啊,我们只需要下载 pth 结尾的文件就可以了,我们把这些文件呢粘贴到这个文件夹中。 回到 ybui 界面啊,我的模型呢,点这里刷新就可以看到了,那模型已经就绪了,片头使用的模型啊,是一点一版本中的 instruct p two p。 这里呢不对细节做更多教学了,大家呢对应下载需要的模型即可,那位置呢,我会放在这里,大家呢自行保存 也可以呢。关注我,在评论区向我索要,我来一个一个安排好了,我是蒙克,一个一天玩二十三小时 ai 的创业者。关注我, ai 时代不掉队。

大家好,我是浑水鱼,延续上一个视频,今天给大家介绍在 sixo 模型生成更可控的图像,结果包括 sixo 模型下 ctrl next 使用 stable 为 i 官方发布了 ctrl lara, 但是支持的软件并不包括 stable diffusion webelle, ctrl low r a。 目前支持的软件包括 comfort ui、 unstable、 swarm you, 因此整个视频会包含 confi ui 软件的。安装到 controlland 使用的完整过程准备好了,我们就开始吧。首先是下载安装 comfiui 在 windows 的下载,安装的过程非常简单,打开 uil, 输入 comfiui 的下载网址,地址我会放在视频简介里,找到 comfiui 的下载地址, 点击下载, 下载完成之后解压,收到你希望放置 的文件夹, 解压完成后进入文件夹,点击启动文件,即可使用 confu i 了。 打开浏览器,输入控制台看到的网址,就能看到 confi ui 的界面了,点击启动,我们可以试一下,效果 都失败了,这里提示我们的是没有找到模型,不用担心,继续跟着我一步一步的下载安装 sexo 模型吧。大家一定要记住哈根 face 这个网站,扫了模型就到这里找。进入哈根 face 网站后,找到 swgai 的频道,找到我们需要的 sexo 模型, 进入文件列表页进行下载。 下载完成后,将模型放置到模型目录中, 回到 confi ui 的界面,点击刷新,我们就可以在 load checkpoint 节点看到可以使用的 sexo 模型了。选中模型,我们再次点击执行, 图像就开始生成了,我们可以通过这种能力串联的界面更好的控制和了解图像是如何生成的。 stable diffusion the prompts 分为正向词和副向词,所有的节点的名称都可以修改成我们更习惯的名称。 在这里我们可以设置图片生成的大小, 再次点击执行,生成的图片就是一千零二十次大小的了。 我们换个提示词试一下,如果不知道该用什么提示词,可以试试 pumped art 这个网站,找到你喜欢的图片。打开图片找到 pump。 如果你看不懂这段 prompt, 还可以点击 prompt 分析,复制 prompt 粘贴到 kombi ui 的正向提示词节点中, 点击执行,再看看生成的图片效果。 sixo 模型果然还不错的。了解 sixo 模型的人可能都知道, sixo 除了贝斯模型,还有一个 refine 模型。 接下来将继续教大家如何使用 base 加微 find 来生成图片,这可以让图片的细节更好。 我们回到 hogan face 网站下载 refiner 模型, 下载完成的 refiner 模型放到模型文件夹下 下载。安装完模型回到 comfy ui 界面。 confi ui 是一个将节点串起来的界面,很灵活,但节点一旦多了就很管理和查找。这里建议大家一开始就养成一个分组的习惯,就像现在的界面其实有两个大的功能,一个是基础参数,一个是图片输出。我们就按照这个方式将节点进行分组, 便于后面增加新的图片。深层的控制节点, 每个 globalpops 节点都是可以设置节点的,这个功能你一定会喜欢,建议试试。 然后就是开始设置 refiner 模型的控制节点。 refiner 模型是在贝斯模型后用于进一步优化,同样我们先建一个 refiner 的分组, 然后我们在这个主理增加图片生成的核心节点采样。 see latens 输出到图片输出的环节, base 环节呢则输出到 refiner 环节,然后增加加载模型的节点,用于选中 refiner。 这里很多 stable defusion 模型的一些概念不了解也没关系,一步一步照着我做就能生成想要的图了。 we find 模型还需要有提示词 prompt, 怎么看?还需要什么呢?我们就看节点的输入有没有没有被接线的。 我们再稍微调整一下 refine 那个屋布的大小,让所有节点布局看上去整齐一些。 base 价位发现认为是 base 模型生成的图, 再由 refiner 继续油画。我们要把贝斯默认的三 pro 节点切换成高级节点,用于调整一些贝斯号的 final 之间任务分工。 这里大家按照我视频里挨个把线头接上,不要漏。 然后开始设置 k s m per 的一些参数,包括结束步数,也就是总共二十 steps base 执行到哪一步, base 至少要占百分之八十的步数,避免过度优化。想想看过的过度精修图,这里二十 steps base 执行十八 steps, 剩余两步用于优化完成 steps 分配。我们找个现实一点的 prompt 看看效果。 将提示词分别粘贴到 base 和 refiner 的提示词框内,点击执行就可以看到效果了。大家可以多试试不同的 steps 分配的效果是什么样的。 到这里我们就掌握了如何使用贝斯加 refine 实现图像生成。在使用 ctrl night 之前,我们还要了解一下如何通过 logo 来控制一张图的生成。同样,我们还是建一个 logo 的控制分组, 在这里增加 laura 控制所需要的节点。 如果你没有可以直接使用的 laura, 推荐你在 services com 下载, 这里有很多的 lola 可供使用。 延续三 上一期视频,我把之前念的 lola 直接复制到 company ui 使用,这个 lola 的下载地址我也放在了简介中。 复制完之后,可以在 log 中选择需要使用的 log 模型,如果下来列表没有 log 模型,点击一下刷新,然后把相关节点都挂接上。 修改 pump 增加了 的激活词,我这是个人物劳拉,需要名称。激活完成之后,点击启动即可再次生成图片,我们可以看到正在执行的节点,耐心的等待一下, 我们看到图片变成了 lola 模型,模燃机的图片。 假设我们想要生成和我们的参考图片姿态相似度非常高的图片,我们就需要用到 control night 的组件了。我们先把参考图片下载到本地,一会儿会用到。我们先来下载 control night 的 lower 模型,进入到 hogan face stability ai 页面, 找到 controllog 模型。在文件目录下,我们就能看到所有的 controllog 模型,这里可 可以挨个将文件下载下来。除此之外,还有个更快捷的方式,进入到 custom note 的目录下,点击进入终端, 输入 get 命令,将所有 controllow 模型下载到本地。我这里粘贴的地址是错误的,实际应该是跟节点的 url 再次复制粘贴到命令行李, 点击回车, ctrl logo 模型就开始下载了。 注意,看到这个信息意味着下载完成了,然后我们就可以开始在 comfort 中使用 ctrl。 net 的能力了。 这里我们还是 保持一个良好的习惯,深圳 group 设置有差异的颜色, 给分组取一个名字, 我先换个温和点的颜色, 然后添加 log。 ctrl live 的节点。 这里我们发现并不能选中 ctrl lola, 这是因为我们刚才只是下载了模型,并没有把模型放置到 ctrl。 net 模型目录下。我们回到 custom note 节点下,找到 ctrl log 模型,复制所有的模型,粘贴到 ctrl。 net 目录下。 再回到 confi ey 界面,我们就看到 controllala 就加载出来了。 点击肉的节点上的输出参数,节点界面上就会多出一个应用 controllight 的节点。 我们知道 ctrl。 net 是需要 low 一张参考图片的。点击 image 节点上传图片的节点就出现了。 点击上传我们刚才保存的参考图。 我们把所有的节点连接上采样器的信息来源多了一份看错。 net 因此我们要和 sample 连接上 图片,和 prompt 同时作为输入,用于生成图片。因此我们这里要改一下 prompt 的连接线,把 prompt 连接 apply control 呢? 稍微调整一下 group 焊接点的位置,让图片生成过程看得更清晰。 完成设置,我们就可以点击启动,观察图片生成的过程焊结果了。 这里我们可以看到图片变得和参考图更加的相似了。我们再换一张图片试试, 同时复制下来 prompt 看不懂 prompt, 可以点击右下角的 prompt 分析。将刚才保存的图片上传到 ctrl 那主内的 ima 节点 plump 中。修改提示时记得保留烟机关键词, 点击执行, 图片中的姿势也变得含参考图一致,大家也一起来试试如何使用 ctrl lord 生成更可控的图片吧!本期视频就到这里了,后面我会给大家带来更多好玩的图像生成技巧,比如合照等,感兴趣的欢迎关注,下期再见!

大家好,今天讲的是 control net 应用节点 inpit 模型搭建 inpit 相当于局部重会,只是 inpit 通过 control net 进行局部重会, 他可以将重绘的地方跟原图融合的更好一点。我们可以看到这里的第一张图,他是通过 ctrl net 控制的,他的融合度就很高,整体看上去很协调。 第二张是通过直接的局部重绘生成的,虽然他的人物也生的不错,但是整体的融合度就不如第一张那么协调了,他就会略显的不自然。 接下来我们来创建一下他的工作流。我们清除一下这个画板,我们上面提到英配特,他就相当于局部重会。所以我们这边不管有没有 control net, 首先要进行一个图声图 的局部重会,然后如果我们需要 contronnat 的话,再把 contronnite 串联下来,我们加载一个土生土的基础工作流。由于我们要进行局部重会,所以我们这里新建一个设置 lantern 噪波遮罩节点。我们在新建节点里面找到 lantern 内部,里面有个设置 lantern 噪波遮罩。我们把经过 v a 一编码的数字图像输出到这个设置 lantern 噪波遮罩节点中, 然后再把这个设置 lantern 噪波遮罩的输出端连接到这个 k 采样器的 lantern 输入端。 这样我们的局部重绘工作流就搭建好了。接下来我们给它加上 contronat, 这就需要新建一个 contronat 应用节点,让它作为条件参与到整个绘图的引导。我们在新建节点中找到条件 contronat 应用 这里的 control net 应用节点,它有三个输入端条件 control net 和图像。 control net。 它需要输入模型,模型一般都是在 control net 加载器中的。我们在这里新建一个加载器,然后把它连接过来。 这里的模型一定要选择和预处理器相对应的模型。我们这里是 input, 所以直接选择 input 模型。这里的图像指的是要处理的预处理后的结构图,也就是我们这边经过 inpet 预处理器处理后的遮罩图。所以我们这里新建一个预处理器。 我们在新建节点 control net 预处理器,其他里面找到 inpite 内部预处理器,这个就是 inpit 模型的预处理器。我们把这个图像连接过来, 这里的图像输出到图像中,遮罩也连接过来。注意这个设置 lantern 噪波遮罩。这里的遮罩也是从图像这边连接过来。 接下来我们把这个 control net 串联到 clip 文本编码器和 k 采样器之间, 条件输出到正面提示词中。 这样的话我们整个工作流就搭建好了。我们上传要处理的图片,我们想对这个女生进行重绘。 我们右击这个加载图像节点找到。在遮罩编辑器中打开。我们把要处理的部分涂抹上遮罩, 然后保存遮罩。这里的 control net 加载器模型我们已经选择好了,要和预处理器保持一致。接着是这个大模型的选择,这个人物是真人,所以我们这里选择真实 质感大模型。这里的真实感大模型我们用它自带的 v a 一就可以了。我们把这个 v a 一连接过来。这里的 v a 一加载器删掉。注意这里的 v a 一编码也要连接过来, 这样的话我们的大模型就选择好了。接着我们来看提示词的填写,我们在正面提示词中输入质量词,然后加上一个女孩。负面提示词中我们用人物通用的负面提示词。 接下来我们看 k 采样器参数,我们把这个步数设置为二十,采样器设置为欧拉,采样器降噪我们设置为零点八。 所有的参数都设置完之后,我们就可以开始进行生图了。我们点击这个提示词对列,我们把这个种子进行固定,因为一会的话可以更好的看出对比效果。然后我们重新进行生图, 可以看到这个就是我们通过控制 control net 生成的图片。接下来我们把这个 control net 应用节点关闭,我们不通过 control net 直接进行局部重会, 看会生成什么样的图片。由于我们这个种子已经固定了,所以我们把这个预览图像断开,然后重新输出到预览图像中。点击生图, 我们通过对比图明显看到 input, 它就是局部重绘。我们重绘了这个人物,然后使用 input 模型的局部重绘,它会比没有使用的效果更好,融合的也会更贴合。 大家。在之后的生途中,如果需要使用局部重会的话,不妨试试通过 control net 进行控制。好了,今天的内容到这里就结束了,我们下期见。