粉丝3041获赞1.5万


一、插件安装确保 sd webui 是最新版本。你可以在启动器的版本管理本体中选择最新的稳定版本,或是在版本管理扩展中更新。 control net 启动 sd webui 后, control net 后显示幺点幺 x x x 便是更新成功。 二、检查预处理器一般在插件更新后,预处理器也就随之下载好了。打开文件夹 extensions sd web we control net models 里面扩展明 yamod 文件便是预处理器。 点开 s d 为 f u i 中 ctrl net 中的预处理器列表,刚才文件夹中的各个预处理器都在这里。 三、下载模型这是 control net 模型下载地址。在这个列表中,我们只需要十四个扩展名为 p t h 的文件,并将其复制到钢材存放与处理器的文件夹中。之后点击模型右侧的蓝色刷新按钮,所有的模型就都在列表中了。

哈喽,大家好,我是松柏,然后今天呢给大家带来一期如何训练 controlled 模型的视频,整个训练包呢是我自己写的,所以我先来讲解如何训练一个自己的 controlled 模型,然后再来讲解如何去安装部署 我的这套训练包。首先就是我们训练一个 controlled 模型需要的训练级和普通的模型呢,他是有很大的区别。首先大家看一下训练 controlled 使用的训练级,他是分两个文件来装的,因为我们自己使用 controlled 都会用到一张引导图, 然后用这张引导图呢去控制图片的生成,所以这两个文件夹里面呢,一个就是放你的引导图,然后另一个文件夹里呢,是用来放与引导图匹配的,生成好的图片。 我们先来看一下这个文件夹,大家可以看到在我的训练集里的图片呢,都是这样的,是由一堆个小东西,然后组合成了一 一个比较整体的一个东西,那这个就是用一堆气泡组成了一个抖音的 logo, 或者是用一些其他的元素组合成了一个数字五, 因为我们可以看到使用边缘控制类型的 ctrl net 比如 candy 啊,或者是拉啊,他这种他输出的图片呢,他这一个东西他就是一个东西,整个的边缘呢会框的比较死, 所以我希望我训练的肯德泰的模型呢能解决这个问题。就说边缘的话呀,是这种,他不是连续的,里面呢由一堆小东西组成,但是整体呢又能够连成一个形象出来。 那么这个文件夹呢,就是用来放我的目标图片的文件夹,有了这些目标图片呢,我们可以用它来生成我们的引导图片,那么在生成引导图片之前呢,我们可以复制一下他的地址,然后来到我的这个这个训练包里面来,在上面找到小工具,把刚才 的链接粘贴到这,然后开始批量重命名。这样子呢,我们的目标图片到文件夹里面所有图片的名字就能够处理好,这一步呢是让整个的命名规范化,其实你执不执行都没事。那把目标图片里面所有命名搞定完之后,我们可以开始制作与他们对应着的引导图片, 可以看到左侧呢是我处理过后的引导图片,这些呢都是我用绘图软件自己做的,就是你这么样比着来看的话,你其实就会发现,这样子和我们在那个 sd 里面,和我们使用 ctrl net 里面的 candy 生成图片的那种感觉是一样的,左边预览图,然后右边呢是生成图。 但是像使用 candy 生成的这种图片呢,它的问题就在于它的边缘它框定个太死,而且它里面呢是趋向于是一个整体,这样的看起来的话就不够丰, 丰富,也不够生动。而你看这种商业的图片,他这种感觉来说,它里边都是由于不同的东西组成起来的,他可以有不同的材质,不同的风格,这样一个商业作品看起来的话就显得非常生动,非常的丰富。所以我也想训练的 ctrlnet 模型呢,就是想要达到这种 像 candy 这种边缘轮廓控制类型的 control net 要更加的有想象力一点的这种 control net 模型,所以这是整个处理训练级的第一步,先准备目标图片,然后再准备引导图片,而且你看两边文件夹的名字都是对应的,这是一,然后呢,这也是一, 然后你可以证实二,然后呢,这也是这个二的图片,你看他都是对应好的一个关系,你要不这样的话,他一定会报错。那现在回过头来看,我们的训练夹里面,他现在有这两个文件,一个是放引导图片,一个是放目 标图片,他们两个的命名呢,一定要按照这个名字来命,否则的话一定会报错。那现在有了这两个图片呢,我们还需要为他们准备提示词,我们不能这两个文件夹里的图片都去准备,而是说只是准备目标图片, 也就是我们期望生成图片的提示词,然后呢,等你这个提示词文件全部准备完成之后,回到训练级的根部路里面,然后呢把这个根部路的路径复制一下,回到小工具这里,然后在下面找到 prompt jason 生成工具, 然后把刚才的路径复制到这里,然后点击生成 promt 之后再回到训练级的根部录里,就能看到这个 promt jason 就已经生成好了, 给大家看一下这个文件里边的内容,他是这样子的格式,就是一个文件加名,然后对着图片名,然后再是文件加名,对着图片名,然后第三个就是 promt 的内容,它都是以这样子的形式存在的,就是你想你手动去整理这些的话,真的是非常非常烦,所以我写了这样一个小工具,快速生成一个 promt 文件,然后执行到这一步,你的训练集里面应该有这三个文件,一个是这个引导图片的文件夹, 一个是目标图片的卫生间,一个是 prom 的,像这样的这三个放在这就可以,然后他们三个的名字大家也千万不要去动,因为你动的话肯定是会报错。那么处理完训练集之后, 下一步的操作我们要进行模型的预处理,然后还是在侧边栏点击这个地方,然后这个参考模型呢是需要大家去下载这个 sd 一点五的这个原始的模型,这里有七点七 g 和这个四点二七 g 的,然后大家是要下载 c k p t 格式的模型,当然这个模型呢你可以放在 到你电脑的任意地方,然后还是把他的路径粘贴到这,然后呢输出的路径就是说你预处理后的模型是放在哪一个位置,你就随便写一个你本地的一个路径就可以, 然后呢还可以给他随便起个名字,比如说写随便写一个二二二,然后可以点击开始生成空白模型,那么稍等一会,这个空白的二二二二的模型就生成好了,然后我们刚才进行的就是训练 ctr net 步骤的第二步就是生成一个空白的模型,接下来第三步就是点击特别蓝的训练模型, 然后呢在这里就是把我们刚才生成好的这个空白的模型,把他的文件地址给他复制到这里面去,当然把两边的这个引号给他去掉,然后训练级文件夹呢,就把我们刚才这个训练级文件夹的根部落他的地址给他粘贴到这来,然后我们可以给他随便起一个叫新名, 然后呢这一块默认就行,然后下面呢就是填写最大的训练轮数,默认是二十轮,然后 repeat 每张每轮当中数据的重复次数,包括你可以选择是不是随机,还有每几轮保存一次,他这是二十轮的话,那么是每四轮保存一次, 我们可以得到五个模型,然后在这呢就是把我们模型想要保存的路径给他复制到这里来。液化气呢,这里是可以选择四个,最后一个神童液化气呢,他是有两个和他匹配的参数,其中这个预热防护估计大家没见过啊, 就说啊,你如果是说在调度器这里选择这个长量预热,那么你是需要你把它给开上的啊,如果说你调度器里面是选择其他的这两个,那么你这个个地方就不用开,那他这就是一个这样的规律。然后下面的 学习率方面呢,我也做了一定的调整,就是在每一个学习率后边然后添加上了一个这个权重衰减,像学习率这一块大家应该都知道是怎么填,然后和他匹配的权重衰减呢,其实就是防止这个整个模型训练的时候后混合 的一个参数,就是你实际训练的时候,呃他这块你默认设零也可以,如果说你要添的话, 你可以是比如说比这个呃学习率可以比他多一个零,可以先这样子去训练,这样的话呢就可以增加一些你模型的那种分化能力,然后减少一些过硬核的现象,当然这个有耐的还有稳稳编码可以分开来设置,这些大家应该都明白。然后下面的调度器的参数这里我也是做了一些修改 啊,你看他三个调度器,每一个呢在下面都有一个匹配的参数,三个都不一样。第一个鱼旋, 呃,如果说你使用余弦来做调度器的话,那么你这个 t max 这个数呢,最好要等于你的这个 epoch 的这个数,呃,比如这里是二十,然后呢你在这里 啊, tmax 最好可以是二十,因为它是二十多之后啊,学习率达到最低的那个点嘛,就是你这个里最好是等于以 poke 的数量, 比如说你这里选的是鱼群重启,这里呢就可以填你重启的次数,然后再比如说你写长量预热,那就是说多少步之后,然后能慢慢的把这个学习率给他变高起来,那他就这样的一个意思, 下面就是日志的这些参数,然后这块呢其实没什么好讲的,就是默认的或者是自己填一下都可以。然后呢我们填完好这些参数之后,呃,就可以在这开始点击那个开始训练,那么在我的后台里呢,就能够看到他正在 慢慢的跑,然后等到全部训练完之后,就能够在你的输出文件夹里面,然后找到恒泰训练好的几个模型,呃,他们的命名方式都是前面是名字,然后后面呢是这个某一个 epog 生成的模型,然后呢我们就可以把它放到 sdwi 里面去进行测试,看这个模型有没有效果。 以上呢是整个可乐耐的模型的全部过程,然后现在讲一下这个训练器他是怎么安装,首先呢这是整个训练器的内部文件,想要安装他的话,首先确保你的电脑里头安装了这些东西,你安装好之后呢,在这里找到一个启动脚本, 你可以是双击它打开,也可以以管理员身份运行,都可以,它的作用是给你的这个项目包,然后自动的下载好多个文件,然后等下载完成之后呢,你的项目文件里面就会多出来这样一个文件夹,然后 con env, 这就是环境。然后想要启动这个项目呢,需要我们在这个跟播录里面找到这个文件夹,然后点进来,然后呢右键单击空白,在终端中打开,然后在这里呢写 npm run se, 然后回车,然后稍等一会,就会出现两个网址,然后这是启动你前端的一个页面,然后把这个网址复制到浏览器这里就能够打开这个网页。有了这个前端页面呢,其实我们还是需要后端的一个辅助,还是来到我们的项目跟陌路,然后在这里面找到 notelink, 然后点进来,还是右键单击,然后在终端中打开,在这里呢输入 n o d e 呃 se r e e r 点 g s, 输入这行代码,然后回车,当它出现这个标志的时候,这是已经启用后端了,我们在这里呢就可以执行各种操作,小工具或 或者是模型易处理,或者是训练模型都可以操作起来了,然后可以看到其实整个训练流程都在侧边栏都写好了, 包括各个参数是什么意思,然后我在这里呢也写的比较详细,然后大家不懂的其实在这边都能够看得到,有人可能会加载这个 uig 面失败, 不过这也不要紧,因为你有了这个虚拟环境之后,你其实就是可以直接用脚本去训练,那么你脚本的参数呢?都在这个 p r 文件里,在这里呢就能够找到训练的时候填写的参数啊,把它用记事本打开,然后呢在这里把参数填写一下 啊,填写完成之后,然后回到这个项目的根部路,还是点击空白处,然后在终端中打开,然后输入这样一行代码,回车就能够进入到整个虚拟环境里,然后把这个训练脚本的名字给复制一下,呃,再复制到这里, 然后直接按下回车就能够开启训练,那么这也是一种非常方便的训练方法,只不过他是没有一个 ui 界面作为一个可视化的呈现,但是所得到的结果都是一样的。由于我这个视频发布的平台不同呢,这个训练器的文件我要么是会放到粉丝群里面,要么是会放到那个评论区里面, 然后大家多找找就行。还有一个就是这是这个软件第一次的发布,他肯定会有一些 bug 或者考虑不周的地方,然后也欢迎大家在这个视频下面呢给我一些反馈意见,然后我好及时的进行修正。

哈喽大家好,我是薯片 ai, 就在九月五日 ctrl net 迎来了幺点幺点四版本的更新,此次更新加入了一些新的控制类型。本期视频我们就一起来对这些新控制类型进行一一测评,看看这些类型都能干什么 和有哪些有趣的玩法。由于模型较多,时间有限,本视频先介绍 s d 一点五的控制类型, s d x l 的放在下一期介绍此次基于底膜 s d 一点五的 control net 模型新增的有,一、 recolor 重上色。 二、 ip adapter。 一、 recolor 重上色该模型顾名思义就是对图片进行重新上色。该模型的玩法可以分成两种,一、黑白照片上色。二、指定元素换色。在使用该模型之前, 我们还需要单独下载 recolor 的模型,这个模型在更新时的自动下载中是没有的。我们先来看看黑白照片上色怎么玩。首先我们找一张黑白的图片,然后稍微描述下关键词, 当然你不描述也可以。 control net 把这张黑白照片上传,勾选启用和完美像素模式,然后选择 recolor, 可以选择图片强度或者图片亮度进行去色。我们一般默认用 luminance 就可以了,其他参数默认即可。然后我们生成就会看到原本的黑白照片进行了上色,这样就对于我们修复一些老照片来说非常方便。 另一个玩法是指定元素换色,如换头发颜色,换衣服颜色。这个有点像我们之前用的 in painting anything, 而这个模 行省略掉了分割的步骤。选择 recolor 后,预处理器分为 intensity 和 luminance, intensity 会更加黑白,不过我们默认 luminance 就可以了。然后我们就可以换成粉色头发、蓝色头发等对图片元素进行换色。二、 ip adapter ip adapter 是腾讯 ai 实验室在八月十三日开园的一个模型。我们在用 ai 绘图的时候, 提示词是一个非常重要的角色,它关系到我们生成图片的内容。但是俗话说意图胜千言。这个模型的目的就是让我们用上传图片替代提示词来影响我们出图的内容。 玩法就是可以配合我们原本的 prompt 和其他的 control net 把一张图片的整体风格迁移到另一张图片上, 我这里演示,就去网上找了些提示词写上这里部署二十,选择最新出的 restart, 开高清修复。因为要绘制人脸,所以开下 attale。 第一个 control。 net 我们上传一张想要的图片风格,启用加完美像素模式,然后选择 ip adapter, 下面参数默认即可。接着第二个 control。 net 我们上传一张图,然后选择 depth, 其他参数默认即可。为了凸显树的形状,我把权重拉到一点二。最后我们生成图片会发现我们第一张图水下的效果 已经迁移到了第二张图的树形状。这就是这个模型最大的用处。我是薯片 ai, 关注我,分享更多 ai 内容!

哈喽,大家好,今天我们来更新一下 stable diffusion 的新一期课程,很多伙伴一直让我讲 ctrl net 今天我们总算更新到了 ctr net 是 sd 里面非常灵魂的一个部分,而且也非常的 庞大,所以呢,这一期内容我们先带大家入门 ctrl net 但是不会进行单独的伸讲,如果你已经会初步的使用,想要寻找单独的某一种使用方法,那建议你再等一等我后续的课程,或者是去找别的一些单篇的课程。这一期是要让很多 售伙伴来入门到 ctrl net 的使用当中。首先第一个,如果你下载的是我群公告链接里分享的 sd 本体,那这个 ctrl net 插件是本身就自带的,所以我们不需要再安装插件。 但是呢,如果你是现在才跟我一起来学习,你下到我的链接之后,有可能安装完了。在版本管理这个地方,你会看到他可能不是最新版,所以我们需要更新一下。首先把这个本体这个地方刷新一下,然后在最新版这个地方点击一下切换,把它切 切换到最新版本。其次呢,在扩展这个位置点击一下刷新,如果你有很多红色的标签,说明就是有有这个更新的版本。然后我们再点击一键更新, 我这里在运行点了一键更新之后,点击确定他就显示更新完毕。到这一步我们再启动这个本体。更新完了之后,你启动可能会相对慢一点,我们耐心的等待一下,只要他不报错,你就可以等,等到他启动了之后,后续就变快了。那我们启动完之后,我们就可以在纹身图 或者是图生图的下方找到我们的 ctrl net 的折叠页面,点开它之后就可以看到整个的整个的界面。首先我们先来介绍一下这个界面,在第一栏我们可以看到这里 ctrl net 一二三四有四个标签栏,这个地方就代表 我们可以同时用几个不同的 ctrl net 对一次出图进行控制,但是这个后续我们在细讲。接下来这个地方会有一个上传图片的区域,这个插件其实是通过不同的纬度对图片进行控制,所以说这个地方一定要给 给我们上传图片的位置,让我们根据现有图片的某一项这个要素来进行控制。接下来的几个按钮,首先这里启用,如果我们要调用这个 ctrlat, 一定要把这个启用点上,否则无论是你上传的图片还是修改了下面的参数,只要不点这个启用,他都是无法生效的, 很多人在这里把它忽略了。第二个一,显存模式插件是比较吃显存的,如果你的配置不是特别高,那么建议你把这个开上。第三个完美像素模式会让这个 ctrl net 提取这个更加精准,精度会更高一点,通常情况下我们建议开启。最后就是允许预览,当我们点击它之后,旁边会多出一个框,在这个位置会呈现出不同控制纬度下的一个预处理的图片, 后面我们就知道他到底是什么意思。然后在下面这个区域呢,我们放到最后讲,因为他是后产生的一个快捷方式。我们主要先来看这里也是 ctrl nice 最重要两步,第一个是预处理器,这个预处理器我们点开,我们应该自带了所有的预处理的选项,这个地方我们可以把它理解成一个施工图,当我们要用 ctrl 对他进行控制的时候,先有一个图质的规划,然后右边这个模型呢,就代表我有了图形之后,我需要对他进行施工,落地模型就代表如何去真正的操作他,这两个是缺一不可的。那我们初次下载之后,预处理器这里应该是全部都有的,但是模型这里大家应该都没有,这个时候呢,需要打开我分享在群公告里的链接,链接当中我放了所有的 ctrl。 net 模型, 大家可以看到这些一点多 g 的,我们可以把它全部下下来,这个六百多兆,这个是比较老一些的版本,一点多 g 的是新一些的版本啊,大家可以只下这个新的, 它下载完之后我们放到哪里呢?我们把它放到这个根目录当中,找到 extensions, 然后在里面再找到 ctrl。 net 然后继续找到 models, 在这个位置我们可以看到原本我们应该有很多这种 yaml 这个格式的很小的文件,这个就是预处理器 应该是自带的。然后呢我们没有这些大文件,我们就需要把下载的这个大模型全部拷贝到这里,拷贝之后我们在这个地方点击刷新,所有的模型就已经出来了。当我们使用的时候, 左边选哪个预处理器,右边就要对应到它的模型,那比如说这个模型怎么看呢?看起来都差不多,主要看它最后一个单词,比如说这里的 dips 深度模型,当我在这边选择深度的 处理与处理器的时候,这边就需要选择到深度模型,这个时候我们就要用到上面说的这个地方,这个地方是一个快捷的方式,比如说我们想要用这个 canning 这个方式,我直接点击这里,他会自动把下面的 处理器和模型都给我匹配上。那如果我们旧版的和新版的全部模型都下了,在这个位置我们可以手动切换一下新版的,包括预处理器。其实这里有多种方式,比如说当我选择深度模型的时候,他在这里面会有几个不同的算法,我们也可以手动来进行选择, 然后再到下面控制权重。这个地方很简单,就代表我让这个 ctrl net 控制性有多强,这个越低它的控制性就越弱,越高的话控制性就越强。一,一般我们把它默认为一,后面这个引导介入时机其实也很好理解,当我选择为零的时候,比如说这张图 生成的迭代步数为二十步,当我进入时机为零的时候,也就是说从一开始绘画的时候,他就被这个 ctrl net 牢牢的控制住,然后一直到中指时机为一的时候,一直到最后。那比如说这个地方我调成了零点五,也就代表总体的迭代步数。如果是二十步,那就是在第十步的时候,我才开始用 ctrl net 来 介入控制。在之前他还是随机的,但是一般来说为了效果会比较好,我们让他在一开始就介入,但是我们可以让他提前停止控制 后面的部分,我让他随机再发挥一些,这个大家可以灵活来调整。在下面这个部分呢,会根据控制纬度的不同,他会有不同的参数,后面我们会逐一介绍到 在下方,这里就更简单了,控制的模式我们是让它均衡一点呢?还是权重更偏向于我的提示词,还是权重更偏向于 ctrl? net 然后在下面这个部分,当我们上传的参考图和原图的比例不同的时候,直接拉伸它呢?还是来裁剪它的比例,或者是来播放?一般来说这里和原图的尺寸应该是保持一致的,所以这个地方可以忽略掉它,这个就是 一个大概的使用界面。接下来我们就介绍一下 ctrl net 会有哪些维度的控制,其实它后面这个视野写的非常清楚,我们来介绍几个比较好用的。比如说第一个,这个 candy 是我们经常用到的一个边缘检测,当我们想出一张图,让它完全按照这个图片的轮廓来进行, 我们选择了这个预处理器之后,然后点击这个爆炸按钮,我们就可以预览预览它的结果,看到没有,我们直接就把这个图片提取成它的限稿模式, 也就是说我下一张图可以利用这张图提取的线稿来把它的紧紧的限制住。那具体怎么用呢?首先我们在这选了预处理器之后, 这边的模型我们也要手动对应,或者直接在我们这个地方选择快捷方式,让它自动来对应,我们选择更新的版本,接下来在这里点击启用,正常情况下建议勾选完美的像素模式,我们先对比看一下,我不启用它的状况下,我直接写一个简单的指令,我们可以看到它的出土就完全是随机的,但是当我启用了这个 ctrl net 用这个边缘轮廓来控制它这个 手,再点击生成。调用了 ctrl nice 之后,出图的速度也会相对慢一些,尤其是首次使用的时候,他需要加载模型,可以耐心等待一下。这个时候我们看到他会给我们两幅图,一幅呢是我们预处理的结果,另一幅是我们生出来的图,我们发现这样出来的图,他的这个边缘轮廓几乎和原来的图是一模一样的。在这里面呢,我我们可以写更多的啊 提示词,比如说红色头发,甚至我可以把它写成一个男人,但是只要我用了 ctrl net 边缘控制,他的整个轮廓一定是不会变的,可以看到这个效果,这个是其中的一个。还有其他比如说这个深度,深度的算法,当我们的主体和背景有明显的这个紧身的关系的时候,我们可以用这个深度模型来控制。他 可以看到这个图,他把靠近我们近的部分变成了白色,稍微远一些的部分用黑色代替。那这个图层就代表着他记录了这个图像中哪些是离我们更近的,哪些是离我们更远的。通过这个深度的控制,能很好的区别于我的前景和后景啊,在一些这个室内设计当中 非常的好用。还有比如说这个动漫线稿的提取,我们可以看一下它的效果和这个 canning 有什么区别,可以看到它的边缘没有那个 canning 那么硬。还有什么呢?比如说这个 ml sd, 这个是专门用在室内设计当中的 一个模型,他会检测画面中所有的直线线条,曲线的线条他是无法检测的,刚好可以用在我们室内的设计当中,有些细致末节的我们可以忽略掉,只要只要提取他的大框架就可以。然后呢, openpose 就是我比较出名的一个人物动作的一个控制, 他可以直接把这个人物提取他的骨架结构来限制他的动作,还有其他等等的,比如说新出的这个 reference, 在某些程度上要求不那么高的时候,甚至可以代替训练模型。然后以及这个这个也是室内设计当中用到的一个羽翼分割,非常的神奇。后期我们都会单独来进行讲解, 今天主要内容呢就是带大家入门一下。 ctrl net 后面我们会逐篇的进行细讲,如果有等不及的伙伴,现在可以去搜一下抖音或者其他平台的一些单篇教程,我觉得入了门之后你再去学习这些是没问题的,但如果一开始就上去直接来学习操作的话,是很难这个举一反三的,所以这期内容就到这里,大家赶紧去尝试一下吧。

大家好,我是灰灰老师,继续上期内容, reference 的官方介绍是可以迁移脸型、花纹、元素、色彩等, 本期我们就来分享一下 reference 的光影迁移功能。我们先输入一组常用关键词,这里我简单输入一个女孩,不做过多描述。采样方法大家自行选择即可,这里的迭代步数调高一些。 接下来打开 control net v 一点一选一张具有代表性的光影照片拖进来,这张主要是在人物脸部打束光。接下来打开完美像素,允许预览。 打开 reference, 这里我们选择 reference only, 这里我简单演示,所以下面的参数都默认即可,大家可以根据实际情况进行微调。 接下来生成看一下。 我们打开原图更直观的对比一下,可以看到它很好地借鉴了参考图的打光方式与角度,其他细节方面,发丝的微卷、神态等也都借鉴了原图,我们继续生成看一下。 从小图可以看出,每次出图都还是比较稳的,基本都是借鉴原图光影来生成。 接下来我们换一张不同的光影参考图,这张是从头发后面进行打光,肩膀位置也有一些光,其他参数都不变。我们来看一下它的生成效果怎么样。 如果只靠提示词是很难生成这种光影的,但是通 过 reference 迁移参考图光影的方式就可以做到精准把控。这期我们就分享到这里,大家学会了吗?欢迎在评论区留言交流,下期见!

这个是提示词生成出来的图,这个是加上 key 模型引导生成出来的图。现在我要这张图的人,不要背景,我要这张图的背景,不要他的人。生成这样的图,我该怎么办?欢迎来到全宇宙最科学的 ctrl 内的参数全解析系列视频第一集我是全宇宙最科学的画图佬恶棍博尔赫斯。 我们来到 controlled, 看到两个参数, study control step 和 ending control step, 开始引导步数以及终止引导步数,这就是这张图组合的秘密。除此之外,我们还需要借助恶棍终止定理的帮助。后面会讲, 引导步数是一个零到一的参数,假设你设置的迭代步数为三十,开始引导步数设为零,中指设为一,那么 k, 你就会从第一步开始引导图片的生成,直到最后结果都会受到 k 你的影响。假如你设置从零开始零点三,中指三三得八,也就是从第八步 开始 k, 你就会退出引导,由提示词主导生成。这会造成什么效果呢?秉持着宇宙最科学的信念,我们使用宇宙最科学的科研方法控制变量法研究研究这个引导步数所带来的影响以及怎么用。 我们来到看周内的设置,开始引导步数为零,去中指引导步数为自闭量,去零点三、零点五、零点八和一点零。 我们来到脚本设置中指引导步数零点三、零点五、零点八,一点零零币量则为每一步的出图的效果。我们要看零点三到零点五附近的变化,也就是八到十, 十四到十四步之间的变化。所以在脚本设置迭代步数一五八到十,十四到十六,二十二,十五,三十,其他参数全部保持一致,我们点击生成。 好嘞,我们看一下深层的图表。第五步之前基本上都是一样的,这一步开始零点三这个开始变化,其他的均一致。到这里,零点五的发型开始发生了一点变化, 零点三已经明显根据提示词的瑜伽服生成了瑜伽服。在下一步零点五的发型可以看出有一些比较明显的变化,但是也仅仅是发型。 到最后一步,你会发现零点三的变化非常大,连背景都完全不同,但是构图还是一样的。 而零点五只有发型改变了,背景几乎跟一点零的一模一样。零点八跟一点零几乎没有变化,因为零点八退出的时机实在是太晚了,提示词已经无力回天,就这样吧,你跟着 control net 走吧。终止 引导越早,提示词的作用就越大,但是由于早期的引导,导致构图基本不会发生大的改变。但是即使得到这样的结论,我们距离成功还有一步之遥。我们要的是一个提示词的人物形象加 controlled 的构图,背景跟姿势。 显然零点三的人对了,但背景错了,零点五的背景对了,人错了怎么办?很简单,你有没有听过拉格朗日终止定理,如果函数 fs 在 b 区间 ab 连续在开区间 ab 上可导,那么开区间 ab 内至少存在一个点个 c 指的函数在 cc 上的导数等于 fb 减 fa 除以 b 减 a, 用大白话讲就是科技上面这个点的斜率等于 a b 之间连线的斜率。那拉格朗日终止定理究竟有什么作用?没有作用,完全没有任何的作用,我只是想装个 b 而已。好的,那么今天的高等数学就讲 到这里,再见 你这么的,你就取那个中间值,零点三跟零点五之间的中间值就是零点四,我们就取零点四,这就是二棍绘图中指点,我们回到坑中呢,把中指引导步数改为零点四。走你! 噔噔噔噔搞定。请收下你要的提示词,人物加 keny 背景和构图。今天就到这里,下一期介绍预处旅途分辨率的底层逻辑以及怎么运用。一箭三连后会有期。

速加 stable diffusion 出效果图有哪些步骤?零一, su 导出控制图,这里我利用了 su 的样式制作跟穿奈的控制图。 零二, s t 中加载预测无形用的 realistic v 二零设置,采用方法加载 logo 模型 low 外用的是国风三点二零三上传控制图,语音分割, 深度线性检测。 零四,调整参数,先调整 ctrl night 参数,然后是全局参数。零五,生成图片, 也就是传说中的抽卡,也可以理解为渲染。我这里设置的生成批次是四,每批数量是五, 他一共会计算二十张图片生成 计算完毕来看一下效果, 每一张效果都不错,但是我们要去选取适合的, 根据生成空间的材质、物体质感去选择合适的,之后利用水技术生成更加接近的准确的图。最后就是高清修复出大图了,看到这的都是真爱,就给个三年吧!

哈喽,大家好,我是 aa 小王子 ctrl。 net 现在正式可以兼容 st xl 的模型了,所以今天我就教大家如何更新最新的 ctrl。 net 并且教大家如何下载最新的模型和一些让 ctrl net 兼容的一些部署设置。如果你想把黑白的老照片变成一个带有色彩的照片, 如果你想把你的线稿变成一张有色彩的图片,如果你想把你的照片生成同风格、同类型、同构图的图片,那么建议你先点赞收藏,以免错过。这期也会实操给大家看一下在 你的设备上生成一个和别人设备上相同图片的一个使用方法。接下来我就为大家讲解先用 s t x l 模型的 ctrl。 net 新出了哪些超好用的功能。首先呢,我们要来到 gap 这个网站,今天所有用到的网站还有一些模型的下载 包啊,我都会放在视频简介啊, ok, 首先我们看一下这边的 major update, 讲到就是 ctrl night 一点一点四零零这个版本,这边展示的是所有可以兼容 sdxl 的新 ctrl 耐模型。 这边讲到两个是不需要控制模型的,一个是 revision 和 reference, 大家如果想自己手动去下载的话,可以点击这个网址,就是这个。这里这么多模型,大家具是否要全部下载呢?嗯,如果你的储存空间够大, 你全部下载是没有问题的。如果你的储存空间有限呢?我教大家下载哪个?这边一个 candy 模型就有三个版本,这三个模型肯定是负的,效果是最好了,但是如果你的现存或者内存不足的话,你可以下载这个密的, 它效果也是还 ok 的,但是和副比的话还是差了一些,最大的这个需要二点五 gb, 所以大家这三种啊,根据自己的内存来看,内存足够多就下载, 内存非常非常少就下载 small 这三个选择一个下载就行,然后这也是 depth, 下载其中一个就 ok 了。然后接下来这个 recolor 啊,还有后边这个 ip, adapter 等等等,等到这些 co 呀,建议大家都下载,因为这些是他们的一些新功能, 而且占的内存不是很大。然后接下来是 saxl, cany 这些这些呢,建议大家去下载带有二五六这个数字的版本啊,因为他们是一样的,只不过二五六他的精度会更高一些。然后剩下的所有模型啊,大家都可以去下载,占用的空间也不是很大,如果你的内存足够高啊,几 tb, 十 tb 的话, 你就全部下载就好了。那这些具体下载到哪里呢?我们到 y b u i 的根目录,然后找到 extensions, 然后找到 control night, 找到 models, 把它们全部下载到这里。下载完成之后呢,在使用的时候可能还会 需要你再下载一些模型,当然都是在使用的时候自动下载的。大家如果下载时遇到网络不好,或者懒得一个一个去下载,你们可以直接下载我网盘里的文件就 ok 了。我已经给大家准备好了下载网盘这个 downloads 文件夹,然后把 downloads 文件夹放到这里,直接代替你原来的 downloads 文件夹就 ok 了。 这是怎么去下载?那怎么去更新呢?请看我的上节课啊,这个有具体跟大家讲,然后就是 ctrl nine 这个插件也要更新到最新版本,到我们的版本管理扩展,然后点击一键更新,然后确定一下就 ok 了。如果你是 automati one one one one 的话,我们就点击扩展检查更新, 然后应用更改并重启就 ok 了。怎么让那些显存低的那些人使用到 s d x l 呢?如果你是 automatic one one one one 部署的话,我们到根部路往下拉,找到 y v u i, 点 user, 点我们右键点击编辑。如果你的显存是在四 gb 到六 gb 的话,你就在这里边写,杠杠 low viram, 这两个不要同时写啊,你写其中一个就好了,根据自己的显存四到六 gb 写 刚刚的 low virum, 八到十二 gb 写这个。那有的人问了,那我是启动器怎么办?启动器的话我们直接在这里选就行了,这边大佬已经帮大家改好了,就是仅 sdxl 中等选择 就代表 mat viram 杠 s d x l, 然后显存不足,低显存的话我们就选择这个低显存就 ok 了。 这边实际币的话,我是选择这个的,我们选择完之后就可以点击一键启动了, ok, 启动过后我们就开始看到了我们美丽的 ybui。 然后上节课有跟大家讲过,怎么让你本地电脑渲染的图片和别人本地的电脑渲染的图片一模一样的,我们讲到一个 n nv 这个选项是他们唯一点六新更新的,对不对?当时我没有跟大家演示,但是今天跟大家演示一下啊,比如说这张图片啊, 我们如何一比一的完全复刻在我们本地跑出来跟 stability ai 这个官方出了图片一模一样呢?第一点,你是 v 一点六版本,我们更新完了过。第二点,我们要用的模型是 s d x l base 一点零,当然是这个就是 s d x l 的官方一点零模型, 这个我会放到网盘里面啊。第三点,我们要到我们的设置里边,然后先点击显示所有啊,因为这样子方便我们去搜索。第一点,我们要搜索 random 这个单词,我们 ctrl 加 f 啊,右上角会出现一个框框,我们输入 random r a d o m, 输入 random 这边之后呢,我们要把它变成 c p u。 所以说我们现在型号的显卡可能跟对方使用的显卡信号是 不一样的,所以我们如果想在不同型号显卡产生相同图像,就点击 cpu 这个选项。然后接下来我们要再 search s g m, 我们输入 s g m, 然后找到这个选项,我们要勾选这个,使用 s g m 勾选,打勾勾就证明你就对了。然后接下来我们搜索 deterministic, deterministic okay, 这个选项是不勾选的啊,不勾选这个选项, ok, 一个是选择 cpu, 一个是勾选 s g m, 最后是一个不勾选这个,保留 d p m 加加 s d e 这个选项。 我们如果都完成之后,我们点击保存设置这边,因为我更改过了,是零 setting changed, 如果你之前没有更改过,这边会显示一些文字。 ok, 点击保存设置之后,我们点击重载 yby, 就是这个按钮啊, reload ui, 重载完之后, 我们就开始看一下今天的重头戏了啊, ok, 我们来直接复制一下这边呢是他的 metadata, 就是原数据, ok, 原数据,我们把这些全部复制到这边,之前我可能没有跟大家讲,我们直接点击这个键,他就能把所有的 关键词啊,负面关键词、参数、迭代步数、采样器全部复制到这边。 ok, 你看已经复制过来了之后呢,我们直接点击生成,看一下他做出来图片是否会跟这个一模一样,好吧, ok, 图片出来了,我们看一下,我们做一个对比啊,左边是我做的,右边是 stability ai 官方做了这个图片可以看出来啊,我们把所有原数据 copy 过来之后,几乎是一模一样的,当然了有很多微小的不同, 可以玩找不同啊,这个反光点上的线是不一样的,当然这些不同都是很微小的,那么这点我们能看到什么呢?之前很多 小伙伴找我啊,就问老师,为什么我比如说 c 站上面看到的图片,我把他们的所有正片,关键词,采样器啊,种子等等复制过来,然后到我的本地上出的图片就是完全不一样的。未来的模型网站上,不管 cbt, ai 啊,还是正合我们国内的模型网站,有了这个功能之后呢,几乎大家可以 一比一的复刻他出了一些图片了,这是一个新的小技巧啊,接下来我们看一下,官网也有讲到,如果你是使用 confu i 具体怎么操作, 他这边也会告诉你,然后这边他就是告诉你 automati one one one 和 confi ui 的一些具体的一些表现,区别在哪里,大家有兴趣的话可以看一下这边啊 这个页面啊,大家一定要好好看看。他讲了几乎所有新的 ctrl net 模型的具体使用方式,还有一些小技巧,下面我给大家讲一个这个,这边讲到 就是一些 xl 的这些 ctrl nine 模型啊,不只是这个 ctrl nine lores, 这个里可以理解为还是在实验阶段,而有的时候 give fight result。 这里翻译成并不尽人意的一些结果。其实我们给他了很多的负相关键词, 比如说这个啊,我给大家举个例子,把它直接复制过来,然后我把这边复制一下。这边他给的这个小技巧还是很有意思的啊,好好听一下。然后我们到这边找到他的抗生耐模型,这边用的 canning, 然后 s a i x l 这边用的 canning s a i x l ok, 这个还是 no, 这边 s a i x l kenny 二五六了啊, ok, ok, 这个时候我们生成一下,看他的图片是什么样子的, ok, 我们看一下,我们的关键词是一个女人在街上走路的照片, 天,然后负面关键词是 enemy drawing, 我们主要写这个 drawing 就是不想让他变成绘画的形式,然后 bad ugly, 但是他最终还是变成了一个绘画的形式。那么这种情况大家如果遇到了,怎么解决他呢?首先你可以把你的 control mode 改为 ctrl net is more important, 就是把控制模式改为更偏向 ctrl net 但是大家要知道啊,如果你改成更偏向 ctrl net 的话,那你一定要把这个 cfg skill 给调小调低一些,要不你的图片会出来的会稍微怪改到三,然后我们再试一下, ok, 像这张就会好一些,对不对?所以如果你在使用 ctrl nice 的时候也遇见了相同的问题,可以试用一下这样的方法去解决它, ok, 然后下面如果说你在使用 sd xl 的模型的时候,比如说 这个模型 diffuser xl deps 负它这个模型是非常大的,如果你的显存啊是在八级币或六级币左右的话,你一定要把这个 low v room 勾选上,如果没有勾选上的话,你可能会报显存, 因为在前两天我做测试的时候,可能后台打开的程序比较多,我那会是爆显存了。如果遇到这种问题,你先把外部 uik 重启一下,然后再勾选到这个低显存模式,再出图会好一些。然后接下来我们看一下其他的一些模型啊,我们看下这个 revision 是干嘛的?在使用 revision 的时候,这个 revision 会自动帮你下载一些东西,你不需要主动下载,它会自动下载 revision 怎么用呢?它就是让你的一张图片,你在不使用任何关键词的情况下,生成一张类似的一些图片,比如说我们把这个复制过来啊。模型,我们用这个 revision ignore prompt, 他这 这个专门的模型就是在你使用 ctrl night 的时候,不需要使用任何的 prompt 就能给你出一张图片,我们点击生成一下, ok, 做好了,大家可以看到,就是没有任何 prompt, ai 自动识别到这张是一个狗的图片,呃,并且整体的颜色色调也是很像的,比如说狗身上的毛啊,毛发呀,还有耳朵怎么垂的很像, 我这张属实有点像一个秃头的人了。所以这个 ignore prompt 可能还需要更多的一些间接。当然了,我们使用 ai, 特别是 sd 的时候,我们 肯定是会用到 prompt, 如果我们再稍微加一些 prompt 的话,把这个模型换成这个 revision clevision 的话,会好很多很多。这是它这个 revision 模型的一个介绍。然后接下来我们看一下这个 t r i adapter, 它就是让你的线稿 成图,比如说这张线稿你放进去之后,使用这个 t r i adapter xl kelly 模型,它就会把它变成一个有色彩的图片,就是线稿生图。 接下来讲一下 ip adapter 这张的话,就很适合那些做漫画的一些人使用,比如说我们把这张图片拖过来, ok, 这边就要使用预处理器啊, ip adapter keep, 这个在使用的时候,如果是第一次使用的话, 还是需要下载这个模型的,它会自动下载啊,文件是非常大的。我们这边改成 sd xl, 这边也改成 xl。 这个模型我们看一下它的神奇之处,就是让 ai 参考这张图片的所有细节,然后生成一个全新的图片,并且细节和色彩、构图等等都是很相似的。 ok, 我们看一下左边是原图,右边是新出来的图片,我们可以看到整体的盔甲几乎是很相似 的,对不对?当然你你要找这些细节,这边有个键,这边没有键,的确是不一样的,但是整体盔甲质感呢,颜色是不是都是很相似的,并且构图也是很像,就是当我们想用一张图保留他的完全细节,但是换一张脸的话,而且这个脸并不是指定的话,你就可以用这个 下巴,这个 stable diffusion 一点五,他是做了一个对比啊,具体效果我觉得还是 xl 的效果会更好一些,大家这个可以去对比一下,然后接下来这个 reference only, reference only 的话也是有点像,就是还是从原图的基础上生成一个不同人物的图片,相似构图,相似场景,相似细节,这就是他的特点。 ok, 下面给大家讲一下这个 recolor 吧。 recolor 还是比较有意思,这个模型可以让你的黑白照片上色,我们直接拿它作例子,然后把关键词复制一下,然后模型这边选择 recolor loominess, 然后 sai xl, ok, 然后我们点击生成。 ok, 我们看一下是不是右边的图片,直接就给左边图片上色了。所以大家如果在家里有一些父母或者爷爷奶奶一些黑白的老照片想给他们上色的话, 其实大家就可以用这个 recolor 这个功能,这个大家下去一定要试一下啊,这下面就讲的 recolor 一点五和 xl 的一个区别啊, xl 做的会更真实一些,一点五它的饱和度会更饱满一些, 根据自己的需求去使用,好吧, ok, 今天主要是大概的跟大家讲一下兼容 sd xl 的 ctrl nine 一些新的模型的使用方法。 其他的 open pose 呀都是跟以前是几乎是差不多的,只不过说他们会有一个新的模型兼容到 s, d, x, l 而已。比如说我们在使用 open pose 的时候,这边还是往 往常一样的右边呢,我们就可以使用这个 openpose xl 这些模型,只要是模型里面带 xl 的,都是可以兼容 xl 模型的。 接下来给大家讲一下很重大的事情,第一点就是我现在云端镜像正式部署了 rtx 四零九零的云端镜像,并且我为大家争取到了 ai 小王子的专属优惠,只要是通过我的邀请码注册的用户,现在不只是可以获得优惠券,并且额外可以收到两张满减券, 在包月四零九零的时候,会有一九九零减两百的优惠,比八折还更猛一些。所以如果你的朋友或者身边的人也有云服务需求的话,可以把我的邀请码分享给他们。目前四零九零啊,全网只有我一个人不说, 怎么去添加呢?如果你已经有了青椒云的客户端的话,我们点击华南五,然后点击新增云桌面,找到这边的定制产品, a igc 超全部署 ai 小王子 g 专属定制,因为这四零九零他们的数量是有限的,目前只能包天,不可以包时,包周是六百五,包月是一千九百九十九,然后或者包月计时, 如果你要使用的话,其实用包月计时还是比较划算的啊,然后我们换到西南,西南这边也是一样的啊,我们点击新增云桌面往下拉找一下 ai 小王子 j 专属定 这边的话就是三零六零的一个显卡,所以相对于 a 四千会便宜一些,两块二一小时,他们包天的话是三十七块钱,包月计时是五百。具体怎么注册和使用教程可以看一下我的这期视频,然后注册连接呢?我会放到我的视频简介里边供大家去使用, 所有都给大家部署的非常全非常好,大家一定要上去体验一下。大家有的时候在使用一个服务器的显卡的时候,他可能会遇到这个当前人数过多,无法 打开的问题,原因就在于使用人太多了,所以你要不晚点试,如果你着急用的话,你可以切换到其他有我镜像的服务器,比如说有华南寺或者西南都可以, ok。 第二个 ai 小王子非常重大的更新,就是 ai 小王子 qq 频道今天正式上线了啊, 目前我还没有做推广,所以在看我视频的朋友,你们是第一批人看到的,大家进来之后看一下城堡重要公告啊,因为讲解了每个频道的一些使用方法,具体是怎么使用,可以在这里看到我的其他平台的账号,然后交流区啊, 早安午安问候问候区,我给大家创建的,如果大家有任何关于 ai 的问题的话,到这里交流,希望大家在这个社区里一起交流,互帮互助,如果大家遇见了别人问的问题,你也遇见过的话,希望大家伸出援手啊。然后这边还有交 交流大厅,模型炼丹,然后吐槽 ai。 我每天都会在这个交流群里边,然后希望和大家一起交流,然后这边还有模型分享,模型推荐。然后这边就是一些皇家 ai 资源分享,这个和我的 disco 城堡一样,也是勇士身份才可以解锁了,有这个 me journey 资源很多很多, 然后 stable diffusion 资源,拆 gpd 资源,还有其他 ai 相关资源,我都在这里边汇总了很多啊。然后想要成为勇士的话,可以看一下这个频道,我想成为勇士解锁资源。 接下来下边呢,就是一些建议区,比如说我想让 ai 小王子做的更好,这两频道我会经常关注的,因为我希望大家多给我提些意见和建议,让我在 ai 自媒体的道路上做的更好,比如说视频哪方面要做 家呀等等等等。这边社区建议和意见相就是说,比如说你想开创一个新的频道,或者说如果你在这个频道 qq 频道里边交流, 有的时候遇到哪些人恶语相向啊,污言秽语等等等等,说了一些不该说的词汇等等,你都可以在这里边跟我讲,然后我会做出相应的决定,给他踢出去或者禁言等等等等。 大家在这个社区里,我希望这个社区是一个美好的社区,大家互帮互助啊,友好交流,好吧,进入之后记得点击一下上方的加入频道,不点击的话你就会自动退出来,记得来这个友好交流大厅讲一句话啊,跟我打个招呼,好吧, ok, 那今天就讲到这里啊,菠萝蜜让你轻松掌控 ai。

![ComfyUI 使用Controlnet教程及常见报错 使用ControlUI的时候出现An error happened while trying to locate the file on the Hub and we cannot find the requested files...的报错该如何解决?
Main.py文件中
if __name__ == "__main__": 后面复制粘贴如下代码后保存即可(记得得是英文字符)
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
ComfyUI中Controlnet的使用技巧简介
#AI绘图 #comfyui #stablediffusion #controlnet #人工智能](https://p3-pc-sign.douyinpic.com/image-cut-tos-priv/75b02879e5ee488d14276832eb828bb3~tplv-dy-resize-origshort-autoq-75:330.jpeg?lk3s=138a59ce&x-expires=2110500000&x-signature=fGkSHDNWRXquxNi22kuaKp6FRig%3D&from=327834062&s=PackSourceEnum_AWEME_DETAIL&se=false&sc=cover&biz_tag=pcweb_cover&l=20261120100158C30DD24BF0A0621EB448)

这是一张一百多年前的珍贵历史影像,利用 ai 技术,我们可以一定程度上还原他原本的色彩,看细节,从而更直观的感受到那个时代的生活气息。使用的功能也很简单,这是 ctrl 连调点幺点四版本更新的一个功能, record 重新上闪。 recover 需要处理模型才能正常使用,没有模型的家人关注私聊我哦! recover 使用方式也十分简单,在纹身图里将黑白照片导入 control net, 选择 recover 重上筛, 点击爆炸图标预览结果,简单调整参数汉输出尺寸,接受提示词,简单描述下,比如六个人中国古代服饰生成即可, 我们看下效果,这样就完成了黑白照片的上色,这两张都是 ai 根据黑白灰度上色的结果,当然了,颜色可以调整提示词来进行矫正,整个过程就这么简 简单,细心的小伙伴会发现这样图片还是模糊的,接下来我们只需要进行二次修复即可。方法很简单,将生成的图片发生盗图,生图使用 tile diffusion 加 ctrl net tile 这套放大方法即可。不懂的家人一部前面教程这里不详细展开, 这样就可以更好的还原面部的细节。当然对于老照片,比如这位 cc 就不确定他的性别,具体大家最好还是考究下。关于 color 的分享就到这边了, 如果对你有帮助,记得点点小爱心哦!我是 ai cc, 谢谢大家!
