五分钟学会给你推 point! 哈喽,大家好啊,今天给大家展开讲讲 sd 最牛的插件之一 ctrl net 的用法。呃,我们在画图的时候可能用题词或者各种模型都达不到我们想要的这个样式,那我们就可以选择用 ctrl net 来控制。 我先用一个例子来帮大家理解一下 controllight。 那现在我说,呃,我模仿一个人的提示词和 lora 画了一张图,但是呢,怎么都不像 这个姿势啊,轮廓呀啊,都挺有差距啊,也不好看。那我们就在下面啊,展开 ctrl nine 插件,我们在预处理器这边选这个 line art realistic, 右边的模型呢,选 选蓝二特,然后把它的图拖进来,勾选启用,选择完美像素模式,再去生成一遍图试一下。 哎,我们看这回我们说就跟他的图比较像了,我们点这个允许预览,然后点这个爆炸的这个按钮,预处理的图就出来了 啊。其实这张参考图呢,就是先经过了这个这个预处理啊,被提取了限稿,然后限稿图呢,再被送入右边的模型,这样来控制我们出图的样子。 所以我们这张图其实是在模仿他线稿的啊这个样子,然后颜色啊,质感这些,我们可以用自己的题词词或者其他什么的去控制了,对吧? 那其实这就是 control net 的一个基本的或者说抽象的一个原理,抽取参考图的某一特征,然后用这个特征去控制出图。 那我们知道这个原理之后,我们的其他的需求就可以通过其他的预处理器和右边的这个模型 去满足了。那这些预处理器呢,都各有强项,比如我们想模仿这个人的姿势,那我们就选这个 dw open pose 预处理器 啊,那生成的图像就这样的,那我们发现他提取了参考图的姿势骨架图,然后模仿,对吧?但是其他的东西那不归他管,那如果我们想模仿他的景深,就用 depth, 然后我们换一个二次元的模型,那出来的效果是这样的,这个模型呢,更适合对整体的构图去复刻,而且他还很适合换背景。 方法就是我们点这个爆炸的图标啊,这个景山图就生成了,然后点这里的下载,把那个图存到本地, 用 ps 抠一下啊,简单抠一下,换一个黑色的背景,再把这个新的净身图拖到左边这个面板里,然后记得关闭预处理器,因为这图已经不用预处理了。 我们在提示词里面描述一下海滩的背景,然后生成。那现在图片换成海滩背景了,那其实其他的与处理器也都是同理 啊,你是可以去这样自己去修改这个图的。那有同学说,呃,我也不知道具体要模仿哪个方面啊,就想整体都模仿,那我们就选这个 tao v 三 pro。 好,我现在画一个 one go, 然后模仿这张图, 那出来的就是这样的效果,那这就是整体的模仿。还有个比较特殊的,比如说我们要模仿建筑图的结构,可以用这个 m l s d 发现贴图,我们拿一张建筑图来模仿,然后提示词描述一些我们想要的风格,那出来的效果是这样的。 那其实这个与处理器是比较擅长提取图片中的直线的啊,他对曲线不是很敏感,所以在建筑图 图里面啊,他有奇效。那其他的预处理器和模型大家可以自己再去试一下,效果呢?跟这上面这些差不多, ok, 再说一下其他的参数都是干嘛的啊?首先这个 unit 单元这里呢默认四个单元,就是说我们可以同时使用四个 ctrl night 啊,要用哪个就在哪个里面勾选启用就可以。然后这个低显存模式,比如我们显存就四个 g 啊,那这个还是打开吧, 你要六个 g 或者八个 g, 可以不用开这个完美像素模式,是控制预处理的精细度啊。举个例子,我把这个先关掉,然后在下面我就可以手动调了。那调个低一点的分辨率呢?他预处理出来的就是这张啊,比较比较 粗的,然后高分辨率就是这种扣的很细节,然后控制权重,这个就很好理解,我们看刚才那张图啊,在高低权重下的一个对比。 再就是这个介入引导时机和退出引导时机。那这个呢,是默认从零,也就是从刚开始就开始控制,后面是一,就是一直控制到结束。我举个例子,我们想让他去模仿一个基本的构图和色彩,然后再去 呃自由发挥,那就把结束的时机提前生成出来,就是这种效果。如果说想先按提示词构图,然后再去让 ctrl night 控制一下颜色和细节,那就把介入的时机往后调, 对不对?那这出来就是这个样子来,我们说画风和颜色比较像,但是构图呢,没有按照 controlled 的控制来,因为它比较晚才开始控制啊。 下面这些配置顾名思义了,我就不展开说了。好吧,觉得我们讲的还不错的话,希望大家点赞关注支持一下,谢谢大家。 然后我们说一下安装啊,秋叶整合包的同学自带这个插插件哈,那更新一下就可以啊,如果说没有这个插件呢? 我放一个安装链接,安装方法啊,去我那个 s d 插件安装教程看一下就行。然后就是这些个模型啊,我们去这个地址里面下载啊,我放到简介下载这些个文件啊, p t h。 还有这个鸭毛后缀的啊,都要有。然后放到这个路径。那我们第一次用 ctrl night 的时候呢,要科学上网,因为它会自动给你下载预处理的模型,下载失败的话就切换节点再试一下。好吧, ok, 那我们学会了 control night, 我们多多发挥想象力啊,活学活用。好吧,那我们下期见,拜拜。
粉丝5983获赞12.0万

哈喽,大家好,今天我们来更新一下 stable diffusion 的新一期课程,很多伙伴一直让我讲 ctrl net 今天我们总算更新到了 ctr net 是 sd 里面非常灵魂的一个部分,而且也非常的 庞大,所以呢,这一期内容我们先带大家入门 ctrl net 但是不会进行单独的伸讲,如果你已经会初步的使用,想要寻找单独的某一种使用方法,那建议你再等一等我后续的课程,或者是去找别的一些单篇的课程。这一期是要让很多 售伙伴来入门到 ctrl net 的使用当中。首先第一个,如果你下载的是我群公告链接里分享的 sd 本体,那这个 ctrl net 插件是本身就自带的,所以我们不需要再安装插件。 但是呢,如果你是现在才跟我一起来学习,你下到我的链接之后,有可能安装完了。在版本管理这个地方,你会看到他可能不是最新版,所以我们需要更新一下。首先把这个本体这个地方刷新一下,然后在最新版这个地方点击一下切换,把它切 切换到最新版本。其次呢,在扩展这个位置点击一下刷新,如果你有很多红色的标签,说明就是有有这个更新的版本。然后我们再点击一键更新, 我这里在运行点了一键更新之后,点击确定他就显示更新完毕。到这一步我们再启动这个本体。更新完了之后,你启动可能会相对慢一点,我们耐心的等待一下,只要他不报错,你就可以等,等到他启动了之后,后续就变快了。那我们启动完之后,我们就可以在纹身图 或者是图生图的下方找到我们的 ctrl net 的折叠页面,点开它之后就可以看到整个的整个的界面。首先我们先来介绍一下这个界面,在第一栏我们可以看到这里 ctrl net 一二三四有四个标签栏,这个地方就代表 我们可以同时用几个不同的 ctrl net 对一次出图进行控制,但是这个后续我们在细讲。接下来这个地方会有一个上传图片的区域,这个插件其实是通过不同的纬度对图片进行控制,所以说这个地方一定要给 给我们上传图片的位置,让我们根据现有图片的某一项这个要素来进行控制。接下来的几个按钮,首先这里启用,如果我们要调用这个 ctrlat, 一定要把这个启用点上,否则无论是你上传的图片还是修改了下面的参数,只要不点这个启用,他都是无法生效的, 很多人在这里把它忽略了。第二个一,显存模式插件是比较吃显存的,如果你的配置不是特别高,那么建议你把这个开上。第三个完美像素模式会让这个 ctrl net 提取这个更加精准,精度会更高一点,通常情况下我们建议开启。最后就是允许预览,当我们点击它之后,旁边会多出一个框,在这个位置会呈现出不同控制纬度下的一个预处理的图片, 后面我们就知道他到底是什么意思。然后在下面这个区域呢,我们放到最后讲,因为他是后产生的一个快捷方式。我们主要先来看这里也是 ctrl nice 最重要两步,第一个是预处理器,这个预处理器我们点开,我们应该自带了所有的预处理的选项,这个地方我们可以把它理解成一个施工图,当我们要用 ctrl 对他进行控制的时候,先有一个图质的规划,然后右边这个模型呢,就代表我有了图形之后,我需要对他进行施工,落地模型就代表如何去真正的操作他,这两个是缺一不可的。那我们初次下载之后,预处理器这里应该是全部都有的,但是模型这里大家应该都没有,这个时候呢,需要打开我分享在群公告里的链接,链接当中我放了所有的 ctrl。 net 模型, 大家可以看到这些一点多 g 的,我们可以把它全部下下来,这个六百多兆,这个是比较老一些的版本,一点多 g 的是新一些的版本啊,大家可以只下这个新的, 它下载完之后我们放到哪里呢?我们把它放到这个根目录当中,找到 extensions, 然后在里面再找到 ctrl。 net 然后继续找到 models, 在这个位置我们可以看到原本我们应该有很多这种 yaml 这个格式的很小的文件,这个就是预处理器 应该是自带的。然后呢我们没有这些大文件,我们就需要把下载的这个大模型全部拷贝到这里,拷贝之后我们在这个地方点击刷新,所有的模型就已经出来了。当我们使用的时候, 左边选哪个预处理器,右边就要对应到它的模型,那比如说这个模型怎么看呢?看起来都差不多,主要看它最后一个单词,比如说这里的 dips 深度模型,当我在这边选择深度的 处理与处理器的时候,这边就需要选择到深度模型,这个时候我们就要用到上面说的这个地方,这个地方是一个快捷的方式,比如说我们想要用这个 canning 这个方式,我直接点击这里,他会自动把下面的 处理器和模型都给我匹配上。那如果我们旧版的和新版的全部模型都下了,在这个位置我们可以手动切换一下新版的,包括预处理器。其实这里有多种方式,比如说当我选择深度模型的时候,他在这里面会有几个不同的算法,我们也可以手动来进行选择, 然后再到下面控制权重。这个地方很简单,就代表我让这个 ctrl net 控制性有多强,这个越低它的控制性就越弱,越高的话控制性就越强。一,一般我们把它默认为一,后面这个引导介入时机其实也很好理解,当我选择为零的时候,比如说这张图 生成的迭代步数为二十步,当我进入时机为零的时候,也就是说从一开始绘画的时候,他就被这个 ctrl net 牢牢的控制住,然后一直到中指时机为一的时候,一直到最后。那比如说这个地方我调成了零点五,也就代表总体的迭代步数。如果是二十步,那就是在第十步的时候,我才开始用 ctrl net 来 介入控制。在之前他还是随机的,但是一般来说为了效果会比较好,我们让他在一开始就介入,但是我们可以让他提前停止控制 后面的部分,我让他随机再发挥一些,这个大家可以灵活来调整。在下面这个部分呢,会根据控制纬度的不同,他会有不同的参数,后面我们会逐一介绍到 在下方,这里就更简单了,控制的模式我们是让它均衡一点呢?还是权重更偏向于我的提示词,还是权重更偏向于 ctrl? net 然后在下面这个部分,当我们上传的参考图和原图的比例不同的时候,直接拉伸它呢?还是来裁剪它的比例,或者是来播放?一般来说这里和原图的尺寸应该是保持一致的,所以这个地方可以忽略掉它,这个就是 一个大概的使用界面。接下来我们就介绍一下 ctrl net 会有哪些维度的控制,其实它后面这个视野写的非常清楚,我们来介绍几个比较好用的。比如说第一个,这个 candy 是我们经常用到的一个边缘检测,当我们想出一张图,让它完全按照这个图片的轮廓来进行, 我们选择了这个预处理器之后,然后点击这个爆炸按钮,我们就可以预览预览它的结果,看到没有,我们直接就把这个图片提取成它的限稿模式, 也就是说我下一张图可以利用这张图提取的线稿来把它的紧紧的限制住。那具体怎么用呢?首先我们在这选了预处理器之后, 这边的模型我们也要手动对应,或者直接在我们这个地方选择快捷方式,让它自动来对应,我们选择更新的版本,接下来在这里点击启用,正常情况下建议勾选完美的像素模式,我们先对比看一下,我不启用它的状况下,我直接写一个简单的指令,我们可以看到它的出土就完全是随机的,但是当我启用了这个 ctrl net 用这个边缘轮廓来控制它这个 手,再点击生成。调用了 ctrl nice 之后,出图的速度也会相对慢一些,尤其是首次使用的时候,他需要加载模型,可以耐心等待一下。这个时候我们看到他会给我们两幅图,一幅呢是我们预处理的结果,另一幅是我们生出来的图,我们发现这样出来的图,他的这个边缘轮廓几乎和原来的图是一模一样的。在这里面呢,我我们可以写更多的啊 提示词,比如说红色头发,甚至我可以把它写成一个男人,但是只要我用了 ctrl net 边缘控制,他的整个轮廓一定是不会变的,可以看到这个效果,这个是其中的一个。还有其他比如说这个深度,深度的算法,当我们的主体和背景有明显的这个紧身的关系的时候,我们可以用这个深度模型来控制。他 可以看到这个图,他把靠近我们近的部分变成了白色,稍微远一些的部分用黑色代替。那这个图层就代表着他记录了这个图像中哪些是离我们更近的,哪些是离我们更远的。通过这个深度的控制,能很好的区别于我的前景和后景啊,在一些这个室内设计当中 非常的好用。还有比如说这个动漫线稿的提取,我们可以看一下它的效果和这个 canning 有什么区别,可以看到它的边缘没有那个 canning 那么硬。还有什么呢?比如说这个 ml sd, 这个是专门用在室内设计当中的 一个模型,他会检测画面中所有的直线线条,曲线的线条他是无法检测的,刚好可以用在我们室内的设计当中,有些细致末节的我们可以忽略掉,只要只要提取他的大框架就可以。然后呢, openpose 就是我比较出名的一个人物动作的一个控制, 他可以直接把这个人物提取他的骨架结构来限制他的动作,还有其他等等的,比如说新出的这个 reference, 在某些程度上要求不那么高的时候,甚至可以代替训练模型。然后以及这个这个也是室内设计当中用到的一个羽翼分割,非常的神奇。后期我们都会单独来进行讲解, 今天主要内容呢就是带大家入门一下。 ctrl net 后面我们会逐篇的进行细讲,如果有等不及的伙伴,现在可以去搜一下抖音或者其他平台的一些单篇教程,我觉得入了门之后你再去学习这些是没问题的,但如果一开始就上去直接来学习操作的话,是很难这个举一反三的,所以这期内容就到这里,大家赶紧去尝试一下吧。

大家好,我是灰灰老师,继续上期内容, reference 的官方介绍是可以迁移脸型、花纹、元素、色彩等, 本期我们就来分享一下 reference 的光影迁移功能。我们先输入一组常用关键词,这里我简单输入一个女孩,不做过多描述。采样方法大家自行选择即可,这里的迭代步数调高一些。 接下来打开 control net v 一点一选一张具有代表性的光影照片拖进来,这张主要是在人物脸部打束光。接下来打开完美像素,允许预览。 打开 reference, 这里我们选择 reference only, 这里我简单演示,所以下面的参数都默认即可,大家可以根据实际情况进行微调。 接下来生成看一下。 我们打开原图更直观的对比一下,可以看到它很好地借鉴了参考图的打光方式与角度,其他细节方面,发丝的微卷、神态等也都借鉴了原图,我们继续生成看一下。 从小图可以看出,每次出图都还是比较稳的,基本都是借鉴原图光影来生成。 接下来我们换一张不同的光影参考图,这张是从头发后面进行打光,肩膀位置也有一些光,其他参数都不变。我们来看一下它的生成效果怎么样。 如果只靠提示词是很难生成这种光影的,但是通 过 reference 迁移参考图光影的方式就可以做到精准把控。这期我们就分享到这里,大家学会了吗?欢迎在评论区留言交流,下期见!


哈喽,大家好,我是松柏,然后今天呢给大家带来一期如何训练 controlled 模型的视频,整个训练包呢是我自己写的,所以我先来讲解如何训练一个自己的 controlled 模型,然后再来讲解如何去安装部署 我的这套训练包。首先就是我们训练一个 controlled 模型需要的训练级和普通的模型呢,他是有很大的区别。首先大家看一下训练 controlled 使用的训练级,他是分两个文件来装的,因为我们自己使用 controlled 都会用到一张引导图, 然后用这张引导图呢去控制图片的生成,所以这两个文件夹里面呢,一个就是放你的引导图,然后另一个文件夹里呢,是用来放与引导图匹配的,生成好的图片。 我们先来看一下这个文件夹,大家可以看到在我的训练集里的图片呢,都是这样的,是由一堆个小东西,然后组合成了一 一个比较整体的一个东西,那这个就是用一堆气泡组成了一个抖音的 logo, 或者是用一些其他的元素组合成了一个数字五, 因为我们可以看到使用边缘控制类型的 ctrl net 比如 candy 啊,或者是拉啊,他这种他输出的图片呢,他这一个东西他就是一个东西,整个的边缘呢会框的比较死, 所以我希望我训练的肯德泰的模型呢能解决这个问题。就说边缘的话呀,是这种,他不是连续的,里面呢由一堆小东西组成,但是整体呢又能够连成一个形象出来。 那么这个文件夹呢,就是用来放我的目标图片的文件夹,有了这些目标图片呢,我们可以用它来生成我们的引导图片,那么在生成引导图片之前呢,我们可以复制一下他的地址,然后来到我的这个这个训练包里面来,在上面找到小工具,把刚才 的链接粘贴到这,然后开始批量重命名。这样子呢,我们的目标图片到文件夹里面所有图片的名字就能够处理好,这一步呢是让整个的命名规范化,其实你执不执行都没事。那把目标图片里面所有命名搞定完之后,我们可以开始制作与他们对应着的引导图片, 可以看到左侧呢是我处理过后的引导图片,这些呢都是我用绘图软件自己做的,就是你这么样比着来看的话,你其实就会发现,这样子和我们在那个 sd 里面,和我们使用 ctrl net 里面的 candy 生成图片的那种感觉是一样的,左边预览图,然后右边呢是生成图。 但是像使用 candy 生成的这种图片呢,它的问题就在于它的边缘它框定个太死,而且它里面呢是趋向于是一个整体,这样的看起来的话就不够丰, 丰富,也不够生动。而你看这种商业的图片,他这种感觉来说,它里边都是由于不同的东西组成起来的,他可以有不同的材质,不同的风格,这样一个商业作品看起来的话就显得非常生动,非常的丰富。所以我也想训练的 ctrlnet 模型呢,就是想要达到这种 像 candy 这种边缘轮廓控制类型的 control net 要更加的有想象力一点的这种 control net 模型,所以这是整个处理训练级的第一步,先准备目标图片,然后再准备引导图片,而且你看两边文件夹的名字都是对应的,这是一,然后呢,这也是一, 然后你可以证实二,然后呢,这也是这个二的图片,你看他都是对应好的一个关系,你要不这样的话,他一定会报错。那现在回过头来看,我们的训练夹里面,他现在有这两个文件,一个是放引导图片,一个是放目 标图片,他们两个的命名呢,一定要按照这个名字来命,否则的话一定会报错。那现在有了这两个图片呢,我们还需要为他们准备提示词,我们不能这两个文件夹里的图片都去准备,而是说只是准备目标图片, 也就是我们期望生成图片的提示词,然后呢,等你这个提示词文件全部准备完成之后,回到训练级的根部路里面,然后呢把这个根部路的路径复制一下,回到小工具这里,然后在下面找到 prompt jason 生成工具, 然后把刚才的路径复制到这里,然后点击生成 promt 之后再回到训练级的根部录里,就能看到这个 promt jason 就已经生成好了, 给大家看一下这个文件里边的内容,他是这样子的格式,就是一个文件加名,然后对着图片名,然后再是文件加名,对着图片名,然后第三个就是 promt 的内容,它都是以这样子的形式存在的,就是你想你手动去整理这些的话,真的是非常非常烦,所以我写了这样一个小工具,快速生成一个 promt 文件,然后执行到这一步,你的训练集里面应该有这三个文件,一个是这个引导图片的文件夹, 一个是目标图片的卫生间,一个是 prom 的,像这样的这三个放在这就可以,然后他们三个的名字大家也千万不要去动,因为你动的话肯定是会报错。那么处理完训练集之后, 下一步的操作我们要进行模型的预处理,然后还是在侧边栏点击这个地方,然后这个参考模型呢是需要大家去下载这个 sd 一点五的这个原始的模型,这里有七点七 g 和这个四点二七 g 的,然后大家是要下载 c k p t 格式的模型,当然这个模型呢你可以放在 到你电脑的任意地方,然后还是把他的路径粘贴到这,然后呢输出的路径就是说你预处理后的模型是放在哪一个位置,你就随便写一个你本地的一个路径就可以, 然后呢还可以给他随便起个名字,比如说写随便写一个二二二,然后可以点击开始生成空白模型,那么稍等一会,这个空白的二二二二的模型就生成好了,然后我们刚才进行的就是训练 ctr net 步骤的第二步就是生成一个空白的模型,接下来第三步就是点击特别蓝的训练模型, 然后呢在这里就是把我们刚才生成好的这个空白的模型,把他的文件地址给他复制到这里面去,当然把两边的这个引号给他去掉,然后训练级文件夹呢,就把我们刚才这个训练级文件夹的根部落他的地址给他粘贴到这来,然后我们可以给他随便起一个叫新名, 然后呢这一块默认就行,然后下面呢就是填写最大的训练轮数,默认是二十轮,然后 repeat 每张每轮当中数据的重复次数,包括你可以选择是不是随机,还有每几轮保存一次,他这是二十轮的话,那么是每四轮保存一次, 我们可以得到五个模型,然后在这呢就是把我们模型想要保存的路径给他复制到这里来。液化气呢,这里是可以选择四个,最后一个神童液化气呢,他是有两个和他匹配的参数,其中这个预热防护估计大家没见过啊, 就说啊,你如果是说在调度器这里选择这个长量预热,那么你是需要你把它给开上的啊,如果说你调度器里面是选择其他的这两个,那么你这个个地方就不用开,那他这就是一个这样的规律。然后下面的 学习率方面呢,我也做了一定的调整,就是在每一个学习率后边然后添加上了一个这个权重衰减,像学习率这一块大家应该都知道是怎么填,然后和他匹配的权重衰减呢,其实就是防止这个整个模型训练的时候后混合 的一个参数,就是你实际训练的时候,呃他这块你默认设零也可以,如果说你要添的话, 你可以是比如说比这个呃学习率可以比他多一个零,可以先这样子去训练,这样的话呢就可以增加一些你模型的那种分化能力,然后减少一些过硬核的现象,当然这个有耐的还有稳稳编码可以分开来设置,这些大家应该都明白。然后下面的调度器的参数这里我也是做了一些修改 啊,你看他三个调度器,每一个呢在下面都有一个匹配的参数,三个都不一样。第一个鱼旋, 呃,如果说你使用余弦来做调度器的话,那么你这个 t max 这个数呢,最好要等于你的这个 epoch 的这个数,呃,比如这里是二十,然后呢你在这里 啊, tmax 最好可以是二十,因为它是二十多之后啊,学习率达到最低的那个点嘛,就是你这个里最好是等于以 poke 的数量, 比如说你这里选的是鱼群重启,这里呢就可以填你重启的次数,然后再比如说你写长量预热,那就是说多少步之后,然后能慢慢的把这个学习率给他变高起来,那他就这样的一个意思, 下面就是日志的这些参数,然后这块呢其实没什么好讲的,就是默认的或者是自己填一下都可以。然后呢我们填完好这些参数之后,呃,就可以在这开始点击那个开始训练,那么在我的后台里呢,就能够看到他正在 慢慢的跑,然后等到全部训练完之后,就能够在你的输出文件夹里面,然后找到恒泰训练好的几个模型,呃,他们的命名方式都是前面是名字,然后后面呢是这个某一个 epog 生成的模型,然后呢我们就可以把它放到 sdwi 里面去进行测试,看这个模型有没有效果。 以上呢是整个可乐耐的模型的全部过程,然后现在讲一下这个训练器他是怎么安装,首先呢这是整个训练器的内部文件,想要安装他的话,首先确保你的电脑里头安装了这些东西,你安装好之后呢,在这里找到一个启动脚本, 你可以是双击它打开,也可以以管理员身份运行,都可以,它的作用是给你的这个项目包,然后自动的下载好多个文件,然后等下载完成之后呢,你的项目文件里面就会多出来这样一个文件夹,然后 con env, 这就是环境。然后想要启动这个项目呢,需要我们在这个跟播录里面找到这个文件夹,然后点进来,然后呢右键单击空白,在终端中打开,然后在这里呢写 npm run se, 然后回车,然后稍等一会,就会出现两个网址,然后这是启动你前端的一个页面,然后把这个网址复制到浏览器这里就能够打开这个网页。有了这个前端页面呢,其实我们还是需要后端的一个辅助,还是来到我们的项目跟陌路,然后在这里面找到 notelink, 然后点进来,还是右键单击,然后在终端中打开,在这里呢输入 n o d e 呃 se r e e r 点 g s, 输入这行代码,然后回车,当它出现这个标志的时候,这是已经启用后端了,我们在这里呢就可以执行各种操作,小工具或 或者是模型易处理,或者是训练模型都可以操作起来了,然后可以看到其实整个训练流程都在侧边栏都写好了, 包括各个参数是什么意思,然后我在这里呢也写的比较详细,然后大家不懂的其实在这边都能够看得到,有人可能会加载这个 uig 面失败, 不过这也不要紧,因为你有了这个虚拟环境之后,你其实就是可以直接用脚本去训练,那么你脚本的参数呢?都在这个 p r 文件里,在这里呢就能够找到训练的时候填写的参数啊,把它用记事本打开,然后呢在这里把参数填写一下 啊,填写完成之后,然后回到这个项目的根部路,还是点击空白处,然后在终端中打开,然后输入这样一行代码,回车就能够进入到整个虚拟环境里,然后把这个训练脚本的名字给复制一下,呃,再复制到这里, 然后直接按下回车就能够开启训练,那么这也是一种非常方便的训练方法,只不过他是没有一个 ui 界面作为一个可视化的呈现,但是所得到的结果都是一样的。由于我这个视频发布的平台不同呢,这个训练器的文件我要么是会放到粉丝群里面,要么是会放到那个评论区里面, 然后大家多找找就行。还有一个就是这是这个软件第一次的发布,他肯定会有一些 bug 或者考虑不周的地方,然后也欢迎大家在这个视频下面呢给我一些反馈意见,然后我好及时的进行修正。

哈喽大家好,我是薯片 ai, 就在九月五日 ctrl net 迎来了幺点幺点四版本的更新,此次更新加入了一些新的控制类型。本期视频我们就一起来对这些新控制类型进行一一测评,看看这些类型都能干什么 和有哪些有趣的玩法。由于模型较多,时间有限,本视频先介绍 s d 一点五的控制类型, s d x l 的放在下一期介绍此次基于底膜 s d 一点五的 control net 模型新增的有,一、 recolor 重上色。 二、 ip adapter。 一、 recolor 重上色该模型顾名思义就是对图片进行重新上色。该模型的玩法可以分成两种,一、黑白照片上色。二、指定元素换色。在使用该模型之前, 我们还需要单独下载 recolor 的模型,这个模型在更新时的自动下载中是没有的。我们先来看看黑白照片上色怎么玩。首先我们找一张黑白的图片,然后稍微描述下关键词, 当然你不描述也可以。 control net 把这张黑白照片上传,勾选启用和完美像素模式,然后选择 recolor, 可以选择图片强度或者图片亮度进行去色。我们一般默认用 luminance 就可以了,其他参数默认即可。然后我们生成就会看到原本的黑白照片进行了上色,这样就对于我们修复一些老照片来说非常方便。 另一个玩法是指定元素换色,如换头发颜色,换衣服颜色。这个有点像我们之前用的 in painting anything, 而这个模 行省略掉了分割的步骤。选择 recolor 后,预处理器分为 intensity 和 luminance, intensity 会更加黑白,不过我们默认 luminance 就可以了。然后我们就可以换成粉色头发、蓝色头发等对图片元素进行换色。二、 ip adapter ip adapter 是腾讯 ai 实验室在八月十三日开园的一个模型。我们在用 ai 绘图的时候, 提示词是一个非常重要的角色,它关系到我们生成图片的内容。但是俗话说意图胜千言。这个模型的目的就是让我们用上传图片替代提示词来影响我们出图的内容。 玩法就是可以配合我们原本的 prompt 和其他的 control net 把一张图片的整体风格迁移到另一张图片上, 我这里演示,就去网上找了些提示词写上这里部署二十,选择最新出的 restart, 开高清修复。因为要绘制人脸,所以开下 attale。 第一个 control。 net 我们上传一张想要的图片风格,启用加完美像素模式,然后选择 ip adapter, 下面参数默认即可。接着第二个 control。 net 我们上传一张图,然后选择 depth, 其他参数默认即可。为了凸显树的形状,我把权重拉到一点二。最后我们生成图片会发现我们第一张图水下的效果 已经迁移到了第二张图的树形状。这就是这个模型最大的用处。我是薯片 ai, 关注我,分享更多 ai 内容!

很多小伙伴都知道 sd 可以 ai 换脸,但是就是不知道具体怎么操作,今天呢,一分钟学会用 sdai 换脸。首先呢,下载这两个模型和插件,网上的教程呢有很多,打开 sd 外部 ui 以后呢,第一步,先选择这个模型。第二步呢,选择图声图功能。第三步,在图声图这里上传一张底图, 好,我们选了个奶油帅哥。第四步,复制到局部重绘。第五步,右侧有个画笔工具,我们调整一下画笔的大小,因为是换脸,所以我们涂抹一下脸部,用这个画笔。第六步,我们用这个 c 插件生成黑底白线图 启用上传独立图像,允许预览这三个功能的打开。第七步,再把底图上传上去。第八步,选择硬边缘这个 控制类型,点击这个按钮,就生成了黑底白线预览图。好到这里呢,我们底图的设置就完成了,现在我们用 rop 这个插件开始换脸。首先呢,点击启用,然后你想换成什么脸,就把相应的图片上传上去就可以了,这些设置默认就行,然后点击生成 好,这就完成了,因为我是用的笔记本电脑,配置不行,所以还不是很逼真,你们电脑配置好的话,效果呢也会更好。

这个是提示词生成出来的图,这个是加上 key 模型引导生成出来的图。现在我要这张图的人,不要背景,我要这张图的背景,不要他的人。生成这样的图,我该怎么办?欢迎来到全宇宙最科学的 ctrl 内的参数全解析系列视频第一集我是全宇宙最科学的画图佬恶棍博尔赫斯。 我们来到 controlled, 看到两个参数, study control step 和 ending control step, 开始引导步数以及终止引导步数,这就是这张图组合的秘密。除此之外,我们还需要借助恶棍终止定理的帮助。后面会讲, 引导步数是一个零到一的参数,假设你设置的迭代步数为三十,开始引导步数设为零,中指设为一,那么 k, 你就会从第一步开始引导图片的生成,直到最后结果都会受到 k 你的影响。假如你设置从零开始零点三,中指三三得八,也就是从第八步 开始 k, 你就会退出引导,由提示词主导生成。这会造成什么效果呢?秉持着宇宙最科学的信念,我们使用宇宙最科学的科研方法控制变量法研究研究这个引导步数所带来的影响以及怎么用。 我们来到看周内的设置,开始引导步数为零,去中指引导步数为自闭量,去零点三、零点五、零点八和一点零。 我们来到脚本设置中指引导步数零点三、零点五、零点八,一点零零币量则为每一步的出图的效果。我们要看零点三到零点五附近的变化,也就是八到十, 十四到十四步之间的变化。所以在脚本设置迭代步数一五八到十,十四到十六,二十二,十五,三十,其他参数全部保持一致,我们点击生成。 好嘞,我们看一下深层的图表。第五步之前基本上都是一样的,这一步开始零点三这个开始变化,其他的均一致。到这里,零点五的发型开始发生了一点变化, 零点三已经明显根据提示词的瑜伽服生成了瑜伽服。在下一步零点五的发型可以看出有一些比较明显的变化,但是也仅仅是发型。 到最后一步,你会发现零点三的变化非常大,连背景都完全不同,但是构图还是一样的。 而零点五只有发型改变了,背景几乎跟一点零的一模一样。零点八跟一点零几乎没有变化,因为零点八退出的时机实在是太晚了,提示词已经无力回天,就这样吧,你跟着 control net 走吧。终止 引导越早,提示词的作用就越大,但是由于早期的引导,导致构图基本不会发生大的改变。但是即使得到这样的结论,我们距离成功还有一步之遥。我们要的是一个提示词的人物形象加 controlled 的构图,背景跟姿势。 显然零点三的人对了,但背景错了,零点五的背景对了,人错了怎么办?很简单,你有没有听过拉格朗日终止定理,如果函数 fs 在 b 区间 ab 连续在开区间 ab 上可导,那么开区间 ab 内至少存在一个点个 c 指的函数在 cc 上的导数等于 fb 减 fa 除以 b 减 a, 用大白话讲就是科技上面这个点的斜率等于 a b 之间连线的斜率。那拉格朗日终止定理究竟有什么作用?没有作用,完全没有任何的作用,我只是想装个 b 而已。好的,那么今天的高等数学就讲 到这里,再见 你这么的,你就取那个中间值,零点三跟零点五之间的中间值就是零点四,我们就取零点四,这就是二棍绘图中指点,我们回到坑中呢,把中指引导步数改为零点四。走你! 噔噔噔噔搞定。请收下你要的提示词,人物加 keny 背景和构图。今天就到这里,下一期介绍预处旅途分辨率的底层逻辑以及怎么运用。一箭三连后会有期。

欢迎来到 ai 辅助设计不系统课程的第二部分,这里是 ai 进度研究室,我是贝熊, 本期课程我将带大家熟悉整个外部 ui 界面的操作以及学习使用 control net 进行可控图像生成。视频制作不易,还请各位多多点赞、关注加收藏,也欢迎各位加群讨论,共同进步。 由于本期视频存在大量操作演示,如果是刚刚入门的小伙伴,且还没有完成 stw defusion 的安装, 我们强烈建议你回到上一节视频,完成本地部署后再开始本节课程的学习,并全程跟着我们进行操作。由于群内很多小伙伴反映 control 那个新版本安装不成功,更新了以后无法使用等情况,为了教学便捷度 与各位的体验,本课程将统一更换由秋叶大佬开发的启动器,就请各位一同跟随我打开视频简介或溪流堂课件中的网盘链接,完成课件下载后,开始今天的课程学习。 网盘链接中有两个文件夹,两个文件夹都需要下载,一个是秋月大佬的启动器,一个是本节课程相关的课件。那么完成下载后,在启动器文件夹中会有这样两个文件,首先点击左边文件安装运行依赖, 然后我们打开启动器压缩包,将文件夹内的两个文件拖拽至我们的根部录像这里,我们双击打开启动器,然后耐心等待其安装依赖。 于是我们就来到了这个非常友好的 ui 界面,这里我们可以看到它自动识别了我们的显卡型号以及启动方式。先不要着急点一键启动,我们先点到这里的拓展管理,在列表中找到 ctrl net 右侧点击更新 等待。更新完成后,单击确定。我们回到一键启动界面,点击右下角的一键启动,这里会需要耐心等待一下。然后我们就来到了 ybui 界面。首先第一件事情,点击设置,在左侧找到 ctrl net 这里我们可以看到最上方的路径设置是有问题的,我们要复制一下我们 say beauty fusion 的根部路径,也就是安装启动器的路径, 比如说这里是我的根部路路径。 ctrl c 复制回到 web u i, 在这里把前方的路径选择 ctrl v 替换, 随后在上方点击保存设置。一定要记得在这里修改我们的路径,否则你的 control net 插件无法使用。至此,我们就完成了本节课需要的所有前期配置。 感谢秋月大佬为爱发电制作的启动器,详细的启动器功能大家可以去秋月大佬的视频中学习。链接附在简介与评论区,请各位千万不要犹豫,直接一键三连加关注。 接下来让我们正式开始今天的学习内容, web u i 与 control net 首先我们来看一下 最上方的标签,来 stable diffusion 模型。单击下拉菜单,我们可以看到三个我们预先准备好的模型, a, a, r, g 是我们训练的出版建筑使用模型, s, d, v 一点五与下方的二点一版本都是官方的原始模型,未来我们将在训练中使用到它们。 右侧有一个更新按钮,当你的 model 文件夹放置了新的模型,你可以单击更新,然后你就可以在下拉菜单中找到他。这里我们选择 aig 模型出作为我们的初始生成模型, 我们单击纹身图,来到我们最熟悉也是最常用的界面,在这个界面中我们可以看到我们的提示词栏与反向提示词栏,他们都用于生成我们的图片。 我们为大家准备了一个文档,大家可以先使用我们准备好的提示词, ctrl c, ctrl v 黏贴,然后我们把反向提示词重复同样的操作。完成之后,我们可以先来生成试一下,单击右侧的生成, 稍微等待一下,初次使用他会加载我们的模型文件,会等待的比较久一些。加载完成之后,只需几秒我们就可以获得我们提示词相关的图片,我们再随机生成几张试一下, 那么这样一张一张点还是比较麻烦,我们可以在这个位置选择他生成的批次和每一批的数量好,比如说这里我们让他 生成两批,每批生成四张,我们再点击生成试一下。好了,这里我们就获得了八张图片,我们可以单击图片来放大,然后我们可以点左和右来预览每一张他给我们生成的图片。 ok, 然后我们可以点右上角的大叉,回到我们的外部 ui 界面。接下来我们再来学习几个参数, 比如说这里的采样方法,这里有许多的采样方法,你可以自己一个一个尝试,但是这里我推荐 d d i m, 主要原因是因为它的生成速度比较快,携带比较少的袋鼠就可以出现比较好的图像效果。我们选择 ddim, 当我们使用 ddim 时,我们可以适当的加高我们的提示词关键性,把 七改成九,当然这里是经验值。我们也可以在上方调整我们输出图片的大小,比如说现在是五百一十二乘五百一十二的图片,我可以让他输出一零二四乘一零二四的图片。如果显存比较低的小伙伴可能难以输出比较大尺寸的图片, 并且较大尺寸的图片在没有 control net 加持的情况下,其结果会比较难以控制。这里我们还是输出五一二乘五一二的图片,我们给它生成二十五次,点击生成, 耐心等待一下,他就开始了生成。当他开始生成以后,我们可以看到模糊的图像。如果我们觉得这轮图像我们不想要,我们可以单击右上方的跳过, 跳过这组这一组图像,让他直接输出下一组图像。那么我们也可以点击中指来整个的停止图像的生成。 那么最终获得的图像中,我们就可以看到我们中间跳过的这轮图片,以及最后还没有完全生成的图片。 接下来我们来看一下迭代步数,这个参数。迭代的步数越多,我们所生成的图片的细节也就越多,即重新计算的次数也就越多。我们再来生成一组图片,这里改成生成一次还是用二十步的迭代步数来生成。 这里我们获得了一组图片质量比较高的图片,我们可以把它截图, 然后贴一下。好,接下来我们来看一下这里的随机种子。那么当我们想要获得上一轮生成的图片相类似的图片时,我们可以点击这个绿色的按钮,单击之后它就获得了上一轮使用的生成种子。 接下来我们可以把步数改成六十步,再尝试生成一下这一组图片,我们看会发生什么。 那么我们可以看到,虽然两张图有比较相似的画风,但是呢由于迭代度数的变多,他的图像本身就会发生变化,我们可以对比一下,那么甚至我们会觉得二十部迭代的图片或许 比六十步迭代的图片在某些方面表现的更好,所以迭代步数是一个相对比较需要使用经验的参数,我们在方案初期可以设置的少一点,从二十步三十步来进行设置, 我们来看一下,当我们保证这个随机种子不变的情况下,我们就可以回到二十步迭代所生成的结果,我们可以看到大部分的细节是一致的, 当我们点击这个骰子的时候,我们就可以把随机种子变成负一,也就是当他生成的时候随机赋予一个种子数。 当然点开这个种子菜单下方还有更多更详细的设置参数,这里就留给大家自己去研究了。接着我们来学习一下如何将我们现有的提示词保存成预设, 在我们生成下方有一个保存的按钮图标,我们点击之后输入名称,单击确定, 这样我们就把这部分的基本余舌储存了下来,我们可以点击 style 下来菜单找到他,那么点击这个小按钮,我们就可以清除这些所有的提示词。 点击确定,我们可以使用最左侧的这个箭头小按钮,将我们刚刚生成的这组图片使用的提示词重新填充回来, 好让我们再次删除所有的提示词。我们试着从我们已经保存的预设 styles 当中重新把我们提示词填充回来。点击这个按钮完成。 以上,我们就完成了 stable diffusion 自带的纹身图大部分功能的学习。我们可以看到纹身图功能在 a a r g 的加持下所产生的图像质量较高,已经可以作为初步的意向图使用。 但这种不可控制的图像生成在实际的项目中应用非常有限,因此接下来我们将重点学习可控式图像生成。 control net 插件的使用,我们打开 control net control net 的位置是在下方的插件位置。 我发现很多同学都会去图身图当中寻找他。虽然图身图当中确实利用 control net 但是我们使用的比较多的还是从纹身图的基础上,利用 control net 来控制我们的图像。那我们在我们的课件 点中为大家提供了一些 ctr net 可用的控制图类型,包括起块,草图,还有一些比较横平竖直的手绘这样的风格的图片 供大家来直接使用进行生成。那这里我们就使用一张大家比较熟悉的图来先进行一轮演示。有兴趣的小伙伴也可以自己使用一些起块或者草图来进行生成。我们直接把图片拖拽到这里, 我们可以看到我们的图片已经加载到这里了。首先第一件事情,我们要把这里的 inabel 打开,打开之后我们才加载了我们的 control net 我们来先简要介绍一下 control net 的一些组成部分。首先这里有个预处理器,他会将我们输入的图片通过所选择的 模式来预处理成一种后边模型文件可以识别的输入图。这里我们先选择 m, l, s d 格式, 那么既然我们选择了 mlsd 格式,后边的模型我们也要对应的选择 ctrl mlsd 模型,这样他才可以识别他的易处理产生的结果,进而来控制我们图像的生成。 一般情况下,我们无需修改下方的参数,我们可以先生成一张图,如果这张图它的本身的控制图是有问题的,我们再来修改下方的参数。 这里我们直接使用相同的随机种子来生成一组图片看一下。当我们首次加载 ctrl nice 的控制模型时,也需要等待一段时 时间,在模型加载完之后,他就会快速生成我们的图片。那么现在我们已经得到了四张图片,我们可以注意到这里最后多了一张图片,那这张图片就是 control net。 至于我们的输入图片,通过预处理器处理之后所得到的图片,然后再通过这张图片由其模型来控制我们最终的图像的生成。 因此我们的模型文件与预处理器的参数设置在大部分情况下都是同步使用的。 好的,这里我们就新引入一个参数权重,这个权重值呢,就是指我们的新生成的图片与这张控制图有多像。那如果王 数字小了拉它就会有更多的发散可能。我们来尝试一下, 那我们可以看到在相同的种子下,他开始有一些变化,他脱离了原本我们对其的控制。 那相对于同一张图,其实我们可以用很多的方式来控制,比如说我们将这张体块的图来切换成 deeps 来控制,那 deeps 呢?就是生成一张深度图,那通过深度图它可以控制我们整个图像而生成 也是一样,首次加载模型的时候需要等待一段时间,接着我们就获得了图像,我们看一下,他就是通过这张图来获得了这张深度图,然后再用深度图来 控制这些图像。我们可以看到相比于 m l s d 来说,它对于道路的控制显得没有那么的准确了,因为这张深度图其实基本上不包含我们的道路信息的。 那么 m l s d 就是更好的控制方式吗?其实也不尽然,我们来换一张图片尝试一下。首先我们切换到 m l s d 模式, 好,我们点击生成。很快我们获得了一组图,但是这组图好像并没有非常契合我们的控制,我们来看一下原因。 首先第一点,我们的生成图片,我们的生成图片的控制在 m l s d 的情况下,他很难把这个 形体来进行描绘。 m l s d 控制模式呢,是以直线的形式来描绘我们的图像的,它非常擅长在一些透视关系非常强烈,然后横平竖直的空间中发挥它的作用, 但是在遇到一些比较复杂的形体的时候,他就没有那么的强大。那么第二点就要看到我们的 prompt, 我们的 prompt 当中有这样的一个词条叫做 鸟看,对吧?那当这个鸟看存在的时候,他就会尽量以鸟看的视角来生成这张图,那他觉得鸟看的情况下是这样的,所以他就生成了这样的图,这样的图。 所以我们要是把这里的 arrow view 改成 ground level view, 然后我们可以尝试一下再使用这个模式调高一下权重,我们来尝试一下能否得出一个还行的答案。 那么至少我们目前的视角他是对了的,但是在这个控制模式下,他很难很好的控制他,他会有一些奇奇怪怪的变化,那么我们可以尝试换一种控制方法。那么首先我们可能想到的就是 dips ts 对于起快模型来说,真的是一个非常万金油的生成方法。好的,这里我们就获得了他的成果,那我们虽然他有些奇奇怪怪的东西被他添加了出来,但是整体我们的扭转的这个形他非常好的 保留了。那我们可以尝试的提高一下我们的迭代次数,看一下他会不会把这些奇怪的东西给算掉。在这个这张深度图的基础上, 好的,他至少是相对来说更加完善了一些。那么这样的形体还有别的方式可以来生成吗?我觉得是有的,我们来可以尝试一下使用 candy 点击生成。好,我们完成了,但是我们发现 kimi 生成的边缘,它的边界太过于明显, 那在这种情况下,我没有办法很好的完成这个扭转的感觉,那怎么办呢?我们可以尝试着来调整一下 candy 这边的输入数,输数值把它适当降低之后,我们降低一下我们步数刚刚算了很久, 我们降低一下我们的部署,再尝试一次。啊,那么好,经过两次尝试之后,我把这个数值调的非常的低,嗯,他生成了一个这样的结果,那在这个情况下呢,他是可以比较好的来概括啊,至至少有一定概括能力的把我们这个型给概括出来了。 但是呢,我们可以看到他整个的他会在我们的画布上添加一些奇怪的东西,我们可以尝试一下,在这个相同的因子上提高一下他的接待次数,再来尝试一下。 那么在提高了叠带次数之后呢,我们看到 canny 的表现还是可圈可点,特别是这张,我非常的喜欢啊,非常的震撼。那么使用 canny 将它边缘调低之后呢,他会有这种双层的线,那么他就会有一种类似于倒角, 然后这种圆角这种见效的效果出现啊,希望大家也可以多多尝试一下这种风格。那么最后我们再来介绍一种方式,叫 h e d h e d 其实就是看个人感觉就是和 candy 比较相似,但是它是相对来说比较模糊的一种边缘接地,我们来可以看一下 啊,这边我又忘了把这个叠带次数给调低一点了,我们开始生成的时候可以调低一点再来生成,但是我们可以看一下这个 h e d 的结果啊,相对来说还是不错的,甚至有一些 很不错的啊,这种交接关系他甚至已经帮你都考虑好了。那虽然他其实也只提提供了一个外边缘,但是他整个的控制效果我们可以感受一下,和 candy 相比还是很棒的。 那对于 h a t 来说,我们也可以降低一下他的这个模糊度,然后让他以一种比较更模糊的方式来生成。 那我们可以看啊,在降低了他分辨率之后呢,勾勒出了这两条线啊,这两条线就可以组成一个比较比较贴合我们原本形的一个形态这两条。 那么新版的 control nation 呢?还提供了一些新的控制方式,我们来尝试下这个 deeps laris ok, 因为我们之前已经加载过 dps, 所以它相对来说会比较开始快的开始来进行啊。但是我发现我们在这个用这个 lyras 之后,他在后台帮我下载了一个五百多 我照的一个东西,怀疑这个是一个 lovers 的一个模型。呃,下载完这个模型之后,他就非常快的开始给我计算了, 那么他生成了一张这样的深度图啊,总的来说还行,但是我总觉得他的 效果可能甚至还不如,还不如 tips。 好的。那么讲了这么久的起块模型啊,白膜,那接下来我们就来讲一下手绘图啊。手绘图也是一种比较常见的初期应用于设计的东西。 那我们有了一张手绘图之后,该如何利用我们 stable diffusion 加空 control net 生成它的一些可能性。那我先把这张图给拖了进来啊,为什么用这张 图呢?因为他也是一个 tower 好不愿不想再改词了,不然我还要改 museum 什么的之类的一些词。那我们直接就把用这张图来进行生成。那当我们使用手绘图的时候,大部分的手绘图他都很难读取到深度信息,他们比较少的有几块。 那么这样的情况下我们用什么呢?首选我推荐是用 scribe, scribe 模型呢,我们后面再说。我们先看一下如果使用 canny 这样的模型,它会生成一个怎样的结果。 那我们看我们当我们使用 candy 的时候呢,他会在我们的轮廓线边上再检测一圈轮廓,那这会导致什么问题呢?就这张图没什么问题啊,这种这张图他会觉得这些中间是空的,没有东西的, 有一定概率他会丢失一些信息啊,这张图比较明显,但是呢整体的效果还是不错,但是呢他的双重线就会给我们家这种边缘,这种边缘,当然如果你喜欢这种风格,这也是种很棒的风格, 但是呢他很难,他不太能贴合我们手绘想要表达的这种感觉。然后我们再来试一下 hed, 其实 hed 的问题应该会比较相似,我们来试一下, 那通过一些基础的预判,我们预判到了他的这个情况,对吧?就是许多的玻璃面他丢失了丢失, 但是目前来看我们的 mlsd 并没有特别好的发挥,因为他对于这些啊比较乱的性的征程,他还是有一些没有头绪。最后我们审视出来的一些 奇怪的东西。那最后我们来试我们的 scribo, 那 scribo 模型呢,它就有一个比较特殊的地方,所以我们把它藏到最后来讲, 就是当你使用 scribo 输入这种白底黑线的图的时候,你需要勾选 invert input curl, 就是将你的输入颜色导色,因为 scribo 它相当于它识别的图是黑底白线,也就是相当于拿白色的笔在黑色的纸上画它才能识别。 好的,我们发生了一次重大的翻车啊,虽然我们输入了图片,还是整个几乎都把我们的这个信息都输入进来了,但是呢,我们就生成了结果 有一点奇怪,但是我们可以看出来他们整体还是按照我们的整个趋势去走的。那么主要原因呢,就是 当我们使用草图这样一个比较具象的一个东西的时候呢,我们还是要把这个位置给继续压高一些,那以让他在我们整个草图的基础上来进行生成。 ok, 那在这样的基础上,我们生成的东西啊,就非常可以,你看了对不对?然后我们可以提高一下他的携带步数, 继续再尝试一下。当我们迭代步数提高了之后呢,他生成了许多非常有意思的方案,特别是他还获得了把这些细节给抓抓住,来进行了一波生成。 那可能是因为我输入的关键词当中带渣哈哈地的,所以他会往曲线的一些方向来发展。我觉得有一些图还是不错的,比如说这些,这张 还有这种,但他依然没有过于贴合我们的形体,我们再尝试一下。那么当我们把这个权重调制到一点一,然后我们又生成了这么两波图的时候,我们发现了 他基本上可以迎合我们原本的需求,然后产生一些比较酷的造型啊,这基本上和我们草图所设想的还是比较相类似的一些神奇。 那么我们再来一张更加复杂的草图,来尝试一下同样使用 scrabble 模式,我们来看一下这次他发挥的怎么样 啊?当然这里我忘了改一个关键词,我这里还写了陶文,但是这个东西应该可能不是陶文,所以他可能生成有些奇怪。我给整个生成之后,我们发现他其实和我们原本所设想 呢有些大相径庭,那可能是因为关键词的原因,我们再重新尝试一下。 当我们这个曲线草图比较复杂的时候,我们还是没有能够想得到我们想获得的东西,这时候我们可以尝试使用 kenny, 那么最后的一根救命稻草来尝试一下吧。那么这个时候 candy 的强大优势就发挥出来了,那实际上 candy 呢,它是一个填色,填色模式, 也就是当你给他线稿,他会自动给你填色,那也就看看你直接迎合我们的线稿,原封不动的给我们进行了一波填彩,那非常的有意思啊。这些图那同理我们可以尝试一下 h e d, 但是我个 个人估计他的表现不会特别好。 hd 呢,就是那种班中班级里比较中等偏下的学生,他虽然不会打破你的下线,但是一般他的表现发挥不会特别的好, 我们可以看一下啊,他他他确实有一些奇怪,非常非常的奇怪,但你也不能说他有什么错误。呃,有些图像可能是迭代次数不够,我们提高迭代次数可能会有一些好优化, 那最后他给我们这种漫画风格的图片,你看,这也非常符合他的人设啊。那么现在是凌晨的三点四十分,马上就要四点了,由于录制的比较晚的原因,有些音频与讲解的部分 不尽如人意,还望大家包涵。如果大家对我们的课程还满意的话,千万不要忘了一键三连加关注,你的支持是我们更新视频的最大动力,相信各位看到这里再回过来看我们提供的课件内的基础图像,应该已经知道该如何控制生成了吧? 这些生成方式结合我们训练的 a arg 模型,将其应用在实际项目或课题中,一定已经难不倒各位了。好了,以上就是本期课程的全部内容,更多 ctrl 和进阶内容我们将在后续课程中跟进。 下期我们将重点介绍如何定制训练自己的大模型,请大家多多期待。这里是 ai 建筑研究室,我们下期再见。

stable diffusion 也可以一键修复老照片了。 control net 全新域处理器 recolor 像一个智能彩色滤镜,它可以识别图片内容,再结合提示词对黑白图片进行上色。 recolor 让修复老照片难度指数级降低。如果你家里也有家人的黑白老照片,一定要尝试使用一下。 而且我还在某宝和某鱼上看到非常多商家做老照片修复,每月基本都在一百单以上。相信认真看完这条视频,你也能变成老照片修复大师。 recolor 是 control net 最新版本 v 一点一点四的功能,借助 stable diffusion, 只需要三步就可以完成这样的老照片修复。 接下来我将通过两个小案例向你展示 recover 的使用技巧。这条视频讲的非常详细,建议你先点赞收藏。第一步,我们打开 webui, 在 control net 中添加我们想要上色的老照片并处理器,选择 recover 即可。 control net 其他参数可以不做调整,点击启用。第二步,调整参数,选择一个写实风格的大模型,我这 这里使用的是 realistic 为什模型再根据老照片尺寸调整图片尺寸,再调整生成参数。如果不熟悉的同学,可以直接参考我的参数。第三步,写提示词添加一个常用的骑手式。最重要的一点是需要在正向提示词中添加图片颜色的描述,例如 color photo 告诉你们一个写这样图片提示词的小技巧,到图生图的界面,把图片放进去,选择可以反推提示词, 将反推出来的提示词放到翻译中,将描述为黑白照片的词语删掉,再复制过来。点击生成, 可以看到人物照片和背景颜色都恢复的比较好,但是服装应该是深绿色的,只需要在提示词中进行描述即可。 接下来再来演示一下风景照片,在 control net 中替换要生成的照片,调整图片尺寸和参数,把图片放到图生图中进行 clip。 反推提示词 复制到文声图的正向提示词中,点击生成荷花,花瓣和荷叶的颜色都被很好的还原,效果也非常不错。这就是 control net 插件 v 一点一点四版本的最新更新 recover 功能, 学会的小伙伴别忘了点赞收藏,你的支持对我制作下一期教程非常重要。如果你有任何想学的内容,请随时在评论中告诉我。感谢你的观看,我是设计师,学 ai 教你实操胜于虚言,我们下期再见。