粉丝50获赞123

哈喽大家好,欢迎来到 stable diffusion 的教学。最近几天又比较忙,又脱更了,今天我们来讲几个 ctrl net 里面的应用,让我们来实现几个神奇的小操作吧。 今天会讲到三个,第一个呢是实现这样的效果,我们有了一张图片,我很喜欢它里面的元素,包括这个风格,那这个时候呢,我可以把里面的元素和风格保留给他,重新组组成另外一幅 类似的一幅图,通过一个很简单的操作。第二个操作是实现这样的效果,我们通过简单的一个控制,就可以让原本的物体产生一些变化,比如说让这个鞋子着火,或者是让它结冰。 当然室内也是可以的,我们可以一键给这个室内关灯,变得阴森恐怖,同时呢也可以一键让他燃烧起来。第三个操作呢,是实现这样的功能,让人物穿上我们相同款式的这个服装,哪怕我这个服装是 一张真实的照片,但是人物是二次元的,依然可以穿上这种类似的服装,也可以让一个 ip 形象。这张是我们的原图,这两张呢是延伸的图片,让他保留大概的这个人物特征,来做一些延伸的变化,一定程度上可以代替我们 模型练制。那接下来我们就讲一讲具体如何操作它呢?分别对应 ctrl net 里面的三个控制类型。第一个我们要讲的就是这个随机洗牌,我们点击启用,勾选完美像素,然后选择这个随机洗牌。 接下来呢,随便写一些提示词,我这里写了城市、建筑、街道,还有一些质量词,其他参数几乎都不用改。这个大模型是二次元,我们点击一下生成 这张图片呢,是我们参考图打乱了这个元素,左边是我们生成了一张对应的,我个人觉得这个功能其实相当有用,因为在我们经常做一些海报,或者做一些主体海报的延伸物料的时候,几乎我们参考图中所有的颜色,包括这种线条 风格,都被他沿用到了新产出的图片当中。第二个要讲的就是这个 ip top, 我们这里呢,再随便找一个产品,比如说这个冰箱,预处理器自动是没有的,模型自动就是 ip top。 这里呢写提示词,我们要注意他的写法,官方的写法是让什么什么怎么样,比如说这里让冰箱着火,然后点击生成, ok, 我们可以看到这张是原图的冰箱,后面这张呢,就是给他加了火焰的标志,当然让他结冰让他怎么样,大家可以充分的发挥想象力,那这里呢,其实用人也是可以的,我们随便找一个猴子,然后呢,比如说让男人成为钢铁侠,嗯, 这个效果怎么说呢?大家自行去判断吧,反正我个人觉得今天讲的三个功能当中,这个其实是作用最小的,因为他只能作为一个娱乐,比如说我们拍一张自己家里的照片,然后让他着火,拿去跟领导请假。第三个就是我们要用到的这个 reference 参考,拿这张图来作为一个参考,然后呢,这底下的这个权重大家要调,我一般会把它直接拉满,因为拉满的话,他就会更大程度上参考这个原图,我想让他得到一个卧室吧,简单一点,我们就看看他的效果,得到一个卧室的图片。 ok, 我们可以看到啊,原图是这样的,然后呢,我们轻易的就把他的风格迁移到了这张我们想要的这个卧室的这个图片上面, 这个要比刚才的这个随机洗牌,他的风格迁移会更明显一点。当然了,这个用法不只是如此啊,我个人认为他是某些程度上完全可以代替训练模型的,刚才这个风格的迁移,相当于我们替代了这个风格模型的训练。 那接下来,比如说我要找一个人物的形象,就这个小女孩吧,我们想让这个人物的形象让他生气。 ok, 我们可以看到啊,这张是我们提供的参考图,他把握了这个人物的,尤其是面部,或者我们可以这样来操作。我们经常想进行一个人物的连续创作,那我们可以先 来征程这样一个人物,比如说一个女孩,粉色头发,裙子,比如说这个刚才这张图片,因为他本身的这个图片跟我模型还不一定完全对应,这个二次元模型未必能产出这样的图片,所以他做了风格牵引之后,有一点瑕疵是正常的。 现在呢,我们自己产生了一个这样的人物形象,我们以他来为参考。接下来呢,我让这个女孩我就不需要再描述他的头发和裙子了,我让这个女孩,比如说坐在床上可以看到啊,这张是原先的人物,这张呢,是延伸的图片,虽然说衣服的把控略有一些不同,人物几乎是控住了,这个就相当于其实变相了保持人物的一致。 第三个最牛的用法就是比如说这个,第一个是我要的人物,第二个呢,我可以给他一个其他的东西,第一个元素呢,我给他用这个人物,第二个呢,我上传一张这样的图片,然后同样给他选择这个 reference, 然后我们点击生成看一下效果。这两张是我们的参考图,这张是融合之后的图片,我们会发现这张图呢,融合 和了他的一个 q 版人物这样的风格。第二个跟原来的这个人物的特征要素有把控的比较好,粉色头发,蓝色的眼睛。第三个我们发现他的衣服也融合在了一起,里面穿的是这件图片的这个粉色裙子,外面呢穿的是这件图片身上的这个蓝色的校服。这个是不是太牛了? 可以给大家看看我之前做过一个什么样的效果。我之前是有一张这样的图片,然后呢我又把它融合了这个盲盒的风格,他最终给我得到一张这样的图片, 两张参考图片得到了一张这样的图片,结合了这个盲盒的 q 版大头。然后呢第二个又融合了我们原本这个人物的形象以及这个服装,把这两个非常神奇的融合在了一起,是不是很强? 这个都是用这个 reference, 今天这三个功能,我个人觉得 reference 和随机洗牌都非常有用,使用性最弱的可能就是这个 ip top 了,如果大家学会的话,可以去尝试一下他有什么更多的可能性。 ok, 今天内容就到这里。

如果让你生成一张梵高星空画风的人物照片,你会怎么做?要我说,最快的方法就是使用 control 的 reference 模式。 reference 执意为参考,又称风格迁移。它会综合理解图片的内容和图片的色彩、构图等,并将该内容生成到新的图片中。而如果参考图的风格不明显, 出来的结果可能不一定能达到想要的效果,所以 reference 天然更适合于画风强烈的作品。同时比较特殊的是,它也是少数几个不需要处理器模型就能使用的功能。使用方法也非常简单,打开 ctrl 内后,导入参考图,启动它,选择完美像素模式,显存低的打勾低显存模式, 接着选择 reference 就行,其他的参数就不过多讲解。这里我写了个女孩提示词,然后选择生成四张图,这样就完成了风格的迁移了。大家觉得效果怎么样?我觉得还是有达到 预期的,这里需要跟大家补充一下。我们在这边使用的是 referencesoning 模式,实际上它一共有三种模式,为了方便大家对比了解,我们直接把三种结果呈现给大家。第一个欧力是我们前面做的演示效果, 第二个 dan 可以感觉和其他两个完全不同,而第三个的 dan 加阿特则和原图最接近。仔细观察下来我们就能感觉出来, dan 更多模仿的是布局和构图功利,更多模仿色调和画风。最后一个则是两者的叠加, 所以我们能看出 reference 还是有很多点可供大家研究的。最后还有一个叫做 style fidelity, 这个进度条是干嘛的呢? 简单概括下就是相似度, self delete 越高也更相似。我们简单对比下这几个,依次是原图权重零点三权重零点六权重一。这个相似度应该还是能看出来的,我就不多啰嗦了。关于日 friends 的用法还有许多,比如我们也可以开启第二个 controllit, 将两张图进行融合创作,也可以加入线稿进行控制出图等等更多的方法也欢迎大家交流探讨。今天的分享就到这边,我是 ai 姜子,谢谢大家。

我们今天来说一下那个 staff depitation 的一个风格迁移的简易尝试。那么首先那个我们来看一下,我们需要一张底图,我们需要用这一张底图建立我们的那个线框跟那个 家具的区分,用装底图通过这张的参考啊,来把这个我们需要的这种感觉加在我们这个底图的上面,启动 step defusion。 然后呢这个选择,你需要那个 俄斯 d 一点五的大模型,这个地方你可以选择自动,也可以选择你需要的这个 v, 所有的关键词都不用添加在这下面呢,这个 ctrl net 的里面。第一个里面我们先启用完美像素,我们把 我们的需要的这个地图转入进来,我们需要他进行予以分割,这个地方可以运行了,看一下这个家具的这个区分,这个地方由于我们将来没有关键词,所以我们更偏向于 controlled。 然后第二个我们现在也请 啊启用,因为我们的第一张图像他只是进行了简单的语音分割,在室内设计当中呢,像这个顶面 灯槽啊,有点小细节呢,这个语音风格并不能很好的识别。那么我们需要在第二个里面继续用这张图像给他一张线条的这个限定选择,我们还是刚才那张图像倒入进来,这个地方也是允许预览, 我们使这个软边缘,但是你使这个硬边缘或者是直线也是可以的。在最后一个这个里边 请我们需要那个参考的这个选择,这个后面这参考的这个我们这个大模型现在使的是一点五,所以我们现在选择一点五的这个预处理器 跟一点五的模型就可以在 ctrl net 那个网站上进行下载,然后把我们需要参照的那张图像呢拽入进来,然后呢点击最开,我们需要是用这个底图的这个大小来, 现在五幺二乘五幺二的,我们可以把这个推上去,改成那个幺二七二乘七四四的,我们现在直接生成就可以了,没有加正关键词跟反向关键词,现在就根据我们那个参考图呢, 还有我们这个底图就生成了一张新的这个图像。

米泽尼发布了一项最新的功能,该功能能让一组关键词生成多组风格的图,然后提供调用 style 指令来指定接下来的出图风格。往你想要的风格来出图,闲话少说,直接进入正题, 打开迪斯科的页面,输入听指令。我们以上面这个图的关键词为例,把关键词复制进去,调一下出图比例,这里可以不用照抄我的。接着回车,这里弹出来一个设置选项,默认是三十二组的风格默认模式,然后上面会提税消耗多少 gpu 算力,为了节省算力,我这里选十六组风格模式有默认跟未加工模式,这里我就选默认模式。设置好后,点一下下边的是不媒体按钮,点了后会再让你确认一下是否需要生成,后面会附上 gpu 的算力加号值。接着点, 耐心等待一到两分钟左右就会弹出一个链接给你。得到链接地址后,我们点击打开,会弹出新的网页页面,新的页面里会列出十六组不同风格的图组,我们大概过一下这十六组不同风格的图组, 接着我们在这十六组不同风格的图组里选一组或几组,然后会在下面有之前输入进去的提示词, 不同的是后面会有 style 指令跟一个风格关键值。在顶部这个地方可以切换大图模式,或者选中一组图组后底部弹出来的提示词框左边也可以切换大图模式。 这里我选了两组动漫风格的图组,选好后,点击右下角的复制按钮,复制整组关键词,接着回到 disco 的页面,输入 in major 指令,把刚才复制的指令粘贴进去,回车等待出图。这里可以看到关键词 末尾有加 style 跟风格值,这样后面生成的图主不出意外的话就会生成刚才选中的那两张图片的混合风格。图片出来了,我们放大看看, 来做个对比看看。可以看到风格延续了我们之前选的那两张图的风格,有了这个指令以后,可以在控制出图风格上更加轻松方便了。关注我,每天带你了解一点 ai 的知识。

快速实现风格迁移,将生成的三次元图片变成二次元,跟着我三十秒,你也可以学会最新的一点六版本,可以在高分辨率修复中单独选择基础模型和采样算法, 点开这里选择一个二次元模型,再选择一个适合二次元模型的采样方法,重绘幅度选择零点三以内,放大算法选择六 b, 这个是配二次元模型,点击生成, 这样就很方便的进行了风格迁移。这两个板块你的界面是不是没有呢? 跟着我点击设置,点击用户界面往下拉,看到这两个给他们打上勾,然后保存设置重在前端,回到纹身图就可以使用,是不是很简单呢?观众老爷的点赞关注是小圆更新的动力。

不需要汇合成后期渲染,用 stabled 飞讯做风格迁移只需要一分钟。首先 ps 里面将你的产品抠出,放到你想要参考的背景上,保存一张拼稿图和一张黑白的蒙版图。 来到 sd 的图深图模块下的上传重绘蒙版功能,分别上传刚才的拼稿和蒙版采样模式调为 dpm 双加,将输出尺寸改为拼稿的尺寸。来到插件 ctrl net 里面上传刚才的拼稿,一个涂鸦模式生成线稿,分辨率尽量拉高。 一个深度模式处理器改为双加,随机载入画质关键词。这里我用插件识别了图片的部分关键词,你也可以手打关键词。 最最重要的是,记得把重绘幅度降低到零点五五左右,随机点击生成风格,惬意就完成了。如果你需要我使用的模型和画质关键词,粉丝群找我。

这个插件让你在 stable diffusion 里面一键生成各种画风,无需额外的劳尔模型,也无需额外输入画风和质量的提示词。使用方法呢,非常简单,只需要选择一个质量比较高,泛化性好的一个底模型, 简单输入我们想要的元素和不想要的元素,然后开启这个插件,选择我们要的画风,点击生成就可以了。注意,这个插件虽然现在叫 sd 叉 l style, 但是它是支持 sd 一点五的啊,所以我们可以放心的使用。 安装方法非常简单,我们只需要点扩展,从网址安装,把我给你的安装链接复制到这里面,然后点击安装就可以了, 安装完记得重启 sd。 如果这种方法安装失败了,你也可以下载我打包好的网盘文件,把这个文件夹整个放到 extensions 文件夹里面,重启就可以使用了。 ok, 关注我,后面还有更多好东西给大家分享,拜拜!

前两集三 d 软件 sbled ai 功能终于来了,难道梦想真的照进现实了? sbled 官网已经上线了 style transform 风格迁移功能,可以实现同一模型不同确认风格一键的切换。看官方的宣传片的效果还是很震撼的, 还可以选择光线和天气,下面我们真机测试一下。首先我们打个 splat, 我们用这个小房子的场景来进行一下测试,使用起来很简单,点击顶部工具栏的新型图标,选择 style transfer 即可。然后我们会看到一个五百一十二乘五百一十二的量选框,这个选框内的模型就是可以进行风格迁移的模型, 并且呢可以通过右侧进行风格的切换。我试了一下,每次切换样式还需要等待一些时间,并且当模型旋转之后就要重新做风格迁移了,不会像真的材质渲染一样改变整体的风格。还提供了一些比如 光线、天气细节调整的参数功能,虽然和官方的宣传片还是有点差距的,但整体的效果还是可以的。经过我的研究啊,其实这个 style transfer 并不是真的渲染,也是通过 ai 软件 stable diffusion 完成的, 你可以认为它是截取了当前的静态画面,然后将静态画面再通过定制版的 stable diffusion 再次进行可控的生成,从 从而达到虚拟渲染的效果。的确是使用到了 ai 技术,但真的不是我们想象的那种 ai 渲染,要不官方也只是使用了 asdill transfer 这个名字,不过到真的给我们提供了一个在三 d 图形的基础上再次生成图形的一个好的思路,大家不妨去试试。

当你想要实现某种画面风格,却没有相应的 lower 模型怎么办?跟着我一分钟快速实现图片风格变化。首先我们需要给 control net 配置 style 模型, 放在 extensions 文件夹下的 control net 扩展文件夹中的 model snake。 然后来到文声图界面,输入好提示词,配置好参数,调试出满意的图片效果。 打开 ctrl net 与处理器选择风格,转移模型,选择 style, 上传你想要实现风格的图片,点击生成即可。还可以结合 controlnet penny 算法固定人物或者物体的轮廓和细节。比如这个水杯,点击生成,就能设计出钢铁侠风格、赛博朋克等风格的水杯了。我是菊大,分享更多 ai 干货!

更新, y b y 一点六版本后,部分人启动 s d 会出现这样无法启动的情况,这中间的原因可能很多,特别是你装了超多的插件,插件之间还有冲突,或者你额外装了一些插件的环境,你也看不懂具体原因是什么,所以导致最终的无法启动, 复杂的代码报错。最好的解决方法就是重新安装。恰好秋月大佬最近也发布了四点四版本的最新整合包,并且进行了优化, 提升出图速度,防爆显存,即压即用。考虑到很多人不知道怎样在保留模型还有插件的情况下换到最新的四点四整合包,所以我出了这个详细教程, 并且可以帮你把界面设置都迁移。四点四版本的整合包我会放在粉丝群还有视频下方,你下好后,需要像我这样把旧的解压包和新的解压包分开放在不同的文件。 如果你是第一次使用整合包,请一定要先安装这个启动器,运行依赖我已经安装过了,所以这里显示的是卸载。接下来要做的就是把四点四版的整合包右键解压到当前文件夹, 结合好后点击文件夹进去,方便一会转移文件,找到旧整合包目录里面的三四种文件夹,点进去,这个文件夹里装的就是你所有的 sd 插件,每一个文件夹对应一个插件,我们全选,然后复制。再来到新整合包的目录, 同样点击三胜文件夹进去,把刚刚复制的插件粘贴到这里,出现这个只需要点击跳过这些文件即可,现在插件就已经成功转移了,接下来我们转移所有的模型,往下拉,找到名字叫猫豆子的文件夹,这个文件夹就是放模型的总位置,点进去 同样新整合包的这里也点进去,再找到 cbodv 证这个文件夹,它是放置 sd 底膜的位置,同样全选,然后复制粘贴到新的整合包对应的位置, 这里同样是点击跳过这些文件,这样底膜我们也完全转移过来了。再找到名字叫唠唠的文件夹,点进去,这里就是放置唠唠模型的地方,同样 like cos 模型也放这里,全选复制,然后找到新整合包对应的位置粘贴进去。 接下来转移图片,放大算法模型,找到名字叫 sag 的文件夹,点进去同样是全选复制,然后粘贴 出现这个弹框,还是选择跳过这些文件,这样放大算法的模型我们也转移好了,如果你有地发动这个插件,他用到的模型也是在这里,你不需要点进去, 就在外面复制整个文件夹就行,粘贴到对应的位置就 ok 了。同样的,如果你有录不这个插件,你也是需要这样做,因为这两个插件都是需要有自己独立的模型,不转移的话用起来会出现报错。提示 到这里模型还有插件都转移完成了。对了,这里不要忘记还有你的英巴电视模型,全选复制再新整合,帮你找到对应的文件夹,粘贴进去, 最后就只需要转移我们的界面设置,还有提示词、预设模型缓存等文件。秋月戴老特意标注了这些文件在哪里,我们只需要看着图转移即可。 图片上框选出的文件都是在整合包的根目录位置,这些文件你都可以转移,有对应的说明,这是可选的图片,我也会放在视频的下方,还有粉丝群,你们看图复制,然后粘贴到新整合包的根目录就 可以了,这里一定要记得点击替换目标中的文件,这样基本上就转移完成了。对了,在新的整合包里,我把 sd 一点五和 sd 叉 l 需要用到的所有 controller 的模型都整理打包在这个文件夹里了,你一定要点击进去,然后全选复制,再来到根目录,找到 model 是这个文件夹,点进去, 再点击里面的 ctrl 那种键夹,把刚刚复制的模型都粘贴到这里,这样 ctrl 那种模型也齐全了。很多粉丝问我,为什么我的 ctrl 呢?这里没有模型可选,就是你没有下载对应的 ctrl 那的模型,放在这个位置,没关系,我这次全给你们整理打包好了, 就是一个粘贴的事情。接下来打开启动器,然后点击左边的版本管理,再点击右上角的刷新列表,刷新好后再点旁边的一键更新,这样你的 ybui 版本就是目前最新的一点六了。同样的方法,再点左上 角的扩展,来到插件管理页面,也是点刷新列表,再点一键更新,这样你的插件也全部更新到了最新。这里要注意的是, dfrom 插件目前在一点六百米,还不支持使用,所以你记得把插件前面的勾选去掉,免得启动的时候有报错信息。作者很久很久没有更新的插件,也可以去掉勾选 插件的。最后可以看到最新版本的日期,大家尽量不要下载太多的插件,留下自己必用的插件就行了,避免插件和插件的冲突,还有焊 yby 版本的冲突导致放错。 最后我们只需要点击右下角的一键启动,就可以开始愉快的作图了。记住等完全启动后,你作图没有问题,再去删除之前的就整合包,这样就相当于有个备份,避免意外错误。这里因为转移进去了很多插件还有模型,所以需要等一段时间,会自动安装一些插件需要的环, 还有读取文件参数,模型什么的,总之一定要等它完成直到启动,不要中途关闭,除非报错终止。这里这位大佬也写了提示,要学会耐心等待。如果你看到一些报错,你可以尝试关闭这两个插件,然后再启动试一次。 启动好后,你来到 controller 模型,这里可以看到 controller 需要用到的模型全部都在里面了, dw、 oppos 使用也是正常的,没一点问题, 所有的模型还有界面设置都全部迁移到位了,你们还遇到什么问题?在评论区留言关注我,让你在 ai 的学习上少走弯路!

对很多烟烟绘画的爱好者来说,这两天最大的新闻一定是 sdxl 一点零这个号称是迄今为止最厉害的图像生成大模型的正式发布。在他的带领下, stybilics 即将迎接开园以来第一次真正的净化。 试想一下,我们将来书读作画的时候,或许可以不用再吟唱冗长的咒语,配置繁多的 lora, 甚至完全不用任何扩展插件。没错,很多关于他的传言都是真的。 让我猜现在点击这个视频的你,心情大概是一半的紧张、激动加上另一半的烦恼和困惑,他到底是个什么东西,要在哪里下载,如何去使用?以及对我们现阶段在 sephific 上的学习和应用又会有什么影响?说,这白点我用了会怎么样?不用又会怎么样呢? 绕蚊子了。在这一期视频里,我想为你针对 s d、 x、 l 做一个全面的科普和应用讲解,看完以后,你不仅可以学会将它手把手部署到你的 y、 b、 y 中,出图作画,还能了解它 对于你探索 ai 绘画的意义。相信我,一个 ai 绘画的新时代马上就要来了。一句话概括, s、 d、 x、 l 是 stebody fashion 的开发公司最新开源出来的图像生存大模型,它的参数总量达到了百亿的级别,是之前唯一版本的十倍左右。 官方数据,相比起一点五、二点一版本的 sd, 使用者对生成图形审美偏好的评价也有大幅提升,就是用过了都说好。 之前官方其实还发布过一个 sdxl 零点九版本,但当时只可以在更为专业的 ctrl ui 上使用,体验的人并不多,而这次开源的一点零版本是可以在绝大多数朋友正在使用的 a41 的 wib ui 上运行的,终于可以算是一个消费者版本了。 sdxl 这个东西到底厉害在哪里?和我们从前使用过的 sd 模型有什么不一样?首先要讲的也是最重要的一点,就是他对提示词的包容度变得非常非常高。从前我们写提示词 除了准确描述你想要的东西以外,还要加入大量诸多 masterpiece、 high quality 之类复杂晦涩的咒语来提高产出质量。但 sdxl 支持以非常少的提示词来进行描述,并且不需要在质量方面额外念咒。 输入一个在森林里漫步的女孩,指定使用真实摄影照片风格,除此之外,不加任何质量提示词,也不加任何负面提示词。 excel 生成的结果是这样的,看上去还不错,照片真实感很强。为了对比,我特意找来了很早以前的一点四版本的 stebolifu 模型。生成的结果吗?是这样的, 而即便是一些经过微调的老版本,模型,在比较低的提示次水平上表现很多时候也是不尽人意的。这样一对比,你就能看出他的优越之处了。此外,有一个小细节,原来我们会要求以词调式的方式向 ai 传递信息来提高引导 ai 的效率,但 excel 能够更好地识别自然语言,从 而实现更好的用嘴出图。做个对比。同样是描述一个场景,使用一整句话来描述和拆分成单词其实没有太大区别。而在旧版本的模型里,只有将概念词条化,并且将我们想突出的核心元素权重提高到一点三,才能在画面上得到统善表现。 而纵向对比, xl 在对这些概念的理解上比这些老模型确实更为准确,对意境氛围还原更加到位。因此,在肉眼可见的未来里, 提示词这件事情的门槛会被逐步降低。对自然语言的进一步支持,也会让许多英语基础薄弱的朋友做起图来更加轻松。 在翻译软件遍地跑吗?讲英语很简单的啦。第二点则是更大更高清的分辨率。在之前的版本中, sd 基础模型使用的训练样本尺寸大多为五百一十二像素或七百六十八像素的正方形图片,这导致我们在使用较大的分辨率作图,是 ai 会误以为是在生成 多张图片,从而让画面中出现多人多头的现象。分辨率对图片质量的影响是非常显而易见的。如果你做的图只有五百一十二像素,那细节再怎么丰满,看上去也会非常粗糙。但 xl 的基础训练样本扩大到了一千零二十四像素,这意味着他可以植出更大尺寸的图片。经过我的测试和对比, 定性是更高的。结合前面所说的第一点,也不容易出现肢体错乱、画面混杂的现象。换在以前,要实现这个精度的高分辨率输出,必须依赖高清修复或者 tile differs 一类专为高清升级打造的扩展才能做到。 说到精度,来聊聊第三点,单纯使用 xl 生成的图片,比起以前会具有更多细节,这一点要归功于他创新性的 refiner 结构。这次开源出来的大魔性其实包含了两个部分,一个是基础魔性,另一个被叫做优化器,均为 safe tenser 格式,各占七至左右。 face model 是基础模型,平时出图作画主要是使用它。在你得到了一个想要的结果以后,可以再使用另一个 refiner 模型对它进行精加工,使细节水平得到飞跃。在外部 ui 里,要充分利用这个 refiner, 你可以在完成一次生成以后,将结果输入进土生土里重跑一遍,然后把模型切换为这个 refiner, 重回幅度建议在零点五以下, 其他参数保持完全一致。点击生成细节是不是就变得更加丰满了呢?如果你想深交 refiner 的算法原理,可以查阅官方刊发的论文。它有点类似于我们在用 ad tele 插线对面部局部重绘时,一样,会识别出那些需要细节的部分,额外进行加噪续噪来获得更高清的结果。 其实呢,这个图深度再跑一次的操作算是个土方法。最有效的使用方式其实是在康复以外,利用多重节点实现一种类似于前半段在被子上跑,后半段在 refine 上跑的流程,可以干净利落的依次铲除非常 高质量的图片。如果你感兴趣,可以看视频。最后一部分的教程内容,我会为你梳理一个在 w b u i 中就能利用康复 u i 搭建 x l 出图工作流的方式。第四点则是生成内容更加准确。首先, x l 似乎已经初步具备了能写字的能力,要知道,在以前扩散模型生成的图片里,涉及文字的元素一直非常别扭, 但在给 x 要下命令时,你可以尝试直接使用类似的句式,让他生成一个写有特定文字的图片。我试了,不能说毫无瑕疵,偶尔会多几个字,但至少能看得出他在辨认这些文字结构。比起老版本模型来说,效果已经非常不错了。 这项技术进步对 ai 绘画的影响可能是更为深远的,因为现阶段 ai g c 没有被广泛应用在设计领域里的一大阻碍,这是对文本内容的精确呈现。克服这个难关会激活他在更多应用场景里的创新。还有一个关键的点是人体结构准确度的 大幅度提升。 ai 不会画手这件事情是过去一年里鉴别 ai 生成的一大主要特征。但根据我的测试, xl 已经初不具备了画好手的能力了。 可以在任意一张力图里加入注入 hands up 之类的提示词,让人物把手举起来。和文字一样。虽然偶尔还是会出现六指请模的经典场面,但 ai 已经算是能完整识别出手的这个人体结构了。换在以前,你需要使用大量的负面提示词、此嵌入,甚至动用插件才能画出一个过得去的手。 这块拼图也被完善了以后,我们就真的没法通过箭手来识别 ai 生成的图片了。最后, xl 为使用者提供了更丰富的艺术风格选项。 sdx 的默认模型风格其实更接近于照片风真实系的,但根据官方介绍,你可以通过提示词让他在十余种不同风格之间做无缝切换。这些风格包括数字插画、胶片摄影、三 d 建模、像素画,甚至是儿童绘本, 你最喜欢里面的哪一个呢?换在以前,这种画风的切换必须通过微调大模型或者是合适的画风 lora 来实现,但在以后,这句话我都快说累了,以后或许就不需要了。看到这里,你一定觉得 sdxl 很厉害,并且迫不及待的想要尝试一下了,对吧? 其实我做这期视频的核心出发点反而是建议你不用急着去下去。用 s d, x l 的出现对于 stable diffusion 的使用与应用,其实意义更大于作用的本身。这个意义到底是什么呢? 回味一下我们刚刚提到的所有优势,不是指向更高的产出质量就是更低的操作门槛。 steppertification 一直因为其高昂的学习成本而被使用者们诟病, 复杂的提示词语语法 inmeas, lora 和各类扩展插件,不花上大几节课的时间根本学不明白怎么用。而 xl 提供的这一套组合犬,让一个新手能在完全不研究这些东西的情况下,以更简单的方式做更 更好的图。这些便利语说是恰好就是隔壁月收费六十美元的 me johny 骄傲的资本。 m j 一直以来就是一个包罗万有事的大模型,为用户解决所有问题的将靠嘴出图发挥到了极致, 但现在 s d 也能做到了。在 x 上面,由我博主展示了 x l 和 m j 的出图品质对比可以说是不相上下。再结合 ctrl net 或者插件,我们或许能得到一个可控性更高的秘制而已。这谁用了?不说一句真相呢?现在压力就来到 m j 这边了。 如果你是一位 ai 绘画的重度爱好者,我会很推荐你尝个鲜,提前感受一下这个美好的未来。但如果你只是一位初学者,或者更关心他的实际用途的相关行业从业者,那我觉得可以再等等。 原因其实也很简单, sdxl 是一个基础模型,没有经过微调,也并非为了满足某一个特定需求而量身定制的。他虽然也可以绘制插画风、日漫风等二次元风格的作品, 但实际效果一般,可能不如 ctrfic、 aom 等经过了反复微调融合的老牌模型,在其他风格领域中也是类似的。今天应该没有使用者会拿官方的基础模型,比如我们刚刚拿出来对比的一点四来直接出图,但也千万不要小看它们的作用。现在大家广泛应用的一系列热门模型, 其实都是基于以前的一点几、二点几版本的官方模型微调出来的。所以将来我们一定能体会到 xl 的这些好处的,但不一定是通过使用 xl 本身,而是去用基于 xl 训练出来的新模型。目前 c 位他已经上线了 sdxl 的魔性训练活动,预计很快就会有一系列用 xl 微调的 checkpoint lower 供大家使用。 我的判断是, sd xl 的作用真正传导到应用端应该还需要一到两个月的时间,到那个时候,我们才会见证 xl 带来的这一轮全新进化。最近我也在筹备基于 xl 进行模型训练的相关教程,如果你感兴趣,可以照例把想 是打在公屏上做出来了,以后我会第一时间和你分享的。有一点必须要说明,在 excel 作为大模型的基底模型被普及了以后,原来很多基于一点几、二点几版本训练的 lora 可能会存在一定兼容性的问题,就像当初从一点五换代到二点零时一样。所以到时候我们的模型库存可能也会面临一次小小的洗派。 那些旧的模型还是可以用的,所以你也可以维持现有的模型组合不变,继续用老方法出图。除此之外, xl 也不会过多的改变原有 stebote future 与外部 ui 的操作方式。操作的简化并不意味着无限阶段在学习探索的一切就失去了意义。 句话归纳在以后得到同样的阐述结果,需要的操作可能更简单,而使用同样的操作生成的图片精度就会更上一层楼。说直白点,他是一种净化,而不是替代。到那个时候,现在学习的一切会成为我们去探索更多令人激动的心 课题的基石。对了,如果你是一位模型训练者,有基于自由美术资产训练模型需求的从业者,再或者是正在基于 stepticution 搭建生辰工具的企业平台,那真的应该尽快用上它,开始使用它,训练新的实用模型或者开发相应工具,并在这样一种新的模型应用秩序被固定下来之前掌握它的精髓。 目前,你可以在官方的 honking face 主页和一些模型网站上下载到这两个模型。为了方便大家下载,我也在网盘里备了一份,如果您有需要,可以在视频简介中查收。要想在本地顺利使用这个大模型, 需要先将你的 wib ui 版本更新至最新的一点五版本,如果你是自主部署安装的,请在 wib ui 的文件夹里打开命令行地址栏里输入 cnb, 敲回车就可以了。然后分别输入这三行代码,敲三次回车。看到这个已经是最新版的提示以后再运行文件夹里的 wib ui user, 点 b a t 文件,看到最上方 提示版本号为一点五点一就完成更新了。对了,如果你有比较长时间没有更新过 ui 了,建议先将跟陌路里的 vnv 文件夹删除,再直行上述步骤,让他重新下载各项依赖。如果你使用了一些开发者制作的整合包或启动器,请根据作者的相关指引进行更新。一般会比敲代码更简单,比如非常受欢迎的修业整合包,打开 启动器,点击版本管理,点一点五点一版本右侧的切换,就可以快速实现版本跟进。更新完成以后,把这两个模型都放进 what vi 文件夹里的 models step for the future 文件夹内,打开 whatwhy, 这个时候你就应该能在左上角的模型选单里调用他们了。 那需要说明的是,因为 sdxl 更为强大,带动他的配置需求也相应有所上升。官方推荐在拥有八 g 以上现存的显卡上运行,比起原来最低六 g 即可畅玩的门槛又高了一个台阶。调用 xl 出图的方式和其他大模型没有任何不同,但在写提示词的时候 后,可以尝试着用刚刚我提到过的更为简单的自然语言进行描述,并利用我列举的一系列风格提示词引导他给出不同画风的答案。有一个小提醒,在上传图片时,如果碰到类似这样的报错,大概率是因为 vae 的不兼容,可以把出头 bae 设置为五,就可以规避类似问题了。 调用翻译脑的时候,一种选择就是我前面说的,在文声图以后,再调用一次图声图来进行重绘。而如果你想在 yby 里搭建一个完整的操作认路,就一定要使用到 confuey 这个更为专业的工具。 康复 ui 可以被独立部署,也可以被领先到许多软件应用中使用。如果你是一位 web ui 的使用者,可以通过这样一个 ctrl ui 的扩展直接在 sd 里使用它,输入 ctrl ui 就可以找到了。 和以往一样,我也在简介付了仓库地址和下载包,点击安装重启 wifi ui, 你就可以在上面看到这样一个 configui 的标签了。如果你之前有独立安装过 configui, 在 设置里填入 confiy 的路径,就可以快速调用。如果没有,只需要点一下下面的这个按钮,就可以自动下载并配置 confiy, 再重启一遍就可以使用了。 confiy 的一大特性是它的节点化功能,可以通过多重节点实现各种功能的灵活组合运用,形成一个完整的工作流,以更低的操作成本调节参数,并实现更好的 出效果,从而广泛被一些专业的工作者使用。看到这一对框框线,线头都大了吧,别紧张,他的另外一个优点在于这些工作流都是可以复制利用的。 这里我为你找到了一个有一位国外开发者 setap 搭建的 xl 一点零工作流文件,将它下载下来以后,点击右侧的 low 按钮,加载这个 jsom 后缀文件,它就会自动在 confusion 中 为你把该有的东西都配置上了。在 comfort 以外的界面中,鼠标滚轮控制界面缩放,左键按住拖拽,可以让镜头聚焦在不同的节点上。在左上 角的三个文本框里输入提示词,上面是正面,下面是负面,左边用自然语言描述,而右边作者会推荐你将其中的一些核心概念提炼出来,做一个强化。右边这一部分节点设置的是出图的分辨率、采量、步数算法等,外部由外中也有的参数 形式变了而已,但含义是完全一致的,其他地方都不用做额外的设置。除了右下角,这里有一个用于 refiner 的 upscale model, 有点类似于我们在使用高清修复时选用的算法。默认的这个 nmkd superscale 不是外部 ui 预装的,所以会报错。选择一个你电脑上有的就好比如这两个 r e, s, r g, a, n, 再点击 q prompt, 就可以在右上角验收生成结果了。因为 confiy 的架构,它生成图片的综合效率会比外 viy 快非常多,看不到几秒的时间就完成了。输出了一幅 refine 过后的高细节图片,这就是调用 confiy 来充分解放 excel 潜力的一个 基本操作方式了。我讲明白了吗?通过这个小小的应用,你应该也能看出一些 ctrl ui 的优势所在。这里也做一个小调研,如果你对 ctrl ui 的进一步应用和 wifi 感兴趣,可以在单的目录敲一个一,不感兴趣就敲一个二,我会统计这里的数字比例,看看有没有机会在这一个领域为你深入探索一番。 如果你的配置不允许,也可以通过官方提供的两个在线渠道来体验,一个是 clip draw, 操作简单,但可能需要排队。另一个则是 dream studio, 每天限额大概十多张左右。一些提供在线升图服务的网站应该很快也会给大家提供体验的机会了。 以上就是本期视频的所有内容了,如果他对你了解 sdxl 有一定帮助,请别忘了点赞投币三连支持一下。这期视频得到了 type four 放的赞助与支持,作为一家制作并发行全球顶 s l g 手游的游戏公司, taff 播放也在不断探索 a i g c, 并致力于将其投入行业应用。实践中,你对 x l 带来的这一次全新进化又有什么样的看法和预测呢?欢迎在评论区里交流一下,这里是冷冷,感谢你看到最后,我们下期见了。