今天来讲一下 lora 训练该用什么底模型。先来看下什么是 lora 模型。 lora 模型在不修改 s d 模型的前提下,利用少量数据训练出一种画风 ip 人物, 实现定制化需求,所需的训练资源比训练 s d 模要小很多。 lora 采用了一个办法,仅训练低至矩阵 lorent matrix, 使用时将 lora 模型的参数注入 s d 模型,从而改变 s d 模型的生成风格,或者为 s d 模型添加新的人物。 ip lore 的使用必须配合 s d 模型一起使用。训练也是如此,必须要基于一个大模型来完成训练,所以选择一个合适的底模型至关重要。选择底模型有两点需要注意,第一就是尽量选择一些训练模型,常见的训练模型 有拿罗 ai、 stable diffusion 的 s d, 一点四、一点五、二点零,还有 s t t 等模型。拿罗 ai 它有两个版本,一个大小为四 g 版,一个大小为七 g。 顺便说一句,大家在下载模型的时候会看到 prone, emoly 之类的后缀, prone 是完整版, emoly 是减脂版, 简直版,比完整版通常小很多,方便下载。如果只是使用的话,两者差别不大,如果是想要自己练模型的话,需要下载完整版。 还有就是融合模型,融合模型就是把两个甚至多个模型融合的模型,像比较出名的 pastel mix, 橘子模型都是融合模型。融合模型缺点就是两个模型参数权重不一样,融合后参权混乱,单写 tag 还有跑图效果不错。训练 模型泛用性会差点,训练模型比合成模型泛用性更好,合成模型在细节相似度上可能表现更好,尤其是角色训练,我们训练角色 lord 都希望能够通过切换不同大模型来切改变风格, 在这种情况下,所以推荐 nowoai 模型, s d 模型,否则就是神秘的 a certainty 了。第二点就是底模型选择要和训练数据及风格相近的,这里推荐一个大佬,他测试了很多适合训练 laura 用的底模型, 大概总结分为这些类,有训练模型, anything orange 系列、真实系水彩 a c 家族。大家可以看这张图,横坐 标代表的是训练用的底模型,纵坐标代表这些底模型训练出来的 lora 模型,以及在不同的模型上出图的效果。 比如这个 counterfeit 模型,训练出的 laura 是这个只有在训练它的底模型上才能跑出不错的效果,它在别的模型上跑出的图差距还是很大的,这就说明这个模型的泛用性不好, 但在训练的底模型上跑图细节相似度上表现还是更好一些的。根据这个图可以总结出二次原动漫类,推荐使用 na 罗, ai a c b p emphason, 有更好的泛用性。 真人风格类可以使用 never ending dream basil mix, chilled regeneric vr chill out mix。 油画风格 laura 可以使用 racing pastel mix。 最后就是通用型的模型, nao, ai s d, 一点五等,它们比较庞杂,什么风格都有,属于中性模型,当然还是需要多尝试不同的底模型来达到最好的效果。
粉丝1.1万获赞5.0万

lore 训练完成之后,你肯定想要了解一下到底哪个 lore 的效果才是最好的。本节课的内容就是教你如何高效的测试训练出来的 lore 效果。正文分两个部分,分别是,第一,测试不同 lore 加不同权重的效果。第二,测试 lore 与不同大模型的适配程度。 首先是不同 lord 加不同权重的影响。上节课我们使用的测试素材集是一堆勋章,而经过默认参数的训练, 我们得到了五个 laura 模型。我们可以结合 web u i 脚本中的 x, y, z 图表来快速的验证一下不同 laura 的实际效果。我们需要准备一组提示词, tiger head, wings, circle, blue diamond, budget, design, shinning, realistic, masterpiece, best quality, dark background, simple background。 加入常用的负向提示词的 bedding bad artist is a negative。 我们将上次训练的 laura 放进去,注意,为了更好的看出效果变化,最好按照一定的规律来进行展示,所以这里我们就按照 laura 产出的先后顺序来进行绘图。 我们选择第一个,巨梦幺零零零零零二,其他参数暂时都按照默认即可。拉到页面的底部,打开脚本,选择 x, y c, 图表下边会展开 x 轴, y 轴, c 轴这样的相关参数。点击 x 轴类型下边的下拉框, 这些是可以作为 x 轴选项的内容,大家不需要太纠结这个东西应该怎么用,直接跟着我的操作使用一次就明白了。这里我们选择提示词搜索和替换 x 轴值。下面的输入框要输入文字,第一个词是我们需要替换的文字内容, 这个词必须是提示词中出现的词汇,否则会报错。这里我们想要每一次替换一个新的 lower 模型,所以被替换的内容是句梦幺、零零零零零二。后边填写要换成什么内容,我们切换到 lower 模型这里, 按照我们的命名规则,后续分别是零四、零六、零八和不带后缀的名字,所以这里我们就填写句梦幺、零零零零零四句梦幺、零零零零零六、 巨梦幺、零零零零零八和巨梦一单词之间用英文的逗号隔开,注意一定要用英文逗号, 否则会报错。最后一个词汇之后不要写逗号,否则会多生成一列内容。 y 轴类型下边的下拉框同样选择提示词搜索和替换,但 y 轴我们打算切换不同的 lol 权重,而权重我们期望从低到高进行展示,所以要回 到提示词这里,将权重的一修改为零点零, 然后在外轴值这里填写具体的权重值。第一个写被替换的内容,也就是零点零,后边分别是零点二、零点四、零点六、零点八和一点零,同样权重之间用英文逗号隔开, 最后一个权重后不要写逗号。有一点提醒一下,关于高分辨率修复,在测试阶段建议不打开,因为测试时需要生成的图片很多,我们只是做初步筛选,开了高分辨率修复会极大的降低效率, 所以这里不建议打开,后边细挑的时候再开就好。配置完成后就可以点击生成按钮等待渲染和查收结果了, 我们也可以换一组提示词来生成做效果对比 好。横轴是不同的 lower 模型,纵轴是不同的权重效果,我们可以稍微放大看一下。 目前看起来有些 lore 学到了素材集中的部分要素,比如说对称性和浮夸的边框细节。名为聚梦一的 lore 整体效果是比较符合预期的,合适的 lore 权重在零点八到一点零之间,毕竟我们用了全默认参数,泰迪也没有好好优化。 那么这个 laura 结合不同的大模型效果会如何呢?我们同样可以使用 x y、 c 图表来做效果对比。首先将提示词中的 laura 固定为我们刚刚挑选出来的 laura, 并将权重修改 改为零点零, 将 x 轴类型修改为模型名 x 轴直。这里点击进来会弹出你所有安装了的大模型名字,勾选你想要测试效果的大模型就可以了,可以多选。不过有一点需要注意,因为我们的 laura 是基于 sd 一点五的底膜进行训练的, 所以这里大模型不可以选择 s d x l 的大模型,因为 s d 一点五和 s d, x l 的 laura 是不通用的。 点击生成按钮,稍等一会就可以看到结果了,这就是这个 lord 在不同大模型下的展示效果,具体适配性看起来还可以,你觉得呢?后续就可以使用自己喜欢的 lord 来跑图了,这个时候就可以开高清放大,增加 叠带步数看看效果了。本节课就先到这里下节预告。关于 lower 训练,我们上次用了全默认参数,整体上有点囫囵吞枣,你一定很好奇这些参数到底是什么意思,影响什么?所以下节课我们就来介绍下这些参数中比较关键的参数 测试,不同的参数下使用相同的训练级会输出什么样的? lord 硬核之旅即将开始,关于 lord 训练,你还想要了解哪些内容?也可以留言告诉我。这里是专注 ai 绘画的聚梦小课堂,记得关注我呀!


哈喽,大家好,今天给大家强烈推荐秋叶大佬的模型训练器训练 lura, 超级方便快捷,他不需要我们自己去配置环境解压即用, 从打标签到 laura 的训练,再到 tenciple 的分析数据,一个界面全部解决,非常的方便快捷。我们来看一下它到底怎么去使用。我们先把这个关掉,等会再去启动。 首先我们要去下载这个模型训练器的压缩包,我会提供给大家,然后你下载好了之后进行解压,这是我提前解压好的这个文件点进去,进来了之后你要先进行强制更新,就是这里 这两个点其中一个都可以,然后下边这个是国内加速双击,它就可以自动的进行更新了,那我这里是 已经到最新了,所以他没有进度条,你更新好了之后,这个就可以关了。关了之后接下来我们要去准备底膜,就是你想在哪个模型上去训练我们的 lora, 然后这里我去下载了一个 sd 一点五的这个模型,然后我把它复制, 然后回到我们的这个模型训练器的这个目录,然后找到它的 s d models 这个文件夹点进去,我们把刚刚的那个模型复制粘贴到这里来。 复制好了之后,接下来一步我们是要准备训练集,就是训练素材,也就是图片,然后这个图片我是提前已经准备好了,这个图片呢尽量保持工整,统一分辨率,建议五幺二 乘五幺二这样的一个大小。当然你也可以使用那种非正方形的一个图片,但是如果你的显存比较小,那你就老老实实五幺二乘五幺二这样的一个大小,这些图片素材呢?看你训练什么,如果你训练画风,那你所有的图片它的一个画风都是统一的。 然后如果你像我这样,就是训练人物或者物体这种,然后这些人物你就只能保持一个,不要有别的人物在里边。第二个,这些人物他的背景要单一一些,不要那么花, 嗯,如果你要精益求精,那你可以去抠图。第三个,这些人物尽量是那种多个角度的,这些图片效果会更好一些,这是图片的一个建议。那这些图片呢?我给大家去推荐一个批量裁剪图片尺寸的一个网站,就是这个, 这个我会分享给大家,就是这个地址,然后你点击这里,然后去上传,你就是截好的一些图片, 比如说就是这个图片,然后你再按 ctrl a 全选,把这些图片选中,选中之后再打开 他这里就选好了,当然我这里全是五幺二乘五幺二的,所以这个地方就不用再去设置了。当然如果你不是五幺二乘五幺二的, 然后举个例子,我这里随便说一个三六八,然后你可以看一下,他旁边就会出现这样的框,然后你可以拖动这个框去选取你想要的那个位置, 那么这里是一样的,那你就设置成五幺二乘五幺二,然后去拖动他的一个框,然后选好了之后点这里保存,这个保存好了 之后,他是保存的那个压缩包,保存好了那个压缩包你要进行解压,解压过后他就是这样的图片了,就非常的工整了,就是这样的图片,然后这些图片你要全选 ctrl a, 然后在 ctrl c 复制,复制好的图片你要放到这个地方来, 就是找到我们的模型训练器他的这个目录这边,然后找到 train 这个文件夹,如果你没有,你就建一个 train 这样的一个文件夹点进去, 然后在这里我们需要去新建文件夹,然后这里你要去建一个你这个图片的名字,我们就随便建一个,就阿尼亚吧,就是这个图片的这个名字,然后再点进去,我们再次要去建一个文件夹,这个文件夹它的一个名 名字就有讲究了,它是一个数字加下划线加这个概念名,然后它这个 我给大家去演示一下吗?比如说我这里的数字推荐就五到八,五到十,这样就差不多了,当然根据你的那个图片数量来哈,然后在下划线加一个概念名,这个概念名随便起一个都可以,比如说我还是起一个这个 啊安妮,然后这个名字就起成这样,这个数字代表每张图训练的步数,那我这里设置的是八,也就代表每张图 ai 都要看八次。我们再点进去把刚刚复制的图片粘贴到这里来, 这里一共是十三张图片,也就是说他每一张图都要看八次,十三张的话就 十八乘十三一百零四次,也就是说他要训练一百零四步,就是这样的。然后接下来我们要给这些图片打标签,那我们回到这个目录,也就是我们模型训练器的这个跟目录这里,然后我们再启动脚本,点这个 启动脚本,他会自动弹出这个页面,然后我们再点这个 w d 一点四标签器,就是我们要去打标签,我们要把刚刚的这个图片,就是这个 tree 文件夹里边,我们一直要进来,就是这个图片这里,然后我们要复制这个路径, 复制好了之后我们回到这个页面,就是这个标签器的这个页面,然后我们把这个路径粘贴到这里来,粘贴好了之后 其他可以默认不用改,然后我们直接点启用,然后我们就可以在后台看到它的一个进程, 好,这里已经识别完成了,完成了之后我们回到这个地方来,就是回到我们的这个图片这个地方,也就是这个文件夹看到没,然后他每一张图片后边都会更一个这样的一个文本, 就是文本文档点进去之后你都要去检查一下这里头有没有,就是说不需要的,不对的,比如说像这个 paper, 我就不需要每个里边都有 paper, 对吧?我就不需要有这个纸,当然你也可以删掉,那我这里就懒得去删这些了,只是给大家去做一个演示, 然后这些是他的标签。当然如果你想要一个那种触发词,那那种收敛词,那你可以用这个,就是我也会推荐给大家,就是用这个 就是这个批量打标的工具,然后我也会提供给大家。大家下载之后解压,就是这个文件我已经提前解压好了,解压好了之后点进去,然后一直点到这里,我们再点这个文件启动,然后我们点这里, 然后我们点第一个去上传我们的就是刚刚的那个图片, 然后我们找到我们的这个模型训练器的目录,然后找到 chain, 然后找到这个 on a, 然后就是这个文件了,就不要再点进去,我们点一下它,它这里就显示这个数字下滑线,然后这个名字 a near 这个文件,然后我们直接点选择, 选择好了之后,这里是总共的一个标签,就是他结合的,然后你可以把你不需要的删掉,就是这个, 那我就随便先删一删,就是你可以去检查一下你哪些标签是不用的,那你可以点中他,然后点这个叉就可以删掉了,然后除了这个,我们要去添加一个收敛词,对吧?然后你就点这个加号, 然后我们在这里去输入一个收敛词,尽量是那种中文拼音吧,就是免得跟我们的提示词有重复,就是这 块,那我们就输入小美女,然后零一这样的一个就是名字,然后这个地方我们把它放到最开始,就是 top, 就是最开始的这个地方,然后点 ok, 那么它每一张图片前边儿 这个标签前边都会有这样的一个收敛词了,你可以看一下,喏, 就是都会有这样的一个收敛词,看到没,然后放好了之后点这个,又是点这个,然后再保存 save, 保存它的一个改变,然后保存好了之后我们就可以删掉了, 然后我们回到就是这个页面,就是我们的图片的这个页面,我们点这个标签,你可以看一下 它每个标签前边都有个这个小美女零一这样的一个瘦脸词了,这儿就是方便我们去调用我们的 lura, 这个就是这个收敛词,这个标签你可打可不打,就是这个只是方便我们调用 nora 而已。 然后好了之后我们回到 lora 训练这个页面,这里有 lora 训练,你也可以看到这里是给出的一个建议,如果是新手的话,你就点新手就好了,如果你有一定的经验,他是开放了全部的高级参数的,那你就可以点下边的专家, 然后这里也有参数的详解,大家可以下来去学习一下。那我这里只给大家去做演示,我们就用新手这个,然后在这个地方呢,这个地方你就要去 去输入你的模型的名字这个地方,比如说我们刚刚的那个模型不是已经放好了吗? 就是在这个文件夹里边,然后它里头有一个 s d models, 这个文件夹点进去,然后这个就是我们的底膜,然后你要把它的这个所有的东西都要复制, 当然你也可以改名字哈,然后复制好了之后回到这个页面,然后我们这前边的这一部分可以保留,就是我们的那个文件夹,然后下边的这个我们要把这个名字输入进去, 然后这里呢它是 train 文件夹下边的那个训练级的一个路径,它是 train 下边的那个名字就可以了。然后同样我们是回到这个地方,然后找 找到 trin 这个文件夹,点进去,点进去这个它的文件名就可以了,不要再点进去了,就是这个 trin 下边的这个,然后同样我们把这个名字复制一下, 回到这个页面,我们把最后的 j 里改掉就可以了,就改成这个名字,它是寸文件夹夹下边的这个文件,我们往下看,这里是正泽化数据及路径,你没有你就空着,这个地方是你图片的大小, 你之前是什么大小,现在就是什么大小,我本来就是五幺二乘五幺二,那我就这里就不变了,这个图片的大小必须是六十四的倍数。呃,这个不要弄错了,我们再往下,这个地方是模型保存的名字,也就是你 laura 叫什么名字?那我就起一个安妮儿就是这个名字吧。 然后这里是你输出的 laura 模型,它的一个保存文件夹,它这里我们就默认不变,它是在这个地方, 我们回到这个页面,然后回到我们模型训练器的一个根部落,然后它保存的这个模型是在这里,就是它输出的模型是在这个 alt put 里边点进去,然后它就会保存到这里了, 然后我们回到这个页面,我们往下,这个我们等会再说。我们先说这个批量大小,这个批量大小他是代表每一次处理几张图片,就是一次性拿出几张图来训练, 嗯,建议一或者二,如果你的选存在八 g 以下的话,那就填一吧,就是这个效果要好一些。然后这个呢,他是跑的一个轮数,之前我们算了 一轮是一百零四步,还记得吗?就是图片那个地方,那么这里的话就是设置你要进行几轮,建议就十五到二十轮,就是效果比较好一些,当然你可以设置成十五,那我这里, 然后这里的十五轮,那总的就是十五乘以一百零四,也就是说总的要训练一千五百六十步,就是这样的。 然后这里呢,它是代表每几轮去自动保存一次模型,那这里你可以默认二,也可以五啊,这些都是 ok 的,那我就默认二吧,就是这个,嗯,再往下 这个学习率,嗯,作为新手我们就默认,就不用去管他。然后再往下就是这个,呃,训练预览图设置建议是不开启的,因为他会消耗 更多的显存托慢速度,就是这个建议不开启,然后这里的网络设置,然后这个地方呢,他不是越大越好的,就是说,呃,经常的一个数字是三十二、六十四、一百二十八,这个不是越大越好,你 三十二、三十二,就是这两个是比较多的,或者是六十四,三十二,就是下边的这个数是上边的一半,或者是相等,就是这样的,是比较多的,就是这个,那我们就默认三十二,三十二,就是这块, 然后下边我们也不动,就是作为新手,这些我们设置好了之后,呃,在这个地方我们可以点这个保存,就是我们保存我们比较常用的一些,就是参数,我们可以点保存,保存了之后我们这里可以读取,读取参数就是这里你可以看一下,这 是我刚刚保存的,你还可以设置一个名字,比如说我就设置为 test, 然后你就可以看到了,这里也是哦,现在这个地方才是我刚刚保存的,就是设错了,当然你还可以在这里删除,就是你不需要的一些参数, 还可以这里使用,然后预览设置名字都是 ok 的,然后你不想保存,那你可以直接点这里,直接开始训练,然后你就可以在后台看到训练的一个步骤了。 how? 这里已经在开始训练了,你可以看一下 how 训练完成了,他这里会显示训练完成,我是三张图片,一千五百六十步,大概就是六分钟的样子就训练完了。 完了之后我们按一下它出来的模型,就在我们这个地方,就是我们这个文件夹里边这个目录,你找到 output 这个文件夹点进去,那我们训练的这个模型就是在这里,他是每两轮就会保存一个模型,所以他保存了很多个模型,然后你都可以去试一下,看一下哪个模型是最好的,那我就试一下最后这一课,然后我们把它复制,就是这个复制复制好了之后, 我们把它存到 vivio vivoi 目录,然后找到 models, 然后找到 laura 这个文件夹,然后点进来,你把它保存到这里就可以了,就是这里我把它复制过来了。复制过来之后,我们回到 vivio i 目录,然后去启动 v b y, 好,来到这个页面之后,这个模型我们要改一个,就是二次元的模型吧, 比如说我就改这个模型,然后 ve 的话,我就用这个 ve 算了,然后我们这里提示词去输入一些比较简单的提示词,去看一看效果, 然后这下边的一些参数我就默认, 然后这里我们点这个粉色的图标,点它,然后我们去调用我们刚刚训练的那个 lara, 就是这个 anna, 然后点它之后,它这上边自动就会帮我们去调用了。当然你也可以用那个触发词,就是那个 小美女零一可以用这个触发词,然后好了之后,我们把这个搜一下,然后点这里生成, 我们可以看一下他生成的一个效果怎么样?好,生成的你可以看一下,就是训练的效果还是非常不错的。我们再点生成,或者是我们这里多生成几张都可以看一下效果。 然后生成的我们都可以看一下,就是效果都是蛮不错的,训练的还可以。好,今天的一个分享就到这里。
