粉丝1.2万获赞8.4万

可以提速十倍的 s d x l laura 训练方式你知道吗?在训练 s d x l laura 时,如果你勾选了这个参数,会比默认参数提升十倍训练速度。 但这样的情况下,训练出来的 laura 效果会如何呢?视频的最后会有实测效果对比。本节课是 laura 训练系列课的第六节, s d x l laura 训练方法及提速技巧。正文部分会分两部分,第一部分是训练 s d x l laura 时,基础参数应该如何设置。 第二部分是对于一些可选参数调整之后会对训练速度造成多大影响的实测数据,如果是已经使用过 s d x l 训练 laura 的朋友,可以根据进度条提示自行跳转。第一部分训练 s d x l laura 的基础参数设置首先你需要提前下 在好 s d x l 的基础模型,这里还是推荐官方最原始的 s d x l base 一点零 safe tensors 模型,用这个模型训练出来的 lora 理论上泛用性会更好一些。这个模型还是蛮好搜索到的, 如果实在找不到,也可以到群文件自取。下载完成后需要放在 s d models 文件夹下,双击 a, 启动脚本 bat 文件,启动 s d trainer, 进入专家模式。训练种类,选择 s d x l laura 底膜文件路径,找到刚才下载好的 s d x l base 模型。 接下来这几个选项不用管,直接到数据集设置,这里选择。训练数据集路径这里需要提前准备好自己的训练集,建议提前准备好一千零二十四像素乘幺零二四像素的图片演示,按 力中准备的是苹果微神 pro 的高清图片训练级,前边的这个数字代表每张图片重复几次,这里设置的是五,也就是在一批中每张图片会重复学习五次。 正则化部分,暂时先不用管。图片分辨率部分,因为素材我们已经处理过了,所以这里直接填写一千零二十四乘幺零二四就好,注意逗号要用英文绊脚。 而分桶部分,这个选项主要是用来兼容不同尺寸的图片的,开启之后允许训练级不是统一的尺寸,但一定程度上训练速度会变慢,所以这里建议提前处理好训练级图片尺寸,然后把这个选项关掉。保存设置部分,这里是输出模 型的名字,按照自己的喜好设置就好。建议 x l 的模型可以在名字中加个 x l, 后续自己使用或者分享的时候能知道是什么版本的 lora 模型。保存精度,这里如果是 andy 四十系的新显卡, 建议用 b f 十六,如果 b f 十六报错的话,可以修改为 f p 十六,两个差别其实差不太多,实测下来 b f 十六会稍微快一点点,接下来这一大堆参数全部默认就可以。 速度优化选项部分,如果是四十系新显卡训练混合精度可以修改为 b f 十六,完全使用 b f 十六,精度也建议开启老一点的显卡就保持默认就好了。接下来点击开始训练,就可以训练你自己的 s d x l lara 了,我们来看一下速度, 嗯,这个速度仅仅短短九百五十步,就要将近八个小时,怎么看都不能算快。除了买更好的显卡外,有没有不那么费钱的方法呢?其实有的,我们可以通过参数的调整来实现基本不降低质量的前提下, 大幅提升整体 s d x l laura 的渲染速度。第二部分 s d x l laura 训练提速技巧先说一下测试用的硬件环境, cpu 是 intel 一万三千六百 k f 内存 d d r 五四条十六 g 共六十四 g, 显卡是四零六零 t i 十六 g 四 t 固态硬 盘,显卡驱动 studio 五百四十六点三三。很普通的一套配置。经过多轮测试,得到这么一个表格,因为 laura 训练启动后,前边几步时间会比较长, 随着训练步数的提升,每一步需要的时间会迅速变短,若干步之后速度会趋于稳定。所以这里单步超过十秒的情况下,取第五步需要花费的时间。如果单步小于十秒,会取第七十步花费的时间。我们先看前边这五列,保存精度修改为 b f 十六, 或者开启低内存模式会较小幅度的提升训练的速度。关掉 formers 会极大的降低训练速度,而提升 butter size 会成倍的降低训练速度。虽然 butter size 会降低整体训练步数, 但是带来的时间损耗整体上反而是更长的。接下来就是见证奇迹的时刻了,仅开启梯度检查点就可以 将训练速度提升十倍,而开启仅训练 unite 也可以提升七倍的速度。而在开启仅训练 unite 的同时,开启文本编码器缓存,还可以进一步提升训练速度到将近十倍。为什么没有测试仅开启文本编码器缓存呢?因为这个选项开启时 必须搭配勾选仅训练 unite, 否则会报错。还有一个需要注意的点,开启文本编码器缓存后沙 for captions, 这个参数也需要调整为关闭才能正常运行。那么如果我把这些可以加速的最佳参数组合全组合在一起会如何呢? 结果是可以达到每步一点六秒,甚至 batch size 提升到二也会有二点六三秒。 it 的速度 基本上等于原始速度的十三点七倍。这个 s d x l laura 训练的梦之搭配就是。 你可能会问,这样搭配速度快是快了出来的, lord 质量应该不怎么样吧?那我们就来测试下同样的训练级、训练级标签、 学习率等参数。左侧是默认参数,耗时三小时二十五分钟,也就是两百二十五分钟。右侧是梦之搭配的参数,耗时二十一分钟,速度快了十倍。同样的参数,同样的权重搭配, s d x l vision turbo x l 的出图效果对比是这样的, 所以你会选择哪个方案呢?可以把你的答案打在公屏上。关于 laura 训练,你还想要了解哪些内容,也可以留言告诉我。这里是专注 ai 绘画的聚梦小课堂,记得关注我呀!

究竟什么是罗纳呀?想学啊你,我教你啊!相信不少已经上手了 sd 绘画的朋友,这两年或多或少都接触过 lora, 在大家的印象里, lora 就是体积小,训练快,甚至是五年前的老电脑也能跑。那 lora 究竟是什么呢?为什么能做到这样呢? 大家好,我是花子。今天我们就花几分钟时间,从底层来讲清楚这个问题,如果对你有帮助的话,还请一键三连支持一下。 lola 是 low rank adaption 的缩写,翻译过来就是低至适配的意思。那什么是低至适配?这个字是个什么东西呢? 如果你手头上刚好有一本先进代数的书,你会发现字的定义是这样的,一个矩阵的矩是指矩阵中先进独立行或列的最大数目。 是不是每个字都懂,但是连起来就不知道什么意思了?不用担心,我们用小学数学就可以搞清楚什么是智,请做!那我们就先来做一道小学的数学应用题。小红呢,买了三个苹果,四个桃子,一共花了十八块钱。小明买了两个苹果,三个桃子,一共花了十三块钱。提问, 一个苹果和一个桃子分别是多少钱?姐,这道题应该没什么难度吧?你只要写出两个等式,然后这样这样 这样就可以得到答案,一个苹果等于两块钱,一个桃子三块钱。怎样?是不是燃起你的数学之魂了?但是这个时候,财大气粗的小明突然间就改变了主意,他决定买六个苹果和八个桃子,一共花了三十六块钱。如果我们再尝试用刚才 的方法解题,会发现无解,对不对?为什么呢?如果仔细观察哈,我们会发现,小明买的水果刚好是小红的两倍,自然花的钱也是小红的两倍,也就是说,小明的这条柿子只是将小红那条柿子左右两边同时乘以二, 这样的式子并没有提供额外的有效信息来帮助我们解题。用数学术语来说就是这两条式子不是线性独立的,如果把运算符和水果都删掉,只保留数字的话,剩下的这堆数字我们就称之为矩阵。 左边的这种情况呢,因为两个式子都是有效的,所以我们可以说这个矩阵的痣是二右边的。这种情况呢,因为小明没有提供额外的信息,所以只有一行是有用的,我们可以说这个矩阵的痣只有一。到了这里,是不是稍微理解了痣这个概念呢?其实忽略 严谨的数学定义啊,我们只需要记住一点就行了,一个矩阵的痣越大,他的信息含量就越大。 那我知道了什么是质以后,再来回看一下 lora 这个概念, lora 说是低质适配,我们是不是可以大胆又朴素的猜测一下,低质适配是不是就是想办法把一个质比较大的矩阵变成质比较小的矩阵呢?矩阵小,那训练起来可不就轻松一点喽, 真棒,还真的就是这样,那么现在的问题是,我们怎么把一个大矩阵变成小矩阵呢? 为了说清楚这个问题,我们就继续来玩一下数字游戏。还是小明他家里很有钱,有三辆车,这三辆车速度都不一样,平均时速分别是一百公里、一百二十公里和两百公里。为了后面方便计算啊,我们也可以说这三辆车开一公里 分别需要这么长的时间。现在呢,小明打算开车去三个城市玩,这三个城市离他家分别是两百公里,四百公里,一千公里。 为了知道开这三辆车去三个城市分别要花多长时间,小明就制作了一个三乘三的表格。通过简单的乘法把这个表格填满,我们就可以知道,开不同的车去不同的城市索要花费的时间, 比如说开宝马去 a 市就需要两个钟。刚刚上面的例子呢,就已经完成了一次简单的矩阵乘法,我们通过将两个小矩阵相乘,得到了一个大矩阵。 反过来讲,这个大矩阵呢,也可以分解成这两个小矩阵。如果你还记得刚刚我们讲的字的概念的话,小明制作的这个表格就是一个至为三的矩阵,速度列表和距离列表是两个至为一的小矩阵。通过这种方法呢,我们 就将一个矩阵适配成了两个低至的矩阵。总之呢,两个痣小一点的矩阵相乘,可以得到痣比较大的矩阵,相当于做了一次升为反过来一个大矩阵,也可以通过矩阵乘法进行降尾,变成一个小矩阵。 如果从参数量的角度来解释的话,三乘三的矩阵总共有九个参数,而这两个小矩阵有六个参数,总参数量减少了三,看起来好像没什么对吧? 但是在大模型里面呢,如果把一个参数量为一百万的大矩阵分解成两个一千的小矩阵,那减少了参数量就非常客观了,那这样训练起来可不就轻松一点喽! nice, 好了,到了这里啊, lora 的底层原理算是讲完了,还算是比较简单的吧。最后我们就来看一下 lora 是怎么应用在稳定扩散模型的微调训练上的。 稳定扩散模型指的不是一个模型哈,他是好几个模型配合着声图的,其中骨干网络是 unite, lora 可以应用在 unite 和文本低码器两个模型上。 另外还有一个叫做 them 的参数可以留意一下,这个参数其实就是小矩阵的痣,设置的越小呢,训练出来的 lower 模型就越小。记得我们刚刚说的,痣越大,代表矩阵的信息含量越高,所以 jam 设大一点效果可能会好一点。 最后的最后,我们甚至还可以鼓起勇气瞄一下 lora 的训练代码,从代码就可以很明显的看出 lora 的向前传播,对传入的矩阵进行了降位,然后再升位的过程, 有兴趣的朋友可以自己再啃一啃哈! ok, 那今天的视频就到这里,如果有什么不理解的,欢迎大家在评论区提问,那我们就下期再见。

哈喽,大家好,今天这个视频给大家分享 s d x l 的 lora 训练。废话不多说,我们来看一下怎么去操作。第一步我们需要去准备训练素材,我已经提前准备好了,这个文件我命名为一,当然你也可以命名其他什么名字都可以。 这些图片需要是一零二四乘一零二四的一个大小,人物尽量要多个角度,但是我准备的很简单,就是这个只是给大家做一个演示。第二步,要去下载后亚 ss, 我是用的这个去训练的, 这个地址我会分享给大家,就在我的视频的说明栏里,来到这个页面之后,你点这里的绿色的这个图标,然后这里有一行命令,你复制他,然后我们找一个位置,比如说我们就找这个位置,鼠标右击在终端中打开, 如果你没有这个在终端中打开,你就在这里输入 powershare 或者是 cmd 都可以。然然后按 enter 键,它也可以进入这个窗口,在这个窗口我们输入 get clone, 然后把我们刚刚复制的这个命令粘贴到这里来,然后在 enter 键继续运行,它就会自动下载这个 koya s s 了, 然后这里已经下载好了,下载好了之后我们可以关掉,当然你也可以这样去下载,你直接下载他的压缩包,就是这个,然后解压之后就是这个了, 解压之后就是这个文件,下载好了之后我们点进去,进来了之后我们往下滑,找到这个 set up, 点 bet 这个文件,双击它进 进行运行,他这里会去创建环境, 然后在这个地方我们要去选择第一项,去安装 koya s s g u i 按 enter 键, 然后这里我们要选择二,然后在 enter 键这个地方呢,它是没有进度条的,需要等一下,就是这里,这里的 python 呢,尽量是三点一零版本 好,到了这个地方我们选择这台机器,就是这里默认,然后按 enter 键, 然后这边我们也是选择这个无分布训练,就是无分布式训练,也是按 enter 键就可以了,然后这个地方他问你是否仅用 cpu 去运行,然后我们选择 no, 就输入 no 就可以了,按 enter 键这个也是输入 no, 这个也是输入 no, 然后这个地方是 gpu 选择 or 按 enter 键,然后下边这个地方,这个地方如果你的电脑配置比较好,比如说像二零系,三零系,四零系,那你选择 b f 十六就可以了,如果你的 电脑一般,比如说是一零系及以下的,那你就选择 f p 十六,就是我就选择这个 b f 十六就可以了,然后按 enter 键, 然后这边就已经是好了,好了之后我们关掉这个就可以了,其他我们不用去选择,然后关掉了之后,我们再往上滑,找到 g u i 点 bet, 就是这个这个脚本,然后双击运行, 然后运行好了之后,它这里会出现一行就是地址,就是这个你打开它, 它就会进入这个页面,然后我们点这里的 laura, 因为我们是训练 laura 嘛,然后点它这个地方呢,我们自定义就 是 custom, 选择这个自定义,然后格式,我们就 set tensors 这个格式,然后这里是选择我们的底膜,当然我们就选择这个 sdxl 一点零模型,对吧?然后我们选择这个,按这个按钮,然后去找到我们的那个模型, 比如说像我之前是存到这个地方的, 就是这个 base 一点零模型, 你把它放到这里来,然后好了之后我们选择这个 s d x l model, 就是一定要去勾选这个,这个不要忘了。然后我们接下来就是选择这个 tools, 就是这个地方要去准备我们的训练级,我们选择最后这一项,就是这一项,然后这个地方呢 是你的这个 lora 的名字,你随便输一个,比如说我就美女就美女吧, 然后这边是你的一些通用的关键词,比如说就 one girl 了吧, 我只是做一个演示,然后这个地方是你的这个数据级路径,然后你可以直接点这个,然后我们的路径放到这个地方的,就是我刚刚的这个一, 就是这里你一定要点进来,然后选择这个文件夹一,然后这个地方呢是你的循环次数,也就是说,呃,你这个图片每一张图片要看多少次?比如说我就看十次,也就是说他是一张图片,他要进行十步, 就是这样的。然后下边如果你有你的正泽化的一个文件,你可以在这里上传,如果没有那就不管他。然后这个地方呢是你的输出的一些就是训练文件,还有 laura 输出的一个地址,就是保存的这个文件的一个地址, 比如说我就点这个文件夹,然后在这里我去新建吧,随便你凡间到哪里都可以,就是自己去建一个文件夹就可以了,那我就输出就输出三,就是这个名字,我们同样点进来这个是三, 这个不要弄错了,好了之后我们就是这里点击这一项,它是一个准备训练数据,然后我们可以看一下后台, 点击了之后你可以看一下他是复制我们的训练图像,然后到二到三这个文件夹里边就是一是我们的准备的数据集,对吧?他是复制到三,包括他已经是分好类的, 然后他这里已经是好了,好了之后我们点这个文件夹,你可以看一下就是这个三,刚刚我们是新建的,对吧?他是空的,但是现在我们已经把一复制到三里边来了, 你可以看一下他是有三个文件的,如果你有一个正泽化文件的话,他还会多一个正泽化的一个文件,因为我没有嘛。然后这三个你可以看一下,这里是图片, 可以点进去,你可以看一下它这里是有固定的一个格式的,比如说我刚刚的这个数字是十,对吧?那它就是表示 是我们每一次,就是每一张图片,我们都是 ai 要看十次的,就是要处理十次,就是这样的,这个地方不要去弄错了,也不要去改他。然后其他的话现在还是空的,可以看一下这是我们最终输出的这个 模型。然后好了之后我们又回到这个页面,就这个页面来好了之后我们 copy 信息到这个文件夹,就是点他点了之后我们点这里春令这个, 然后这个就是我们的刚刚复制到这个文件夹来了,可以看一下他现在就是帮我们已经设置好了,就是我们刚刚的三个文件,就是这里你可以看一下他已经设置好了,设置好了之后,这里这个是你输出的这个模型的名字,比如说 我们就美女下划线 v 二吧, 就是这个,那我就保存这个名字,随便说都可以。好了之后我们再点击这一项, 这一项呢就是我们的各种参数的一些设置,上边我们就不动,下边这里是它的一个批次大小,批次大小的话就建议一到二,就是建议一就可以了,它代表的是每一次 就是处理几张图片,就是一次性拿出几张图片来训练,就是这个,那么这个越小可能越好一些效果,那这里就一,然后这里呢?嗯,这个是我们训练的一个轮数,建议是五到十,那之前我已经准备了十六张图,对吧?然后 每张图不是训练的十次吗?之前,然后十六乘以十,也就是一百六十步,也就是说一轮他就是一百六十步,那这里就是设置轮数的,比如说我这里就设置十轮, 十轮的话那就是总共一轮一百六十步,十轮就是一千六百步,他总共就是训练一千六百步,这是最大的一个轮数,我们不管他,然后这里 他是表示的是那个你多少轮,就是没几轮自动保存一次模型就是这样的,那我这里就每一轮都保存一次模型,你也可以两轮保持一个模型等等,都是 ok 的。 然后这边呢可以选择我们刚刚的那个 b f 十六,如果你的旧的一个卡布不支持,那你就选择 f p 十六,然后这个 cpu 我们就默认二,然后这后边这两项我们都是建议勾选的,这个呢可以提高你训练的一个速度。然后下边就是这里这个是优化器,优化器的话你可以直接选择这个 pr 开头的 这个优化期,那你这里的就是学习率这个地方以及下边这里的学习率,不是这里这里的学习率都要改成一,你可以选择这个, 这个就是不用去管它的,就可以直接选择这个。当然你也可以选择这个优化器, 这个优化期呢,他训练的时候需要较小的一个显存就可以了,那这里的学习率你就要改一下了,就不能是一了,我就改成零点零零零四,然后 这个我们要选择 constant, 选择这个,然后这个我们要把它弄成零,然后这个呢它是你的这个优化器的一个额外的参数,我们可以这个我给到大家了, 就是这个是训练 s d、 x、 l 的优化器,额外的参数可以设置 也可以不设置,看自己个人,我觉得设置好好一些。然后这边呢他是你的这个分辨率一定是一零二四,一零二四, 这个一定不要弄错了。接下来我们看一下,就是这两个学习率,我们跟上边是一样就可以了, 然后其他我们就默认。然后这个地方我们 一定要去勾选这个 low half v e, 然后这里 rank rank 呢,我们设小一点,就六十四吧,因为这个越大他越占线显存,当然你也可以设置到二五六去,那么你训练的 laura 可能有一个 g 的大小,就是这个地方。 然后这里我们建议打开,然后勾选这里的一个梯度检查点,不然你的显存可能不够,然后其他我们作为新手就默认吧。好了之后我们点这个开始训练,然后你再看一下后台, 它这里就会有很多的一些数据都可以看的,然后这里稍微要等一下。 好,大家看到这里已经在训练了,因为我电脑很一般,所以这里我就不等了,我用另外一台电脑训练了,给大家看一下效果,那我就把这个地方关掉,我们看一下效果是怎么样的。 这个二,这个文件夹是我用另外一台电脑然后训练出来的,大家可以看一下,我们训练出来不是有这样三个文件夹吗?然后你训练的 laura, 它就是在最后的这个 model 这个文件夹里边儿, 然后这里边呢?我们不是一共有十轮,然后我们每一轮都要保存一个模型吗?所以他一共就保存了十个模型,这九个,然后这里是最终的这一个,然后我们把这个复制一下, 就是这个模型复制,然后放到我们的 webui 目录里边,就是 找到目录,然后找到 models, 然后找到 laura, 把我们刚复制的这个 laura 粘贴到这里边来,因为我这边已经是就是说放进来了嘛之前, 然后我这里就不替换了,就是这个我已经放进来了,好了之后我们启动我们的 v b y, 进来之后我们这个模型要改成 s d x l base 一点零,就是这个模型唯一页可以可选可不选,然后这里,然后我们输入提示词 好了之后我们要选择 laura, 那就是这个美女,这个 laura 就是训练出来的,然后反向提示词 下边参数就随便设一下,就是看一下效果, 然后其他我们就不更改了,我们点生成 好,这里生成了我们可以看一下效果,就是这个是我训练出来的这个 lora 效果还可以,大家下来可以去试一下,就是改一些它的参数等等,然后今天的一个分享就到这里。