以前想给几十亿参数的大模型做全量微调,那是大厂和顶级实验室才玩得起的算力游戏,动不动就需要几排几柜的顶配显卡连轴转,普通开发者根本摸不到门槛。但是自从有了 loo 技术,他硬生生把微调的显存需求直接砍掉了百分之九十以上。 各位,这意味着,现在哪怕你手里只有一张普通的二十四 g 家用显卡,你也有资格在自己的电脑上零成本训练出一个专属的行业大模型。今天我们就把 lora 技术彻底拆解明白。 我把视频内容分为了四个部分。首先,我们会花个几分钟理清一个底层逻辑,微调的本质到底在干嘛?基调定准了,你就会知道传统的做法有多吃亏,为什么我们非得用 lora 不 可? 搞懂了为什么?第二部分,我们来讲 lora 的 数学原理和实现机制,这部分非常关键,只有掌握了底层的低质分解,你才能够真正驾驭微调,面对面试官的原理,考打也丝毫不慌。 接下来第三部分,我们会顺带扫一眼现在的行业前沿,看看各种升级版的新玩法,毕竟显卡资源是永远不够用的,我们会看看怎么把性价比压榨到极致。最后呢,我会把我总结的参数设置和避坑指南全都列出来,看完这一部分,你马上就能抄作业去跑自己的模型了。 好,那我们就直接进入第一部分,来看看微调的本质。其实啊,大模型不管外面吹的有多神,他说白了,底层就是一堆密密麻麻的数字,也就是我们说的权重参数。 你看这个公式, w 一 撇等于 w 加上 data w, 原来的模型参数是 w, 我 们要教给他新技能,就是给他加上了一个变化量,就是这个 data w, 最后得到一组新的参数 w 一 撇微调,本质上就是在找这个 data w, 就 这么简单。 但是呢,问题来了,我们看右边这个图,以前我们做的是传统的全量微调,就是要把这几十亿、几百亿的参数全都给它重新算一遍。 这就像什么呢?假设你手里有一套几百万字的百科全书,现在你想往里面加上一点关于最新的网络热词,解释存量微调的做法,就是拿起红笔,把整套书从第一页第一个字开始全部重新抄一遍。你看这个图里面红笔改的密密麻麻的, 这种做法不仅费卡烧钱,而且模型还特别容易把以前学过的常识给忘了,也就是我们说的灾难性遗忘。对我们平时在公司跑业务来说,动不动就去搞全量微调,那算力成本肯定是吃不消的。那怎么破局呢? 既然整本重抄太笨了,大家就想出了 lora 这个办法,我们来对比一下这两个架构图。左边这个是常规微调, 你看左边这个 data w 模块跟原来的模型一样大,更新起来特别笨重。而 loo 他 特别聪明,他直接把原来那一个巨大的预训练权重 w 给冻结住了,不让他动。 然后呢,在旁边开了一条旁之路,在这条路上他放了两个小一点的矩阵,叫做 a 和 b, 我 们在训练的时候只更新这两个小矩阵,最后把它们相乘的结果当成那个变化量 data w 加回到原来的流程里面, 效果有多夸张呢?我们来看这个丙图,绿色的这一大片百分之九十五甚至更多的原始参数都不用算了,我们只需要管这个蓝色这一小撮可能只有百分之几甚至千分之几的参数。你看这一下子,几张普通的显卡也能跑得动大拇指微调了,对吧? 那说到这里,其实很多朋友第一次接触 lora 的 时候,心里都会有一个大大的问号,凭什么?对吧?凭什么?原来要更新几十亿个数字才能够学好的东西,现在你搞两个小矩阵就能够搞定了。模型真的能学会吗?这就涉及到了 lora 背后最核心的一个洞察,学术上叫低智。 我们来看这两张图你就懂了。你看左边这个厨师,其实基础的大模型,他已经是一个上知天文下知地理的博学家了。现在我们微调,比如让他去写你们公司的特定文案, 就好比让这个博学家去学做川菜,他需要从头开始去学什么是辣味,什么是火,什么是食物吗? 完全不需要,他脑子里已经有庞大的常识了,他只需要稍微记一下花椒怎么用这种特定规则就行了。这就是为什么那个变化量 datw 里面真正需要塞进去的新知识,其实没那么多。我们再看右边这个例子,这个也特别形象, 你看张三写了一篇两千字的水文,废话连篇,其中真正有信息量的就一句话,今天天气不错,我们去野餐吧。 大模型的参数也是一样的,虽然它可能会有几百亿个数字,看着挺吓人的,但其实数字跟数字之间有很强的关联性,大量的信息都适用于的。所以你看 lora 其实就是抓住了大模型的这个本质。 既然你本身信息就高度融合,不需要那么多参数来表达,那我就用极少的参数去精准捕捉你那点核心的增量信息。 这就解释了为什么 luo 能用这么小的代价敲动那么大的模型。好,我们理清了大方向,现在进入第二部分, luo 的 数学原理和实线机制。 大家看到数学原理这四个字,先不要紧张哦,我们其实就是要搞明白一件事情,刚才说的那两个小矩阵,它在底层到底是怎么运转的?首先呢,我们需要破除一个名词障碍,叫做低至 low rank, 听得特别学术,对吧?但其实也特别好懂。大家看,这里有个例子,左边是有一个三乘三的矩阵,一共是九个数字,对吧?但是如果你稍微观察一下它的规律,你看第二行二四六,其实就是第一行一二三乘以二,第三行呢,就是第一行乘以三,对吧? 这意味着什么呢?这意味着这九个数字里真正有用的核心信息,其实只有第一行的那个一二三,剩下的全都是个固定套路,是荣誉的。所以啊,不管一个矩阵看着有多么庞大,只要他的数据存在高度的关联性, 他的有效信息维度其实是很低的,我们完全可以把那个核心的基底给抽出来,用很少的数据去还原他, 这就是低质的本质。在一堆废话里面去找重点。好,顺着这个找重点的思路,我们就来到了 lora 最核心的操作矩阵分解,既然我们上一章说了模型需要学的新知识,也就是这个黄色的 data w 信息量其实不大,是一个低质矩阵, 那我们在数学上就可以动手脚了,利用斜线代数的性质,我们直接把这个大矩阵给他深深的劈开,劈成两个小矩阵相乘,也就是右边这个矩阵 a 和矩阵 b。 大家注意看啊, 矩阵 a 呢,它是一个高瘦的柱子,矩阵 b 像一个矮胖的长条,对吧?他们俩相乘的时候,中间那个共同的维度,也就是 a 的 宽度和 b 的 高度,而 其实就是我们刚才说的那个有效信息维度。在学术上,我们管它叫 rank, 也就是智,那说到这个 rank 智,我们在实际跑代码的时候,这个 r 设置成多少最合适呢? 我这里有一条法则,是说 r 应该远远小于模型的原始维度。很多朋友刚开始接触微调的时候,可能会有个误区,觉得这个 r 设的越大,模型学到的东西就越多,效果就越好。但是你看左下角,这是原论文里面的测试数据,非常有意思, 你看啊,当 r 从一增加到了四的时候,哎,各项语言的指标确实在变好,对吧?但是当你把它加到八十六, 甚至加到一零二四的时候,你会发现效果并没有什么明显的提升,甚至呢还会掉一点点,这说明什么?这说明你要交给模型的那个新技能,它的信息量其实就那么一点大, 就好比你非要开一辆大卡车,就是很大的 r 去装,其实车厢里全是空的。所以我们平时训练 r 设置个四八十六往往就足够打了,那把 r 设小之后能省多少事呢?我们来算一笔直观的账,这也是我觉得 lor 最牛的地方。 假设我们要更新一个一零二四乘以五幺二的权重矩阵,如果是传统的微调,你要老老实实去算这五十二万多个参数。现在我们用 log 假设我们把刚才说的 r 设置成了三十二, 你看矩阵 a 就 变成了一零二四乘以三十二,那矩阵 b 呢,就是三十二乘以五幺二。我们只需要管这两个小矩阵,把它们的参数量加起来,只有不到五万个,参数 从五十二万多降到了四万九,那参数量只剩下原来的百分之九了。如果遇到更大的几百亿参数的模型,这个比例甚至能降到千分之几。 对于做工程落地的人来说,那就意味着你原本可能需要八张 a 一 百才能跑起来的训练,现在是一张消费级的四零九零就能轻松搞定了,这是实打实的降本增效。 最后这部分还有一个非常精妙的工程实现细节,大家一定要知道,就是他的出实化。大家想一个问题啊,刚开始微调的第一步,模型,其实什么新东西都没有学进去,对吧? 我们肯定希望这个时候新加进去的 a 和 b 不要去瞎干扰原来模型的输出,所以呢, low 的 作者非常聪明,你看他在最开始的时候把右边这个矩阵 b 用随机数出实化,但是呢,他把中间这个矩阵 a 啊,全都设置为零了,也就是全零出实化, 这有什么用呢?任何数乘零都是等于零对吧?这就意味着在训练的第一步, a 乘 b 的 结果就是等于零, a 它 w 也就是零, 那模型刚一上来,表现跟没加 load 之前是一模一样的。然后随着训练的一步步推进, a 里的数字慢慢不是零了,新知识才一点一点加进去,这就保证了训练初期的极度稳定,不容易崩。 另外大家注意看底下这个公式,这里多了一个字母叫阿尔法。我们在设置参数的时候也一定会遇到它,它其实就是一个缩放因子, 你可以把它想象成一个音量的旋钮,算出变化量之后,我们乘上一个阿尔法,除以 r 的 这个系数,用来控制新学到的知识对圆模型的影响到底有多大, 有个行业里面的经验值哦,我们通常会把这个阿尔法设置成 r 的 两倍,具体的我们在后面参数设置的部分还会再详细说。 好,我们把 luo 最底层的数学逻辑盘清楚了,那我说到这里,你可能会觉得,哎,把参数量降到百分之几,这已经很极限了吧,一台电脑就能跑了,还要什么自行车啊。 其实不然,大模型这个圈子卷的是非常夸张的,既然能降,那能不能再降一点?这就引出了我们的第三部分, q luo 和其他的一些境界的新玩法。我们先来看目前大家用的最多,基本上可以说是平民玩家标配的 q luo, 这里面这个 q 呢,就是 quantization 量化。原本我们大模型里面的数字都是非常精确的小数,比如说十六位甚至三十二位的浮点数,非常占用显存,那 q 洛尔是怎么做的呢?他直接大刀阔斧把这些精确的小数压缩成了四倍的粗略整数。 这一压好家伙,模型的体积直接缩水了好几倍,单卡二十四 g 的 显存也能够跑七十亿甚至更大的模型了。但是注意,我们用来微调的这两个小矩阵 a 和 b, 它们是不做这种极端压缩的,它们还是保持高精度的计算。 这就相当于大部队虽然因为后勤不够降级了,但是我们派出去学习新知识的特种部队,用的依然是顶配的装备。这样一来,既省了卡,又保证了微调的效果,可以说是性价比拉满。 那除了这个 q loro, 因为 loro 实在是太火了,这几年学术界还卷出了好多升级版,我给大家简单的介绍几个。 比如第一个 loro, 他 觉得原来 loro 更新参数的时候有一点手脚不协调,所以呢,他在算法上做了一个结偶,把权重的方向和大小分开来学,这样模型学习复杂任务来表达能力就会强很多。 再看中间这个 loro 加,哎,这个思路我觉得特别有意思,刚才我们不是说矩阵 a 上来全是零,矩阵 b 是 一堆随机数吗? 它的起点根本不一样,凭什么训练的时候要让它们用同一个速度去更新呢?所以 loo 加呢,就给这个 a 和 b 设置了不同的学习率,相当于是因材施教。结果发现,嘿,不仅训练变快了,最后模型变聪明的效果还更好了。 然后呢,还有 r s loo, 它其实解决了一个很多人微调的时候都会碰到的痛点。刚才我们说过,普通 loo 的 制,设置个八或者是十六就差不多了。 有时候你遇到特别复杂的任务,你硬把 r 开到一百二十八,二百五十六,满心欢喜的以为模型能学到更多东西,结果一跑, boss 许仙直接崩了,训练很不稳定, 那么 r s lora 就是 对内部的缩放比例做了一个数学上的优化,用了它之后啊,你哪怕这个 rank 开得很高,模型也能稳稳当当的继续学,不会轻易崩溃。这对于那些需要给模型疯狂灌输大量新知识的场景,比如说要学一门,嗯,全新的冷门语言是非常有用的。 当然了,对于大部分刚上手的人来说,也不用死记硬背。这些变体你只要知道,不管外面的花样怎么变,他们底层的灵魂都是我们刚才拆解过的低质分解。 如果你平时做项目的话,你只要知道武器库里面还有这些进阶的装备,哪怕哪一天,圆满的 logo 满足不了你了,你懂得,来回翻这几张牌就完全足够了。 好,前面铺垫了这么多理论和遍体,可能很多朋友已经迫不及待去跑代码了。最后一部分,我们来盘点一下在真实写训练脚本调餐的时候,那些最容易踩坑,最容易让人抓狂的地方。 大家如果用开源的工具微调过,就一定会面对配置文件里这三个参数,我们一个一个来看。首先第一个也是最核心的 r rank, 这个参数我们在前面反复的提过,它决定了模型能容纳多少新知识。 我再强调一遍,真的没必要去迷信,大力出奇迹,一般日常的任务设置个八十六,最多三十二,绝对够用了。设的太大,不仅训练慢,还特别容易过你河。第二个, loro alpha, 还记得我们前面打的比方吗?它就是一个音量旋钮,是用来控制新知识对原模型的影响权重。绝大多数情况下,你直接把这个阿尔法设置成跟阿尔一样大,或者是阿尔的两倍,是很安全的。比如说你阿尔是十六,阿尔法就给十六或者是三十二。 除非呢?你去用我们刚才讲的 lower 加这一类特殊的变体,那就得老老实实按它们论文里的配方来。第三个, target modules, 也就是你要把 logo 挂在哪些层上。很多框架默认非常保守,只给你加在注意力的 q approach 和 v approach 上。这种做法最省,显存跑起来最快。 但是你看,如果你的显卡资源稍微富裕一点,或者是你想追求极致的微调效果,那强烈建议你把括号里面这些 k approach、 o approach, 甚至后面的前馈层全给它覆盖上, 代价肯定是显存占用变高,但模型理解复杂指令的能力会有一个质的飞跃。 ok, ok! 最后我们来过一遍这几个很容易被忽略的避坑小贴士,这可都是我们用算力和时间砸出来的血泪经验。 第一条, drop out, 其实你就可以把它当成一个防死记硬币的开关。如果你手里的数据特别小,比如说你只弄了几百条问答,那你把 drop out 给个零点零五或者是零点一,防止模型过你核。但如果你的数据量很庞大, 几万条几十万条,那就直接设为零,不需要开,让模型敞开了学第二条 bios, 也就是偏置,听我的,通常情况下呢,直接保持默认的 long 就 可以了,千万别手痒去微调它,用了反而容易出一些莫名其妙的收敛问题。 第三个呢,是数据类型,这个很重要,如果你显卡支持,我们一定一定要选 b f 十六,千万别去选那个 f p 十六。为什么呢?因为大模型在训练的时候经常会蹦出一些极端大的数字, fp 十六的表示范围比较窄,特别容易溢出,你可能跑着跑着突然 boss 爆掉了,白跑几天,而 bf 十六就稳健的多。如果你结合了我们刚才说的 q laureo 框架,会自动帮你把底座压成 speed。 但在运算这一步,记得一定还是要用 bf 十六 最后一条呢。这是一个报显存的急救顺序,你看,假设你一跑,代码啊报错了, o m 显存不够,应该怎么砍配置呢?千万别一上来就去砍这个,那太伤模型效果了。 你的第一步应该是立刻换上 q lora, 这招最立竿见影,如果还报呢?第二步,再去把 r g 稍微调小一点点,实在不行了,再到最后一步,你再考虑去减少复写的层数, 如果按照这个优先级来,能在你现有的破显卡上保住最大的模型战斗力。好,那关于 loro 微调原理的拆解,我们就讲到这里,我简单总结一下。 首先我们理清了微调的本质,其实就是求原有参数的一个增量 data w。 然后我们是拆解了 loro 的 底层机制,它是利用低置矩阵分解的数学特性,把庞大的参数更新转化为两个小矩阵相乘,从而呢大幅度降低了需要训练的参数量。 接着我们还介绍了 q logo 等等进阶玩法,进一步降低训练的显存门槛。最后就是刚刚给大家梳理的核心参数设置和实战避坑建议,行理论加实操都齐活。接下来呢,你就差动手去跑个模型了。这期先到这,我们下期再见!
粉丝8107获赞2.9万

想自己微调一个七 b 大 模型,是不是觉得至少得租几张 a 一 百?其实一张三零九零二十四 g 显存,睡觉的功夫就能训完。这期讲清楚,一张消费级显卡,凭什么塞得下七 b 模型的训练?先别急着装环境,算一笔显存账, 七币就是七十亿个参数,光用半精度存权重就要十四 g, 这还没完。训练时,每个参数还要配一份梯度优化器,再计两份状态,外加一份高精度的权重备份,全加起来轻松破百 g。 二十四 g 的 卡连四分之一都不到,看出来了吗?贵的不是模型,是训练 显存大头花在梯度和优化器上,而这两样跟可训练参数的数量成正比,想塞进单卡,就得在两头同时动刀。 q lara 的 第一刀砍基座,把权重量化成四比特,十四 g 直接压到四 g 左右,量化后的基座全程冻结,只做前项计算,不参与更新,所以这点精度损失完全可控。第二,刀砍训练量,七十亿个原始参数一个不动,只在旁边挂一组低至小矩阵,也就是 lara 要训练的参数从七十亿骤降到千万级,梯度和优化器跟着缩小几百倍,两刀下来,峰值显存十 g 出头,二十四 g 绰绰有余。 落到操作上,就四步装环境备数据,一千到五千条高质量指令样本就够起步。 q lora 训练,比如批量四,学习率万分之二跑三轮,这是常见起点,不是标准答案。最后把 lora 增量合并回基座,直接部署。 这套打法不挑模型流,拉马、 quin、 deep seek、 主流开源模型全都适用。换个基座,流程一模一样, 一句话挡住你的从来不是模型大小,是训练的开销。 clara 一 边冻结一边低质,把开销砍到单卡能扛下期讲机器学习岗面试最高频的十个问题不见不散。

很多人训练 lara 模型最大的问题不是参数没调对,而是一开始就把方向打错了。 如果打标方式错了,素材质量不好,后面你再怎么调学习率、调分辨率,效果都会很别扭。今天我系统地讲一下怎么训练一个高质量的 lara 模型。这个方法不只是用于 animate, 也适用于大部分 lara 模型训练。 首先在你想清楚训练目标和训练内容以后,第一步就是打标。假设我们今天训练的是一个风格类模型,关于 anime 的 logo 模型,打标方式现在有很多不同的说法, 我也经常看到群里有人讨论,到底应该用短词组还是自然语言,到底应该标的细一点还是粗一点。 安利美是一个比较新的模型,对于新模型,我们不可能一上来就完全摸清他的强项和弱项,所以最稳的方法就是反过来观察他已经成功的案例。 首先我们打开 c 站,在图片区筛选安利美出图,然后从高质量图片开始往下看。 如果这些优质图片在出图时大多数用的是词组短语模式,那我们打标时也优先用词组短语模式。如果他们大多数用的是自然语言模式,那我们打标时也尽量贴近自然语言模式。 这一步不是为了抄提示词,而是为了判断这个模型更吃哪一种表达方式。 看图的时候还有一个很重要的动作,把一些相对特殊、有技巧性的图片保存下来, 比如背影、仰视角、大场景、抬头构图,或者一些结构比较极端的图。这些图后面不是拿来训练的,而是拿来测试模型的泛化能力。 所谓过你河,不是训练结束那一刻突然出现的结果,他通常是一个逐步发生的过程。 比如一开始模型还能稳定出背影、仰视角、大场景、抬头构图,但训练到后面,这些结构开始失控了, 本来应该背对镜头的人变成正对镜头,本来应该没有头的构图又把头画了出来, 这个时候就要警惕,模型可能已经开始牺牲画画能力了。所以我一般会把这些参考图的截图保存下来,最好连它用到的 lara 正向提示词、反向提示词一起截下来。 后面可以把这些截图交给智能体,让他帮你整理测试样图和提示词清单。同时看图时还要注意提示词长度。如果你看到高质量图片的提示词普遍很长很细,那你打的标也可以适当细一些。 如果他们的提示词普遍很短,那你打标也不需要写的特别复杂。还有英文表达也要注意。 很多词看起来意思差不多,但在模型里,权重和习惯并不一样。比如 girl 和 woman 都可以指女性,但很多二次元出图里, one girl 的 使用频率明显更高。 如果你看到大家都在用某个固定词组或短句,那你打标时也应该尽量贴近这种表达习惯。 当我们看了足够多的图以后,基本你就可以对这个模型的标注方式、标注长度以及标注细节有一个初步的判断。 下一步,打开模型作者页面,认真看作者对提示词和打标方式的说明。作者明确写出来的要求一定要优先参考,因为作者最清楚这个模型是怎么训练出来的,也最清楚他适合什么样的提示词。 至于作者没提到的部分,通常说明他不是最关键的变量,我们也不需要自己脑补太多。 完成这两步以后,再打开图图的超级智能打标器。打标工具有很多,但在这个场景里,我认为图图的打标器很关键,因为他可以做主体过滤。 如果训练 lol 的 时候没有做主体过滤,基本上可以约等于没有打标。至于什么是主体过滤,大家可以看我的置顶视频,这里我们不展开描述, 我们把风格图片导入进去,智能标注,选择风格,然后开始打标,因为我这里已经打过了,就不实际操作了。打标完成以后,可以先把标签翻译出来,这样更方便对照检查。 接下来不要着急导出,要逐章看。如果你用的是默认模式,基本上不会有错误,就可以直接用了。 如果你使用的是高级模式,那么就先把明显的错误重复以及无关的标签删掉,然后再逐一精修,该删的删,该改的改,该补的补。 修改完成以后,要加一个触发词,这个触发词建议放在最前面,而且一定要尽量没有明确含义。 怎么判断触发词有没有污染?很简单,实际测试用同一组提示词出一张图,再加上这个触发词出一张图。如果两张图除了随机差异以外,整体变化不大,说明这个触发词本身没有太强的映射。 但如果加上触发词以后,画面变化非常明显,那就要考虑换一个触发词。这个步骤建议一定要实测,可以减少触发词本身对模型的污染。 还有一点刚才忘了说,因为我们开了主体过滤,打完标以后也要检查过滤效果, 有些训练需要过滤的非常细,有些训练颗粒度不用那么高,这个要根据实际目标来定。 像这种风格模型我会过滤的细一点,所以打标时主体过滤可以开到零点九,打标和修改都完成以后就可以导出了。导出后打开图图的超级智能训练器。 坦诚的说,以往我适配模型时会做很多优化,但这次安利们模型我基本采用的是官方推荐的训练方案,所以和其他训练器的训练效果差异不会特别大。 后面如果有时间,我可能会再更新一版,给安妮美加入图图时间步相关。适配这个东西需要专门测算,做好以后对训练效果会有提升。 我的训练器是免费的,大家直接下载使用就可以。把刚才的训练机导入进去,选择自动模式开始训练就行。如果你想自己调参数,可以参考训练器自动配置里的参数。这里简单说几个重点, 第一,如果你的电脑配置比较好,可以把分辨率适当的调高一点,分辨率对最终质量影响比较明显。 第二,作者也提到这个模型的学习率要稍微低一点,可以使用鼻旋退火,让学习率逐渐下降。这样有两个好处, 一是降低过拟核风险,二是后期可以继续细化模型,对细节的学习。你的训练器如果有这两个选项,建议打开其他参数,更多是为了显存优化或者兼容不同机器, 只要还是 lowra 训练,整体架构差异不会特别夸张。有些朋友会加噪声,这个我不否认有作用,但一定要循序渐进,不要一次加太多。 还有人会问正则训练,对于这种相对简单的风格模型,我个人一般不建议上来就加正则,有的时候正则加的不合适,反而会把方向带跑边。 训练过程中,我最想强调的不是 loss, 不是 样图,样图比 loss 更直观,尤其是风格模型,我们除了要看 loss 有 没有继续下降,更要看风格有没有学进去,同时结构控制有没有被破坏。 比如可以看到这个训练从四千多步这里开始的时候,图片就开始发生了明显的分歧, 后面都出现了一些奇怪的问题。所以四千多步这里我们可能就要仔细的对它进行测试,同时也可以看到它的风格确实在发生明显的变化,这是我们想要的结果。 如果你想测试的更准确一些,样图里可以放一些特殊的测试图,这些提示词本身比较复杂,边界条件也更强。 如果训练过程中风格已经融入了画面,但原来的构图视角、人物结构没有明显跑掉,这就是比较理想的状态。 但如果你发现本来应该背对镜头,结果总是转过来,本来应该是才头构图,结果每次都把头补出来,反复出现这种情况,就可以考虑早停。训练完成以后怎么测试模型, 还是先用我之前讲过的 x y z 测试方法,先测出一个大概的范围,从里面挑出两到三个相对比较好的模型。这个 x y z 工作流我之前在 runnyhub 上发过,如果你本来就是在用 runnyhub, 可以 去找一下, 基于那个工作流,稍微改一改基本上就能用了。 ryan 哈布是我很常用的一个工作流平台,上面有非常多的工作流,现在还上了一些画布等功能,有兴趣的朋友大家可以去尝试一下。 下面我们继续刚才的测试,现在跳出两到三个后选模型以后,下一步要做一个很重要的测试,批量样图测试, 简单说就是把刚才整理出来的反推提示词批量放进去,只替换 lara 模型,其他条件尽量保持一致,这样每一 p 图之间的差异就更能说明模型本身的效果,而不是提示词或随机种子的影响。 通过这种方式,我们就能在比较强的边界条件下判断哪个模型风格学的更准,哪个模型结构更稳,哪个模型放话更好。 到这里,一个比较完整的训练流程就结束了。好了,本期内容就到这里,如果大家对安利们训练风格、 lara 主体过滤或者测试方法还有不清楚的地方,欢迎大家和我一起来交流讨论。

今天我们拿四张 rtx 四零九零四十八 gb 版本,装一台全夜冷超静音的深度学习服务器。

假如你在网上看到了一些好的特效,想应用到你的视频里面,如果只通过提字词是很难做到的。最简单的方式就是训练一个特效的拉尔模型,训练完之后就可以一键生成这个视频特效, 我们现在就训练一个 ltx 二点三的视频特效。老二模型步骤非常简单,只需要两步,第一步把你想要的特效视频下载下来并达标,第二步开启训练就可以了, 那我们现在打开这个老二训练大师,点击这个数据集,点击这个新建数据集,在这里输入你数据集的名字就可以了, 比方说叫视频特效素材,点击添加,然后再点击这个数据集,点击添加素材,然后把这些数据集直接添加进来,就是刚才演示的这个人物变成火的这一套数据集。 如果说是你已经打完标了,那这里就会自动识别,如果说没有打完标,你就可以在这里点击这个同一打标,在这里输入打标的标签,点击确定,这样就会把所有的标签全部都打完。第二步,进入到这个模型训练,在这里点击新建训练任务, 在这里输入这个训练任务的名字,你就变成火特效 v 二,然后在这里选择 ltx 二点三 i two v, 再然后在这个数据集这里选择刚才新建的这个数据集。视频特效素材,这个数据集,这里可以自定义这个分辨率, 因为它是视频特效,所以说它训练使用到的显存可能比较高一些,这个分辨率可以适当的调小一点,比方说 t 六八五幺二,这里 因为是视频素材,这里要切一下视频素材,那如果说是你显存比较高,你在这里可以适当的调高它的分辨率。在下面是这个过程采样就是在训练过程当中 查看采样的效果,同样在这里要写上这个采样的提示词,那这个提示词就是刚才打标的那个提示词。 因为我们现在是做的 i to v 的 训练,所以说你在采样的时候是需要一张图片的,我们把这个图片的路径复制一下,复制过来,要一个完整的路径,就随便挑一张图片,比方说我们用这一张图片 复制过来,这个宽度和高度也可以自定义,比方说一零二四七六八,下面也可以自定义采样的频率,这里默认是每十轮 和每五百步各踩一次样。另外在这个地方还可以启动低显存模式,假如说你是二十四 g 以下, 你就这里启动这个低显存模式,把它开到最大,大概是八 g 左右就可以训练,最大是四十七,如果说你是二十四 g 或者以上的显卡,直接把它给关闭就可以了。 在这里检查训练参数,没有问题,点击保存。下一步进入到这个模型训练,然后点击开始训练,这样就可以了,那这个时候老二训练大师就会自动完成训练前所有的粗实化操作,并且自动开始训练, 你只需要等着就可以了。那我们在这里先终止一下,直接看一下我刚才训练的这个 ltx 二点三的 v 一 的版本配置都是一样的,只是在这个地方我就调整了它的输出的频率,就是训练过程当中 拉模型的输出频率就是每二十轮和每一千步各输出一次拉模型, 在过程当中可以查看他的过程彩样,第一个就是最新的彩样,在这个地方还可以查看他的闹事取现,点击查看闹事取现,就可以看到这个训练的闹事取现,上面是按训练部署的闹事取现, 下面是按训练轮数的闹事取现。最后一个就是模型输出,这个是训练过程当中产生的所有的闹模型,然后点击打开,这样就打开了这个模型的保存的目录, 如果说你是在 comfyui 里面使用,就直接复制这个点 comfy 的 模型,然后把它复制到你的 comfyui models lars 里面就可以了, 就这个 ltx 二点三 i2v 变火特效点 comfy, 那 么现在打开 ltx 二点三的文和图声视频二合一的这个工作流,这个工作流我在之前的视频里分享过,然后在这里加入这个 lara, 就是刚才的这个 ltx 二点三 i to v 变火特效的这个 logo, 在 这里上传一张图片,在这里切换成 i to v, 就 把这个 text to video 这个开关给关掉,然后点击运行就可以了 啊,这个就是最后生成的一个效果啊,这也是一个效果啊,这个就是使用老二训练大师来训练一个 ltx 二点三 i2v 的 视频特效的老二的方法。

同一个七 b 模型,你问他怎么学 python, 他 却接着替你写怎么学招法,怎么学 c 加加,他会说话,却不会好好回答你今天讲微调,怎么用对话数据把这个话痨机模型调成一个听话的助手,还得让一张普通显卡跑得动。 上一阶段,我们从零造出了机模型,它会接话却不听话,这一步不补上,后面的对齐 rag 全是空中楼阁。喜欢这个系列就点赞关注,方便接着学。 看完这集,你能分清机模型和助手,看懂 lost mask, 自己推导 lora 为什么省在免费 club 上跑通一次微调 鸡模型,读遍全网,学会的只是下一个字大概是什么?所以他把你的问题当成作文,开头接着写 sft 监督微调做的事很朴素,给他看几千段标准对话,让他模仿。轮到我回答时该怎么说?举个你天天遇到的例子, check gpt, 有 问必答,答完就停。这份分寸感不是天生的,正是被这一步教出来的。 那对话数据长什么样?用的是 chatml 格式,说白了就是给每句话贴上谁再说的标签。 system 设定身份, user 提问 assistant 回答,再用特殊符号 i m 下划线, start i m 下划线 and 圈出每条消息的边界 一条样本。就是把系统设定加用户问题加理想回答拼成这样一段模型。要学会的就是把系统设定加用户问题加理想回答,拼成这样一段模型。要学会的就是把 assistant 那 段一个字一个字预测出来。 这里有个反直觉的关键,训练时只对 assistant 的 回答算损失, user 和 system 的 问题部分完全不算,为什么? 如果连用户的问题也要模型去预测,它就会越练越擅长生成问题,而不是回答问题。你想要个助手,结果养出个复读机,所以我们只为答得好不好。回传梯度 实现简单到出乎意料,把问题部分每个 token 的 标签设成一百, pie torch 的 交叉商见到一百就自动跳过,不产生梯度, 于是每次更新都指来自答案部分多轮对话也一样,由数据整理器 datacenter 自动定位。每段 assistant 的 起点 会训了,下一个问题是,训得起吗?很多人以为微调显存就是装下模型,其实大头在别处。每个参数训练时要存一份权重,一份梯度 i m w 优化器还要再存两份状态。 算下来每个参数十六个字节,一个七 b 模型,光全量微调就要约一百一十二 g 显存,而一张四千零九十 g 有 二十四 g 省显存的思路就一句话,少更新参数梯度和优化器状态全压在可训练参数上,把它从百分之一百砍到不到百分之一,这两块大头就跟着塌掉。 于是有了三档全量微调,一百一十二 g volra 约十四 g q o r a, 约六 g b。 注意,这是数量级,具体数随配置浮动。但结论很稳,只有后两档能塞进消费级显卡。 可问题来了,少更新参数,模型不会因此变笨吗?凭什么动不到百分之一的参数,效果还能逼近全量微调?答案藏在一个较低质的数学性质里。 laura 低质适配核心就一个动作,原来的大权重矩阵 w 冻结不动,旁边挂一条小旁路, 这条旁路是两个受矩阵, b 和 a 相成,本来要更新一个 d 乘 k 的 大矩阵,现在只训练 b 和 a 中间那个维度。二取得很小, 前向传播时圆通路 w x 不 变,再加上旁路 back, 两者相加,就是微调后的输出关键一招。 b 初使全为零,旁路从零起步,所以训练一开始完全等于圆模型平滑出发,不破坏预训练,这也是后面学习率敢调大的底气。 为什么这样就省算笔账,一个四千零九十六建方的矩阵,全量更新要一千六百七十八万个参数,用 r 等于十六的 lora 只需要十三万,少了一百二十八倍。 底气来自一个发现,微调带来的改变量本身就是低质的,它躺在一个很低维的空间里,根本不需要动那么多参数。二取八到六十四就够 gpt。 三、用上 lora, 可训练参数直接少了一万倍,存档从三百五十 g 缩到三十五兆。 更妙的是部署把 b 乘 a 加回原权重,旁路就消失了,推理速度和原模型一模一样,零额外开销。 其实你早就见过它, stable diffusion, 社区里那些几十 n b 就 能换一种画风的 laura, 正是同一招,大模型冻结共享,每种风格只是一对小小的矩阵。一句话记住它微调不是重写整个大脑,只是贴几张便利贴。 laura 已经把要训练的压到极小,但冻结的肌模型本身还占着显存, q o r a 再补一刀,反正它冻结不动,干脆压成四 bit 存着,靠三件套把精度损失压到几乎看不见。 n f 四,一种专为权重大制服,从正态分布设计的四 bit 编码, 双重量化,每块权重还要存一个缩放长数,把这些长数也再压一遍,每个参数又省下小半个 bit。 分 页优化器显存快报时把状态临时挪到内存,防止崩溃。 你可能担心,压成四 bit 还能学好吗?能,一来 n f 四天生贴合权重的正态分布,二来真正在学的 lora 庞度,用的是高精度,把量化的损失顺手吸收进去了。 论文实测,四 bit 的 q o r i 效果几乎追平十六 bit 全量微调,最震撼的是靠它训出的 guanacao 单卡跑二十四小时就摸到了 chat gpt 百分之九十九点三的水平。 原理讲完,落到能跑的四步,整套用的是 hugging face 的 p e f t 库,也就是参数高效微调。 第一步, base and base config, 把模型四 bit 加载。第二步, prepare 下划线 model 下划线 for 下划线 k bit 下划线 training 做数值稳定。 第三步, laura config, 设好两个关键旋钮至 r 设十六,控制旁路宽度。 laura 下划线 alpha 设三十二,是旁路的缩放强度一般取 r 的 两倍。再把注意力的 q k v o 加 f f n 三个投影全挂上。第四步,交给 sft trainer 开训 超餐也有讲究,学习率用二乘以十的负四次方,比全量大十倍,因为只动不到百分之一的参数,不怕迈大步,配抠散调度讨,一到三轮就够 训完。 ad adapter 才几 m b? 这带来一串真实玩法,一个机模型挂多套按需切换,线上能同时服务上千个,要上端测就默值回去再量化,零开销。这套流程一张免费, club t 四就能跑,你今晚就能把通用模型调成自己领域的助手。 两个常见坑,顺带一题,微调容易让模型忘掉原有的通用能力,较灾难性遗忘,少训几轮,学习率别太大就能缓解。而 lora 因为只动一小块,本身就比全量更不容易忘。 还有 sft 数据三件事,来源是开源、蒸馏或人工配比要多,任务均衡,但最关键的是质量大于数量。有研究只用一千条精挑的对话,就调出了不错的效果。 回顾一下今天这条链, s f t 用对话数据叫模型案指令回答 lost mask, 让他只为答案负责权量。微调太贵, laura 用低质旁路把参数砍掉百倍 q r a 再把基模型压成四 bit, 最后四步代码在 club 上跑通。 一句话,收束微调不是重写大脑,只是贴几张便利贴。但你有没有发现, sft 只教会了模型按格式回答,他并不知道哪个回答更好。同样一个问题,给两个答案,怎么让模型学会选更让人满意的那个? 这就是下一集的主题,对其先训一个,奖励模型给回答打分,再用 r l h f 和 d p o, 让模型学会人类更偏好的表达。微调让模型听话,对其让它会做人。 你最想用微调做一个什么领域的助手?法律、医疗?还是你自己的写作风格?评论区聊聊,觉得有用就点赞关注下集,我们讲对齐,把模型从听话调到会做人。

面试官突然盯着你问,既然普通的 lora 微调已经能省显存了,为什么在几十倍的大模型上你还要用 q lora? 如果你脱口而出说,因为 q lora 就是 把模型量化到了四 bit, 更省显存。恭喜你,这场面试基本可以准备回去等通知了。这种浮于表面的教科书回答,根本没有触及低智自适应的工程落地本质, 你连原始权重在显存里的空间吞吐都没盘明白,面试官怎么敢让你去动公司几十万预算的微调集群? 大家好,我是青竹,这道大模型专家岗的必考题,如果你能用大白话把它的底层工程体感讲清楚,面试官绝对会双眼放光。建议先点赞关注加收藏,避免后面找不到了。想系统学大模型的同学可以后台留言哦。 我们要搞清楚大场面试官考这个是看你有没有经历过真实的显存炸裂现场。普通的 lora 虽然冻结了原模型,只训练旁路小矩阵,但它有个致命的痛点,你依然要把 f p 十六或者 b f 十六的原始权重死死的加载到显存里。 一个七 b 的 模型,光是把底座放进去就得吃掉整整十四 g 显存并发稍微一上来,或者 batch size 稍微拉大一点,显存直接 o o m 给你看。 这时候 q lora 就 像一个带着降维打击武器的大佬拍马赶到。很多人以为 q lora 就是 简单的先搞量化再套 lora。 好 家伙,算法要是这么简单,人家怎么中 top 顶会? q lora 的 核心神仙操作是在计算流上把四比特量化,和 lora 做了深度藕合。 简单来说,他直接把预训练的权重以高保真度的四比特 n f 四量化格式塞进显存,这时候七比特模型直接瘦身到三到四个 g。 说到这,面试官肯定会冷笑,量化到四比特模型,精度不就直接崩了吗?别慌, q lora 祭出了他的两大底层兵器。 第一个大招叫双总量化 double quantization。 他 连量化描述自己都要再量化一遍,把显存压榨到了极致。同时在反向传播里,通过特殊的离群值 outlier 保留机制,死死护住梯度精度。 第二个保底神器叫分页优化器 page optimizers。 这就好比一个显存的安全气囊,当发生非限性的显存液突变,眼看就要 o o m 的 时候,它能丝滑地把非激活状态的梯度自动调度到 cpu 内存上,用时间换空间,彻底终结了闪退噩梦。 听到这里,面试官心里已经觉得你有点东西了。紧接着,你得把它的结构创新用一句话升华出来, 在 qura 的 世界里,那个被压榨到四 b 的 基座模型,就像是一个被砍了预算缩减开支到极致的四 b 的 穷苦打工人。 而叠加在上面的 lora 适配器,则是那个拿着高薪专门过来做高精度纠篇的外聘专家大佬。通过量化感知初步和梯度重缩放策略,这个专家大佬能在完全不给打工人增加显存负担的前提下,用最少的参数更新, 完美补偿掉四比特量化带来的误差。最终的效果,就是让一张普通的消费级显卡,直接具备了全参数微调级别的经验性能,显存直接从二十四 g 展到了五 g 左右,这就叫真正的工程体感。 说到这里,我给你留一道大厂的高频思考题。在 q lora 的 真实全量数据微调中, n f 四这种数据类型和普通的常规四比特量化相比, 在数学分布上到底强在哪里?为什么他能被称为量化界的正态分布?真正跑过微调?懂行的大佬,我们在评论区见。


视频,我们来看到 ltx 二人物 lowr 的 训练, ltx 二是一个可以进行音画同步生成的模型,我这里复刻的是,莫非非常有趣? we go east stand aside stop hiding, 可以看到在保持人物一致的同时也保持了音色的一致。我这里使用的工具是 ai two kit, 这个视频我将分享适用于四零九零、二十四 g、 四十八 g 和五零九零这样消费级显卡的训练参数调整,以及线上一键启动镜像的分享。我这里使用的是优云智算平台, 找到对应的镜像,点击部署指令往下拉,复制启动指令。对 ltx 二的选存和六十四 gb 的 内存, 租用二十四 g 的 四零九零是没有问题的。可以进行五幺二分辨率的训练,我这里选择去跑一零二四分辨率的,租用五零九零也是一个比较有性价比的选项,那么算力的话会更强,而且跑一零二四的分辨率恰恰是可以的。点击立即步数, 进入控制台十一列表,等待一下。那么出了这个 gdp 之后呢?我们点击进入 gdp, 找到启动指令,或者说我们刚刚已经复制过了,粘贴过来,回车 出了地址之后回过来点击 ai to kids 就 可以直接进入到我们的训练界面啊。在训练的队列当中呢,有三个预设,分别对应了四零九零的二十四 g、 四零九零的四十八 g 和五零九零。点击训练集,点击新建训练集, 简单设置一下名称,点击创建,点击添加图像,尽管这个地方写的是添加图像,我们依然可以去添加视频。视频的帧数所遵循的规则应当为八 n 加一帧, 帧率呢为二十四帧每秒钟,格式就是我们这个最普遍的 mp 四格式,运行良好。那么这个字幕标签呢,应当怎么去填写呢? 可以以我为例,我这里是跟 tokyo 的 官方对齐了的一个名字叫做汤姆希尔比的男人站在呢一个房间当中呢,说什么样的话用引号呢?给它标起来应当是这样的一个简单的要求,非常接近于我们 e r t x two 进行推理的时候的题日词的格式。 在每一个标签当中,我们都重复的一段文本是什么呢?是一个名字叫做汤姆希尔比的触发词, 可以通过这样的一个在二十个训练级当中重复出现的短语来锁定为我们的触发词。而建议去使用英文,因为像这个 jama 的 话,识别英文还是会更好一些,尽管他也可以去识别中文。 我这里是做了音频和视频的同步训练, this place is dead。 这个地方我除了人物长得很像之外,它的声音也是很像的。 训练的视频可以不包含音频。如果我们想要黏着音频一块去训练呢?我们得确保我们训练当中有音频标签呢,不一定也要做成 txt 文档呢,再进行上传。我们可以直接在这个地方手打 一样奏效。那么这个地方总结一下,视频需要一百二十一帧,二十四帧每秒钟,至少在我提供的可以在消费级显卡上运行的预设的要求是这样的,提日词遵循 l t s two 的 推理规则,我们就进行标签的填写。 训练级这个地方要做足文章,如果不想进行更为复杂的参数的调节,我们只需要我这里租用的是五零九零。 进入更换一下训练集,比如说这个,然后更新一下任务,点击运行就可以执行任务了。在三张卡上我都已经跑过了,前面的这个名字呢,并不会影响我们诺尔模型的实质,但是如果想改这个名字的话,我们可以直接复制一份,这样就可以改名字了。 切一下训练集,再次开始训练,那么这就是训练的快速启动。我的预设下,每一百步就会保存一个诺尔模型, 在 workspace ai 二 toolkit 下面的 output 文件夹下面呢,可以看到我们训练的保存的软模型可以进行下载, 那么这就是快速启动。在这个下一部分呢,我们来看到详细的参数的调节。首先我们模型这个地方选择 l t x two, 设置一下,我们 l t x two 要去训练的模型的路径已经做好了, 是否要开启低选存的这个训练呢?那么我觉得对于这个四十八 gb 及以下的显卡,几乎都是要去选择开启的,是否要将暂时不用的存卸载到 cpu 内存呢?对于 transformer 的 部分呢,我选择百分之一百卸载, 如果做该项,那我们得确保我们的这个内存呢应当要大于六十四 gb。 那 么文本编码器这个地方呢,我直接选择百分之零, 原因是在下方呢,我开启了两项,一个是缓存文本切入和缓存浅空间。那么这两项对于 l t x two 的 训练呢,事关重要,它们非常的影响我们对于显存的消耗。 后一部分对于 jama 呢,我们量化到这个四比特呢,运行良好,可以也建议对这个完美编码器进行四比特的量化,那么 transformer 这个地方的话,最好我们还是不做量化 lora 的 这个维度呢,我用的是六十四,可以干大,按道理来说这个值越大,保留的讯息呢, 尤其是我们追求人物的这种 id 的 一致啊,应当可以适当调高。六十四的话,我一个洛尔模型就已经是一个多 g b 了,我认为已经够高了。下面这个保存的精度呢,我们就选择 b f 一 六, 每一百步呢保存一个洛尔模型啊,我要求是全部保存。下面的 batch size 的 话我暂时就用一,因为在消费级的显卡上面,我好像用到一以上呢,就已经没有办法去正常运行了,其他的部分都可以保持不动。 该向我们之前的视频当中介绍过,训练级这个地方的话,我们一定要选择自己对应的训练级,是否要做这个辅道视频呢?建议开启对于这个性能的占用呢,应当是可以忽略不计的。是不是要做音频的训练呢?如果我们训练级当中有音频,我们就把该项开出来, 最大化音量要不要开呢?训练级当中我们的音频过小的话,我们可以选择开一下在下一项,如果我们严格的遵循了二十四帧每秒的帧率, 我们可以不开起改向。也建议我们在做训练级的时候就尽量的去完善。在训练的分辨率这个地方呢就是分水岭了,如果是我们 四零九零的二十四 gb 的 显卡,我们应当只能去训练五幺二,训练到七六八会比较费力,那么到了这个四零九零的四十八 g 呢?我们可以训练到一零二四,五零九零,也可以训练到一零二四。 训练分辨率的提高意味着我们可以推理分辨率也变高,这样按道理会让我们的 id 更为的一致,保留更多的细节。所以分辨率的话提到一零二十四还是不错的,这个地方能提到一零二十四就尽量提到一零二十四,更新一下任务呢? 下方的彩样这个地方的话,我建议是关闭彩样,它会大大的去降低我们的训练速度。但是如果一定要开启, 我的建议是把这些该加载的这些题日词以及图像全部给加载上去,因为他这里的采用题日词的规则是,比如我上面每一百步保存一个 word 模型,他就会把下面的这么十个测试题日词全给采用一遍, 这里是十个,我们也可以删掉另外的九个,只保留一个,应当要遵循这样的一个规则。其他的项目话比照着我们推理过程当中的参数进行理解, 更新人物点击训练呢,就可以开始训练这个视频。所有的言论都来自于官方,大家可以解锁前面的这一段字母,在邮件上面可以找到官方的账户 去查看原版的视频。如果我们租用五零九零的显卡,给到的内存是九十四点三 gb ai 视频模型的发展确实是给这个内存上了很大的强度,因为我们经常在显存当中放不下的这个模型就要放到这个内存当中去了,那么内存涨价也是非常的合理的, 可以看到现在就已经正在进行训练了,一般情况下练到五千步就可以出一个罗尔模型,这个速度在五零九零下会越来越快,三千步已经可以出效果了,五千步会比较的合适,这个结论也来自于官方 跑一零二四,五零九零刚好占满,所以这是一个比较合适的最为性价比的推荐用卡。 在 checkpoints 这个地方,如果我们每一百步保存一个模型,会在这里直接给到模型,除了在这个 autopod 当中进行下载之外,右边这个小箭头我们也是可以直接进行下载的, 这里的结果我都是我使用五千步的 low 二模型呢生成出来的,可以看到人物的一致性是非常的高的,而且它还会学习我们的音频片段当中的人物的音色, 这样的进步绝对是非常有意义的,大家感兴趣的可以自己去尝试一下,尤其是做研究和探索的。

现代 ai 模型规模巨大,它们驱动着大语言模型、编程助手、图像和视频生成系统,甚至蛋白质结构预测。预训练后的模型具备通用能力, 但我们常常需要将它们专精于法律、金融或医疗等领域。然而,这会立刻遇到一个核心问题, 对整个模型进行全参数微调更新每一个权重成本极其高昂。对于一个七百亿参数的模型, 仅权重在十六位精度下就需要大约一百四十 gb 的 存储空间。如果每个任务都需要一份独立的完整模型副本, 仅存储这些副本就会迅速变得难以管理。在本视频中,我们将探讨参数高效微调的核心思想。具体来说,我们会解释 lo 二 a 是 什么,它如何工作,并分享一些最近的进展。 在 transformer 中,大部分计算发生在限性层。例如,在注意力层中,我们使用限性层来生成查询趋键 t 和值。在前馈网络中,我们也使用限性层来扩展表示应用非限性, 再将其投影回原始维度。所有这些限性层执行的都是同一个基本操作。 将一个矩阵乘以一个向量,我们可以将其中一个向量。我们可以将其中一个向量 w 乘 x, 其中 x 是 输入向量, w 是 权重矩阵, y 是 输出向量。现在,我们不再直接微调所有单独的权重,而是冻结原始的预训练权重矩阵, 并添加一个新的可训练矩阵,称为 delta w。 这个 delta w 捕捉了我们希望添加到原始权重上的变化,我们可以把它视为一个任务特定的修正项。 在微调完成后,我们可以将训练好的 delta w 与原始的预训练权重 w 零合并。合并权重可以确保在推理时 模型运行速度与原始的预训练版本完全相同。这是因为 w 零加上 delta w 可以 在训练后预先计算为一个普通的权重矩阵。但这样做仍然没有解决核心问题,我们仍然在训练一个巨大的权重矩阵。 关键思想在于,假设这个修正矩阵 delta w 具有低质结构,也就是说,该任务可能只需要在少数几个重要的方向上移动模型。举例来说,我们有一个六 x 六的权重矩阵, 总共三十六个数字。但如果我们仔细观察,会发现这些列向量 c 一 和 c 二, 其他每一列都是它们的宪性组合。这种褶余允许我们将完整的矩阵分解成一个更简单的形式。 左边是一个六 x 二的矩阵,包含前两个列向量。右边是一个二 x 六的矩阵,其中的每一列都包含了重建原始矩阵某一列所需的系数。 基于前两个基向量,这里的数字二被称为质十 rank。 质衡量了一个矩阵真正包含多少个独立的方向。现在,我们将这个低质思想应用到矩阵更新上。我们不再直接学习一个大的 dot w, 而是学习两个更小的矩阵, a 和 b。 b 是 瘦高型的, a 是 矮胖型的。这个技巧就叫做低质自适应 low rank adaptation, 简称 low r a。 通过将 delta w 分 解成这两个低质矩阵, 我们大幅减少了可训练参数的数量。在实践中, leo r a 通常会用一个因子来缩放更新以控制适配器相对于冻结模型的强度。这个因子是 alpha 除以质二。除以质可以保持更新的大小, 在改变质时大致稳定。这样我们就不需要每次选择新质时重新调整学习率。给定一个输入向量 x。 输出向量外包含两个部分,第一部分是适应前的原始输出,第二部分是学习到的修正项。但这个低维修正到底意味着什么呢?让我们把矩阵 a 和 b 分 解成形向量和列向量,这样 我们可以将 b 乘以 a 重写。为一系列向量外积的和。这个表达式提供了一个有趣的解释。我们可以将形象量 a 一 和 a 二视为件 case, 将列向量 b 一 和 b 二视为值 values。 见向量与输入向量 x 的 点击衡量了 x 与该见的匹配程度。因此,见向量 a 的 行为就像一个特征检测器,列向量 b 则指定了当该检测器被激活时要添加什么样的修正。 例如,如果我们对一个通用模型进行医学文献的微调,见向量 a 一 可能检测到心脏病问题, 而值向量 b 一 则添加心脏病学专业知识。见向量 a 二可能检测到糖尿病问题,值向量 b 二则添加糖尿病专业知识。这给了我们一个有用的解释, l o r a 的 行为类似于一种局部关联记忆 l o s c t f memory 之所以说是局部的,是因为如果输入向量 x 与特定领域不相关,相似度得分就会很小。 适配器几乎不会引入任何修正基础模型,保留其通用知识,而 l r a 则添加了一个紧凑的任务特定记忆库,这个特性也使 l r a 非常实用。对于不同的任务,我们可以保持同一个冻结的主干模型, 并换用不同的适配器。我们甚至可以将多个 l r a 适配器组合起来,并调整它们的相对贡献。 既然我们知道了楼阿 a 学习什么,下一个问题就是如何安全地开始训练。一种自然的选择是用从高斯分布中采用的随机值来促使化权重矩阵。然而,如果矩阵 b 和 a 都随机促使化, 那么输出修正 delta y 在 训练开始时通常不会是零。这是不可取的,因为它意味着适配器在训练开始之前就已经在修改模型的输出了,这可能会破坏稳定性并干扰预训练模型的知识。 因此,我们希望适配器在出使时不引入任何变化,这样它学到的所有修正都完全来自于微调,而非随机出使化。将矩阵 b 和 a 都设为零可以实现这一点。 初使输出修正对于任何输入向量都为零。但问题是,如果 b 和 a 都从零开始,那么在反向传播过程中就没有学习信号,适配器会彻底死掉。 所以,正确的做法是,一个矩阵随机出使化,另一个从零开始。这给了我们两种选择, 可以随机出使化 b, a 为零,或者 a 随机出使化 b 为零。两种方式都有效。在第一步训练时,被出使化为零的那个矩阵接收不到梯度, 但另一个矩阵开始学习第一步之后,两个矩阵都能正常学习了。 lori 通常采用随机出场 a, 零出场 b 的 方案,这样适配器出使时什么都不做,但 b 可以 立即接收到有用的梯度。 一旦 b 离开零值, a 也能开始学习。为什么?因为矩阵 a 充当特征提取器,它将输入投影到低质空间。矩阵 b 随后将这些低质特征映射回模型的输出空间作为修正,随机出使化 a, 零出使化 b 为适配器提供了多样化的初使特征方向,同时确保初使修正为零。相比之下,如果 a 从零开始低至特征最初都为零, 只能缓慢增长,这会给 b 一个更弱、更单一的早期信号。随即,矩阵 a 从第一步起就提供了丰富的方向集合。由于矩阵 a 和 b 扮演不同的角色, 我们可能想为他们使用不同的学习率。 o r a plus 为矩阵 a 分 配较小的学习率, 为矩阵 b 分 配较大的学习率。原因是 a 和 b 在 不同的尺度上工作。矩阵 a 将宽输入映射到少数几个维度,矩阵 b 则将这几个维度映射回完整的输出空间。使用相同的学习率时, b 往往训练不足。给 b 一个更大的学习率有助于两个矩阵以匹配的速度学习。这个简单的改变可以加快微调速度,并且通常在没有额外参数的情况下获得更好的最终性能。 尽管 lora 是 佩奇,紧凑且异于训练,但一个主要挑战仍然存在,内存使用。让我们来举一个例子。假设我们要微调一个七百亿参数的基础模型,我们将 g r 设为六十四, 并适配所有限性层。在这种情况下,可训练参数的数量是五点八七亿,不到基础模型参数的百分之一。这些可训练参数在使用十六位精度时仅占用一点一七 gb 内存,但基础模型非常庞大, 在十六位精度下占用大约一百四十 gb。 让微调更易于普及的关键思路 是使用量化技术来压缩冻结的基础模型。基础权重以低精度存储,但在计算时可以实时解量化回用于矩阵乘法的更高精度格式。只有适配器的权重保持全精度并可训练。如果能够做到这一点, 整个系统的微调可以适配到单个四十八 gb 的 gpu 上。这被称为量化 a o r a 及 q l o r a。 我 们来看看如何量化权重。我们从十六位的原始权重值开始,我们找出组内的最大绝对值, 并重新缩放这些值,使它们落在麦氏一到一之间。使用四位,我们只有十六个可能的编码,但我们希望这些量化级别。关于零点对称, 即最负和最正的编码相互镜像。我们还希望一个编码正好为零。这样对称的集合必须拥有极数个编码。然而,四位给我们的是偶数十六个。为了确保对称性并确保零能被精确表示, 这对神经网络很重要。我们使用外视七到七的范围,放弃极端的外视八编码。这样正数和负数的量化级别数量相等, 并且零被直接编码。量化过程将每个归一化后的值映射到最近的四位级别上。冻结的基础模型因此变得小很多, 而 lo r a 式配器仍然保持全精度可训练。我们获得了大型预训练模型的好处, 但只需要为这个小式配器支付训练内存。但有一个问题,网络权重通常不是均匀分布的,大多数权重聚集在零附近, 呈正态分布。如果我们选择等间距的十六个量化级别,就会浪费精度。许多编码落在权重很少出现的区域,而零附近大多数权重聚集的地方却缺乏足够的分辨率。为了解决这个问题, 我们使用针对零均值正态分布量身定制的分位数量化。这种方法使得每个区间包含等量的权重, 在权重密集的地方接近零区间很窄,在尾部区间很宽。换句话说,我们把更多的量化级别花在权重实际所在的地方。与需要丢弃一个编码来保持对称的均匀网格不同, nf 四保留了全部十六个非均匀级别。但由于十六是偶数,没有一个级别恰好落在零上,因此我们非对称地构建这些级别。我们在一一到零之间创建八个级别, 在零到一之间创建九个级别,两边都包含一个零级别,所以我们移除重复的那个八加九减一,正好是十六个级别。这被称为 normal float 四,简称 n f 四。 n f 四不仅仅是普通的四位整数,它的级别是专门为近四正态分布的权重而选择的。换句话说, n f 四将四位的预算花在了最关键的地方,从而降低了量化误差,更好地表示了神经网络的权重。 但还有另一个问题,如果我们对整个模型使用单一的缩放因子 c, 那 么一个离群点就可能主导这个缩放因子。例如,假设某个离群点权重值为四点一七, 那么缩放因子 c 就是 四点一七。当根据这个缩放因子归一化所有权重时, 所有权重都会被压缩到零附近的微小区域。为了缓解这个问题,我们将权重分成小块,每个块都有自己的缩放因子,一个离群点不再会破坏整个矩阵的缩放,这被称为分块量化 wise quantization。 但现在我们有了许多缩放因子需要存储。如果每个缩放因子都用三十二位存储, 那么对于六十四的块大小,每个参数就需要额外零点五位。因此, q l r a。 进一步将缩放因子本身量化为八位值。由于我们同时量化了权重和缩放因子, 这被称为双重量化扩展剂。因此,通过分块 n f 四量化和双重量化 q l r a 使得在单个四十八 g b gpu 上微调七百亿参数的模型成为可能。 q l r a。 让更多人能够在甚至中等硬件上微调 ai 模型。 现在,让我们进一步推进这个想法。在 low r a 中,我们对每个被适配的向量层学习两个矩阵 b 和 a。 这些矩阵已经比原始权重矩阵小得多, 但跨许多层加起来仍然可观。为了进一步提高参数效率, v e r a。 使用了一对随机出场的矩阵冻结它们, 并在所有被适配的层之间共享。模型不再学习 b 和 a 内部的所有元素,而是引入了可训练的向量,使每一层能单独进行适配。因此, v e r a。 将学习问题从学习新方向转变为学习如何使用一组共享的冻结随机方向每个对角矩阵重新缩放共享的冻结方向, 一个作用于所有低至方向,另一个作用于输出型缩放向量 b 从零开始, 因此权重最初保持不变,而 d 从一个小的可调长量开始。 v e r a 使用这个方程生成权重更新。 v e r a 的 可训练参数量变得非常小。举例来说, 假设输入维度是四零九六,低至是六十四。假设我们在八十层上添加适配器。标准的 i o r a 为每一层训练 a 和 b 矩阵 总共大约四千两百万个可训练参数。相比之下, v 二 a 只训练缩放向量 大约三百三十三千个可训练参数。在这个例子中, v 二 a 使用的可训练参数比 low 二 a 少了大约一百二十六倍。 v 二 a 不是 直接学习低质方向, 而是重用一组固定的随机方向,并学习每个方向的使用强度。但还有一个局限性, l r a 向权重矩阵添加了一个低质修正。这是一个二 d 示意图,这是冻结的预训练权重 w 零。我们加上修正权重 delta w 形成新的权重 wty。 这个修正可以同时改变权重向量的方向和长度,但这两个效果是捆绑在一起的。在这个例子中,新的权重 wty 既略微调整了方向, 又增加了长度。然而, y o r a 将方向和量级的变化藕合在一起,因此关键思想是分别。

可以提速十倍的 s d x l laura 训练方式你知道吗?在训练 s d x l laura 时,如果你勾选了这个参数,会比默认参数提升十倍训练速度。 但这样的情况下,训练出来的 laura 效果会如何呢?视频的最后会有实测效果对比。本节课是 laura 训练系列课的第六节, s d x l laura 训练方法及提速技巧。正文部分会分两部分,第一部分是训练 s d x l laura 时,基础参数应该如何设置。 第二部分是对于一些可选参数调整之后会对训练速度造成多大影响的实测数据,如果是已经使用过 s d x l 训练 laura 的朋友,可以根据进度条提示自行跳转。第一部分训练 s d x l laura 的基础参数设置首先你需要提前下 在好 s d x l 的基础模型,这里还是推荐官方最原始的 s d x l base 一点零 safe tensors 模型,用这个模型训练出来的 lora 理论上泛用性会更好一些。这个模型还是蛮好搜索到的, 如果实在找不到,也可以到群文件自取。下载完成后需要放在 s d models 文件夹下,双击 a, 启动脚本 bat 文件,启动 s d trainer, 进入专家模式。训练种类,选择 s d x l laura 底膜文件路径,找到刚才下载好的 s d x l base 模型。 接下来这几个选项不用管,直接到数据集设置,这里选择。训练数据集路径这里需要提前准备好自己的训练集,建议提前准备好一千零二十四像素乘幺零二四像素的图片演示,按 力中准备的是苹果微神 pro 的高清图片训练级,前边的这个数字代表每张图片重复几次,这里设置的是五,也就是在一批中每张图片会重复学习五次。 正则化部分,暂时先不用管。图片分辨率部分,因为素材我们已经处理过了,所以这里直接填写一千零二十四乘幺零二四就好,注意逗号要用英文绊脚。 而分桶部分,这个选项主要是用来兼容不同尺寸的图片的,开启之后允许训练级不是统一的尺寸,但一定程度上训练速度会变慢,所以这里建议提前处理好训练级图片尺寸,然后把这个选项关掉。保存设置部分,这里是输出模 型的名字,按照自己的喜好设置就好。建议 x l 的模型可以在名字中加个 x l, 后续自己使用或者分享的时候能知道是什么版本的 lora 模型。保存精度,这里如果是 andy 四十系的新显卡, 建议用 b f 十六,如果 b f 十六报错的话,可以修改为 f p 十六,两个差别其实差不太多,实测下来 b f 十六会稍微快一点点,接下来这一大堆参数全部默认就可以。 速度优化选项部分,如果是四十系新显卡训练混合精度可以修改为 b f 十六,完全使用 b f 十六,精度也建议开启老一点的显卡就保持默认就好了。接下来点击开始训练,就可以训练你自己的 s d x l lara 了,我们来看一下速度, 嗯,这个速度仅仅短短九百五十步,就要将近八个小时,怎么看都不能算快。除了买更好的显卡外,有没有不那么费钱的方法呢?其实有的,我们可以通过参数的调整来实现基本不降低质量的前提下, 大幅提升整体 s d x l laura 的渲染速度。第二部分 s d x l laura 训练提速技巧先说一下测试用的硬件环境, cpu 是 intel 一万三千六百 k f 内存 d d r 五四条十六 g 共六十四 g, 显卡是四零六零 t i 十六 g 四 t 固态硬 盘,显卡驱动 studio 五百四十六点三三。很普通的一套配置。经过多轮测试,得到这么一个表格,因为 laura 训练启动后,前边几步时间会比较长, 随着训练步数的提升,每一步需要的时间会迅速变短,若干步之后速度会趋于稳定。所以这里单步超过十秒的情况下,取第五步需要花费的时间。如果单步小于十秒,会取第七十步花费的时间。我们先看前边这五列,保存精度修改为 b f 十六, 或者开启低内存模式会较小幅度的提升训练的速度。关掉 formers 会极大的降低训练速度,而提升 butter size 会成倍的降低训练速度。虽然 butter size 会降低整体训练步数, 但是带来的时间损耗整体上反而是更长的。接下来就是见证奇迹的时刻了,仅开启梯度检查点就可以 将训练速度提升十倍,而开启仅训练 unite 也可以提升七倍的速度。而在开启仅训练 unite 的同时,开启文本编码器缓存,还可以进一步提升训练速度到将近十倍。为什么没有测试仅开启文本编码器缓存呢?因为这个选项开启时 必须搭配勾选仅训练 unite, 否则会报错。还有一个需要注意的点,开启文本编码器缓存后沙 for captions, 这个参数也需要调整为关闭才能正常运行。那么如果我把这些可以加速的最佳参数组合全组合在一起会如何呢? 结果是可以达到每步一点六秒,甚至 batch size 提升到二也会有二点六三秒。 it 的速度 基本上等于原始速度的十三点七倍。这个 s d x l laura 训练的梦之搭配就是。 你可能会问,这样搭配速度快是快了出来的, lord 质量应该不怎么样吧?那我们就来测试下同样的训练级、训练级标签、 学习率等参数。左侧是默认参数,耗时三小时二十五分钟,也就是两百二十五分钟。右侧是梦之搭配的参数,耗时二十一分钟,速度快了十倍。同样的参数,同样的权重搭配, s d x l vision turbo x l 的出图效果对比是这样的, 所以你会选择哪个方案呢?可以把你的答案打在公屏上。关于 laura 训练,你还想要了解哪些内容,也可以留言告诉我。这里是专注 ai 绘画的聚梦小课堂,记得关注我呀!

如果你是纯 ai 炼丹,心无旁骛,那就闭眼特斯拉 p 一 百。虽然它是几年前的老家伙,但它拥有十六 g h b m 二企业级显存,在跑大模型和训练 l o a 这件事上,它的性价比简直就是降维打击,同价位找不到对手。 但如果你比较贪心,既想体验 ai, 晚上还想打把游戏放松一下,那就别碰 p 一 百,老老实实选 g g x 一 零八零或者 r t x 二零六零 super 八 g 显存虽然紧凑,但跑量化模型够用了。 所以这是一个直击灵魂的问题。只有八百预算的情况下,你是想专心工作,还是想跟我一起摸鱼?想要手搓服务器?看我大身罗秋天?