最近大家逛西站的时候有没有看到 vivo 来 cos 的模型越来越多了, vivo 的 lolo 模型在控制人物相貌、物件风格化等方面都表现不错, 所以能画出很多超好看的小姐姐。最近 lola 的升级版 likoles 模型也越来越多了, likoles 和 lola 有什么区别呢?两者的区分从技术原理上来讲比较复杂,在表现上则为 likola 可以对二十六层神经网络进行微调,而 lola 只能对十七层神经网络进行微调, 所以 likecos 比 lover 信息存在量更高,控制的层数更多,某种程度上比 lola 更好用一些。目前 lolas 模型越来越多,也是因为他慢慢有超越 lola 模型成为主力微调模型的巨大潜力。接下来就教大家两种方法来使用 likecolos 模型吧,需要的链接也会提供给大家的哦。第一种, 打开 ybwi 界面,选择扩展,点击可下载,点击加载扩展列表,搜索 like hours 工具,选择安装重启 ybui 界面即可。第二种,选择扩展,点击从网址安装今天我们提供给大家的 like hours 插件链接,点击安装重启即可。 那么如何使用 like colors 模型呢?我们以命令出 go style 微缩世界风格模型为例,点击下载粘贴到 stable defuse 路径的 model 软件加下的 like colors 中,在 y 标语中点击模型显示按钮,选择 like colors 就可以看到了。 like 模型的基本使用方法和汉拉拉一样,也有更加高阶的三种参数设置玩法。后面我们也会出一期关于 like 模型如何辅助我们微调画面达到商业使用水平的视频,因为上期视频有小伙伴反馈想要我的插件库所有文件, 我也已经打包好了提供给大家,链接请在评论区获取哦!顶级优质 ai 资源尽在 ai 风向标,大家下期见!
粉丝104.3万获赞362.7万

以前想给几十亿参数的大模型做全量微调,那是大厂和顶级实验室才玩得起的算力游戏,动不动就需要几排几柜的顶配显卡连轴转,普通开发者根本摸不到门槛。但是自从有了 loo 技术,他硬生生把微调的显存需求直接砍掉了百分之九十以上。 各位,这意味着,现在哪怕你手里只有一张普通的二十四 g 家用显卡,你也有资格在自己的电脑上零成本训练出一个专属的行业大模型。今天我们就把 lora 技术彻底拆解明白。 我把视频内容分为了四个部分。首先,我们会花个几分钟理清一个底层逻辑,微调的本质到底在干嘛?基调定准了,你就会知道传统的做法有多吃亏,为什么我们非得用 lora 不 可? 搞懂了为什么?第二部分,我们来讲 lora 的 数学原理和实现机制,这部分非常关键,只有掌握了底层的低质分解,你才能够真正驾驭微调,面对面试官的原理,考打也丝毫不慌。 接下来第三部分,我们会顺带扫一眼现在的行业前沿,看看各种升级版的新玩法,毕竟显卡资源是永远不够用的,我们会看看怎么把性价比压榨到极致。最后呢,我会把我总结的参数设置和避坑指南全都列出来,看完这一部分,你马上就能抄作业去跑自己的模型了。 好,那我们就直接进入第一部分,来看看微调的本质。其实啊,大模型不管外面吹的有多神,他说白了,底层就是一堆密密麻麻的数字,也就是我们说的权重参数。 你看这个公式, w 一 撇等于 w 加上 data w, 原来的模型参数是 w, 我 们要教给他新技能,就是给他加上了一个变化量,就是这个 data w, 最后得到一组新的参数 w 一 撇微调,本质上就是在找这个 data w, 就 这么简单。 但是呢,问题来了,我们看右边这个图,以前我们做的是传统的全量微调,就是要把这几十亿、几百亿的参数全都给它重新算一遍。 这就像什么呢?假设你手里有一套几百万字的百科全书,现在你想往里面加上一点关于最新的网络热词,解释存量微调的做法,就是拿起红笔,把整套书从第一页第一个字开始全部重新抄一遍。你看这个图里面红笔改的密密麻麻的, 这种做法不仅费卡烧钱,而且模型还特别容易把以前学过的常识给忘了,也就是我们说的灾难性遗忘。对我们平时在公司跑业务来说,动不动就去搞全量微调,那算力成本肯定是吃不消的。那怎么破局呢? 既然整本重抄太笨了,大家就想出了 lora 这个办法,我们来对比一下这两个架构图。左边这个是常规微调, 你看左边这个 data w 模块跟原来的模型一样大,更新起来特别笨重。而 loo 他 特别聪明,他直接把原来那一个巨大的预训练权重 w 给冻结住了,不让他动。 然后呢,在旁边开了一条旁之路,在这条路上他放了两个小一点的矩阵,叫做 a 和 b, 我 们在训练的时候只更新这两个小矩阵,最后把它们相乘的结果当成那个变化量 data w 加回到原来的流程里面, 效果有多夸张呢?我们来看这个丙图,绿色的这一大片百分之九十五甚至更多的原始参数都不用算了,我们只需要管这个蓝色这一小撮可能只有百分之几甚至千分之几的参数。你看这一下子,几张普通的显卡也能跑得动大拇指微调了,对吧? 那说到这里,其实很多朋友第一次接触 lora 的 时候,心里都会有一个大大的问号,凭什么?对吧?凭什么?原来要更新几十亿个数字才能够学好的东西,现在你搞两个小矩阵就能够搞定了。模型真的能学会吗?这就涉及到了 lora 背后最核心的一个洞察,学术上叫低智。 我们来看这两张图你就懂了。你看左边这个厨师,其实基础的大模型,他已经是一个上知天文下知地理的博学家了。现在我们微调,比如让他去写你们公司的特定文案, 就好比让这个博学家去学做川菜,他需要从头开始去学什么是辣味,什么是火,什么是食物吗? 完全不需要,他脑子里已经有庞大的常识了,他只需要稍微记一下花椒怎么用这种特定规则就行了。这就是为什么那个变化量 datw 里面真正需要塞进去的新知识,其实没那么多。我们再看右边这个例子,这个也特别形象, 你看张三写了一篇两千字的水文,废话连篇,其中真正有信息量的就一句话,今天天气不错,我们去野餐吧。 大模型的参数也是一样的,虽然它可能会有几百亿个数字,看着挺吓人的,但其实数字跟数字之间有很强的关联性,大量的信息都适用于的。所以你看 lora 其实就是抓住了大模型的这个本质。 既然你本身信息就高度融合,不需要那么多参数来表达,那我就用极少的参数去精准捕捉你那点核心的增量信息。 这就解释了为什么 luo 能用这么小的代价敲动那么大的模型。好,我们理清了大方向,现在进入第二部分, luo 的 数学原理和实线机制。 大家看到数学原理这四个字,先不要紧张哦,我们其实就是要搞明白一件事情,刚才说的那两个小矩阵,它在底层到底是怎么运转的?首先呢,我们需要破除一个名词障碍,叫做低至 low rank, 听得特别学术,对吧?但其实也特别好懂。大家看,这里有个例子,左边是有一个三乘三的矩阵,一共是九个数字,对吧?但是如果你稍微观察一下它的规律,你看第二行二四六,其实就是第一行一二三乘以二,第三行呢,就是第一行乘以三,对吧? 这意味着什么呢?这意味着这九个数字里真正有用的核心信息,其实只有第一行的那个一二三,剩下的全都是个固定套路,是荣誉的。所以啊,不管一个矩阵看着有多么庞大,只要他的数据存在高度的关联性, 他的有效信息维度其实是很低的,我们完全可以把那个核心的基底给抽出来,用很少的数据去还原他, 这就是低质的本质。在一堆废话里面去找重点。好,顺着这个找重点的思路,我们就来到了 lora 最核心的操作矩阵分解,既然我们上一章说了模型需要学的新知识,也就是这个黄色的 data w 信息量其实不大,是一个低质矩阵, 那我们在数学上就可以动手脚了,利用斜线代数的性质,我们直接把这个大矩阵给他深深的劈开,劈成两个小矩阵相乘,也就是右边这个矩阵 a 和矩阵 b。 大家注意看啊, 矩阵 a 呢,它是一个高瘦的柱子,矩阵 b 像一个矮胖的长条,对吧?他们俩相乘的时候,中间那个共同的维度,也就是 a 的 宽度和 b 的 高度,而 其实就是我们刚才说的那个有效信息维度。在学术上,我们管它叫 rank, 也就是智,那说到这个 rank 智,我们在实际跑代码的时候,这个 r 设置成多少最合适呢? 我这里有一条法则,是说 r 应该远远小于模型的原始维度。很多朋友刚开始接触微调的时候,可能会有个误区,觉得这个 r 设的越大,模型学到的东西就越多,效果就越好。但是你看左下角,这是原论文里面的测试数据,非常有意思, 你看啊,当 r 从一增加到了四的时候,哎,各项语言的指标确实在变好,对吧?但是当你把它加到八十六, 甚至加到一零二四的时候,你会发现效果并没有什么明显的提升,甚至呢还会掉一点点,这说明什么?这说明你要交给模型的那个新技能,它的信息量其实就那么一点大, 就好比你非要开一辆大卡车,就是很大的 r 去装,其实车厢里全是空的。所以我们平时训练 r 设置个四八十六往往就足够打了,那把 r 设小之后能省多少事呢?我们来算一笔直观的账,这也是我觉得 lor 最牛的地方。 假设我们要更新一个一零二四乘以五幺二的权重矩阵,如果是传统的微调,你要老老实实去算这五十二万多个参数。现在我们用 log 假设我们把刚才说的 r 设置成了三十二, 你看矩阵 a 就 变成了一零二四乘以三十二,那矩阵 b 呢,就是三十二乘以五幺二。我们只需要管这两个小矩阵,把它们的参数量加起来,只有不到五万个,参数 从五十二万多降到了四万九,那参数量只剩下原来的百分之九了。如果遇到更大的几百亿参数的模型,这个比例甚至能降到千分之几。 对于做工程落地的人来说,那就意味着你原本可能需要八张 a 一 百才能跑起来的训练,现在是一张消费级的四零九零就能轻松搞定了,这是实打实的降本增效。 最后这部分还有一个非常精妙的工程实现细节,大家一定要知道,就是他的出实化。大家想一个问题啊,刚开始微调的第一步,模型,其实什么新东西都没有学进去,对吧? 我们肯定希望这个时候新加进去的 a 和 b 不要去瞎干扰原来模型的输出,所以呢, low 的 作者非常聪明,你看他在最开始的时候把右边这个矩阵 b 用随机数出实化,但是呢,他把中间这个矩阵 a 啊,全都设置为零了,也就是全零出实化, 这有什么用呢?任何数乘零都是等于零对吧?这就意味着在训练的第一步, a 乘 b 的 结果就是等于零, a 它 w 也就是零, 那模型刚一上来,表现跟没加 load 之前是一模一样的。然后随着训练的一步步推进, a 里的数字慢慢不是零了,新知识才一点一点加进去,这就保证了训练初期的极度稳定,不容易崩。 另外大家注意看底下这个公式,这里多了一个字母叫阿尔法。我们在设置参数的时候也一定会遇到它,它其实就是一个缩放因子, 你可以把它想象成一个音量的旋钮,算出变化量之后,我们乘上一个阿尔法,除以 r 的 这个系数,用来控制新学到的知识对圆模型的影响到底有多大, 有个行业里面的经验值哦,我们通常会把这个阿尔法设置成 r 的 两倍,具体的我们在后面参数设置的部分还会再详细说。 好,我们把 luo 最底层的数学逻辑盘清楚了,那我说到这里,你可能会觉得,哎,把参数量降到百分之几,这已经很极限了吧,一台电脑就能跑了,还要什么自行车啊。 其实不然,大模型这个圈子卷的是非常夸张的,既然能降,那能不能再降一点?这就引出了我们的第三部分, q luo 和其他的一些境界的新玩法。我们先来看目前大家用的最多,基本上可以说是平民玩家标配的 q luo, 这里面这个 q 呢,就是 quantization 量化。原本我们大模型里面的数字都是非常精确的小数,比如说十六位甚至三十二位的浮点数,非常占用显存,那 q 洛尔是怎么做的呢?他直接大刀阔斧把这些精确的小数压缩成了四倍的粗略整数。 这一压好家伙,模型的体积直接缩水了好几倍,单卡二十四 g 的 显存也能够跑七十亿甚至更大的模型了。但是注意,我们用来微调的这两个小矩阵 a 和 b, 它们是不做这种极端压缩的,它们还是保持高精度的计算。 这就相当于大部队虽然因为后勤不够降级了,但是我们派出去学习新知识的特种部队,用的依然是顶配的装备。这样一来,既省了卡,又保证了微调的效果,可以说是性价比拉满。 那除了这个 q loro, 因为 loro 实在是太火了,这几年学术界还卷出了好多升级版,我给大家简单的介绍几个。 比如第一个 loro, 他 觉得原来 loro 更新参数的时候有一点手脚不协调,所以呢,他在算法上做了一个结偶,把权重的方向和大小分开来学,这样模型学习复杂任务来表达能力就会强很多。 再看中间这个 loro 加,哎,这个思路我觉得特别有意思,刚才我们不是说矩阵 a 上来全是零,矩阵 b 是 一堆随机数吗? 它的起点根本不一样,凭什么训练的时候要让它们用同一个速度去更新呢?所以 loo 加呢,就给这个 a 和 b 设置了不同的学习率,相当于是因材施教。结果发现,嘿,不仅训练变快了,最后模型变聪明的效果还更好了。 然后呢,还有 r s loo, 它其实解决了一个很多人微调的时候都会碰到的痛点。刚才我们说过,普通 loo 的 制,设置个八或者是十六就差不多了。 有时候你遇到特别复杂的任务,你硬把 r 开到一百二十八,二百五十六,满心欢喜的以为模型能学到更多东西,结果一跑, boss 许仙直接崩了,训练很不稳定, 那么 r s lora 就是 对内部的缩放比例做了一个数学上的优化,用了它之后啊,你哪怕这个 rank 开得很高,模型也能稳稳当当的继续学,不会轻易崩溃。这对于那些需要给模型疯狂灌输大量新知识的场景,比如说要学一门,嗯,全新的冷门语言是非常有用的。 当然了,对于大部分刚上手的人来说,也不用死记硬背。这些变体你只要知道,不管外面的花样怎么变,他们底层的灵魂都是我们刚才拆解过的低质分解。 如果你平时做项目的话,你只要知道武器库里面还有这些进阶的装备,哪怕哪一天,圆满的 logo 满足不了你了,你懂得,来回翻这几张牌就完全足够了。 好,前面铺垫了这么多理论和遍体,可能很多朋友已经迫不及待去跑代码了。最后一部分,我们来盘点一下在真实写训练脚本调餐的时候,那些最容易踩坑,最容易让人抓狂的地方。 大家如果用开源的工具微调过,就一定会面对配置文件里这三个参数,我们一个一个来看。首先第一个也是最核心的 r rank, 这个参数我们在前面反复的提过,它决定了模型能容纳多少新知识。 我再强调一遍,真的没必要去迷信,大力出奇迹,一般日常的任务设置个八十六,最多三十二,绝对够用了。设的太大,不仅训练慢,还特别容易过你河。第二个, loro alpha, 还记得我们前面打的比方吗?它就是一个音量旋钮,是用来控制新知识对原模型的影响权重。绝大多数情况下,你直接把这个阿尔法设置成跟阿尔一样大,或者是阿尔的两倍,是很安全的。比如说你阿尔是十六,阿尔法就给十六或者是三十二。 除非呢?你去用我们刚才讲的 lower 加这一类特殊的变体,那就得老老实实按它们论文里的配方来。第三个, target modules, 也就是你要把 logo 挂在哪些层上。很多框架默认非常保守,只给你加在注意力的 q approach 和 v approach 上。这种做法最省,显存跑起来最快。 但是你看,如果你的显卡资源稍微富裕一点,或者是你想追求极致的微调效果,那强烈建议你把括号里面这些 k approach、 o approach, 甚至后面的前馈层全给它覆盖上, 代价肯定是显存占用变高,但模型理解复杂指令的能力会有一个质的飞跃。 ok, ok! 最后我们来过一遍这几个很容易被忽略的避坑小贴士,这可都是我们用算力和时间砸出来的血泪经验。 第一条, drop out, 其实你就可以把它当成一个防死记硬币的开关。如果你手里的数据特别小,比如说你只弄了几百条问答,那你把 drop out 给个零点零五或者是零点一,防止模型过你核。但如果你的数据量很庞大, 几万条几十万条,那就直接设为零,不需要开,让模型敞开了学第二条 bios, 也就是偏置,听我的,通常情况下呢,直接保持默认的 long 就 可以了,千万别手痒去微调它,用了反而容易出一些莫名其妙的收敛问题。 第三个呢,是数据类型,这个很重要,如果你显卡支持,我们一定一定要选 b f 十六,千万别去选那个 f p 十六。为什么呢?因为大模型在训练的时候经常会蹦出一些极端大的数字, fp 十六的表示范围比较窄,特别容易溢出,你可能跑着跑着突然 boss 爆掉了,白跑几天,而 bf 十六就稳健的多。如果你结合了我们刚才说的 q laureo 框架,会自动帮你把底座压成 speed。 但在运算这一步,记得一定还是要用 bf 十六 最后一条呢。这是一个报显存的急救顺序,你看,假设你一跑,代码啊报错了, o m 显存不够,应该怎么砍配置呢?千万别一上来就去砍这个,那太伤模型效果了。 你的第一步应该是立刻换上 q lora, 这招最立竿见影,如果还报呢?第二步,再去把 r g 稍微调小一点点,实在不行了,再到最后一步,你再考虑去减少复写的层数, 如果按照这个优先级来,能在你现有的破显卡上保住最大的模型战斗力。好,那关于 loro 微调原理的拆解,我们就讲到这里,我简单总结一下。 首先我们理清了微调的本质,其实就是求原有参数的一个增量 data w。 然后我们是拆解了 loro 的 底层机制,它是利用低置矩阵分解的数学特性,把庞大的参数更新转化为两个小矩阵相乘,从而呢大幅度降低了需要训练的参数量。 接着我们还介绍了 q logo 等等进阶玩法,进一步降低训练的显存门槛。最后就是刚刚给大家梳理的核心参数设置和实战避坑建议,行理论加实操都齐活。接下来呢,你就差动手去跑个模型了。这期先到这,我们下期再见!

如果我们想要微调一个拥有上千亿参数的大模型,最直接的方法就是把它所有的参数都重新训练一遍,这样做的代价太大了,有没有可能?我们根本不需要改变上千亿个参数?有没有可能?在这片由数字构成的庞大空间里,真正决定模型变化的只有少数几个方向?答案呢?藏在一个数学概念里,就是举 的质。在解释大模型微调之前,我们先来看两个项链,第一个项链是一二,第二个项链是二四。我们发现第二个项链实际上是第一个项链拉成了两倍。如果把它们画在平面上,两根箭头就会指向完全相同的方向,他们有不同的长度,但是没有带来新的方向。所以即使这里出现了两个项链, 他们真正能够表达的独立方向只有一个。把这两个项链放到同一个矩阵里,那这个矩阵的质就是一。我们现在换两个项链, 向量 a 是 一零,向量 b 是 零一,那向量 a 呢?就指向了水平方向,向量 b 就 指向了数值方向。这一次,不论怎么拉伸,第一个向量都无法得到第二个向量,因为它们是两个彼此读 独立的方向。而有了这两个方向之后,平面中的任意一个向量都可以写成向量 a 和向量 b 的 加群求和。如果我们把向量 a 和向量 b 放到同一个矩阵里,那这个矩阵的质就是二,这就是矩阵质的最直观的含义。矩阵里究竟藏着多少个相互独立的方向?独立的方向越多,它能够表达的变化就越丰富。 我们再想象一下,你前面有一套极其复杂的音响系统,在他的控制台上密密麻麻的排列着一千个按钮,每一个按钮呢,都控制声音的一项细微属性,有的影响低音,有的影响人声,有的影响空间感。现在如果你想把声音调的更加厚重,难道必须逐个调整这一千个按钮吗?那很麻烦。工程师发现, 如果想让声音变厚重,某些按钮总会一起升高,而另外一些按钮呢,总会一起降低的。于是工程师把这一千个按钮隐藏起来, 只在外面留下了一个按钮。当我们转动这一个按钮的时候,后面的一千个按钮就会按照某种固定的比例同时变化,这个固定的 比例就是一个变化方向。一个旋钮对应一种联动模式,也就是一个独立的方向。如果只有一个旋钮,那它能够控制的变化就是一个。如果存在,比如说四个彼此独立的旋钮,那么这些旋钮的变化就可以由四个方向组合而成。 表面上是一千个旋钮全部发生了变化,但真正控制这些变化的可能只有四个旋钮。好,现在我们回到大模型,在大模型的每一层中都存在大量的权重矩阵,我们把其中一个矩阵记作 w 零,这个是在预训练阶段已经学习好的参数。传统的旋量微调会直接修改 w 零中的大量数字, 现在呢,我们选择一条完全不同的道路,我们把它原来的权重先给冻结,然后给他增加一个很小的变化量的它 w, 于是微调之后的权重就变成了 w 零加上的它 w 真正需要学习的不是一个完整的新权重,而是这部分变化。那问题依然存在。 如果 w 零是一个巨大的矩阵,那的它 w 也是一个同样巨大的矩阵,还得是训练这么多参数。微软研究院提出了一个关键假设,就是模型在 适应一项新任务的时候,所需要的权重变化可能并没有那么多独立的方向。换句话说,要调整 delta w 并不需要把矩阵里的每一个参数都调整一遍,而只是需要针对几个方向进行调节。就像刚才调音响,并不需要一千个旋钮都调一遍,只需要调节四个彼此独 力方向的旋转就可以了。这种把大量参数调节简化为某几个方向调节的方式叫做低智。调节低就代表少嘛,智是方向。 low rank adapter, 也就是 low rank。 好, 现在假设我们需要微调一个通用的大模型,我们从模型中取一个具体的权重矩阵 w 零,它的大小是 四零九六乘四零九六,是一千六百七十七万七千二百一十六个参数。传统的全量微调会直接修改这些参数,而 lora 他 会把 w 零给冻结不去动,然后单独生成一个变化矩阵。变化矩阵如何生成呢?那假设我们这次的任务只需要四个主要的变化方向。我们把 lora 的 质设为四 向量矩阵 d, 它 w 由调整矩阵 a 和矩阵 b 相乘得来,矩阵 a 不 得把书的向量投影到四维,也就是在这四个维度上需要调整多少矩阵 b 呢?一共有四列,每一列都是一个四零九六维的向量。我们可以把这四列理解成输出空间中的四个变化方向,所以就是矩阵 b 调 提供了调整的方向。矩阵 a 决定了调整的力度。比如我们要求模型说请帮我写一份医学报告,那矩阵 b 呢,就规定了四个调整的方向,分别为专业程度、严谨程度、幽默程度、简洁程度。那矩阵 a 呢,就规定了四个方向的旋钮力度。比如说医学报告,它需要专业严谨, 不需要幽默,也不需要太简洁,所以就可以把专业程度设为零点八,严谨设为零点九,幽默设为零点一,简洁设为零点六。这种方式进行微调,能够少调多少参数呢?我们假设一个权重矩阵,大小是四零九六乘以四零九六。如果直接训练,它需要调整一千六百多万个参数。 laura 并不会直接修改这一千六百多万个参数,它会把原来的权重冻结,然后在旁边去增加一条新的路径,先让输入经过矩阵 a, 把四零九六维压缩到四维,再经过矩阵 b, 把四维重新展开到四零九六维,那矩阵 a 的 大小是四乘四零九六,矩阵 b 的 大小是四零九六乘以四, 加起来的参数量只有三万两千七百六十八个。从一千六百七十七万七千二百一十六到三万两千七百六十八。它的根本原因就是我们在调整的过程中,只允许信息通过八个低维通道。 low rank 嘛, 这个就是 laura 的 基本原理,它是二零二一年六月十七日,微软研究院的一些学者发表了一篇论文,叫 low rank adaptation of large language models。 在 这篇论文里,他们提出了冻结预训练模型的原始参数,并在 transformer 从中加入可训练的低质分解矩阵,就是我们刚才提到的矩阵 a 和矩阵 b。 因为针对 g t p 三的比较中, lo ra 最多可将训练参数量降低约一万倍, g p o 显存的需求降低约三倍,同时仍然能够保持比较有竞争力的模型效果。但 lo ra 真正令人 惊叹的地方并不是它节省了多少显存,而是它结实了一种更深层的可能。一个系统可能无比庞大,但改变这个系统未必需要同等庞大的力量。大模型,它可能有数 十亿甚至上千亿个参数,他的参数空间可能庞大到超出了人类的直觉。但是当他学习一项新任务的时候,真正有用的变化或许只集中在几个少数的方向上。我们不必重写他已经拥有的全部参数,只要在他原有的能力之上找到那些关键的坐标轴,然后轻轻的修改。表面看, lara 是 一种 节省计算资源的工程方法。再深入一层,它是一种低智矩阵分解,如果继续再描述的,其实是一种关于改变的思想。 复杂不代表每一个部分都需要被单独控制。庞大也不代表每一次变化都必须得惊天动地。有时候,看似拥有无穷自由度的一个系统,它真正重要的运动往往只聚焦在几个方向上。

面试官突然盯着你问,既然普通的 lora 微调已经能省显存了,为什么在几十倍的大模型上你还要用 q lora? 如果你脱口而出说,因为 q lora 就是 把模型量化到了四 bit, 更省显存。恭喜你,这场面试基本可以准备回去等通知了。这种浮于表面的教科书回答,根本没有触及低智自适应的工程落地本质, 你连原始权重在显存里的空间吞吐都没盘明白,面试官怎么敢让你去动公司几十万预算的微调集群? 大家好,我是青竹,这道大模型专家岗的必考题,如果你能用大白话把它的底层工程体感讲清楚,面试官绝对会双眼放光。建议先点赞关注加收藏,避免后面找不到了。想系统学大模型的同学可以后台留言哦。 我们要搞清楚大场面试官考这个是看你有没有经历过真实的显存炸裂现场。普通的 lora 虽然冻结了原模型,只训练旁路小矩阵,但它有个致命的痛点,你依然要把 f p 十六或者 b f 十六的原始权重死死的加载到显存里。 一个七 b 的 模型,光是把底座放进去就得吃掉整整十四 g 显存并发稍微一上来,或者 batch size 稍微拉大一点,显存直接 o o m 给你看。 这时候 q lora 就 像一个带着降维打击武器的大佬拍马赶到。很多人以为 q lora 就是 简单的先搞量化再套 lora。 好 家伙,算法要是这么简单,人家怎么中 top 顶会? q lora 的 核心神仙操作是在计算流上把四比特量化,和 lora 做了深度藕合。 简单来说,他直接把预训练的权重以高保真度的四比特 n f 四量化格式塞进显存,这时候七比特模型直接瘦身到三到四个 g。 说到这,面试官肯定会冷笑,量化到四比特模型,精度不就直接崩了吗?别慌, q lora 祭出了他的两大底层兵器。 第一个大招叫双总量化 double quantization。 他 连量化描述自己都要再量化一遍,把显存压榨到了极致。同时在反向传播里,通过特殊的离群值 outlier 保留机制,死死护住梯度精度。 第二个保底神器叫分页优化器 page optimizers。 这就好比一个显存的安全气囊,当发生非限性的显存液突变,眼看就要 o o m 的 时候,它能丝滑地把非激活状态的梯度自动调度到 cpu 内存上,用时间换空间,彻底终结了闪退噩梦。 听到这里,面试官心里已经觉得你有点东西了。紧接着,你得把它的结构创新用一句话升华出来, 在 qura 的 世界里,那个被压榨到四 b 的 基座模型,就像是一个被砍了预算缩减开支到极致的四 b 的 穷苦打工人。 而叠加在上面的 lora 适配器,则是那个拿着高薪专门过来做高精度纠篇的外聘专家大佬。通过量化感知初步和梯度重缩放策略,这个专家大佬能在完全不给打工人增加显存负担的前提下,用最少的参数更新, 完美补偿掉四比特量化带来的误差。最终的效果,就是让一张普通的消费级显卡,直接具备了全参数微调级别的经验性能,显存直接从二十四 g 展到了五 g 左右,这就叫真正的工程体感。 说到这里,我给你留一道大厂的高频思考题。在 q lora 的 真实全量数据微调中, n f 四这种数据类型和普通的常规四比特量化相比, 在数学分布上到底强在哪里?为什么他能被称为量化界的正态分布?真正跑过微调?懂行的大佬,我们在评论区见。

大家好,我想接着用费曼学习法来分享一下我新学的微调方法。 laura 上一期讲了 parallel adapter, 它是在圆模型旁边增加一个可以训练的适配器模块。 laura 看起来也像是在旁边增加了一个旁路,但 这它并不是在增加个完整的 adopter 层,而是专门对模型原来的权重更新方式做了简化。首先呢,来介绍一下 lora 的 核心思想。 lora 的 核心思想就是利用低脂分解矩阵 对原有的权重矩阵进行一个更新,从而保持原有的预训练模型的权重不变,大大减少了下游任务中需要训练的参数量,提高了这个 计算效率。这句话第一次看有点让我们把它拆开理解。大模型里面有很多限行层,每个限行层里呢,又有一个很大的权重矩阵,假设它叫 w, 如果进行全参数微调,我们就要直接修改这个很大的 w。 但是 lora 认为模型为了适应一个新任务,权重发生的变化不一定非常复杂,可能只需要用一个比较小的变化量来表示。所以 lora 不 会直接训练原来的 w, 而是先把它冻结,然后在旁路增加两个更小的低值矩阵,也就是图中的 a 和 b。 laura 在 原始的预训练模型中增加了一条旁路,让输入除了经过原来的 权重 w, 还会经过 a 和 b。 它的过程可以简单理解为先降维再升维,就是在这里进行一个降维,然后通过 b 呢再把它升维。假设原来处理的信息维度很大,矩阵 a 先把它压缩到一个很小的维度,这个维度就是图中的 r 矩阵 b, 再把它恢复到原来的维度。因为 r 通常原小于原始的维度,所以 a 和 b 的 参数量比直接训练整个权重矩阵 w 要少很多。图中的公式为, h 等于 w 零 x 再加上 delta, w x 就 等于 w 零 x 加上 bax, 这是什么意思呢?这里的 w x 是 圆模型本来的输出,那 bax 是 lora 学习到的新任务的变化。最后把两部分进行一个相加,就得到了新的输出。我们可以把它理解成圆模型,继续完成原来的主要工作。 lora 只负责写一张很小的修改说明,告诉模型为了适应新任务还需要做哪些调整。再看图中的初步化,这 个视域图里, a 先进行随机的初识化, b 呢,初识化则为零。这样刚开始训练时, b a 的 乘积的结果接近于零,模型最初的输出基本不会被突然的改变。 随着训练的进行, a 和 b 才逐渐地学会新任务所需要的变化。最后呢,我们用一句话来总结 lora。 lora 他 不直接 修改大模型原有的权重,而是冻结原模型,只训练旁边两个很小的低值矩阵。用少量的参数学习新任务所带来的权重变化。这就是我目前用菲曼学习法对 lora 最简单的理解。我的分享结束啦!

哈喽,大家好,我是天才。上一期视频给大家讲了新的出图模型 ad 格隆 ford, 大家一次性认为这种模型它的艺术性非常的高, 真实的图像非常具有艺术感,在某些方面呢远远超乎了 z e match。 所以 本期视频和大家讲一下这个 ad 格隆 ford 的 一个微调 roo 模型之内包括它的图片素材打标以及渲染参数设置,以及最后的模型测试。首先第一步对图像素材进行打标, 今天我们使用的是一个 a p i 的 节点,至于为什么不使用本地的模型进行反推达标,待会再给大家讲解一下原因。首先我们使用的 a p i 节点是 fork 变老最近发布的一个节点,非常的方便简洁,易于使用。 我们看一下这个节点介绍,它支持多种的协议格式,包括 openai, gmail 的。 然后它的使用呢,也非常的简单, 我们只需要填写 a p i k 以及设定它的反推提词词即可使用。然后这边呢,设定了两种使用方法,简短的提词切换输入一个简短的提词词,那它生成适用于 ad group four 的 一个 jason 格式的提词词。第二个就是我们的图像反推达标,我们上传一张图像,然后再给它一段提词模板, 按到模板来生成提字词。那这边呢,我们常用的一个 api 节点,给大家分类了一个标准的 gmail 以及 tiffany 微次的一个版本,目前 tiffany 还不支持上传图片的一个识别操作。本期视频我们使用 gmail 来进行反推,然后我们看一下这个提字词反推节点到底怎么使用。 首先第一步接入图像,然后使用的是我们叠词反推的一个叠词标准叠词模板呢,我们这边选择这一个通过上传的图像反推,适合 a d u m four 的 一个标准完完整的阶梯格式。叠词这边是已经标准的 g p i 的 一个设置方法了, 首先它的是 a p i 的 协议,然后使用的是 g p i 三点一 flash 的 模型 base ur。 之后我们本地需要修改的一个设置呢,就是它的 a p i t 的 位置,首先我们打开它的一个节点位置, 它是不是会有一个文件 t s t 文件,我们这边可以新建一个 api 文件,比如说 gmail。 然后呢再回到我们的整个 as studio 里面,打开 api key, 那 我们这边新建完 great api key 之后呢,我们可以点击复制这个,那直接粘贴,直接复制它整个文件名, ok, 这样就已经设置完成了,我们就可以直接运行了。我们这边来直接反推一张图像,试一下一张刷人过之后图片,然后我们这边直接点击运行,很快就将截图生成完成了。可以看一下这个截图它的一个翻译,我们给它的一个整体描述,然后它的一些灯光描述,照片描述,以及它的一些颜色色调, 背景描述,以及各个宽窄的内容,这就是我们一个 api 反推节点,然后我们来到一个批量图片反推的一个节点,这个节点呢就是上一个节点的它的优化版本,我们这个节点怎么设置呢?我们只需要复制本地图片放置的一个位置,然后复制它为链接粘贴, 那在这边输出的地址,我们再复制粘贴。今天选择是三十张照片,我们这边直接运行一个生成试一下,我可以点看到他十秒内就生成完成了,那他这边直接生成了一点 t s t 文件, 玩什么叠词?那剩下的二十九张呢?我们可以在这边直接输入二十九张,也可以按批次来。然后呢我这边是因为他图片有横图有竖图, 它不同的接收格式,它的一个 box 设置呢,它是关系到它的一个图片区域在 x y 轴的一个数值,所以说我就按照它的一个横图跟竖图分类,进行批量的一个反推格式。全部打标完成之后呢,我们还需要一个步骤来检验一下它这个格式是不是规范的。我们知道 ad 跟 for 对 格式要求是非常严格的, 如果你使用自然语言生成的话,它是非常差的,你一定要使用它这种接收格式。对于反推生成格式我们可以复制一下, 那我们可以这边点击一个清空,那点粘贴就和我们这个图它的人物排列是一样的,这就是我们标准的一个格式。但是如果我们把一个叠词格式格式后,这边删除一个符号,然后我们再复制粘贴到这边,发现它这边是会报错的,对提示词非常的敏感, 这也是我们为什么不推荐使用本地模型来进行反退达标的原因。它需要足够聪明的模型,我们千万三点五以及千万三 v l 八 b 它都是做不到这个效果的。千万三点七也许可以,或者说聪明的哈基米以及其他的模型在我们这边一共是八个人,我们看一下它是不是准确的。 ok, 我 们你看到一到八八个人它都识别出来了,然后包括后面的龙江猪脚饭跟沙县小吃它都识别出来了。如果你觉得它反退的题词词还是不够精准的话,你可以手动调整它的位置以及每个题词的内容, 然后对题词进行保存,然后替换到本地的题词的列表里面,开始我们正式的一个模型训练。本期使用的单如依旧是 ai 二 to kit, 最近更新了一个新的版本,已经支持 ad group four 的 一个模型训练了。 那如果你之前没安装过的话,它的安装非常简单,一个命令式的安装,一个 windows 安装就是简 i 命令。首先我这边已经准备好了一个完整的链单如环境,我们首先输入 cmd, 依次输入我们四 i 命令,启动我们的链单如环境。 我们看到显示端口之后呢,我们可以复制这个链接,在浏览器打开, ok, 这就是我们 a to p 的 一个标准界面啊。那第一步我们先准备一个数据集, 数据集的话我们这边直接可以新建,拿新建一个名字,然后我们可以直接点击上传图片,或者你直接把一个数据集上传到它一个目录里面, 我们看一下它的目录,它正常的文件是放在这个里面的,我们直接把本地的文件拖入到我们的数据集文件夹里面,然后回到我们的单炉这边看,数据集已经显示完成,后面的这边也显示我们图片的一个宽窄区域,我们可以直接在这边修改题的词,以及它对应的一个宽选的位置以及它的颜色色调 修改完之后呢,我们可以点击右上角的 c 五进行保存。来到我们的模型训练界面,我们选择最新的 ad 勾 n 4 模型,首先这个模型训练需要三套模型,一个是它的 ad 勾 n4 的 一个标准来模型, 我这边已经下载到本地,叫做是它的由你的无条件 raw 模型,这个模型我也翻转到这个文件夹里面,脑海里第三个就是它默认搭配的千万三 vl 八 b 的 视觉模型,这个模型有两个作用,一个是在我们训练过程中会使用到它, 另一个是在我们手动进行提示词打标的时候,他会调用这个模型,这边可以点击一个提示词打标,我们点击这个 ad 光 four, 它这边使用的是一个千万三 v l 八 b 的 模型,然后这个模型呢,它没有指定位置,如果你这边开启魔法网络,然后点击它的一个推理的话,它就会在这边再能 c 房放置一个模型,下面开始正式的一个参数设置。首先我们选择这个 ad 光 four, 这里设置你的 raw 名称可以任意填写,那我们这边选一个多人吧, 这里设置我们 ad 空 for 的 模型的完整路径,那这个模型 raw 模型我们也选择它的一个完整的路径, 哎,在这边选择一个复制链接,老粘贴,记得把它的两端的引号给去掉。然后的话,如果你是低显存,比如说二十四 g 以下的话,一定要把这个开启,因为它这样显存还是比较多的,那我这边本地显存比较小的话,我还是把它的一个模型卸载给它,打开 模型卸载的数值越少,它的显存占用是越低的。那我这边两个都设置五十一吧,那 f、 p、 r 保持默认类型,我们选择 raw, raw raw 值我们设置六十次,当然三十二也可以, 那我这边计划的是三折图片训练个两百到三百轮,如果训练两百轮的话,这边总步数我们就设置六千步,那它这边是二百五十轮,每二百五十轮保存一个模型, 这边的数值代表我们最终保存多少人。模型我们可以将数值设置大一些,其他的优化器,学习率这些我们都保持不变,参数我都不变。然后把这个一定要勾选上, 这个能节省你的一个本地的显存,然后这个的话选择我们刚刚创建好的一个数据集,然后这个图像尺寸分倍率的话,看你的实际显存大小,如果显存比较大的话,把幺零二四留着,显存比较小的话,可以把幺零二四给取消掉。 然后他的生成裁剪的话,就是每二百五十步生成一张视腻图,让你判断他的模型。目前训练的一个阶段,我目前是不太习惯使用他在这个 ai two key 的 里面裁剪,他生成的效果跟我们实际工作流他是不一样的, 所以说我这个是不做参考的,我跳过他的一个手帧裁剪,那进一直他的一个裁剪,如果你这边保留一个生成适应的话,你可以在这边调整他的一个提示词,在这边直接按我们的一个标准提示进行修改, 每个方框的一个内容,每个 obj 的 一个内容,然后可以宽取它的一个新的宽,然后对它的一个宽进行新的内容描述,拿它一个位置来点击保存,因为我这边不需要深层视腻图,所以我把这些都删掉。 ok, 没问题之后呢,我们点击一个创建任务,点击三角形的镜头,我们直接开始训练, 当这边显示出完整的步数,他就准备开始训练了。可以看到我们这边已经训练完成了, 生成的模型在右侧,特别是我们模型训练的 log 值,我们可以通过观察它的 log 值等曲线变化来判断模型目前训练的一个阶段。然后生成的模型也可以在我们本地文件夹里面找到它放在训练器的 outpu 的 目录,然后找到我们的 roi 名称的文件夹, 可以看到所有的文件都在这边。把模型放到 rom 文件夹进行批量的测试,我们通过固定种子来生成图像进行对比,最终我挑选了五千七百五十轮这种模型全座设定在零点四到零点五之间。 ok, 模型训练完成之后呢,我们先测试一下它的实际生成效果。首先就是使用这个 gmail 的 图像反推, 我们先上传一张图像,上传完图像之后呢,我们直接点击运行。 ok, 等他反图完成之后,我们来到了深图的工作牛这边,工作牛依旧是我们非常熟悉的一个结果,选择去的话是我们这边粘贴题的词,选择 force 的 话是自定义题的词, 自定义题的词的话,我们这边直接粘贴 h 群了,去的话,粘贴题的词我们是在这边粘贴。粘贴完成之后,我们可以看到它一个框架结构是已经改变了,然后它所有的 obj 跟题的词都已经填写进去了,我们可以看一下它的结构,就和我们图像的一个宽写结构是一样的。 我们这边如果觉得他位置不太满意的话,我们也可以手动拖动这个位置,也可以修改这边的一个贴纸。这边依旧是保持模型的选择,然后选择我们这个多人合照集体优化的 roi, 选择全装是零点五,那这边的话保持不变固定种值,然后选择二比三的一个竖屏尺寸,这边已经生成完成了,我们对比下原图 啊,人物勾图基本上是保持一致的,然后它的画面表现力更加好一些,对比我们未使用 raw 的 生成结果,它的肢体表现无疑是更好一些。接下来就是任意使用大模型来生成你的文本贴词, 可以使用 dipic, 阿基米豆包这种代语言模型,也可以使用千万传入相应的一个描述词,帮它生成完整的 json 式贴词, 最后直接参阅在这边,然后生成最终的结果。本期视频到这里就结束了,相应的训练,记忆模型以及工作牛都放到了网盘,大家可以在评论区自取。如果觉得本期视频对大家有帮助的话,记得点赞收藏加关注,我们下期视频再见!

偷走你的 copy ui 工作流和 lala 模型,只需要复制粘贴三秒钟,你花了一周甚至更长的时间,熬了无数个通宵,调试出了一个出图效果炸裂的 copy ui 工作流,几十个节点,上百根连线,每一个参数都是你一张一张试出来的。 或者是公司花了大几千甚至上万定制的工作流,花了无数心血微调,花费了不知多长时间的算力训练出来的罗尔模型。但是偷走它们,只需要右键复制或者导出 别人原封不动照搬到自己的帖子里,配上一句自研工作流 laura 独家分享,很讽刺吧,所以我们做了一整套康复 u i 全链路的加密管理授权系统,跟之前的一位 app 主老狗做的是差不多的,但在这个基础之上,我们做了一些差异。 你可以把工作流跟模型进行加密,又或者在 cover ui 内部的插件当中进行封装做成应用。仅暴露可选可调节的参数,没有一眼头大复杂的连线,只有几乎没有学习成本的一键运行的应用界面模型,工作流思路 节点、逻辑、参数配置全部都锁死离了你的授权,它就是一堆废文件。接下来我将全流程演示生成授权码到加密工作流加密模型的整体流程。来到我们授权码管理系统的后台呢,我们可以看到左下角这个按钮啊,它可以切换多国语言 使用我们这个后台。我们点击授权码管理这边呢,可以看到两个常用的功能啊,一个是导出我们授权码的表格,那另一个就是生成新的授权码,我们点击生成授权码,这个时候呢就会跳出我们生成授权码的 必要的设置,这边可以看到一次性生成授权码的数量啊,你可以在这里去输入,这里呢就是授权码他的一个有效天数啊,零的话呢就代表着永远,一的话就代表一天,最主要的就是我们这个什么呢?模型标签啊, 我们以随便创建一个啊,当你输入好模型标签的名称之后呢,你要回车看到这个弹窗才算是创建成功啊,那这个标签的作用呢?我会在后面流程过程中给大家讲明白啊,那么这个备注的话,你可以设置客户一,客户 二,对吧?去针对性的去设置授权码,这个也需要就是进行一个回车创建。那下面的 ip 限制还有我们的换绑设置这两个的作用呢,其实是为了针对我们在云端使用或者说在本地 使用的一个区别处理啊,比如说我们在云端使用,每次开关机重新拉取镜像,他的 ip 都有可能变,变了之后呢,我们不可能去给客户准备很多组的一个授权码去供他使用,对吧?我们不限制他的 ip, 可换绑状态下,无论他的 ip 怎么变,那么需要输入这一段授权码,他绑定了他这台电脑之后呢,就没办法复制到其他电脑啊, 这个就有效杜绝了搬运复制的这个限制啊,那我们举例的话就随便创建一个。好,我们直接点击生成,这个时候呢我们就生成了一条新的一个授权码,这边可以看到我们授权码的状态,我们 这个标签激活时间还有激活的这个 ip, 对 吧?我们复制这种授权码,打开我们的工作流画布界面,在这里可以看到应用授权管理啊,这个按钮,我们点击,我们在这里添加,它会识别啊,是否有效啊?有效期是多久? 那这边它会提示仅使用啊,那么我们点击保存,然后我们关闭这个画面,我们怎么去加密我们的工作流呢?别说我要加密这两个节点,对吧?我们全选鼠标右键找到这个云加密,点击它会弹出让我们输入密码,这个密码的话呢是相当重要的啊,大家一定要记一下啊,自己创建完自己记一下啊,我们点 击加密,这个时候它会提示当前授权码未获得创建加密数据权限,那这个是怎么回事?是我们在创建好授权码之后呢,后面有一个 加密创建啊,还有一个起用禁用的按钮,我们把它改为起用,这个时候再返回我们的这个界面,点击加密,这个时候我们可以看到节点就已经成功加密了,我们在加密其他组的时候呢,是一样啊,选择我们要加密的节点,鼠标右键直接点击这个,它会自动加密成功,不需要你再次输入密码了, 就是说他局会只使用这一组密码,无论你加密多少组结点,他说他都是一样的啊,那么我们要解密怎么办呢?也是一样,鼠标右键啊,点击这个解密,解密的时候呢,需要输入一遍密码啊,点击解密可以看到,对吧?解密成功了,包括这边也是直接点击解密,这个时候就可以了,这个就是我们工作流的加密流程, 那模型需要怎么加密呢?模型加密的话其实是更简单的啊,我们点击创建一个空白的花布啊,我们鼠标右键添加节点,在节点菜单栏当中找到这个 com app 这个节点组啊,点击我们添加这个啊,罗拉加密这个节点当中,我们去选择我们要加密的这个模型啊,就拿这个模型举例。 好之后呢,我们点击加密,稍等片刻,他会在我们右上角提示加密成功。这个时候呢,我们就返回我们刚才的工作流,刷新一下咱们这个浏览器啊,也就是刷新一下模型的列表。好,我们刷新完之后呢,我们用 普通的模型加载器去加载我们刚才这个加密好的模型啊,直接点击这个运行那普通的这个罗马模型加载器去去加载我们加密的模型呢?他是没有办法正常去出图的,要么就是花图,要么就是黑图, 可以看一下。好,可以看到彩样器,它在彩样的过程中,对吧?是花的,可以看到它出图也是出的花图,也就是用普通的 loala 模型加载器加载加密模型,它是没有办法正常出图的, 需要我们专用的一个加载器才行啊,还是一样啊,我们添加节点,找到我们 com app 这个专属的一个路由加载器,我们连接上我们的模型,这个呢直接删掉就可以了,选择我们看加密的这个模型。好,我们直接点击运行,可以看到彩样器,它的彩样是正常的啊,那看到了我们的出图也是正常能够出图 的,这个就是我们工作流加密跟我们模型加密的流程,回到我们授权码管理系统的后台,我们可以看到这个标签下的这一组 授权码,刚才是在这里就进行了一个授权,授权成功后我们去对工作流进行了加密,对我们模型进行了加密,那么这个工作流这个时候只认什么呢?只认这个标签下创建的授权码, 那这个时候我创建一个啊,以其他命名的标签,直接创建,直接的去复制去授权,我们直接点击运行,这个时候他会直接报错,可以看到吧,所以说这个标签下的授权码是没办法跑通 这个标签下创建的加密工作流加密模型的,大家可以理解吧?这个时候可能就有人问了,我总不能一直复制这个授权码给我的客户去用吧?其实不用啊, 我们只需要克隆这个标签去创建我们的这个授权码就可以了,比如说我要克隆十个,一百个都是可以的。有效天数这个标签一定不要改啊,备注的话你可以改啊, 还有这个 ip 的 设置啊,换版的设置你可以改以外啊,这个标签一定不要改,我们设置好了之后呢,我们直接点击克隆生成就可以了,那这个时候呢,一次性对吧?就能克隆出这个标签下十个不一样的授权码,那这个时候你就直接导出这个授权码的表格,你批量的复制粘贴在哪个文本上都可以啊,也就 可以直接复制给发给你的客户,对吧?这个是相对来说是比较简单的,这个就是我们整体的一个运行的一个逻辑。还有我们应用怎么创建呢?我们返回我们的这个画布,我们可以看到这里应用授权管理这里,我们点击,只有授权成功了, 我们才能进入到这个应用当中去啊,可以看到这个就是我们创建应用的一个画面啊,我们点击这里去新建应用啊,这个的话我会在下一期视频详细的去讲解啊,那在这里我就不讲了,点击这里呢,你是能够回到我们刚才的工作流划布当中去的啊,你点击返回的话呢,就 回到我们创建应用的这个主页当中去,可以看到左下角这里依旧是可以切换多国的语言啊,这个呢,也是为了方便啊。好吧,这个就是我们整个授权系统的一个大概应用过程,喜欢的可以一键三连关注,谢谢啊。

大家好,这里是遇见 a i, 那 这期给大家介绍一个基于 create to turbo 的 一个 alt painting laura, 也就是说扩图的 laura 可以 给图像上下左右进行扩图,但是呢这个和之前的扩图的逻辑还是有一些不一样的啊,我们先看一下它的模型下载,就是在这里面直接把这个文件下载一下就可以了,这是个 laura 文件, 然后呢还需要安装一个 github, 就是 这个 create to 的 alt pen, 但是这个是一个作者啊, 虽说还是有一些适配上的问题,等一下我们再具体说一下是什么问题,那他这里面也给他了一个 demo 的 地址,直接可以试用啊。那大家可以看一下他是上传一张图像, 那么这个和之前有哪些不一样呢?之前都是使用的 mask 做遮罩,然后呢在遮罩上面升图来完成一个扩图,这个是会把原码的位置注册进奎兔的一个 o p e 的 坐标里面,那模型知道原图在哪一块,然后呢再根据原图的位置去生成剩余的部分啊,就是说先生成一画布,然后再把原图放进去,那么可以看到它这个原图是可以挪动位置的啊,可以看随便可以放位置 都是可以的,那么这就是它的一个不同的地方,现在呢是把它放到了中间,然后左右进行扩图,这就是右边这个图,就是扩出来的一个内容啊,就是这样的一个效果。这个是有一个免费的额度的啊,不是需要等零点的时候重置才行啊, 如果你的电脑配置不高的话,建议可以尝试一下这个网站 roundabout 里面的工作流模型是非常全的,而且你也不需要去担心环境的问题,用起来非常方便。 通过我的邀请注册会赠送一千点积分,而且每天登录都会赠送一百点积分,大家可以尝试一下,让我们看一下它的工作流啊。工作流就是这样的啊, 首先呢是加入了一个 lower 加载的,然后这里面有一个 ctrl alt pad mode pass 啊,那么这个节点的作用呢,就是让原图参考,按照 bps 坐标的方式进入到目标的画布里面。 然后我们看一下这里面主要是这个 out painting 的 一个画布啊,这里面有他的上下左右,这是他的节点,往右扩展,往左扩展, 往下扩展,往上扩展。这里面呢是往左右扩展,这个呢是往上下扩展,这是一共是六种方式,我刚才也提到他这个插件附线呢,不是太好,其实是可以按照这种方式啊,比如说把它放在中间,这样的话就是上右下这几种方式都可以扩展, 而且它可以随意的去挪动它的位置啊,但是呢,这个插件是没有办法实现这种方式的啊,所以说还是有一些瑕疵的。那么我们看一下它的参数啊,这里面有两个参数,一个宽度,一个高度。这里面呢是它最终生成的尺寸,也就是最终有原图的尺寸。 这里面还有个参数, source max edge, 也就是说是参考图的最大边长,它会把原图缩小到不超过这个值,用来生成 reference the latent, 要不然 latent 它就太大了啊。 雾凇的情况下就是三八四,一般情况下是不需要动的。然后最下面这个值,这个是把原图贴回去之后呢接缝处的雨化的宽度啊,这个值越大,图和受众区域的过渡也就越柔和,一般情况下三十二就是比较稳的一个情况啊。 然后呢再往下走啊,这还有一个节点,这个是把原图回填到生成图像里面啊,如果是说你直直接这样生成,其实也是可以的,这样的话它效果更好一些。这两个就是原图再加上它羽化的一个值,最后呢生成的效果啊, 剩下的就是标准的一个 create to turbo 的 一个基础工作流啊,这边还多了一个 conditioning 的 一个输入,然后它的参数呢是步数八 x 一, 这就是它的一个情况,我们看一下它扩图的一个效果啊。首先这个,这个是往右边扩图,大家可以看一下左边这部分是一样的,是往右边扩图。 呃,可能看着不是太合理啊,因为我写题词的时候写入了沙发这些题词,所以说可能看的它的场景有些不太好啊, 您看一下啊,第二组,这个呢是使用了右边扩图,把右边这部分扩出来,用用尺加上他这些数啊,都是可以的。第三张图,这个是左右的一个扩图啊,大家可以看出来,原图的位置大概是在这个位置 啊,两边呢是给它扩出来的,包括椅子啊,这些树,椅子,影子这些都是有的,效果呢,也是很不错的。然后再下一个图啊,这个呢是使用了一个下面扩图啊,原图呢就是使用了上面的这部分,到这差不多 啊,这是上面的原图。然后呢第二个是使用了上下扩图,它这个原图的位置大概是在 啊这个位置吧,差不多,然后把上下进行了扩图,他的一个融合度也是非常不错的啊,大家可以看一下场景的融合度,包括他的材质,他的风格啊,都是融合的很好的。 再看一下下一组啊,这个同样是使用了左右扩图,原图呢大概是在这个位置差不多左右进行了扩图。 那么这几组图生成的时候,我们只是第一组使用了提示词,然后二三四都没有使用提示词直接生成的啊,所以说可以看到它的效果呢,也是非常不错的啊,大家可以自己去尝试一下。好,这期视频就到这里,一箭三连,下期再见。

今天这期视频,我们花五分钟时间把大模型微调这件事彻底讲清楚,不管你是刚入门还是已经干了一段时间,看完这期,都能建立起完整的知识框架。先说微调方法, 现在主流的微调方式分两大类,一类叫参数高效微调,英文叫 p f t。 核心思想就一句话,冻结大部分参数,只训练一小部分。另一类叫对齐微调,用来让模型学会遵循人类指令,输出安全有用的内容。 先看 p f t 这条线。最早的方法叫 adapter, 二零一九年 google 提出的 做法很简单,在 transformer 每一层中间插一个小模块,只训练这个小模块,大概占总参数的百分之二到五。优点是简单,缺点是推理时多了一层,计算会变慢百分之十到二十, 而且它没法合并到原始权重里,所以你部署的时候必须带着这个额外模块, 现在已经很少单独用了,算是开山鼻祖。然后是 prefix tuning, 二零二一年提出的。它不在模型里插模块,而是在输入前面加一组可学习的虚拟向量,相当于给模型一个前缀。提示。 好处是不改模型结构,参数量也很少,但它会占用序列长度,相当于你的有效输入变短了,对生成任务效果一般, 适合分类理解这种短文本任务。接下来是重头戏 laura, 二零二一年微软提出的,现在用的最多。它的公式是 w 撇等于 w 加 b 乘以 a 原始权重 w 冻结不动,只训练两个低至矩阵 b 和 a。 比如原始权重是四千零九十六乘四千零九十六一千六百多万个参数, lora 用两个四千零九十六乘十六的小矩阵来进四,参,数量只有原来的百分之零点七八。最关键的是,推理时可以把 b a 直接加回 w, 合并后的模型跟原模型一模一样,零额外开销,这一点其他方法都做不到。 lora 就是 那种简单但改变世界的技术。 q r a 是 lora 的 省钱版,二零二三年提出的, 它的核心创新是把基作权重量化到四 bit, 用一种叫 n f 四的格式,这是专门针对神经网络权重的正态分布设计的量化方式。七 b 模型从十四 g 直接压到四 g, 一 张游戏显卡就能训, 但 lora 权重保持全精度,训练时把四 bit 权重反量划回 b f 十六,计算梯度只更新 lora 部分,量化损失很小,效果几乎没降。如果你显存紧张, q l a 是 首选。 toora 是 laura 的 升级版,二零二四年微软提出的。它的思路是把权重矩阵分解成方向和幅度两个部分,方向用 laura 来更新幅度,用一个独立的可学习向量, 这样方向和幅度各用最合适的方式学习,效果比 laura 好 一个百分点左右。参数量几乎没增加,适合追求极致效果的场景。 i a 三是参数最少的方案,只学三组缩放向量,分别对 p value 和 f f n 的 激活值做缩放,参数量比 laura 还少一个数量级。 vera 更极端,让所有层共享同一对 a 和 b 矩阵,只训练每层的对角缩放向量, 这些都是更省参数的。探索好 p f t 方法讲完了,接下来说对其微调。 sft 全称监督微调是最基础的,用指令和标准答案对来训练模型遵循指令。但有个问题,它只教了什么是好的,没教什么是不好的,所以模型可能输出不安全或者有害的内容。 r l h f 是 叉 g p t 的 核心技术,分两步,第一步,训练一个奖励模型,让他学会判断哪个回答更好。第二步,用强化学习的 ppo 算法优化策略,让模型学会生成高分回答。 但训练非常复杂,要同时维护四个模型策略模型参考模型,奖励模型价值模型。 ppo 还不稳定,经常崩溃。 tpo 是 r h f 的 简化版,二零二三年 stanford 提出的。它的核心洞察是可以跳过奖励模型,直接用偏好数据优化策略。 数学上证明了 d p o 和 r h f 在 一定条件下等价,但训练只需要两个模型,简单稳定,效果接近 r l h f。 现在大部分对其微调都在用 d p o, 它的变体也很多。 k t o 不 需要成对数据,只需要好或坏的标签。 i p o。 改进了损失函数,更稳定。 o r p o 把 s f t 和偏好学习合成一步。 c p o 不 需要参考模型,更省显存。 g r p o 是 deep seek 提出的,用组内相对排序替代奖励模型,生成一组回答用规则打分,组内归一化后更新策略。 deep seek 二二一就是用这个方法训练的,证明了不需要人工标注的奖励模型,也能训出强大的推力能力。 好微调方法讲完了,现在来看模型架构这部分更重要,因为架构决定了你的模型上线。 二零二五年,所有主流大模型 g p t lama creme deep seek 架构基本一样,都是 decoder only transformer, 区别在细节,这些细节加起来决定了模型的性能天花板先看注意力机制,这是最核心的组建 标准的多头注意力叫 mha, 每个头有独立的 qkv 投影餐,数量大,推理时 kvash 也大。 mqa 是 二零一九年提出的,让所有头共享同一组 kv 餐,数量和 kvash 大 幅减少,但质量有损。 g q a 是 折中方案,把投分成几组,每组共享 kv。 现在 lama, quim mister 都用 g q a。 deep seek 更进一步,搞了 m l a 多投潜在注意力。 他把 kv 先压缩到一个低位空间,用的时候再还原 kvcash, 直接压缩了百分之九十三,但效果不降反升。这是 deepseek 的 核心创新之一。位置编码现在基本都是 rope 旋转位置编码, 用旋转矩阵来编码位置信息,天然支持相对位置,还可以通过调频率外推到更长。训练也有用 alibi 的, 不加位置编码,而是给注意力加偏置,外推性更好,但效果不如 rop。 稳定 激活函数从早期的 real u 到 glu 到现在的 swiglu, swiglu 加了门控机制,用一个 get 来控制信息流,表达力更强。 几乎所有新模型都在用皈依化,用 rms gnome 比 layer gnome 少一步,均值计算更快,但效果一样。 no, 混合专家是扩大模型规模的关键,总参数很大,但每次只激活一小部分。 比如 deepsea v 三,有六七幺 b 参数,但只激活三七 b。 用一个共享专家处理通用知识二百五十六个路由专家各管各的领域,每次选八个。 这样模型容量大,但推理成本低,负债均衡是关键问题。 deepsea 用无辅助损失的负债均衡策略,避免了传统方法的性能损失。最后说说替代架构, mamba 用状态空间模型替代注意力,限性复杂度长,缩列更快,但纯效果还追不上 transformer。 rwkv 结合 rnn 和 transformer 优点训练,像 transformer 可以 并行推理,像 rnn 只需限性复杂度。 目前混合架构是最有前景的方向,把 transformer 和 ssm 结合起来,兼顾效果和效率好。这期视频就到这里, 一句话总结,微调方法,选 laura 或者 q o r a, 架构是 decoder only transformer 加 g q a 或 m l a 加 rope 加 swag lu。 想深入的话可以看我写的技术博课,我们下期见。

hello, 小 伙伴们大家好,那么这是一段我在街头说话的视频,现在让我们来变个魔术,让我和街道上的所有人全部消失,看就是这样,怎么样,是不是效果还不错? 那么这次使用的技术呢,就是 f t s 官方最新发布的一个全新的 iclorer empty plate, 翻译过来呢就是一个空镜头 lorer, 那 么顾名思义,这个 lorer 的 主要作用就是去除场景中的角色和车辆, 无论数量有多少,它都能够一次性清除,并且能够保持固定的场景和运镜规则不变。这里我们使用的仍然是 l t x i c 螺二的御用工作流,我们需要做调整的地方只有两点,第一就是选择我们对应的螺二,其次呢就是在提示词当中,按照官方提供的提示词规则进行书写。 说是提示规则,其实也只是一段话,产生类似于触发词的一个效果,这句话就是 an empty clean plate of the exact same scenes。 那 么这里有一点大家要注意,我们需要在这个触发词后面对我们的场景进行一个简单的描述,否则可能出现和原场景不一致的地方。 比如我这段视频,就因为没有描述角色背后的洗衣机,那么洗衣机的位置就变成了一个柜子。当我对角色背后的场景进行了简单描述,并且说明橱柜下面是一个洗衣机的时候,那么它就正常的给我们生成了这样一个空的场景。 这个老雅经过我的试用,我发现它的去除能力还是很强大的,主要是对原场景和运镜的保持可以做到非常不错的效果, 甚至说这种快速的场景切换镜头他也能做到一气呵成的角色去除。但是这个 lara 也不能说没有缺点,我认为他最大的问题就是他会不分青红皂白的全部去除。是的,你无法选定你要保留的对象。那些想要去除指定角色的小伙伴看到这里可能会失望了。 想实现这样复杂的去除任务,我更推荐使用 bernie 来进行,虽然会慢一些,但是 bernie 能够精准的按照语义去抹除对象。 这个 low 还有另外一个小遗憾就是,当你的画面中你的主体占据了绝大部分的一个面积一个比例,那么他也可能去除失败,因为他需要有足够的一个背景空间作为一个参考来生成。这点还请小伙伴们也要留意 l t x 的 empty plate laura 主要优势还是在于它能在速度和特定应用的效果上取得一个非常平衡的点,简单来说就是性价比,毕竟它能在较短的时间内完成一段不错的空场景视频的生成。 ok, 那 么今天这个也就分享到这里,感谢大家的支持,还请一键三连!

什么是 laura 这项能让大模型瘦身微调的低成本技术?核心原理到底是什么?这篇文章会用最直白的方式,把 laura 的 底层思路、工作流程,和他为什么如此省钱省算力这件事一次性讲透。 先来看一个最根本的矛盾。今天的大语言模型参数量动辄几十亿、几百亿,能力确实强,但如果你想让他专门擅长某件事,比如写法律文书、分析医疗报告,就必须微调。 传统的微调方式是直接更新模型内部的全部权重,这相当于把整栋大楼的水电管线重新铺一遍,每一层每一根线都要动。 这么做不仅需要大量高性能 gpu, 而且每训练一个新任务,就会产出一个和原模型一样大的副本,存储和部署都极其昂贵。那有没有一种办法,只动极小一部分参数,就能达到近似全量微调的效果呢? laura 就是 这种思路下的产物。 laura 的 全称是 low rank adaptation, 中文可以理解为低智适配。它的核心思想很简单,我们不直接修改原始模型里那些巨大的权重矩阵,而是在旁边增加一个小巧的旁路结构,训练时只调整这个旁路里的参数,原始权重保持冻结不动。 这就像一列已经铺好的铁轨,你现在想让火车稍微改变一下行进路线,不是去重修整条铁轨,而是加一组轻量的倒差,让火车从主干上稍微偏一下,再回到原来的轨道上。增加的这组倒差就是 laura 的 精髓。 要理解 lora 为什么可行,必须先搞懂低质这两个字。在数学里,一个矩阵可以用两个小矩阵的乘积来径似表示只要这个矩阵的质足够低。打个比方,一张高精度的照片其实是由少数几个基础图案叠加出来的,你并不需要保存每个像素点的全部信息。 大模型在适应下游任务时,对权重的更新量虽然看着庞大,但其中最关键的变化方向其实不多,也就是信息高度集中在几个低维方向上。 laura 正是利用这一点,把原本要更新的大矩阵拆分成了两个小矩阵, a 和 b, 先让输入经过 a 降维,再通过 b 升维,最后把结果叠加回原来的输出上。因为 a 和 b 的 参数量远小于原矩阵,所以训练成本成数量级下降。接下来看一个具体的数值对比,你会立刻感受到 laura 的 威力。 以 gpt 三的一千七百五十亿参数为例,如果做全参数微调,需要存储整个模型的梯度和优化器状态,显存占用堪称天文数字。 而采用 laura 假设只在注意力层的 q v 矩阵旁插入低置适配器,并把置设为十六,那么可训练参数可以直接缩减到原来的万分之一级别。 这意味着,原本需要几十张 a 一 百显卡才能跑的微调任务,现在可能在单张消费级显卡上完成,而且训练速度更快,切换任务时只需要保存几十兆大小的适配器文件,而不是几百 gb 的 完整模型权重。这一下就把大模型的个性化应用门槛拉到了极低。 那么, laura 具体是怎么接到模型里工作的呢?通常来说,它会被注入到 transformer 架构的自注意力模块中,以对 q 矩阵的适配为例,原始计算流程是输入向量乘以 q 权重得到查询向量。现在这个流程不变,但同时输入还会经过一个旁路。先乘以一个形状为括号 d 乘 r 的 矩阵 a, 得到中间结果,再乘以一个形状为括号二乘 d 的 矩阵 b, 得到与查询向量同维度的增量,最后把原始输出与这个增量相加,完成前向传播。训练时,模型原本的 q 权重完全冻结,误差反向传播只更新 a 和 b 的 值。 a 通常用随机高斯分布始化,而 b 则用零始化。这样在训练刚开始的时候,旁路增量为零,不会对原模型输出造成歪曲,保证训练稳定。 这种结构还带来一个额外好处,不属时极具弹性。假如你为一套基作模型训练了法律、医疗、营销三种任务的 lora 适配器, 只需要在云端或本地加载一份机座模型,然后根据用户当前的请求动态挂载不同的适配器。推理延迟几乎没有增加,但服务一个模型就能覆盖多种场景。如果进行全参数微调,要么同时维护多个完整模型副本,要么每次切换任务重新加载权重,时间成本和存储成本都很高。 lora 把模型定制变成了即插即拔的轻量操作,这是他迅速在开源社区爆火的重要原因。 当然, lora 并非没有局限,由于它假设权重的更新是低质的。如果某个下游任务和预训练任务差距极大,导致所需的变化确实需要高质表达,那么 lora 可能会损失一些性能。不过,实践中,多数任务对这种近似并不敏感,即便偶尔需要更高表达力,也可以通过略微提高质 r 的 值来弥补。 相比权量微调依然较为划算。此外,许多研究还发现, lora 有 一定的政策化效果,能降低过你和风险,让微调后的模型在少量数据上表现更稳定。在真实使用场景中, lora 已经被广泛应用于代码生成、角色扮演、医学问答等需要垂育知识的大模型微调, 开发者只需要准备几百条到几千条高质量指令数据,配合开源工具,一键训练几十分钟内就能得到一个风格鲜明、能力专注的定制模型。 正是这种极低的试错成本,让更多不具备庞大算力资源的个人和小团队也能参与到大模型应用创新中来,把人工智能真正带进厂委场景。 最后总结一下, laura 能做到低成本微调,靠的是冻结源权重,注入低质旁路这一工程智慧。他在保持预训练模型全部能力的基础上,用极小的参数代价快速适配新任务,把大模型从少数机构的重型武器变成了人人都能改良的模块化平台。 如果说全量微调是在大地上重新铺路, lora 就是 为每段路装上可随时替换的倒插,方向对了就继续走,方向不对就换一组,轻巧高效而且极其务实。

先介绍一下你做过的大模型相关的项目吧,我主要做的就是大模型微调在行业问答场景的应用,用的是拉马二 c、 b 通过笼络方法做理论设计,目标是让模型能准确回答某个垂直行业的知识库问题, 其中在设置题上面,问答准确率提升了百分之二十五。那你为什么要选择笼络微调而不是全量微调呢?或者说只冻结域训练层,只训练输出层呢?我这里也整理了一份十一万字大模型高频的面试题,感兴趣的小伙伴可以带回家学习。全量微调的话参数量比较大, 就七 b 模型全量训练对显存和算力要求很高,我们之前团队资源有限,支撑不了,就如果只冻结预训练场和只训练输出场的话, 模型的四倍性就不够,因为预训练的通用知识很难和领域知识有效结合。罗纳它就是冻结预训练模型的权重,指训练插入的低值矩阵,现在插入量就小,训练成本很低,而且训练的时候可以把低质矩阵和原始权重合并,就完全不影响它的推理速度。综合来看就是罗纳在效果、成本 还有度数的友好性上,它是一个最优的选。那罗罗的核心原理是什么?低置矩阵的维度你是怎么样确定的?罗罗的核心是假设,就预训练模型在微调的时候,权重更新矩阵具有那个低值特性。具体的做法就是在全时方码的天行层插入两个低置矩阵 a 和 b, 然后 a 的 维度是低层崖, b 就是 r 乘 d, 其中 r 是 d 次维度,训练时就只更新 a 和 b, 原始权重就保持不变。前向传播的时候输出是原始的推选结果加上 a 乘 p 的 增量,然后 d 指维度 r。 我 们选的就是八,一开始试了 r 等于四八十六,然后 r 等于四的时候效果不够, 模型理论和不好涵养的知识, r 等于十六的时候仓数量增加明显,训练的时间就变长了,但效果提升也不明显,所以最后选择了 r 等于八,在效果和成本之间就取得的比较好一些。 ok, 那 其实你回答的这些问题都是有自己的理解的,包括还有数据的支撑。嗯,很不错。