AmuSe可以直接使用Lora模型吗

你的老板是不是也给你提过这种需求，把公司过去十年的几万条客服对话记录，或者成吨的法律合同、金融研报拿去训练一下，做一个懂业务、懂合规的专属 ai。 但当你兴奋的把数据位给通用大模型，却发现他要么一本正经的胡说八道，要么呢训练的算力成本高到让老板直接劝退。那怎么办呢？难道在电商大促、法律合这些专业场景里，我们就只能用通用的 ai 来凑合吗？ 今天我们要讲的 loro 技术，能让你用极低的算力投入，把一个什么都懂一点的万精油模型，迅速改造成一个懂你们公司所有细节的老员工。我们就分四个部分来拆解。第一部分我们先讲一讲 loro 的 核心概念和背景，从它的源头讲起， 也就是限行贷数里面的低质到底是什么意思。这一部分我们会把基础打牢，让你知道这个技术是为了解决什么痛点而诞生的。 有了概念之后呢，我们要深入一下，看看它的数学原理和实现机制。理解了这一部分在面试里绝对是加分项，那么搞懂了原理。第三部分是代码实现与工程落地，让你看完就能够马上上手干活。 最后我们还要讲一个进阶玩法， q laureo 以及最佳实践总结。如果你手里的显卡资源有限，那么 q laureo 就是 你的救星，我会总结一套避坑指南，帮你省去很多报错的时间。 话不多说，我们直接进入第一部分，来正式认识一下 lora。 lora 这个名字其实是 low rank adaptation 的 缩写， 翻译过来就是低智自适应。这个词听起来可能有点拗口啊，因为它源自先天代数里面的一个概念，低智矩阵。但是大家不要被这个数学名词吓跑了，我们从它的英语单词 adaptation 就是 适应或者是适配的意思来理解就容易多了，你可以把它想象成一个转接头或者是一个外挂加载器。 那为什么要发明这个外挂呢？是因为在 lora 出现之前，如果我们想要一个大模型，学会特定的任务，比如说你让 lora 七十币去写一份医疗报告，我们通常需要做全餐微调， 这意味着我们要把模型里面几十亿甚至几百亿个参数全部都更新一遍，这带来的显存消耗是非常巨大的，算力成本也是很惊人的。 这对于我们普通开发者或者小公司来说，这简直就是家里没矿别碰。所以 laura 的 思想就诞生了，它的逻辑非常巧妙，我不去动那个原来那个庞大的基座模型， 我把它给冻结住啊。我在原来的模型旁边，利用向量数里面这个低质分解的方法，加了一个非常小的额外的一个参数模块 adapter。 我 们在训练的时候只训练这个小小的模块， 原模型一点都不动。这样一来呢，门槛就瞬间降下来了。接下来我们可以来看一下这种方法在架构图上具体长什么样子，它到底能省多少事。这张图就非常直观的展示了 lower 的 魔法。 首先我们看左边这张图是常规微调，你可以看到整个这个粉色的方块代表我们要更新的参数。在以前，无论你是为模型什么数据，我们都要调整整个模型的权重， 就像你要装修房子，昂贵的微调呢，相当于把整个房子的承重墙啊，地板啊，天花板全拆了，重装工程量极大。 那我们再看右边，就是 lora 微调了，注意看灰色这个大方块，这是我们训练好的基座模型权重，它是被冻结的，不参与更新。在旁边呢，出现了两个粉色的小梯形，看到没有？那 lora 的 核心逻辑就是，既然不动大模型，那我就只训练这两个小矩阵， 数据流过来，同时经过大模型和小矩阵，最后呢，把结果加起来。这样做的好处是，我们不需要拆房子了，我们只是给房子加了一层软装，或者是挂了几幅嗯，好看的画，还有换了一下墙纸，但是效果呢，却很好，能让房子焕然一新。 那么这个软装到底有多轻量级呢？我们可以简单看一下这个右边的饼状图，绿色的这一大块占了百分之九十五，甚至更多，这是原本被我们冻结住的基座模型的参数，完全不需要占用， 完全不需要占用训练的梯度显存，而蓝色这一小块往往只有百分之五，甚至还不到，这才是我们真正需要微调训练的参数。这就解释了为什么用 dora 技术，我们可以在单张消费级显卡上去微调，那些原本是遥不可及的那种，嗯，百亿级参数大模型。 好。那么讲到这里，大家应该对 lora 省钱省力的原理有一个崭新的认知了。那么这两个小梯形啊，这两个小矩阵 a 和 b 到底是怎么分解出来的呢？他们在数学上是怎么保证效果的？接下来我们进入第二章拆解 lora 的 数学原理。 大家可以先看一下左边这个橙色的大方块，代表我们模型里面原本的一个权重矩阵，假设它的尺寸是一千零二十四行，乘以一个五百一十二列。如果我们要存下这个矩阵，需要多少个参数呢？ 算一下，大概是十二万多。 lo 的 魔法就在于他利用线段数的原理，把这一个大方块拆解成了右边这两个瘦瘦的小矩阵相乘。一个是竖着的粉色矩阵，它的尺寸是一零二四乘以三十二。 一个横着的绿色矩阵尺寸是三十二乘以五百一十二。根据矩阵乘法的规则，这两个小矩阵相乘，乘在一起得出来的形状依然是 一零二四乘以五百一十二，跟左边是一模一样。但是呢，神奇的是，这两个小矩阵加起来的参数量只有多少？只有四万多，四万九千多五十二万，对比四万九，参数量直接压缩到了原来的百分之九。这就好比什么呢？ 你要背一本书，全仓微调是你要把整本书给背下来。而 loo 呢，只需要你记住目录和几个关键词，也能够把书的内容复出个八九不离十，这就是它省显存的根本原因。想必大家已经注意到了，我们这个例子里面的三十二这个数字是可以随便变的吗？ 这就引出了 loo 里面最重要的一个概念， rank 值来看这一页，这个 r 就是 rank， 它决定了中间这两个小矩阵的瓶颈有多细。在实际的训练中，是一个我们可以自己设定的超参数， 通常呢，我们会选用一二四、八十六、三十二这样的数值原则，就是要远远小于 n 和 d， 也就是原始矩阵的长和宽。那么选多少好呢？是不是越大越好啊？大家可以看这一张图，这是原论文里面的实验数据， 你会发现，当从八增加到六十四甚至更高时，模型的效果也就是这个损失值啊，其实没有很大的变化，这说明大模型其实并不需要那么多新参数来适应新任务。所以在实际工程中，我们一般推荐把 rank 设置在四到三十二之间，性价比最高，选大了反而浪费，捡存也没有必要。好了，现在我们矩阵拆好了，大小也定好了，那当我们开始训练的那一刻，系统内部发生了什么呢？这两个小矩阵里面填的是随机数吗？ 这里非常关键，关系到 lora 训练稳不稳定。我们的两个小矩阵，矩阵 a， 我 们使用的是随机高斯分布来出式化，里面填的是正负随意的小数。但是这个矩阵 b 啊，我们在最开始必须把它全零出式化， 里面全都是零，大家看到没有？那为什么要这么做呢？因为根据数学原理，任何数乘以零都等于零，所以在训练的开始的第一步， e 乘以 a 的 结果是零，这意味着模型一开始完全等于原始的基作模型就是这个 w 新增的 log 旁路没有产生任何的噪音。 这就好比你新员工刚进公司，先不要乱说话，先在旁边静静的学，等学到了东西，再慢慢的开始发表意见，这样才能够保证模型不会一开始就崩掉。最后我们来看一下下面这个公式，这里出现了一个新的参数，阿尔法这个缩放因子，这个阿尔法和 r 的 值完全取决于我们自己， 那么这个比例我们应该怎么理解呢？举个例子，假设我们在前面选的 r 等于四，如果我们把 r 法也设置为四，那么这个比例就等于一，对不对？这时候我们训练出来的那小块参数是多少？就原封不动的加回去，不多不少，不缩不放，相当于直接来做加法， 模型更新的幅度就是训练出来的原始值。但假如啊，如果你觉得这个步子迈的太大了，万一掉过头，模型崩了怎么办？ 就可以把 r 法调小一点，比如说设置为二，这时候 r 法除以 r 等于 n， 二除以四就等于零点五嘛， 相当于你把训练出来的权重整体砍掉一半，再加回去，模型变得更加温和更保守了。如果你把 r 法设的更小，比如说不到一，比如说它等于零点五，这个 r 呢？它还是四，那么这个比例就等于零点一二五了， 这时候你加回去的东西几乎微乎其微。那么问题来了，这个比例到底是影响的什么呢？其实它主要是影响我们在微调训练时的有效学习率，如果你的 r 法和 r 取一样的值，也就是比例为一， 那通常我们可以用一个比较常规的学习率去训练，不用来回的调整，因为你的更新量就是原汁原味的。但是一旦你改动了这个比例，比如说把 r 加大了，或者把 r 法调小了，导致这个模型变小，或者是你把它变大，那你很有可能得配合着调整学习率。为什么呢？因为 实际作用到模型上的更新不长，其实是学习率乘以一个阿尔法除以二。如果你这个成绩太小了，模型就学不动，半天没变化，如果太大呢，又容易震荡， 甚至直接发散，越训越差。所以我们可以把这个阿尔法看作是一个放大镜或者学习率的平衡感 调节，它就是为了找到那一个让模型学的最舒服最稳定的节奏。好了，讲到这里，我们的数学原理部分就通关了，其实总结下来就三句话，大矩阵拆成小矩阵，然后 b 矩阵全零，抽象，用 r 法和 r 的 比例来控制学习的力度。 懂了这些原理，接下来我们去写代码的时候，你就知道那些参数为什么那么填了。下面我们直接上代码，大家可以先看一下代码，如果你要自己手动去用 type 原生代码去写 lower 的 话，大概就是这个样子。 这里的核心逻辑完全对于我们刚才讲的原理，我们现在要实现的其实就是 w、 q、 w、 k、 w、 v 这几个权重矩阵。具体的做法就是 出使画两个不同的矩阵， b 和 a， 然后通过 b 乘以 a 来得出结果。这里不管是 q、 k 还是 v， 逻辑都是一样的，所以我们只看 q 就 可以了。 大家看第二行 luo 的 q 矩阵里面这个 b 我 们出水化成了全零矩阵，是 d 乘以 r 的 形状，那 a 呢？它是随机高斯分布，形状是 r 乘以 d， r 行 d 列可以退回去看一下我们刚才讲矩阵分解的那张图，是不是就是一个竖的乘一个横的？那么这两个矩阵相乘得出来什么呢？ d 乘 r 乘以一个 r 乘 d， 中间这个 r 就 抵消了，最后的结果呢，是 d 乘 d 的 矩阵，这刚好就还原了原始模型中 w、 q 的 形状。 同理， a 和 v 也是完全一样的套路物理化做完之后，我们再去生成最终的 q、 k、 v 参数时，就非常简单了。你看代码的第十二行到第十四行， 说白了，这就是把原来那个又大又重的权重矩阵拆成了两个小矩阵的成绩。我们只训练这两个小矩阵，就能够间接的更新原来的参数。所以啊， loo 的 核心其实并不复杂，它只是利用了先进代数里面的矩阵分解的思想，让微调变得既高效又清亮。 当然，在实际工作中，我们很少会去手写这一段代码，大部分时候我们是直接用封装好的库，大家可以看右边，这是 hackface 的 eft 库， eft 的 全称是 kilometer efficient fine tuning， 指的就是高效参数的模型微调。这个库呢，大部分时候都是和 lora 绑定在一起用的，这才是我们在公司里面跑模型微调的时候，真正每天在写的代码。这里面有几个参数是我们经常见到的， 这时候我们再来看，你就可以彻底理解了。你看，它所有的复杂逻辑都被封装进了一个叫 lora config 的 配置里面， 这一行 r 法等于一， r 等于八 r 法，就是我们刚才数学公式里面那个分子， r 呢，就是那个分母嘛，我们刚才也说了， r 就是 我们希望这个小矩阵降低到什么程度的一个浮动值，你可以取 二四八等等，取的 r 越小，我们的参数量就越小，模型跑起来就越快。你在这里只需要填好数字，剩下的全都交给这个库去处理。然后这里有个很重要的参数叫做 target modules， 简单来说，它就是我们用来指定在模型的哪些模块或者是哪些层上面去应用 loo 微调的配置项。 loo 的 应用范围其实非常广，它可以加在我们刚才讲的 q、 k、 v 投影层上，也可以加在 输出投影层 o 上面，甚至还能用在前馈神经网络 f f n 里面。换句话来说，模型里面几乎所有的限行层理论上都可以被 loo 覆盖，而且我们可以按需选择灵活组合，想微调哪一部分，你就微调哪一部分。 那我们就来简单拆解一下这个列表里面的每一个字母串具体是代表什么。首先这个 q、 k、 v 和 o 这四个呢，是注意力机制 attention 中的四个线圈变换层，分别用于生成 query， key， value， 还有最终的输出。 下面这个 gate up 还有 down 这三个呢，是属于模型的前馈网络 f f n 部分。简单介绍一下， f f n 是 transform 中负责非限性特质变化的关键模块，通常参数量非常非常大，所以也是 lower 微调的热门选择。那我们到底是怎么去选择呢？ 答案我们刚才也说了，完全看你的任务需求和资源限制，非常灵活，你只微调注意力层，比如说你只加 q approach， 还有 v approach， 也可以只调 f f n 或者是全部加上做一次全面的微调，很多任务中不同的组合效果差异很大，建议大家多尝试，多对比。主要呢是看一下在你的数据集上，哪一种策略效果更好，显存占用更低。好了，这么讲下来，大家下次再看到 pft 库里面这个 target modules 配置表的时候，应该一眼就能够看出它到底在干什么了。好啦，但前面的代码和配置大家都看懂了，逻辑其实非常简单对不对？但是在实际动手的时候啊， 很多人会遇到一个更现实的问题，显卡不够用。哪怕你用了 lora， 如果你想跑 luma 三七十 b 这样的大模型，光是把基座模型加载到显存里面，可能就需要一百四十 g， 那 怎么办呢？难道显存小就不能玩大模型了吗？当然不是，这就需要我们用到压箱底的技术 q l 了。 q lora 这个 q 代表的是 condition， 就是 量化的意思。那 q lora 也就很好理解了，就是量化版的 lora， 它的核心逻辑没有任何的变化，架构还是原来的架构。 唯一的区别在于，我们在做 lora 微调的时候，把底座模型的精度给砍了一刀。看一下图，原来我们的模型可能是三十二位浮点数或者是十六位的，而在 q lora 里面， 我们把它量化到了四 bit 四位整形。这样做有什么好处呢？因为计算精度降低了，矩阵计算的速度会更快，同时呢，这样的显存会大幅减少，这就是 q l 存在的唯一目的，降本增效。 通过四 bit 量化，我们甚至可以在消费级的 g p u 上，比如说你有一块 r t x， 三零九零或者是四零九零去跑那种原本想都不敢想的超大模型， 这要是在以前是必须要有 a 一 百级群才能干的事情，现在呢，单卡就能跑起来了。而且因为我们只训练 lora 那 一小部分，参数可能就百分之零点零一到百分之一， 所以上市的权重文件非常小，可能就只有几十 gmb， 这就意味着我们可以很轻松地保存、切换不同的模型版本。所以说 q 二最适合的就是资源受限环境下的超大模型微调。比如你只有单张 gpu， 但是又想定制一个医疗或法律领域的专用大模型， 或者是做快速原型开发，想低成本验证一下想法，那 q laureo 绝对是你的首选好课程的最后，我们来做一个大总结，我们今天讲了 laureo 的 原理，看了代码，也学了 q laureo， 为了让你们在项目中啊少走弯路，我把整节课的精华浓缩成了五条最佳实践指南。 一、参数最小化 laureo 的 核心就是轻量化，在保证效果的前提下，尽量减少可训练的参数规模，不要贪大。第二，工具标准化， 不需要手写矩阵分解了，优先使用我们刚才演示的 pft 库，它提供了标准化的接口，能让你快速实现微调，把精力放在数据上，而不是代码上面。第三点，全限层覆盖，意思就是对所有限层应用 logo， 也就是我们在配置 target modules 的 时候，把 q k v o， gate up， down 这些全部配上， 这样模型的学习能力啊是最强的。下面呢，还有个小坑值得大家注意一下模型里面的编制和层规划，他们的参数量非常小，但是对稳定性很重要，所以我们在训练的时候通常不把他们纳入 lora， 而是让他们保持原样或者是独立训练就可以了。最后一条，只要你是单机 gpu 或者是显存不太富裕， 直接无脑选择。 q laureo 利用了量化技术，它是我们目前解锁大参数模型训练的最主流最经济的方案。好了，以上就是我们关于 laureo 和 q laureo 的 全部内容了，希望大家听完之后能亲手去跑一跑代码，训练一个属于你自己的大模型。