粉丝5028获赞7.0万

大家好,欢迎来到本期视频。用过 s d 和 confu i 的 朋友一定对 lora 不 陌生,但你真的理解它的原理吗? lora 全称 low rank adaptation, 低至自适应。它最大的特点就是用一个几十兆的小文件,就能让几百 g 的 大模型学会新东西。 传统模型微调,你需要把整个模型所有参数都重新训练一遍,几百亿的参数,没个 a, 一 百级群根本跑不动。而 lora 的 出现彻底改变了这个局面。 laura 的 核心思想说出来其实很简单,它假设模型参数的更新量。 delta w 是 一个低质矩阵,什么意思呢?就是我们可以用两个更小的矩阵和 b 相乘来近似,替代这个巨大的更新矩阵。这个更小的程度由 rank 制控制。 在 stable diffusion 中, lora 主要应用在 unit 的 交叉注意力层里,也就是 q kb 投影矩阵。训练时只更新这些低智矩阵,原始模型参数完全冻结不变。 训练过程是这样的,先把大模型冻结住在目标层旁边,并连插入 lora 矩阵,只优化这些新增的小参数。因为参数量减少了上万倍,所以训练速度极快,消费及显卡就能跑。 数学上, lower 的 更新公式可以写成新权重,等于原权重,加上缩放系数乘以 b, a 除以质,缩放系数控制整体强度。质越大,模型表达能力越强,但文件也越大,通常质设为六十四就够用了。 在 confui 里用 laura 非常简单,加载好基础模型后,添加一个 load laura 节点,连上模型和 click 关键参数就两个 model。 strength 控制对图像的影响程度, click strength 控制对提示词的理解 model strength 从零到一效果递增,超过一可能会过爆,低于零点五效果不明显,通常默认是一,但具体看需求,有时候零点八反而比一点零效果更好。 laura 还有一个杀手级功能,就是叠加使用,你可以同时加载多个 laura, 分 别控制权重,实现风格、角色、姿势的组合控制。比如一个角色 laura 加一个科幻风格 laura 和其他方法比, laura 的 优势非常明显,比 texture inversion 表达力强,比 dream buff 快, 是目前性价比最高的微调方案。 实际应用中,角色 lora 只需要十五到二十张图,训练一到两小时就能出不错的效果。风格 lora 需要三十到五十张物体 lora, 甚至十张图就能学会一个新概念。 目前 civitas 上有超过十万个 lora 模型,包含了你能想象到的几乎所有风格和角色, lora 已经成为了 sd 生态中最活跃的部分。 总结一下, laura 本质就是低质分解,用两个小矩阵近似大矩阵的更新,参数量小,训练快,文件小,效果好,这就是它成功的原因。觉得有用的话点赞关注我们,下期见!

今天带大家梳理大模型微调。大模型微调的方式有几种, prometregg 跟微调前面的视频已经详细讲过 prometregg 今天带大家详细的梳理微调。为什么需要微调? 因为现在的大模型在一些专有领域,比如说医疗或者说金融领域,他的能力是不足够的,所以需要微调来使大模型适应专有领域。在微调之前需要准备一批数据,这个数据一般是对话对,比如问高血压患者可以吃党参吗?回答,可以, 党参有助于降血压、降血脂,这就是一条数据。在全量微调的时候,大概率需要准备几万到几十万条数据,在罗拉微调的时候,可能需要几千到几万的数据。先说全量微调,全量微调顾名思义就是把 模型的所有参数都进行调整,比如说七币或者说三十币的模型,那就需要对七十亿的参数或者说三百亿的参数都进行调整。把模型的参数抽象为 w, 用户输入提问 x, 经过模型推理,经过 w 之后,输出为 y, 他的目标输出是 y 一 撇,那中间就会产生一个损失。若全量微调的目的是为了让损失降低,让输出 y 跟目标输出 y 一 撇的差距 变小,甚至归零,那具体的全量微调的公式就是, w 一 撇等于 w, 减去学习率乘以 t 度。更准确的来说是新的参数 w 等于旧的参数,减去学习率乘以 t 度,乘以损失。在全量微调的过程中,需要对 transformer 的 注意力层、非限性激活层,甚至词嵌入层等所有的参数都进行调整,那调整这么多的参数就需要大量的数据,同时微调也会深度的改变模型,基于这些原因,显而易见,它的成本显卡成本会很高。在全量微调的过程中,有这几个超参数 需要调整,超参数就是需要人工干预进行调整,以使模型的微调效果更好的一些参数。全量微调需要的超参数有一学习率,可以看到学习率在这个公式当中的位置,学习率越大, 他的损失降的就会越快,同时学习率过大的情况下,损失就会来回震荡而无法达到最优,所以 几率需要取到一个比较合理的区间。第二个超三是 p 四大小, p 四数据过大的时候,他的 p 度就会越稳定,同时他的泛化能力可能会受影响,但 p 四太小的时候,他就会容易产生噪音,梯度不稳定,但他容易跳出局部对优解而 带来更好的泛化。轮数。当轮数越大的时候,他有可能过你和,当轮数过小的时候,有可能欠你和。然后优化器 v 调相对于全量 v 调, v 调 不改变模型的任何参数,它是一个增量微调。比如说模型原来的输出是输入乘以参数,那洛拉微调是在原来的基础上再加上一个德塔的参数乘 以输入,最后形成新的输出。当洛拉微调的过程中,原参数 w 零会被冻结,不发生任何改变。 所有的参数的调整都只会调整增量的 d 叉 w 这个参数。为什么要做这样的增量微调,而不是直接调整原来的模型参数进行全量微调。在全量微调的过程中,它需要调整的参数过于巨大,所以需要显卡的成本非常高, 为了节省这个显卡的成本,就出现了增量的微调。增量微调如何节节省显卡成本?首先在保证输出的维度不变的情况下,需要嘚它 w 跟 w 的 维度是一样的,比如说 w 是 四零九六乘四零九六,那在全量微调的时候,我需要改变四零九六乘四零九六个参数, 但嘚它 w 我 可以做矩阵质的分解,分成 b 乘以 a, b 是 质乘以质,比如说是八, a 是 质乘以四零九六, 那 b 乘以 a 之后,它的维度不发生改变,但它的参数量两个四零九六乘以八跟四零九六乘四零九六的参数量明显会降低很多。参数量降低,那它的显卡的训练成本就会降低。完整的微调的原理公式是, h 等于 w, 零乘以 x, 再加上 r 分 之阿尔法乘以 b 乘以 x, r 就是 它的质引进了一个超参阿尔法。阿尔法的作用是为了节省微调的时间。首先要说阿尔微调,它的调整的参数量取决于它的质, 就是这个八,或者说十六或者十四。可以明显看到它在矩阵分解的时候,它的质越大,它的参数量越大。那有没有可能是我在 首先把质 r 分 解为十六的时候,进行了整个的微调,调出来了一个比较合理的损失。但这时候因为需求的改变,我需要把它的参数量降低,由十六变成八,或者变成四。在没有阿尔法这个超参的情况下,那我就需要重新再调整 学习率。但如果我引进了阿尔法,阿尔法是一个固定值,比如说是十六,那当质从十六变成八的时候,那他的这一个前系数阿尔法不变的时候,他就会由一变成二,这种情况下,我的质改变,但我整体的增幅没有改变,我的学习力可以不变,所以阿尔法的引进是为了 节省微调的时间。前面说了,微调是在做增量微调,同时它也不是在模型所有的参数都增加增量微调,它只在限行层上增加增量微调,比如常用的是 q k v o。 q k v o, 这是咱们之前在 transformers 原理中讲过的它的注意力机制,所以在 q k v o 这几个参数上做增量微调,就可以改变模型对于输入的注意力或者说关注度。同时在非限行层的 get、 门控以及 up down 这些限性的地方也增加增量微调,它可以改变模型的知识记忆以及推理能力。一般情况下,在显卡 够用的情况下,会在所有的这些限性的地方都做增量微调,让模型自己去做调整,以达到更好的效果。 q 洛拉微调跟洛拉微调的唯一区别是, q 洛拉微调在微调的时候,把原模型的参数做了量化再冻结,把原模型参数进行四比特量化或者八比特量化,这样做的好处是对于显卡显存的占用进一步降低, 其他的跟路亚微调没有太大的区别。很明显,路亚微调相对于全量微调,它的训练速度会更快,它的成本也更低,同时它需要的数据量也会少一些。还有一个优势是可以对一个模型同时 并行的去做多个路亚微调,在使用的过程中可以去加载多个路亚微调,以适配不同的场景。路亚微调它的超餐除了前面说的全量的微调这些超餐之外,还有这些超餐质,阿尔法刚才解释过质跟阿尔法了,质影响它的 微调的参数量,阿尔法一般取质的两倍。还有个 target models 就是 洛尔,微调作用的限性层就是 q, k, v, o, gates, up, down 这些。 还有一个 laura dropouts, 它主要作用在增量的数据上,主要是为了防止模型过拟合,增加一些随机的数据清零。模型微调到这里就大致梳理完了,其实现在有一个有一部分人在做这方面的研究, 随着大模型的能力越来越强,微调的收益是不是在逐渐的降低?最近看到了一篇论文, rgg 的 收益接近于微调的收 益,明显 rgg 的 工作量相对于微调要小很多。所以有没有一种可能,在大模型能力越来越强,或者说大模型能力达到某个极限的时候,微调失去了它的意义?

那么今天推荐 anima 模型的批量训练, comfyy 加上 sd scripts, 直接把 anima lore 训练呢做成一座可以持续运转的 批量面单工厂,一键完成达标训练以及批量操作,只需要将图片文件夹丢进去,就可以直接启动任务。 comfyy 是 开圆的, sd crepes 也是开圆的,那么作为这两者的桥梁,我的这个插件呢,也是开圆的,并且我已经将它部署到了优云计算平台当中, 找到对应的镜像,点击部署指令,那么这是一个自启动的镜像,我们选择可以去租用的 gpu 及立即部署。 等待一下,我们点击 comui 来进入到 comui, 点击左侧的选择我们要去使用的工作流,那么第一个工作流是进行批量训练的,第二个工作流是训练完成之后来进行测试的,我们先选择第一个 快速启动来说,我们只需要完成两个步骤,点击文件管理,进入到对应的文件夹,在这里 如果我们想训练一个 low 二模型,我们就新建一个文件夹,设置一下名称,点击创建,上传一下我们的训练机, 以此类推。可以新增多个人,他们队列进行训练。个人建议是不要超过二十个,对于训练局的数量,那么二十张是一个非常不错的起步值。我们回到 copy y 就 可以点击运行开始训练了, 这里默认每个 lora 模型。我会训练三千个步,我们点击运行,这是一个自动打标自动训练的过程,除了步数设置之外,上方有设置。一共训了十轮,这里可以对二镜像调节以及设置每多少轮来保存一个 lora 模型, 训练的模型呢,会保存到 copy y 文件夹下的模型文件夹下面的 enigma lora 文件夹当中。 这个一分钟之前的 lucy 就是 我们刚刚训练的罗尔模型。到了这个地方,我们就在正常的进行 训练了。一般来说,在默认设置下三千步的话,要训三十分钟,两千步就是二十分钟。这里我做了一个进度条,可以查看我们训练的步数,相信到现在为止,快速启动就非常明确了。训练完成之后,我们要进第二个工作流,那么这是一个纹身图的基础流程。 点击编辑刷新节点,自定义把我们训练完成的模型呢刷出来,然后应用它设置以下提示,点击运行任务就可以进行测试。可以看到这个角色与我输入的训练级的相似度是非常的高的。那么这个批量训练的节点呢,是我与 codex 一 起去编的, 它主要的亮点有这些,我们的触发词以我们文件夹的名称来命名。使用了 jimmy 三的无限制模型来进行打标。那么为什么不用 jimmy 四?一开始我是准备使用 jimmy 四的,但是 jimmy 四过于的缓慢, jimmy 三只需要简单的调校一下, 它既是无限制的,而且打标的速度也非常的快。如果我们的训练文件夹下面包含子目录当中有非常多的图片 超过了两千零四十八张,我们可能需要调高该值。主要运行使用的是一个 number, c c p 的 v l m 节点,这个节点我已经预制了一些规则过了,它出来的结果呢,就是完全的符合我们艾利马模型训练要求的。我们来看一个 rebecca 把标的提示词,首先呢,触发词 rebecca 前置这个地方我是疏漏了,应当用 rebecca, 歌尔会更好一些。然后描述一下图像当中的内容,并且我有做约束, 因为 anim 模型它本身是支持标签和自然语言同时进行推理的训练的分辨率的话是一零二四乘一零二四,保持默认就可以。 那么 batch size 的 话,我用的是一个人认为对于人物类的需要捕捉细节的。罗尔的训练,开一足够了,如是画风可能需要开到五到十,最大训练人数呢是十轮。我这里的 repeat 次数呢,是自动去算的, 只需要去做我们最大的训练步数的调节,如两千步到三千步之间。学习率的话我用的是二一负五,更加温和,默认的值的话是一一负四, 二一附五的话,学习率的话要更低。这只是我自己个人的经验了,保留在我的工作流当中,其他均可以保持不变了。那么来看一些我复现的结果嘛,这两个角色都来自于边缘行者那样一个动漫中的角色,可以看到复现度是非常的好的。安尼玛模型绝对是最为强劲的动漫 插画像的模型,这是毋庸置疑的,觉得差异不大,较为落后的,有这种评价的人,我只能说他甚至对于 pony 模型,对于 illustration 模型根本一无所知,与 animal 模型的用户而言根本就不是一个圈子的。

提到微调大模型,过去很多人第一反应是,那是大厂的游戏显卡一堆显存拉满,工程复杂,普通人别想。 可 l r a 出来之后,很多人第一次真的能在开源模型上调出自己领域里的专属版本,他凭什么?关键不是把模型变小了,而是换了个思路。 你看这台大模型主机,整个被铁链锁死,参数一个都不动,我们只在旁边挂几块很小的适配芯片,就能让它的输出发生可控的偏移。这块小芯片到底是什么? l o a a 全称 low rank adaptation, 低智适配。它就干两件事,第一件,冻结基座, 把预训练模型原来的大部分权重全锁死,训练时一个都不碰,就像图里这组被铁链焊住,贴着已冻结的大齿轮儿。 第二件,加旁路,在一些关键的限行层旁边接上两个很小的矩阵, a 和 b 只训练这一小撮新参数。 打个比方,不拆你原来的发动机,只给它加一套可调的小型喷油嘴,圆模型的通用能力全保留。这套小旁路负责把输出往你要的任务领域风格上四两拨千斤地推一把。 那这个旁路用数学写出来是什么样?往公式里钻一层 o 二,有个关键假设,模型去适配一个新任务,真正需要改变的方向往往落在一个比较低维的空间里,用不着动整块权重。 原来的权重是 w, 如果权量微调,就是直接改 w。 这块大钢板 o o r a 不 这么干,它把变化量写成 delta, w 等于 b 乘 a, 而 a b 都很窄,至而很小,这就是降维打击。图里仪表盘上可训练参数可能只占百分之零点几, 参数少了,反向传播和优化器状态也跟着清,显存自然压下来。更妙的是,推理时很多场景能把 delta w 直接合并回源泉中,不额外增加,结构几乎无损。听起来是不是有点像魔法?先别急着上头,清醒一点。 l o a 不是 魔法, 它常被误解成随便找点数据就能训个专属模型。这不对,它降的只是训练参数量和硬件门槛。机器学习那套底层规律一条没变, 数据脏模型就学脏,效果必定翻车。机座模型本来就弱,本来就不会的能力, l o a 很 难凭空造出来,上线早就被锁死了。 任务跨度太大。比如你想彻底重塑他的推理能力或知识结构,这个小外挂可能直接拉跨。 l o a r 真正擅长的是领域表达格式,遵循风格适配,轻量迁移,而不是替代所有全量微调。还有最后一道鬼门关,严谨的评测,谁都别相省。 那这些要点,面试里怎么一口气讲漂亮?如果面试官让你解释 l o a r, 照这四不答稳。第一,机制, l o a r 是 一种参数高效微调方法,冻结原始权重,只在部分限行层加旁路低置矩阵来更新。 第二,数学用低质分解 b 乘 a 去近似全量微调里那块权重的变化量。第三,业务价值,训练参数少,梯度和优化器状态少,所以显存和存储压力小,还特别适合一个基座挂多个 l o a r 做多版本管理。 第四,主动量、边界效果依赖基座和数据质量, rank 目标模块学习率,这些超参都会影响结果,遇到复杂能力重塑,它可能不如全量微调 能把机制数学业务边界这条线讲顺,这题就满分了。记住 l o r a 不 重写大脑,而是用低质增量给大模型装一个精准舵盘。

问你一个问题,你有多久没有更新模型了?在你使用 ai 绘画的时候,你有没有想过这样的一个问题,为什么密尊里仅仅只需要一个五点二模型,就这么的能打各种各样的画风?二次元真人的二点五 d 像素风星海城、皮克斯、毕加索,画人、画动物,画场景全都没有问题。 当我们使用 c 部的批损的时候,画人要用真人模型,画动漫要用二次元模型,画赛博朋克风格要加载专门的 low 啊。画一只猫或者是一只狗要切换到通用大模型, 正常情况下你必须得配备五到十个不同类型的大模型,还有各种各样的 logo 模型,硬盘塞的满满当当的,每次升腾图片的时候都要在不同模型之间犹豫到底要选哪一个。今天看到这个视频的你有福了,给大家介绍几款常用拉链模型。模型已经整理好了,聪明的伙伴已经暴走开裂了。 这是一个宝藏,它能为你所生成的图片增加或减少细节,并且不会影响图片的整体风格。这里我先用 ai 生成了一张二次元人物图像,在没有使用 d t o t 权重设置在二至负二之间能够展现不同的效果,那么就让我们来试试吧。我采用不同的正负值权重,在同一个种子下分别生成了这些不同的画面。当权重在一至到一期间的时候,画面与原图能基本保持一致,但是超出范围后就会出现明显的变化。 所以我建议在正负一的权重范围内使用这个洛洛。有了 the tony 维克,即使不使用高清修复等方式,大部分情况下,你也能在较小尺寸的图片上展示更丰富的细节和更优秀的画质。它的生成速度更快,效率也更高。该洛洛的 c 站下载量达到两百九十 k, 好 评指数五颗星。 noisofsens 这是一个画质调整裸了。如果你对 ai 生成的图像质感不满意,那么它可以令你的图片拥有更加的对比度或是更暗的色调,且适用于各类基础模型。这里我尝试着加入 noisofsens 裸了后的成片效果,相较原图,它有了更高的对比度, 让画面也相对变得更暗了。当你需要会至某些暗黑系图像的时候,我想 noisofsens 能为你带来更加的视觉效果。目前 c 站下载超一百四十 k, 好 评指数五颗星3d rendering style 顾名思义,这是一个三 d 角色渲染的洛洛。在作者的介绍中,不同版本的渲染风格略有不同。这里我将使用最新的历十二版本,在关键词和种子参数不变的情况下,分别生成了这些角色图像。由于我使用的本就是二点五 d 模型, 随着洛洛权重的增价,可以明显看到角色本身的变化,愈加偏向三 d 卡通风格,人物的外形、光影都有着非常优秀的表现。如果你喜欢这种三 d 卡通风格的话,那么可不要错过了。目前 c 站下载一百二十 k 好 评指数五颗星 墨星想必 ai 绘画的老玩家对这个洛洛都不会陌生,它是一个国风水墨画模型,不仅在人物角色上,在动物及山水风景画上同样有着出色的成片效果。配合另一个舒克走马洛洛模型,可以 在画面构图上展现更多的留白。作者还在模型下方简介中贴心地为大家详细介绍的使用方法。另外,使用不同类型的大模型,在出图效果上也会有让你意想不到的惊喜,赶快试试吧该洛洛 c 站下载超一百三十 k 好 评指数五颗星 enamel 二漫画风线稿洛尔喜欢手绘的朋友想必对线稿一定不陌生,无论是复杂的场景还是简洁的人物形象, enamel 二都能为你绘制清晰细腻的漫画线条。在模型简介部分做着详细介绍了洛尔的使用方式,不同版本间的风格也略有差别。另外,不仅是在二次原图像运用,在其他类型的模型上也有着不错的效果。如果你想给图像更换颜色或风格,那么运用 enamel 二说不定能更好的为你提供帮助。目前 c 站下载超一百一十 k 好 评指数五颗星 blimbox 盲盒卡通画风格 lol 模型这是一个独具特色且相当可爱的三 d 优化风格, lol 作者基于盲盒的想法所创作,它不仅能生成可爱的人物角色,在场景构造上也有很优秀的表现。 blimbox 的 应用不仅局限在某一类模型,不同类型的模型上的效果也各具特色,喜欢 猎奇的你一定不能错过。目前 c 站下载超一百二十 k 好 评指数五颗星电子 illustration 儿童插画鲜艳饱满的色彩,机灵活力的角色,可爱迷人的动物这是一个专为儿童所创作的插画 polo, 他 在尽可能将你的创意转化为充满童趣的画面,无论你使用什么类型的模型,他 都能展现优秀的视觉效果。你不需要再去绞尽脑汁书写关于 r 叉的描述,使用 case 二十瑞神就能轻松实现你的丰富脑洞。该 low 的 c 站下载量,三十三 k 好 评指数,五颗星 在最热的 swiss 尺量图风格落了,熟练 ai 的 朋友一定不会对这种风格的插画陌生,对了, ai 指的是都毕业了, swiss 在 平面设计领域,尺量图的应用非常广泛,当然这里 swiss 所生成的尺量图仅是指它的画风。在模型简介部分,作者介绍了 swiss 的 使用方式,使用简单的提示词即可为你生成形象的平面图形,如果你喜欢或是需要它,那么就赶快用上吧。目前 c 站下载十八 k 好 评指数,五颗星 paper cut 这是一个相对小众的剪纸风格,啰啰剪纸艺术是一种传统民间艺术,通过这个啰啰可以让你使用 ai 完美的将这种艺术呈现出来。作者在简介中详细介绍了它的使用方式,在真实系或是二点五 d 风格的模型上会有更加的视觉效果, 无论是人物还是风景,都能为你剪出非常优秀的画面。如果你是一个喜欢猎奇、独具创意的玩家,那么千万不要错过 paper cut。 目前 c 站下载七 k 好 评指数,五颗星 黑色 art style 像素风 lol 不知道有多少朋友玩过我的世界星路、谷物语、泰拉瑞拉等游戏,现在这里有一个跟这些经典游戏画风一样的 lol 模型,你难道不心动吗?永不过时的像素风格,你可以在 ai 绘出它那经典的画面,不要犹豫,立即打开来玩玩吧!目前 c 站下载十三 k 好 评指数五颗星。 在模型网站上,你可以看到许多 ai 创作者们训练的 model, 除了以上提到的十个以外,还有许许多多非常优秀的 model 模型,比如二次元爱好者们都非常熟悉的动漫人物 model 国风,也有像汉服、小人书、连环画、水墨山水等 model。 还有诸多 modern interior 室内装秀、场景 复制他、贵壁、实物摄影、 reno、 开内购 pass、 机械字体等等各种各样创意无限的 model。 并且它们全部都对个人免费开放,喜欢 ai 绘画的你可以尽情去体验,同时也感谢创作者们的为爱发电。

laura 微调,一个用百分之一的参数量撬动千亿参数大模型的技术。他让普通人用一张消费级显卡,就能把 gpt 级别的模型改造成你自己的专属 ai。 今天我们来彻底拆开它。 在讲 l r r 之前,你得先知道大模型有多重。 g p t 三有一千七百五十亿个参数,每个参数是一个浮点数,占四个字节,光存储就要七百 g b。 这些参数本质上就是神经网络里无数个权重矩阵里的数字, 他们记录了模型懂得所有知识的全部信息。那如果我们要让这个模型学会一个新任务,最直接的办法是全量微调,把所有一千七百五十亿个参数全部重新训练一遍。但这意味着什么?你需要存储所有参数的梯度 显存,占用是原来的三倍甚至更多,动辄需要几十张 a 一 百显卡,这对普通开发者来说根本玩不起。 就好比你只想教一个全能厨师,多会做一道新菜,结果必须把他脑子里所有做菜的记忆全部重写一遍,代价太大了。 所以我们要想清楚微调的本质目标是什么?微调不是让模型从零学习模型已经什么都懂了。微调只是在调整模型的行为倾向,让它在某个特定领域表现的更好。换句话说,我们真正需要改变的,只是参数空间里一个非常小的方向。 这个关键动件正是 lora 的 理论基础。 lora 的 全名是 low rank adaptation, 低智适配。它的核心思路极其优雅,我不直接修改原来的权重矩阵, 而是在旁边并连一个极小的旁路结构,用这个旁路来学习需要改变的那一点点叉量,原来的大矩阵全程冻结,一动不动。要理解 lora, 你 必须先搞懂权重矩阵是什么。 神经网络的每一层本质上就是一个矩阵。乘法输入是一个向量,乘以权重矩阵 w 得到输出向量,这个 w 就是 模型存储知识的地方。 在穿梭门架构里,最关键的是注意力机制中的四个投影矩阵 w、 q、 w、 k、 w、 v、 w、 o 分别负责查询键值输出的宪性变换。 lora 就是 专门针对这些矩阵下手的。现在进入 lora 最核心的理论依据,低质假设 矩阵的质是这个矩阵里真正独立信息的数量。一个一千乘一千的矩阵,最多有一千个独立方向,质最高是一千。但 lora 的 论文发现,微调时权重的变化量 delta w, 它的有效质非常低。 也就是说,虽然 delta w 理论上是个大矩阵,但它真正携带的信息只集中在少数几个方向上。就好比一首交响乐团演奏的曲子,虽然有一百个乐手, 但主旋律其实只由三四件乐器决定,其他的都是衬托。基于这个洞见, lora 用一个极其精妙的操作来近似这个变化量,把 delta w 分 解为两个小矩阵的乘积, b 乘以矩阵 a, 其中 a 的 维度是 r 乘 d, b 的 维度是 d 乘 r, r 就是 我们设定的质,它远小于 d。 这样 delta w 这个 d 乘 d 的 大矩阵就被 b 乘 a, 这个结构完美近似了。这个操作本质上是矩阵的低质分解。 这里有个细节非常重要, a 矩阵负责把输入从高维空间压缩到低维空间,就像把一幅高清大图压成一张草图。 b 矩阵再把这个低维的草图还原到高维空间,重新生成完整的调整信号。 这个先压缩再展开的结构就是 lora 旁路的工作方式。整个过程像一个信息漏斗,宽进窄中再宽出 现在来算账。原始矩阵 w 是 d 乘 d, 参数量是 d 平方,而 lora 的 a 和 b 加起来,参数量只有 r 乘 d 加 d 乘 r 等于二 r d。 当 r 等于四 d 等于一千零二十四时,原始参数量是一百多万, lora 参数量只有八千多,压缩比超过一百三十倍。 这就是为什么说 lora 用百分之一的参数量撬动了整个大模型。 lora 的 出场策略也非常讲究,训练开始时, a 矩阵用随机高斯分布始化, b 矩阵全部始化为零, 这样 b a 的 成绩一开始就是零,意味着 lara、 庞璐在训练初时对模型输出毫无影响,这保证了训练的稳定性,就像新员工入职第一天,先观察,不乱动,等摸清规律再慢慢发挥。 训练过程中,原始权重 w 被完全冻结,不计算梯度,不更新,只有 a 和 b 两个小矩阵接受反向传播的梯度信号进行参数更新。这意味着优化器的状态只需要为 a 和 b 维护显存占用断崖式下降, 模型的原始知识被完整保留,只有那个细小的庞陆在悄悄进化。 lora 还引入了一个超参数,叫缩放因子 alpha。 在 合并权重时, darth w 要乘以 alpha 除以 r 这个系数。 这个设计的目的是,当你调整至 r 的 时候,不需要同时重新调学习率,因为 alpha 除以 r 会自动缩放旁路的影响强度,通常 alpha 设为 r 的 两倍,也就是缩放系数等于二。这个小设计避免了大量重复调餐的麻烦。 训练完成后, lora 有 一个较为优雅的特性,推理时 b a 可以 直接加回到原始权重 w 上,合并成一个新的 w 撇旁路结构消失,不增加任何推理延迟。 这意味着你用 lora 训练出来的模型,推理速度和原始大模型完全一样,没有任何额外开销。 这是 lora 相比其他参数高效微调方法的核心竞争力之一。所以你可以把 lora 理解成大模型的技能插件。 底座。大模型是游戏主程序, lora 文件就是一个小小的 mod 包。想让 ai 写法律文书装一个法律, lora 想让它画二次元风格,装一个画风 lora。 同一个底座插上不同的 lora 瞬间变身不同专家。 这里有个常见的误区, rank 越小,参数越少,是不是越好?不是的, rank 太小, lora 的 表达能力不够,学不到任务所需的变化量,效果差。 rank 太大,参数增多,又回到了接近全量微调的问题。 通常实践中, rank 取四到十六是比较合理的范围,具体根据任务复杂度调整。这是一个典型的偏差,负方差权衡做个总结,对比 全量微调参数,更新量等于模型全部参数,显存需求极高,训练成本极大,但效果上限略高。 lowra 微调只更新 a 和 b 两个小矩阵,参数量压缩上百倍,单卡可训推理无额外开销, 效果在大多数任务上与全量微调相当,甚至持平。对于百分之九十九的场景, lowra 已经足够了。 lora 的 精妙之处不在于他用了多复杂的数学,而在于他用了一个极简的假设。微调的本质是低质的,然后用最优雅的方式实现了它。 这是一种工程美学,大道至简,四个矩阵撬动千亿参数。如果这期视频让你对 lora 有 了新的认识,那他的任务就完成了。

同样一个 ai, 为什么有的人用着像神器,有的人用起来呢?却像人工智障?答案不是模型不行,而是你还没有学会怎么让它听话。很多人以为用好 ai 就是 不断去更换更贵的模型, 但是你有没有发现,有的时候呢,你可能换了一个模型,写出来的东西还是那个味儿,因为通用的模型它是通才,它懂所有的领域,但是并不是在所有的领域都是非常精通的。 你想让他变成你的医疗问答专家,专属代码助手,光靠聊天是远远不够的。这个时候呢,你就需要用到微调。什么是微调呢?就是给一个已经什么都会的大模型做一个定向加训。 举个例子,哎,你现在有一个大学生,各科都不错,但是你非要让他去考医学执照,那他肯定是蒙的,那有什么办法呢?送他去医学院,去专门学上个三年,这就是微调。 lora 就是 这三年里最高效的速成方案。传统的微调呢,是让大模型把所有的知识从头学一遍,哎,几万亿个参数全部改一遍,烧钱烧时间。 lora 的 做法呢,是说不动大模型已有的知识,只是在大模型大脑里再贴几张便利贴告诉他。哎,遇到医学的问题,用这套的规则来回答。 lora 的 核心逻辑就是一句话,大模型的原始权重,我们称之为 w, 我 一点都不动,就在旁边额外加一个小小的模块 the w。 w 呢,是模型脑子里几百亿的参数,代表了它对语言、逻辑、世界观的一些全部的理解。这东西太珍贵了,一旦动呢,模型可能会把基础能力都给忘了,这就叫做灾难性遗忘。而 daw 呢,是一组极小的额外参数,只有原始模型的万分之一。 你可以把 w 理解成你全部的知识能力,而 daw 呢,就是在全部的基础之上,再额外外挂一部分,基于某一个特定领域的一个专门的一个知识能力。 那 derw 参数这么少,能学到东西吗?能。因为 laura 用一个数学技巧叫做低质分解,把一个大的矩阵拆分成两个小的矩阵相乘,效果几乎是一样的,参数量呢,却从几百万降到了几千。这就是为什么你花几十块钱,用一张普通的显卡跑一两个小时,也能训练出一个可用的 laura 模型。 而且还有两个非常巨大的好处。第一呢, w 被完整的保留,通用的能力为零损失,你让他写一个 python 脚本,他照样能写,原本的能力一滴都没有少,只是多了一条新路。第二呢, third w 可以 叠加,哎,你今天练出一个法律文书的 lora, 哎,明天练一个医疗问答的 lora, 它们之间是互不干扰的,即插即用的。 到这呢,你可能会问,那 lora 和 prompt 到底是什么关系呢?它俩本质上是一件事,就是让大梦性来听话,只不过一个是写在运行规则里。 prom 就 像你现场给模型下指令,你说,哎,你现在是一个医生,请用专业的术语来回答他,照做,但可能下次对话又忘了,哎,你得再说一遍。而且它的效果可能在有的时候并不是特别的好,所以 prom 呢,一般是和变化快,不需要长期记忆的一些任务。 而 lora 呢,是把你是一个医生,直接写进模型的肌肉记忆里,它改变的是模型本身的一个能力,无论你怎么问,它永远是用医生的方式来回答,你不需要每次重复,它也不会跑偏。 那 prompt 和 laura 一 般用的场景是哪些呢?用 prompt 呢?它一般是倾向于对于任务简单,频率低,然后比如说智能客服 fq。 呃,用户问退货流程是什么,用 prompt 写好规则就 ok 了。那偶尔的翻译一段文字,写一个文案,用 prompt 也是可以的。 什么场景下会用 lora 呢?是你需要风格统一,专业高,一致性。比如说做一个代码生成助手,专门写 python 的 后端,用 drop 呢?可能每次生成的代码风格都略有差异,但是你训练一个 lora, 来学习你们团队的代码规范,每次生成的代码都是向同一个人写的,直接可以用了。 所以 ai 时代真正的差距不是你用哪一个模型,而是你会不会调教它什么时候用 prompt, 什么时候用 lora。 简单来说就是一句话,针对于简单的,一次性的需求,用 prompt, 针对于长期的,并且针对于某一特定领域的一些专业的岗位。用 lora, 我是 产品自镜,关注我后续会不断分享 ai 相关的知识和干货。

今天我们给大家介绍一篇哈根菲斯的一篇技术博课,这篇技术博课主要是在微调的时候,除罗拉之外还有什么高效的参数微调方法。首先我们先给大家介绍一下什么叫 他是哈根菲斯他们提供的一个高效的微调技术,他也是一个开源项目,它里面目前已经支持了除了罗拉之外,它大概支持了四十多种算法,那么它都是可以帮助我们去像罗拉一样去用很少的显存去训练一个模型, 因为有些时候我们在应用场景里面有些提示词啊,可能帮助不大,所以需要进行模型的训练,但是如果你从头开始训练一个模型,成本是非常高的,所以 p e f t 的 这个方法是一个非常高效方法。一般我们这个微调一般都会使用 rola, rola 的 这种微调的这种方式来进行, 它也是最早出现的,它也是一种非常有效的一个高效的一个微调技术,它叫一意适应的这样的一个方法, 那么它的原理是在机座模型上添加一些少量的参数,去冻结这个机座模型的权重,只要去训练这些少量的参数,它就可以去很好的去适应我们下游的各种各样的任务。在所有的 pft 的 技术当中,目前罗尔应该是目前最受欢迎的一个 技术,这个是目前哈根菲斯上面的一些统计,我们可以看到目前百分之九十八点四这些模型都是用这个罗尔来训练的,包括有很多图像生成的一些模型, 有将近百分之五十他都是用罗尔来做的,所以罗尔他是毫无疑问他是目前最常用的技术。但是有些时候,因为我们要更好的性能,其实除了罗尔之外,我们还是有其他的这种 更好的微调技术是可以供选择的。所以这篇论文主要是给我们介绍了除罗阿之外另外的这个四十种 path 的 这种技术哦。首先我们先来看两个例子,这是哈根菲斯提供的这个 benchmark, 因为如果你要去测这种四十多种的这种 微调的这种技术,那么最好它还是需要有一个统一的这样的一个 benchmark, 它主要是训练一个数学的这样的一个问题。另外它主要是训练一个 图片生成的这样一个 benchmark, 所以 它有这样两个 benchmark。 那 我们分别来看一看这个在 gft 这个 library 里面,它的不同的技术,它所对应的这样的一些性能。你这可这边这个是 这个 x 轴,主要是指的是尖峰的,它所需要的显存从十八个 g 到二十四个 g, 当然用的显存越多 当然是越好。值是 test score 是 它的准确率零点五五啊,这个是最高的,零点三五,这是最低的, 所以我们一般选择它是选择外面的轮廓,这边是可以供选择的。当然你可以看到 lora 这个模型,它还有一些变种的模型,像这个叫 r s lora, 这个叫 lora 杠 f a 还是有很多方法,那么在这张图里面我们可以看到这种方法,呃, 它这个叫 miss, miss 这个方法相对来讲它的 score 是 比较准确率比较高,但是它所需要用的显存是比较少,那么这个 l i l y 的 方法,它相对来讲它的准确率是最高的,但是它所需要的显存也是最多的。好,这个是 math 数学的这样一个问答的这样一个 一个测评。那这旁边这张图主要是图片生成的,它也是一样的,而罗拉相对来讲它还是不错的。那么最好的方式我们可以看到是这个叫 o f t 或者叫 p e a u p p e a u n t 这个方案,两个方法应该是相对来讲是比较优的,如果是显存比较少,可以用这个,但是如果你显存比较大,你可以用这种方法,这两个方法是最优的。好,这个给大家简单来介绍一下,那么这里面它就给我们举了一些例子, 特别是这张图,这张图里面它是讲了一个方法,就是 g r a l o lora 的 这个方法,这个方法应该来讲应该质量也是非常不错的一个方法。所以你可以看到 目前在哈根 face 上面,它们也提供了这样的一个各种方法的比较,它这个里面也提供了各种方法的比较,可以选用不同的模型,这个是数学,这个是 image 图片的生成, 这两种方法你可以看到有 aurora, 有 adorora, 各种各样的方法是可以选择的。我们再给大家看一下它 path 的 这样的一个文档,你可以看到这个 path 这个文档里面它有各种各样的四十多种的 aurora 的 变种,它有各种各样的方法都是可以选择的。 所以有些时候,当然一般情况我们用 roa 的 会比较多,当然有些时候我们发现 roa 这个方案不是很好的时候,我们可以在这个四十多个方法里面,在这个样的一个表格里面,你还可以选择不同的方案,不同的方案可以去做一些选择。是这样, 当然它目前其实 v a m 里面目前主要是支持的这种是 lora 的 这种推理方案,当然目前 python 也能够支持一部分的,可以把一部分的 adopt 就是 适配器把它转化成 lora 的 这种方案。那么把非 lora 的 这个 checkpoint, 可以 把它转化成 lora, 然后再放在 v a m 的 引擎里面再来进行推理,其实这个方案应该也是不错的,我们不用担心它的这样的一个非 lora 的 这个方案,它不能够得到 v a m 引擎的这样一个加速,它不会,我们是可以把这种 f t 吉他的这种算法,把它转化成这个 lora 的 这个模型, 保存成为 lora 的 模型,在 v a m 里面来推理。其实这篇文档里面其实讲的还是比较清楚,所以这篇文档最后的结论它是跟我们讲,其实 飞罗拉的方案还是有很多,有些时候我们在用罗拉的这个方案微调之后,发现效果不是很好的时候,那么我们就可以选择不同的飞罗拉的这种微调的这种方案。 那么这个 path 这样的一个库里面,目前提供了大概四十多种这种方案,我们可以去选择的。当然有些时候我们也可以看一些各种方案的比较, 去参考到底哪种方案都是一样的,都是只需要少量的这种显存, 它就能够进行高效的这样模型的训练啊,这样一篇文章,这样哈根 space 的 这样一篇技术博课啊,我们今天就给大家就介绍到这,所以啊,它的这篇文章叫超越 ura, 你 可以选择更好的这种方式来进行微调,好吧?

好,那我想了解一下,超大规模大模型微调 lora 为什么是能降低算力成本?这个问题就不能只停留在可训练参数变少的表面。核心就是 lora 通过冻结基座加低脂跑路训练的底层架构,从显存、算力、通信、部署四个维度 系统性击穿算力和显存瓶颈,这才是真正的降本核心。如果你也想进阶大模型,给你一份大厂内部必读文档, 包含了模型原理、产品落地、思维框架全都有,需要的直接安排。首先得明确 lora 的 核心逻辑,他把预训练基座权 w 完全冻结,不计算梯度,不保留优化器状态, 只在基座旁加一个低子旁路,通过两个小矩阵 b 和 a 的 乘积更新参数,相当于用极小的计算量实现模型新知识的学习, 这才是四两拨千斤的关键。具体降本的四个核心维度,其实都是围绕冻结基座持续小仓数展开。第一个就是最次显存的是梯度和优化期状态,如若冻结基座之后,这部分庞大的显存开销直接砍掉,显存消耗降到了原来的三分之一以下,彻底解决了显存瓶颈。 第二个就是反向传播的时候,不用计算基座权重的梯度,股点运量锐减,训练速度和吞吐量大幅提升。 第三个就是分布式训练的瓶颈,在网络带宽, lora 参数量极少,节点间同步的数据量呈指数级下降,彻底缓解了通讯的压力。第四个就是部署的时候,可以把训练好的小矩阵提前合并回原始权重,推理的时候和未微调的基数模型完全一致, 零延迟无额外开销,这也是工程落地的关键优势。罗拉落地的痛点也需要讲一下,第一个就是能力有天花板,他更擅长激活模型已有的知识,注入海量新知识或者复杂推理的时候不如前量微调。第二个就是调差难度大低,持举证的纸不能全局一刀切, 不同层对纸的敏感度不同,人工调优耗时。第三个是迁移级模型,仅加载基座权重仍然可能撑爆单卡的显存,这部分解决方案才是体现落地能力的关键。用多洛拉拆解更新的方向和幅度,逼近全量微调的效果, 突破能力上线用动态纸分配,让模型自动给关键层分配高纸,无光层减纸,解决条材难,结合模型压缩和分压优化应对超大模型的显存压力,真正的实现工程降本又落地。