先介绍一下你做过的大模型相关的项目吧,我主要做的就是大模型微调在行业问答场景的应用,用的是拉马二 c、 b 通过笼络方法做理论设计,目标是让模型能准确回答某个垂直行业的知识库问题, 其中在设置题上面,问答准确率提升了百分之二十五。那你为什么要选择笼络微调而不是全量微调呢?或者说只冻结域训练层,只训练输出层呢?我这里也整理了一份十一万字大模型高频的面试题,感兴趣的小伙伴可以带回家学习。全量微调的话参数量比较大, 就七 b 模型全量训练对显存和算力要求很高,我们之前团队资源有限,支撑不了,就如果只冻结预训练场和只训练输出场的话, 模型的四倍性就不够,因为预训练的通用知识很难和领域知识有效结合。罗纳它就是冻结预训练模型的权重,指训练插入的低值矩阵,现在插入量就小,训练成本很低,而且训练的时候可以把低质矩阵和原始权重合并,就完全不影响它的推理速度。综合来看就是罗纳在效果、成本 还有度数的友好性上,它是一个最优的选。那罗罗的核心原理是什么?低置矩阵的维度你是怎么样确定的?罗罗的核心是假设,就预训练模型在微调的时候,权重更新矩阵具有那个低值特性。具体的做法就是在全时方码的天行层插入两个低置矩阵 a 和 b, 然后 a 的 维度是低层崖, b 就是 r 乘 d, 其中 r 是 d 次维度,训练时就只更新 a 和 b, 原始权重就保持不变。前向传播的时候输出是原始的推选结果加上 a 乘 p 的 增量,然后 d 指维度 r。 我 们选的就是八,一开始试了 r 等于四八十六,然后 r 等于四的时候效果不够, 模型理论和不好涵养的知识, r 等于十六的时候仓数量增加明显,训练的时间就变长了,但效果提升也不明显,所以最后选择了 r 等于八,在效果和成本之间就取得的比较好一些。 ok, 那 其实你回答的这些问题都是有自己的理解的,包括还有数据的支撑。嗯,很不错。
粉丝1.3万获赞8.6万

究竟什么是罗纳呀?想学啊你,我教你啊!相信不少已经上手了 sd 绘画的朋友,这两年或多或少都接触过 lora, 在大家的印象里, lora 就是体积小,训练快,甚至是五年前的老电脑也能跑。那 lora 究竟是什么呢?为什么能做到这样呢? 大家好,我是花子。今天我们就花几分钟时间,从底层来讲清楚这个问题,如果对你有帮助的话,还请一键三连支持一下。 lola 是 low rank adaption 的缩写,翻译过来就是低至适配的意思。那什么是低至适配?这个字是个什么东西呢? 如果你手头上刚好有一本先进代数的书,你会发现字的定义是这样的,一个矩阵的矩是指矩阵中先进独立行或列的最大数目。 是不是每个字都懂,但是连起来就不知道什么意思了?不用担心,我们用小学数学就可以搞清楚什么是智,请做!那我们就先来做一道小学的数学应用题。小红呢,买了三个苹果,四个桃子,一共花了十八块钱。小明买了两个苹果,三个桃子,一共花了十三块钱。提问, 一个苹果和一个桃子分别是多少钱?姐,这道题应该没什么难度吧?你只要写出两个等式,然后这样这样 这样就可以得到答案,一个苹果等于两块钱,一个桃子三块钱。怎样?是不是燃起你的数学之魂了?但是这个时候,财大气粗的小明突然间就改变了主意,他决定买六个苹果和八个桃子,一共花了三十六块钱。如果我们再尝试用刚才 的方法解题,会发现无解,对不对?为什么呢?如果仔细观察哈,我们会发现,小明买的水果刚好是小红的两倍,自然花的钱也是小红的两倍,也就是说,小明的这条柿子只是将小红那条柿子左右两边同时乘以二, 这样的式子并没有提供额外的有效信息来帮助我们解题。用数学术语来说就是这两条式子不是线性独立的,如果把运算符和水果都删掉,只保留数字的话,剩下的这堆数字我们就称之为矩阵。 左边的这种情况呢,因为两个式子都是有效的,所以我们可以说这个矩阵的痣是二右边的。这种情况呢,因为小明没有提供额外的信息,所以只有一行是有用的,我们可以说这个矩阵的痣只有一。到了这里,是不是稍微理解了痣这个概念呢?其实忽略 严谨的数学定义啊,我们只需要记住一点就行了,一个矩阵的痣越大,他的信息含量就越大。 那我知道了什么是质以后,再来回看一下 lora 这个概念, lora 说是低质适配,我们是不是可以大胆又朴素的猜测一下,低质适配是不是就是想办法把一个质比较大的矩阵变成质比较小的矩阵呢?矩阵小,那训练起来可不就轻松一点喽, 真棒,还真的就是这样,那么现在的问题是,我们怎么把一个大矩阵变成小矩阵呢? 为了说清楚这个问题,我们就继续来玩一下数字游戏。还是小明他家里很有钱,有三辆车,这三辆车速度都不一样,平均时速分别是一百公里、一百二十公里和两百公里。为了后面方便计算啊,我们也可以说这三辆车开一公里 分别需要这么长的时间。现在呢,小明打算开车去三个城市玩,这三个城市离他家分别是两百公里,四百公里,一千公里。 为了知道开这三辆车去三个城市分别要花多长时间,小明就制作了一个三乘三的表格。通过简单的乘法把这个表格填满,我们就可以知道,开不同的车去不同的城市索要花费的时间, 比如说开宝马去 a 市就需要两个钟。刚刚上面的例子呢,就已经完成了一次简单的矩阵乘法,我们通过将两个小矩阵相乘,得到了一个大矩阵。 反过来讲,这个大矩阵呢,也可以分解成这两个小矩阵。如果你还记得刚刚我们讲的字的概念的话,小明制作的这个表格就是一个至为三的矩阵,速度列表和距离列表是两个至为一的小矩阵。通过这种方法呢,我们 就将一个矩阵适配成了两个低至的矩阵。总之呢,两个痣小一点的矩阵相乘,可以得到痣比较大的矩阵,相当于做了一次升为反过来一个大矩阵,也可以通过矩阵乘法进行降尾,变成一个小矩阵。 如果从参数量的角度来解释的话,三乘三的矩阵总共有九个参数,而这两个小矩阵有六个参数,总参数量减少了三,看起来好像没什么对吧? 但是在大模型里面呢,如果把一个参数量为一百万的大矩阵分解成两个一千的小矩阵,那减少了参数量就非常客观了,那这样训练起来可不就轻松一点喽! nice, 好了,到了这里啊, lora 的底层原理算是讲完了,还算是比较简单的吧。最后我们就来看一下 lora 是怎么应用在稳定扩散模型的微调训练上的。 稳定扩散模型指的不是一个模型哈,他是好几个模型配合着声图的,其中骨干网络是 unite, lora 可以应用在 unite 和文本低码器两个模型上。 另外还有一个叫做 them 的参数可以留意一下,这个参数其实就是小矩阵的痣,设置的越小呢,训练出来的 lower 模型就越小。记得我们刚刚说的,痣越大,代表矩阵的信息含量越高,所以 jam 设大一点效果可能会好一点。 最后的最后,我们甚至还可以鼓起勇气瞄一下 lora 的训练代码,从代码就可以很明显的看出 lora 的向前传播,对传入的矩阵进行了降位,然后再升位的过程, 有兴趣的朋友可以自己再啃一啃哈! ok, 那今天的视频就到这里,如果有什么不理解的,欢迎大家在评论区提问,那我们就下期再见。

大模型微调怎么理解它?就像是你已经有了一个很聪明的通用模型,现在想让它更适合某一个具体任务,比如更会写客服话术,更懂公司业务,更像某个固定风格,或者更擅长某类问答。那微调的完整流程到底是怎样的?我是小哲,点赞收藏加关注,我们马上开始很多内容查看橱窗! 第一步,先明确微调目标。这一步非常关键,因为不是所有问题都适合微调。如果你的问题是模型不知道某些知识,比如公司制度、产品文档、最新资料,那很多时候应该先考虑 rag。 但如果你的问题是模型输出风格不稳定,回答格式经常不对,某类任务总是做不好,或者你希望他按照固定模板、固定语气、固定思路输出,这时候微调才更有价值。所以微调前先问一句,我到底是想让模型知道更多,还是想让模型表现的更像我想要的样子? 第二步,准备训练数据微调最核心的不是算法,而是数据。常见的数据格式其实很简单,就是一组一组的输入和理想输出。比如用户问一个问题,你给出一个标准答案,或者用户给一段需求,你给出一段符合要求的回复。模型就是通过这些样本学习你希望它如何回答。 这里最重要的不是数据越多越好,而是数据质量要高。一百条非常标准、非常清晰的数据,往往比一万条混乱数据更有用。数据里面要尽量避免答案前后风格不统一,格式一会这样,一会那样,错误答案混进去,低质量水文混进去,因为模型会照着学,你喂进去什么,他就学成什么。 第三步,清洗和格式化数据。很多人微调效果差,不是模型不行,而是数据太脏。比如同一个任务,有的答案很短,有的答案很长,有的用口语,有的用书面语,有的带解释,有的只给结果,这些都会让模型学习到混乱的模式。 所以在训练前,需要把数据整理成统一格式,比如统一成用户指令是什么,上下文是什么,标准回答是什么。如果是对话模型,还要整理成多轮对话格式。这一步的目标是让模型清楚的知道在什么输入下应该输出什么样的内容。 第四步,选择微调方式。常见有两类,一种是全量微调,也就是改动模型的大量参数,这种效果可能更强,但成本很高,对显卡数据量和训练经验要求都比较高。另一种是参数高效微调,比如 laura, 它不是直接大规模改模型本质,而是在旁边加一些小参数,让模型学会新的行为。 lora 的 好处是成本低,训练快,部署也更灵活。所以在大多数业务场景里,尤其是个人开发者和中小团队,通常会优先考虑 lora 这类方式。 第五步,开始训练。训练过程本质上就是把准备好的样本一条条喂给模型,让模型先自己生成答案,再和标准答案对比,然后不断调整参数。 这里会涉及一些训练参数,比如学习率、 p 词大小、训练轮数。但初学者先记住一个原则就够了,不要一上来就训练太久,训练太少,模型学不会,训练太多模型可能过拟核,所谓过拟核,就是模型把训练数据背下来了,但遇到新问题就不会举一反三了。 第六步,评估效果。微调完不是直接上线,而是要测试测试级,最好不要和训练数据重复。你要拿一些模型没见过的问题去问他,看他有没有真的学会。 主要看几个方面回答,格式是不是稳定,风格是不是符合预期,错误率有没有下降,有没有出现胡说八道,有没有牺牲原本的通用能力。很多时候,第一次微调效果不会特别完美,这是正常的。微调是一个迭代过程。 第七步,根据结果继续迭代。如果模型还是不稳定,可能要补充更多高质量样本。如果模型达的太死板,可能是数据太单一。如果模型开始胡说,可能是数据里有错误,或者训练过头了。如果模型格式经常错,可能要增加更多格式视力。 所以微调不是一次性工程,而是一个循环,定目标,做数据训练评估,再改数据,再训练,最后模型才会越来越接近你想要的效果。 所以总结一下微调的流程其实就是七步,先明确目标,再准备数据,然后清洗格式化,选择微调方式,开始训练,评估效果,最后不断迭代。 真正决定微调效果的,不是你用了多高级的模型,而是你的目标是否清晰,数据是否足够干净。一句话总结,微调不是给模型灌知识,而是教模型按你的方式做事。这也是为什么在很多业务场景里,微调和 r a、 g 不是 互相替代,而是经常一起使用。

学生的学习,跑模型训练的小伙伴,那肯定都遇到过模拟过礼盒这个问题,那我做了九年的 ai 算法,也面试过很多人,发现一个通病,十个人里面九个能背出一堆优化方法,比如加数据,正则化, job out。 但是这些方法分别解决什么问题? 你的场景该用哪些优化方案?为什么有些加了正则也没用?很多人是理解不了的,那今天我用大白话三分钟彻底讲透过礼盒的全套优化思路。那正在系统学生度学习准备算法面试的朋友,我整理了一套 ai 模拟训练全套干货, 包含了过礼盒、欠礼盒、模型调优,所有考点,粉丝留言六六六直接打包带走。那首先记住核心本质,什么是过礼盒? 简单说就是模型学太细,学太偏,他把训练级里面的噪声、杂志随机误差都当成规律,死记硬背了, 那导致呢?训练级准确率超高,但是放到测试级呢?真是业务数据上呢,效果直接拉垮,泛化能力极差,所有优化手段全部都围绕抑制模型,死记硬背,提升泛化能力这一个核心。 那我分维度给大家讲明白。第一,数据层面的优化,这是最根本最有效的方案。过礼盒最大的原因就是训练数据太少,数据单一,那数据量少,模型就很容易记住样本的细节, 那我们可以通过数据扩充数据增强清洗脏数据,让数据分布的更全面,数据足够多了,模型就学规律,不学噪声了,从根本去缓解过礼盒。 那第二,模型层面优化复杂,模型层数深,参数多,理核能力太强,特别容易过理核。那针对简单的业务场景呢?我们是可以适当的简化网络结构,减少神经元的数量,不让模型算力过剩,从结构上去降低过理核的概率。 那第三,政策化约束,这是最常用的手段。 l 一 和 l 二政策化本质就是给模型去加惩罚,限制参数权重过大,避免个别的参数过度主导模型,抑制模型的复杂程度,防止过度礼盒。那第四,训练策略优化, 训练时加入 jobout, 随机让部分的神经元失活,避免神经元过度的依赖,协同适配,那同时开启早停策略,监控验证及精度 一旦不再提升,就立刻停止迭代,防止过度训练。这里也要纠正一个误区,过你和没有通用的万能解法,数据少就优先去扩数据。模型太复杂就简化结构,训练过度呢,就用早停和 jump out, 一定是要结合场景去给出方案。如果今天分享的内容对你有帮助,记得点赞收藏加关注!

考试只背原题,换一道题就崩,这就是过你和模型。把训练数据细节记得太死,导致遇到新数据表现变差。 像这样想学生记住每道题答案,却没有掌握答题方法。记住训练分数高不等于泛化好测试即用于发现过你和正则化和更多数据能缓解。

今天我们讲过,你和 overthinking 机器学习里有一个非常重要的问题,几乎所有模型 训练到后面都会开始面对。它听起来像一个很冰冷的技术词,但实际上它几乎决定了一个 ai 到底是真的理解世界, 还是只是擅长重复过去。什么叫过你和假设?你训练一个模型,你给他成千上万的秀镜、图片、文字、声音。他开始学习, 学习模型,学习规律,学习这个世界里那些输入与输出之间隐秘的关联。一开始一切都很好,他越来越准确,越来越稳定, loss 持续下降,你会感觉他正在慢慢理解这个世界。可信念继续深入之后, 有些模型会开始走向另一个极端,他们变得过于认真,认真到连那些本不重要的细节都不可放过。他记住了一张图片角落里的阴影,记住了一段文字里偶然出现的词,记住了造香,记住了偶然,记住了那些根本不属于规律的东西。 他开始把每一次巧合都当成世界运行的真相。于是他在训练级上越来越完美,准确率高的惊人,像一个永远不会犯错的人。可真正的问题是,当他离开训练级,第一次面对真实世界的时候,他突然什么都不会了。 因为珍惜世界从来不会完全重复过去。真正强大的模型,从来不是对旧答案倒背如流,而是即使面对从未见过的新样本,依然能够判断、理解、适应, 积极学习,把这种能力叫尖罗的精神放话。我的意思是,有的人认真喜欢过一次,结果最后只换来一句,轻飘飘的,算了吧。从那以后,他开始反复分析每一句话,分析回复速度,分析语气变化,分析对方是不是没以前热情。 他开始对所有细节敏感,敏感到别人只是挽回了一会消息,他就已经在心里提前 演了一场戏去。有的人被丢下过一次,后来即使遇到真正喜欢的人,第一反应也不是靠近,而是想他会不会哪天也突然不要我了。我们总以为 自己是在吸取教训,可很多时候,我们只是把曾经那一次疼痛弥补成了后来所有关系的底层逻辑。我们越来越会保护自己,越来越不容易受伤,也越来越难再毫无保留的喜欢一个人。可真正成熟的人, 并不是没见过谎言的人,而是即使见过冷淡敷衍,时间离开,也依然知道,不能因为一个错误样本就否定整个世界。因为如果一个人永远只能活在过去的锈迹里,那他后来遇见再好的人,也只会不断验证自己曾经受过的伤。

你是否想训练一款能保持人物一致性的 lora, 却又不知道怎么去做完整的训练级?别怕一分钟教会你 如何生成用于训练 lora 的 完整训练级。首先,找到一张你非常满意的人物图片,打开 comfyui, 将图片上传到我提前准备好的工作流, 把图片尺寸最长边设置为八百四十八像素,短边会自动等比缩放。第二步,配置核心,加载一个三百六十度旋转的 logo 模型, u m t 模型选择忘二点一图声视频一四 b 模型。 第三步,在绿色框中输入提示词,点击执行后,等待几分钟就会得到旋转视频和黑白蒙版,从关键帧里挑十五到二十张,就得到完整训练级了。相关工作流和模型我已经调配好了,想体验的小伙伴来抄抄作业。

面试官问 laura 是 什么,十个程序员,八个达成微调就没了。 laura 不是 微调,是给模型贴便利,贴 权量。微调要更新所有参数七十亿参数的模型,每个权重都得重新训练。 laura 的 做法是冻结原始权重,不动额外插入两个小矩阵 a 和 b, 只训练这两个矩阵。 原始权重四千零九十六乘四千零九十六,一千六百万个参数。 laura 插入的两个矩阵是四千零九十六乘八和八乘四千零九十六,加起来才六万五千个参数,缩减了两百五十倍。 推理时把 a 乘 b 的 结果加回原始权重,没有任何额外开销。为什么两个小矩阵能顶一千六百万个参数?因为大模型权重矩阵的本质是低质的。 你可以理解为一本一千页的书,真正有用的核心知识其实只有三十页,剩下的都是重复和扩展。 lara 就是 找到了那三十页,只改这三十页的内容就够用了。 关键参数叫质用,而表示就是那个八。二等于八,意味着你假设权重矩阵的变化可以用八个维度来表达, 常用值是八十六,六十四,越大,补丁越强,但训练成本也越高。还有一个参数 alpha, 控制补丁的影响力通常设成 r 的 两倍。 看对比数据,全量微调七十亿参数模型需要四张 a, 一 百八十 gb, 训练一轮三到五天,成本上万。 laura 微调同样的模型,一张三千零九十二十四 gb 就 能跑,训练两到四小时搞定,成本几乎为零。酷洛瑞更狠,先把模型量化到斯比特,再加 laura 七十一参数,模型单张三千零九十跑,微调显存占用布到十 gb, 效果呢?在大多数下游任务上, lora 只比全量微调低一到两个百分点,库洛瑞再多掉一个百分点,花百分之一的成本换百分之九十七的效果,这笔账谁都会算。 我自己的踩坑经历,之前给一个客服模型做领域适配,全量微调要四张 a 一 百,我没有,就用 lora 微调,一开始 r c 了一百二十八,觉得越大越好,结果过你和严重模型连通用对话都不会了。 后来降到 r 等于十六,配合 alpha 等于三十二,效果一下就稳了。教训就是 r 不是 越大越好,十六是大多数场景的甜点,别一上来就六十四甚至一百二十八。收藏清单来了,通用对话微调 r 的 等于八, alpha 等于十六, alpha 等于三十二。显存紧张,用 kolra 斯比特量化加 laura, 单卡就能跑。 推理部署时, laura 可以 合并回原始权重,零额外开销,也可以保持分离做多 laura, 切换同一个基础模型,挂不同 laura 服务不同业务。口诀通用用八,专业用十六显存,仅上扣洛 r a 两个微调方案对比, laura 适合快速迭代,训练快,成本低,但复杂任务可能欠你和全量微调适合极致性能,效果天花板高,但动不动就要多卡多天训练。 二零二六年主流做法是先跑 laura, 看效果不够再上全量,不要一上来就全量微调。有人说 laura 就是 穷人版微调效果肯定不如全量, 但你看 meta 和微软的论文,在很多任务上, laura 跟全量微调持平,甚至更好。你觉得是工具不行,还是你没调好参数,评论区告诉我你站哪边?

权重衰减,这是为啥成为了现在训练模型的标配,你们在训练模型的时候有没有遇到这种情况?模型在训练级上啊,效果嘎嘎好啊,落是非常低,但是一放到测试级上,结果直接拉垮。没错,这就是过你河。 在讲权重衰减之前呢,咱先来看这组数据,应该很轻松就能看出来规律吧,正常模型的女和曲线应该是这个样子,而过你和的模型呢,就像一个杠精是吧?他为了你和训练集中的每一个点,包括那些噪声,就不得不让自己的曲线变得极度扭曲。从数学上看,这背后的原因就是因为权重过大。 假设这是咱的模型,很简单,就一个参数,当参数量很大的时候呢,输入端哪怕只有一丁点的差异,输出端都会产生剧烈的波动,看到没有,权重越大,则斜率越大,权重越靠近零呢,则这个斜率越平。 而这种对细节的过度敏感,就是过你和的根源。而权重衰减就是为了缓解这个问题的。他的核心逻辑嘎嘎简单,在模型每次更新参数前,强行给每一个权重减少一点点,使其更接近零。 权重一旦越靠近零,则那一点的斜率就越平坦,从而整体曲线就会越平滑了,这样就不再容易去你和那些啊极端的噪声了。 哎,那怎样让权重每次更新都自动缩减一丢丢呢?很简单,我们追根溯源一波。如果看过我过往关于啊梯度向量法和损失函数这两期视频的小伙伴,应该很熟悉,参数的更新是不是由梯度控制的呀?那我们能不能在原本梯度的方向上强行加上一个往零拉的力呢? 我们现在的目标有两个,一个呢,是为了让模型的预测更准,所以我们希望 loft 越小越好,对不对?第二个呢,只是为了让模型的权重不要太大,也就是这个权重 set 越靠近零,他的泛化性越好。也就是说,如果能同时满足这两个目标, 那么模型的准确性和泛化性是不就能达到一个平衡了?哎,一个极其自然的想法是不就诞生了,我们直接把它俩加在一起是吧?将优化的 loss 变成这样不就行了?让模型去优化一个综合的目标,如果模型每次预测的这个总 loss 越来越小,是不是就意味着这个原始的 loss 加上这个 c 的 权重肯定都比较小? 因为但凡这两里头有一个大,那么总的 loss 都不可能小,对不对?哎,这个其实就在教你们如何去修改自己的损失函数。如果你们看过一些其他的论文,会发现,有些论文的损失函数部分都根据自己的任务目标加了一大堆其他的词,然后最后的优化目标呢,就是一个完整的 loss 了,这就是原理。 现在你们应该知道如何根据你们自己的论文 id 来修改自己的损失函数了吧?好,扯远了。现在我们再来看到这个总的 loss 是 不等于这两相加呀?有没有发现有个问题,就这个权重 set, 但他有正有负模型呢,可能通过作弊的手段,比如说让这个 set 变成富无穷大,从而来刷低这个总的老师,这不就出 bug 了吗?所以我们需要的是这个 set 的 绝对大小, 于是我们现在有两种思路来修改这个公式,第一种呢,就给这个 set 加上一个绝对值,变成这个样子。第二种呢,就是给这个 set 加上一个平方,这样这一项呢,就永远都是正的了。这的第一种思路呢,其实就是 l 一 正值,而第二种思路呢,就是 l 二正值。 目前深度学习中最常用的还是第二种,因为 l 一 其实包含个绝对值嘛,导致这个总损失函数呢,在这个零点无法求导,从而计算起来相对麻烦一点。并且这个 l 二的这个平方向求导,他是个一次函数,计算起来比较丝滑,就把这个二提到前面就可以了,对不对?而 真正复杂一些的模型呢,他一般又有若干个这种权重参数,对吧?所以就把他们的平方都加起来,变成了这个样子,并 还有一个细节,有的任务呢,他可能对模型的精度要求非常高,也就是说需要严管权重,而有的任务呢,可以放宽,所以我们需要一个调节旋钮,可以在这个权重前面呢呈上一个系数啊,那么大 number 大 呢,模型就拼命的压制这个权重是吧?哪怕预测的稍微不准一些,而 number 小 呢,模型就更看重这个预测的精度,并且为了求导之后,能把这个平方向的这个二给他约掉,所以数学上呢,就习惯在这个地方承认一个二分之一。而这里的累加符号呢,也可以换成更常见的泛数符号,这里右下角的九幺二就是表示幺二泛数。 我这里就不对泛述这个概念做出展开的讲解,你只需要知道他跟我刚刚说的这个累加符号最终计算出来的结果是一致的就行。 ok, 这就是加上 l r 政策化的权重衰减损失函数了。现在咱们对这个新损失函数进行求导,模拟一遍这个梯度下降法。 原始的梯度下降法是这个样子的,其中这部分呢,就对损失函数求偏导,那加上权重衰减这么一项后呢?而这部分呢,就相当于对这个整体的总 log 求这个 c 塔参数的一个偏导了。 我们现在来计算一下,这个的偏导是多少啊?是不是就等于这个啊?这个很简单,加法的导数就等于分别计算左右两项的导数嘛,然后这个平方呢,正好又跟前面的二分之一给约掉了, 然后把算出来这个导数呢,又给他带入到这个梯度下降法这个地方来,我们再将这个括号给他拆开啊,把含有这个 set 的 这个部分给他合并一下,是不是就变成了这个公式,也就说每一次梯度更新其实是更新了这个公式。 大家看到前面这一项,假设当前的这个协协的一塔,他是等于零点零一的,然后这个 number 呢,假设为零点六吧,那么前面乘上这个系数也就一减掉,这这两相乘就等于零点九九四, 这意味着什么?意味着是不是每一次季度更新的时候,旧的权重总会先被打一个九十九点四折呀?而这个其实就是权重衰减, 你可以这么理解啊,在没加上这个权重衰减之前呢,这个权重参数是没有界限的,你想优化成多少值他都有可能的,而加上这个权重衰减之后呢,相当于给他限定了一个范围,这个范围呢,会随着参数的更新逐步变小,你如果超过了这个范围,则牢齿就会增高,从而增大你的惩罚。 好了,关于权重衰减的基本推导啊,就到这个地方,然后我们今天成功的在标准的技术下降法当中证明了加上 l r 政策化,这会导致权重衰减,但在当今最常用的像 am 优化器中却不是这么回事,而这也是 amw 诞生的原因, 想看的可以在弹幕或者评论当中扣个一,这还是老生常谈的一句话,如果这期视频真的有帮助的话呢?麻烦长按点赞,一键三连,你的支持是我更新视频的最大动力,咱们下期视频见!

ok, 今天我们来讲过礼盒啊,那什么是过礼盒呢?呃,过礼盒就是在模型训练的时候,你发现训练的时候蛮不错的,但是测试的时候很差,那就说明你的模型其实没有真正学到的东西,它学到的都是噪声,学到的是数据,它 没有真正学到数据背后的规律。那与之相对的嵌里核是什么呢?那就训练的时候很差,测试的时候也很差,那就说明你的模型太过简单了,他学不到东西。然后呢,那为了解决过里核的方法,一类核心的方法就是政策化。政策化是干什么呢?它是引入了额外的数, 额外的信息来进行惩罚或者约束。那比如说啊, l 一 政策, l 政策, l 一 政策化,就是啊,对所有参数的绝对值进行惩罚。 double 乘法就是对所有参数的平方进行惩罚。那还有一类非常重要的乘法手段叫 draw bao。 draw bao 是 干什么呢?它是随机的,在训练过程中随机地对神经元进行失元。 其实失元它相当于是引进了一种无偏的噪声,也对应了刚刚乘法所说,我们引入了额外的信息。呃,它能让模型学习更加稳健,具备泛化的能力。其实 draw bao 的 本质上,你也可以把它理解为是一种 ensemble, 即生学习,它类似一种 begging。

本以为曲线已经完全逆和了散点,可遇到新的数据后,准确率却崩的一塌糊涂。 ai 中的过你核到底是怎么回事?起初你只是想训练一个 ai 帮你预测房价,为了尽可能提高准确率,你直接选了一个参数庞大的神经网络开始训练。 看着不断上升的准确率,你心想这下稳了。可没曾想,当用新的数据进行测试时, ai 预测的准确率直接跌到了谷底。恭喜你发现了 ai 训练中的一个奇怪的规律,过你核! 这就好比一个记忆力超群的学生小李,每次刷题都只是死记硬背答题步骤,而同桌小王虽然记性比较差,却理解了每道题背后的通用规律。所以每到真正的考试时,死记硬背的小李直接懵逼。而记性较差的小王却能根据自己理解的公式轻松应对每道新题。 所以聪明的你立刻想到过你和的主因就是你的 ai 记性太好了,企图用庞大的参数记住每个数据的细节,而不是去思考这些数据背后的通用规律。 于是你灵机一动,直接将模型的参数砍去了大半。失去大量参数的 ai 脑容量骤减,再也无力去死记硬背每个数据的细节了,只能强迫自己寻找数据间的通用规律。可心的问题又随之出现,随着你收集到越来越多的数据给 ai 训练,少量的参数并不足以消化如此多的数据 可增加参数又害怕再次过你河,于是聪明的你想到了一个两全其美的方法。你先是将整个网络的参数扩大,但在训练的过程中,每层计算时都让一半的节点随机失活。如此一来,每个神经元都必须学会独立的处理问题, 因为自己所依赖的同伴可能下一轮训练时就会失活。这样,虽然 ai 的 参数总量提高了,但每次学习都只能动用一部分参数,这迫使他放弃死记硬背,转而学习数据的本质规律,而这就是深度学习中的抓 pos。 如果你也喜欢探索 ai 背后的底层逻辑,可以去抖音精选 app 搜索 ai 科普,直接打开首页精选视频。抖音精选 app 还汇聚了大量像我这样的科技视频博主,条条都是宝藏,视频绝对是你日常涨知识的利器。 然而你也敏悟的发现过,你河的模型及参数值往往存在较大的波动,而这些大的参数值会将噪声放大,加具过你河的发声。 所以,为了确保万无一失,你又在参数更新上面动了手脚。原来训练时模型每次输出都会用预测结果和真实值计算损失,而你巧妙的将每个参数的平方和加入到了损失计算中。如此一来, ai 每次更新参数时,不仅需要朝着减小预测误差的方向努力, 也需要尽力确保所有参数的值不会出现较大的波动。它就好像是给模型加了一个无形的约束,将一些偏远的极指点强行拉了回来,而这种方法被你称为 l 二正则化。除此以外,你还在训练的过程中设置了监视系统, 每训练几轮,系统就自动在验证集上考一次试,一旦检测到验证集的误差变大,就强行终止整个训练程序, 防止训练时间太长产生过逆合,而这就是 ai 训练中的早庭法。在这套环环相扣的组合拳之下, ai 不 仅学会了记忆,更学会了思考,而这也正是现代人工智能从死板机器走向真正智能的必经之路。

上学时候,班上总有这样的同学,课本例题倒背如流,但考试稍微变个花样就不会了。 ai 也会这样,他可能把训练数据记得滚瓜烂熟,但遇到新数据就傻眼了。这就是过你河。 ai 在 背书,而不是真正理解 过你河。说白了,就是模型在训练级上考了九十八分,一到测试级就掉到六十五分,就像那个背下所有答案的学生, 题目一变就不会了。正常,你和是一条平滑的曲线,抓住主要规律。过你和则是一条乱七八糟的曲线,连数据典里的噪声都记住了。机器学习里有个核心概念叫偏差减方差权衡 欠你和的模型偏差大,太简单,学不到规律。过你和的模型方差大,太复杂,对数据过于敏感。我们的目标不是消除所有误差,而是在两者之间找到最佳平衡点。 过你河的三大元凶,模型太复杂,数据太少,训练太久,模型参数多了,就像一个超大硬盘, 能把数据全都背下来。数据少了,模型学不到真正规律,只能死记硬背。训练时间过长,模型就开始记忆数据,而不是理解规律。看这条更正后的误差曲线纵轴是误差顶部高,底部低。 训练误差从顶部一路降到底部,持续下降。测试误差先降后升成 u 型, 最低点就是最佳停止时机。过了这个点,就开始过你核了。检测过你核很简单,把数据分成训练级和测试级。 训练级准确率高得离谱。如果训练级百分之九十八,但测试级只有百分之六十五,差距超过百分之十, 那就是严重的过你核。严谨的做法还要再加一个验证级,用来调餐,或者用 k 折交叉验证解决。过你核有四大法宝,增加数据最有效,但成本高。 图像领域可以通过旋转裁剪做数据增强。简化模型成本低,效果直接。正则化是深度学习的必备利器。给模型加上紧箍咒,早停最简单,验证级性能不再提升就立刻停止。 实际项目中,通常组合使用这几种方法,效果远超单一技术。正则化就是给模型加个紧箍咒, l 一 让不重要参数归零。 l 二,让所有权重均匀变小,更常用 drop out 更巧妙。训练时随机丢弃一部分神经元, 强迫模型不依赖特定的节点。测试时再用全部神经元。总结一下,过你核就是 ai 在 背书,而不是真正理解检测,看训练和测试差距是否超过百分之十。四大解法,组合使用最重要的是让模型学会规律,而不是记住答案。

关于大模型微调, lora 为什么能够降低算力成本?嗯,这个问题不能只停留在可训练参数变少的表面。 核心就是 lora 通过冻结基座加低脂旁路训练的底层架构,从显存、算力、通信、部署四个维度系统性击穿算力和显存瓶颈,这才是真正的降本核心。 首先得明确 lala 的 核心逻辑,他是把预训练机座权重 w 完全冻结,不计算梯度,不保留优化期状态,只在机座旁加一个低子旁路,通过两个小矩阵 b 和 a 的 乘积更新参数,相当于用极小的计算量实现模型新知识的学习, 这才是四两拨千斤的关键。具体降本的四个核心维度,其实都是围绕冻结机座只训小参数展开。 首先第一个就是最次显存的是梯度和优化器状态,诺尔冻结基座之后,这部分庞大的显存开销直接砍掉,显存消耗降到原来的三分之一以下,彻底解决显存瓶颈。 第二就是反向传播的时候,不用计算基座权重的梯度,五点运算量锐减,训练速度和吞吐量大幅提升。第三个是分布式训练的瓶颈,在网络待宽,诺尔仓数量极少,节点间同步的数据量呈指数级下降, 彻底缓解通讯压力。第四个就是部署的时候,可以把训练好的小矩阵提前合并回原始权重推理的时候和未微调的激素模型完全一致,零延迟无额外开销, 这也是工程落地的关键优势。但是洛洛的落地痛点也需要讲清楚,首先就是门的有天花板,他更擅长激活模型,已有知识注入海量新知识或者复杂推理的时候,不如全量微调。第二个就是调差难度大,低子矩阵的子不能全局一刀切, 不同层对纸的敏感度不同人工调优耗时。第三个就是千亿级模型,请加载基座权中仍有可能撑爆单卡选层,但能够解决这一部分才是体现落地能力的关键。利用多啰啰拆解更新的方向和幅度,逼近全量微调的效果, 突破能力上限,用动态制分配,让模型自动给关键词分配,高纸无光层减纸,解决调差难。 结合模型压缩和分页优化,应对超大模型的显存压力,真正的去实现工程化降本和落地。我已经把二零二六年大模型进阶的最新路线整理好了,如果你也想进阶大模型,我可以给你一份大厂内部必读的文档, 里边包含模型原理、产品落地思维框架,内容非常全面,需要的话我直接安排。