我这个主机刚才我想本地训练模型,就是训练一个老软那种模型,呃,用于生成视频,但是呢,我的主机不够用了,这个模型不管用,我没有办法。在阿里云租了一个 gpu 云服务器,是 l 二零这个型号,这显卡的型号 是四十八 g, 现存六十四 g 内存,这个肯定够用了,但是非常的贵啊,一个小时合到十四块多,要算到一个月都一万多了。看他的现存是四十八 g 型号,在这 l 二零, 我为了节省时间,我开了两个界面,这个界面我配这些东西,这个端口正在上传文件,因为模型文件很大,都十几 g, 光上传都要一个多小时了。 这边正在上传这个模型,才上传到百分之三十六了,是 ltx 二点三二十二 b 的 f p 八这种格式, 上传之后训练一下,我要是不训练的话,我人物的一致性就没有保证。我上传那个参考图,只有上传一个正面人物,呃,脸一斜的话,它就会变形,人脸就不一致了。 我训练一下,我把人物的各个侧面都上传上去,能够保证人物的一致性。
粉丝2886获赞2.1万

微调一个七百亿参数的大模型,全量微调需要上百 gb 存,相当于八张 a 一 百显卡打底,单次训练花掉几万美元,这不是在搞 ai, 这是在收钱 low。 二来了,用百分之一的申,数量达到百分之九十五的性能。 o o a r 怎么做到的?四个字,低质分解。 全量微调要改整个权重矩阵 w 好 比翻新一栋大楼的每一块砖。 ora 发现大模型微调时权重的变化。 delta w 其实是个低质矩阵,信息可以用更少的维度压缩, 于是冻结原权重 w u 在 旁边加两个小矩阵 a 和 b, 用它们的乘积 b a 来模拟 delta w h 等于 wa 驰加 b a 驰只训练 a 和 b, 原模型纹丝不动身,数量从 m 乘 n 骤降到而成,当而原小于 m 和 n 时,直接少了几个数量级。 l o r a 有 两个核心,超参数 g r 和缩放 alpha r 决定表达能力儿太小欠你核儿太大过你核且丢效率。新手七点二等于八或十六,多数任务够用。矩阵 a 高斯出舍化, b 出使为零,确保训练从零更新开始。 i o f 缩放更新强度。经验公式, alpha 等于二乘二,或直接在二乘二附近挑餐。 drop out, 设零点零五到零点一,防过你核 贪婪里的 q 和 v 投影层,这俩是大模型的注意力核心,所有重点信息全靠它抓 over a 叉,这就相当于直接给模型的记忆模块打补丁。微调效率最高,效果最稳,还不费显存。 l o a 不是 一个人在战斗,二零二五到二零二六年,大家族涌现。 q l r r 把机座模型压到四倍底,七零 b 模型只需二十四 g b 显存,消费级显卡就能跑,效果保持百分之八十到百分之九十。 i d l o r 不 同层动态分配不同质地,聪明地把算力预算花在刀刃上。读二 a, 把权重拆成幅度和方向,仅对方向做低至适配,表达能力更强,全精度直接报显存, 四比特加 o a 一 张四千零九十就搞定,二、四 g 显存也能跑七、零 b 实战中 o r 已经遍地开花,微软把 faculac 搭配 l o r a 适配器做教学测评,生成巨大率降百分之七十五,质量分提升四点六倍。 金融领域分流在财报任务上平均涨百分之三十六。煤矿医疗结合 r a g 加 l o r a 低成本落地专业大模型。总结一下, l o r a 通过低质分解,用百分之零点一到百分之一参数模拟全量微调效果百分之九十到百分之九十五,性能显存降百分之六十以上。 怎么选?有 gpu 预算少, ora 预算极紧,还想跑七、零 b qlra 追求极致性能且预算充足。全量微调或 dura, 你 学会了吗?评论区聊,点赞加关注,学习不迷路!

看着别人用八张 n 一 百跑拉姆三,你手里只有一张可怜的三零九零,甚至二零八零一跑训练就 o m, 难道穷学生就不配搞 n l p 了吗? no! 只要你不再执着于 for fun, 改成 p e f t 单卡照样发顶会。 我是于哥,做了九年科研辅导,帮忙超过两百人拿到录用,算力不够却可来凑现在的标准。答案是,罗伟。原理很简单,我们把大模型几百亿的参数全部动住,只在旁边加两个非常小的矩阵来训练。这就像在已经盖好的大楼旁边搭了个电梯, 你只需要训练这百分之一的参数,效果,就能逼进全量微调。如果你显存还不够,那就上丘罗瑞把模型量化到四比特,一张十六 g 显存的卡就能跑七比特的模型,甚至还能跑 chat g l m。 你 的论文创新点在哪?不在于你跑了多大的模型,而在于你设计了针对垂直领域, 比如法律、医疗的 instruction data, 用 l a 把它喂进去。这就是一个极其好用的垂直领域大模型。神稿,人看中的是应用价值,不是你的显卡数量。 很多同学问于哥, laurie 的 代码参数怎么调? rank 是 多少?别瞎试了。我整理了一份 l l m 微调实战代码包,里面有写好的 laurie p q 零 vr 的 拍摄脚本,支持拉马三 q n 等主流模型。评论区回复 n l p, 我 来安排!

同一个七 b 模型,你问他怎么学 python, 他 却接着替你写怎么学招法,怎么学 c 加加,他会说话,却不会好好回答你今天讲微调,怎么用对话数据把这个话痨机模型调成一个听话的助手,还得让一张普通显卡跑得动。 上一阶段,我们从零造出了机模型,它会接话却不听话,这一步不补上,后面的对齐 rag 全是空中楼阁。喜欢这个系列就点赞关注,方便接着学。 看完这集,你能分清机模型和助手,看懂 lost mask, 自己推导 lora 为什么省在免费 club 上跑通一次微调 鸡模型,读遍全网,学会的只是下一个字大概是什么?所以他把你的问题当成作文,开头接着写 sft 监督微调做的事很朴素,给他看几千段标准对话,让他模仿。轮到我回答时该怎么说?举个你天天遇到的例子, check gpt, 有 问必答,答完就停。这份分寸感不是天生的,正是被这一步教出来的。 那对话数据长什么样?用的是 chatml 格式,说白了就是给每句话贴上谁再说的标签。 system 设定身份, user 提问 assistant 回答,再用特殊符号 i m 下划线, start i m 下划线 and 圈出每条消息的边界 一条样本。就是把系统设定加用户问题加理想回答拼成这样一段模型。要学会的就是把系统设定加用户问题加理想回答,拼成这样一段模型。要学会的就是把 assistant 那 段一个字一个字预测出来。 这里有个反直觉的关键,训练时只对 assistant 的 回答算损失, user 和 system 的 问题部分完全不算,为什么? 如果连用户的问题也要模型去预测,它就会越练越擅长生成问题,而不是回答问题。你想要个助手,结果养出个复读机,所以我们只为答得好不好。回传梯度 实现简单到出乎意料,把问题部分每个 token 的 标签设成一百, pie torch 的 交叉商见到一百就自动跳过,不产生梯度, 于是每次更新都指来自答案部分多轮对话也一样,由数据整理器 datacenter 自动定位。每段 assistant 的 起点 会训了,下一个问题是,训得起吗?很多人以为微调显存就是装下模型,其实大头在别处。每个参数训练时要存一份权重,一份梯度 i m w 优化器还要再存两份状态。 算下来每个参数十六个字节,一个七 b 模型,光全量微调就要约一百一十二 g 显存,而一张四千零九十 g 有 二十四 g 省显存的思路就一句话,少更新参数梯度和优化器状态全压在可训练参数上,把它从百分之一百砍到不到百分之一,这两块大头就跟着塌掉。 于是有了三档全量微调,一百一十二 g volra 约十四 g q o r a, 约六 g b。 注意,这是数量级,具体数随配置浮动。但结论很稳,只有后两档能塞进消费级显卡。 可问题来了,少更新参数,模型不会因此变笨吗?凭什么动不到百分之一的参数,效果还能逼近全量微调?答案藏在一个较低质的数学性质里。 laura 低质适配核心就一个动作,原来的大权重矩阵 w 冻结不动,旁边挂一条小旁路, 这条旁路是两个受矩阵, b 和 a 相成,本来要更新一个 d 乘 k 的 大矩阵,现在只训练 b 和 a 中间那个维度。二取得很小, 前向传播时圆通路 w x 不 变,再加上旁路 back, 两者相加,就是微调后的输出关键一招。 b 初使全为零,旁路从零起步,所以训练一开始完全等于圆模型平滑出发,不破坏预训练,这也是后面学习率敢调大的底气。 为什么这样就省算笔账,一个四千零九十六建方的矩阵,全量更新要一千六百七十八万个参数,用 r 等于十六的 lora 只需要十三万,少了一百二十八倍。 底气来自一个发现,微调带来的改变量本身就是低质的,它躺在一个很低维的空间里,根本不需要动那么多参数。二取八到六十四就够 gpt。 三、用上 lora, 可训练参数直接少了一万倍,存档从三百五十 g 缩到三十五兆。 更妙的是部署把 b 乘 a 加回原权重,旁路就消失了,推理速度和原模型一模一样,零额外开销。 其实你早就见过它, stable diffusion, 社区里那些几十 n b 就 能换一种画风的 laura, 正是同一招,大模型冻结共享,每种风格只是一对小小的矩阵。一句话记住它微调不是重写整个大脑,只是贴几张便利贴。 laura 已经把要训练的压到极小,但冻结的肌模型本身还占着显存, q o r a 再补一刀,反正它冻结不动,干脆压成四 bit 存着,靠三件套把精度损失压到几乎看不见。 n f 四,一种专为权重大制服,从正态分布设计的四 bit 编码, 双重量化,每块权重还要存一个缩放长数,把这些长数也再压一遍,每个参数又省下小半个 bit。 分 页优化器显存快报时把状态临时挪到内存,防止崩溃。 你可能担心,压成四 bit 还能学好吗?能,一来 n f 四天生贴合权重的正态分布,二来真正在学的 lora 庞度,用的是高精度,把量化的损失顺手吸收进去了。 论文实测,四 bit 的 q o r i 效果几乎追平十六 bit 全量微调,最震撼的是靠它训出的 guanacao 单卡跑二十四小时就摸到了 chat gpt 百分之九十九点三的水平。 原理讲完,落到能跑的四步,整套用的是 hugging face 的 p e f t 库,也就是参数高效微调。 第一步, base and base config, 把模型四 bit 加载。第二步, prepare 下划线 model 下划线 for 下划线 k bit 下划线 training 做数值稳定。 第三步, laura config, 设好两个关键旋钮至 r 设十六,控制旁路宽度。 laura 下划线 alpha 设三十二,是旁路的缩放强度一般取 r 的 两倍。再把注意力的 q k v o 加 f f n 三个投影全挂上。第四步,交给 sft trainer 开训 超餐也有讲究,学习率用二乘以十的负四次方,比全量大十倍,因为只动不到百分之一的参数,不怕迈大步,配抠散调度讨,一到三轮就够 训完。 ad adapter 才几 m b? 这带来一串真实玩法,一个机模型挂多套按需切换,线上能同时服务上千个,要上端测就默值回去再量化,零开销。这套流程一张免费, club t 四就能跑,你今晚就能把通用模型调成自己领域的助手。 两个常见坑,顺带一题,微调容易让模型忘掉原有的通用能力,较灾难性遗忘,少训几轮,学习率别太大就能缓解。而 lora 因为只动一小块,本身就比全量更不容易忘。 还有 sft 数据三件事,来源是开源、蒸馏或人工配比要多,任务均衡,但最关键的是质量大于数量。有研究只用一千条精挑的对话,就调出了不错的效果。 回顾一下今天这条链, s f t 用对话数据叫模型案指令回答 lost mask, 让他只为答案负责权量。微调太贵, laura 用低质旁路把参数砍掉百倍 q r a 再把基模型压成四 bit, 最后四步代码在 club 上跑通。 一句话,收束微调不是重写大脑,只是贴几张便利贴。但你有没有发现, sft 只教会了模型按格式回答,他并不知道哪个回答更好。同样一个问题,给两个答案,怎么让模型学会选更让人满意的那个? 这就是下一集的主题,对其先训一个,奖励模型给回答打分,再用 r l h f 和 d p o, 让模型学会人类更偏好的表达。微调让模型听话,对其让它会做人。 你最想用微调做一个什么领域的助手?法律、医疗?还是你自己的写作风格?评论区聊聊,觉得有用就点赞关注下集,我们讲对齐,把模型从听话调到会做人。

首先打开视频简介的网盘链接,然后选择看非以外小 vr 文件夹,将这些文件下载到你的电脑,下载完成后你将会看到这些文件和文件夹。恭喜你完成了下载步骤。 开始解压步骤的操作,打开七即安装包进行安装, 安装完成后,右键点击压缩包开始解压,解压完成后就可以看到图中的这个文件夹,查看图中的参考。注意这个文件夹必须放在固态硬盘下,并且路径不能存在中文。 打开这个文件夹,你将会看到以下的这些文件,呃,此时安装前所需要的文件都已经完成, 恭喜你完成了文件操作步骤。接下来开始安装,现在双击打开启动器,此时可以看到启动器的首页内容,注意请保持设备网络通畅。查看公告中获取的内容,以后更新会有公告通知,多多留意公告内容。 然后点击这个显卡文档,会打开一个在线的文档,暂时放在那里不要管。 然后来到工具资源页面,开始依赖程序安装,点击这三个按钮会跳转官网,需要自行下载,但是会出现下载很慢的情况,所以网盘中也有上传好的安装包。 点击这个文件夹会看到安装包。接下来观看之前打开的文档,来确认自己需要安装哪个版本。在这几个分类中寻找自己的显卡型号, 你的显卡在五点七的列表中,请打开五点七版本的 a 叉 p 安装包,等待安装完成即可。安装完成后关闭启动器,重新打开,查看是否成功检测到已安装的 a 叉 p 版本。 安装成功后点击下一步,再点击第二步骤中的安装按钮,此时会显示安装窗口,不要修改选项,保持第一个选项回车即可。在弹出镜像源选择窗口后继续回车,开始等待自动安装完成。 完成之后请关闭启动器。注意此时需要以管理员模式启动,然后来到显卡补丁页面,选择你的显卡型号选项后,点击右下角的安装按钮, 等待补丁完成。补丁完成后请重启电脑。你的显卡在 h i p 六点二的列表中,请打开六点二版本的 h i p 安装包,等待安装完成即可。安装完成后 关闭启动器,重新打开。注意这里请使用管理员模式打开启动器,查看是否成功检测到已安装的 h i p 版本, 然后点击 h i p 六点二版本专用补丁,等待完成。安装成功后点击下一步, 再点击第二步骤中的安装按钮,此时会显示安装窗口,修改选项为第二个稳定兼容模式。回车即可。在弹出镜像原选择窗口后继续回车,开始等待自动安装完成。 完成之后请关闭启动器。注意此时需要以管理员模式启动,然后来到你的显卡型号选项后,点击右下角的安装按钮, 等待补丁完成。补丁完成后请重启电脑。你的显卡在 h i p 六点四的列表中,请打开六点四版本的 h i p 安装包,等待安装完成即可。 安装完成后关闭启动器,重新打开查看是否成功检测到已安装的 h i p 版本。 安装成功后点击下一步,再点击第二步骤中的安装按钮,此时会显示安装窗口,修改选项为第二个稳定兼容模式,回车即可。在弹出镜像源选择窗口后继续回车,开始等待自动安装完成, 完成之后请关闭启动器。注意此时需要以管理员模式启动,然后来到你的显卡型号选项后,点击右下角的安装按钮, 等待补丁完成。补丁完成后,请重启电脑。你的显卡在 h i p 六点四原声支持的列表中,请打开六点四版本的 h i p 安装包,等待安装完成即可。 安装完成后关闭启动器,重新打开查看是否成功检测到已安装的 h i p 版本, 安装成功后点击下一步,再点击第二步骤中的安装按钮,此时会显示安装窗口,修改选项为第二个稳定兼容模式,回车即可。在弹出镜像人选择窗口后继续回车,开始等待自动安装完成。 完成之后先重启电脑,重启电脑后,请双击打开启动器,选择高级选项页面,点击刷新 gpu 按钮,等待检测显卡 完成后,即可在下拉框中选择你的读写,选择读写后切换到控制台页面,点击右上角的一键启动按钮,可以从启动日期中看到已经正确识别独立显卡, 等待启动完成后,弹出坑飞的浏览器页面,即可开始使用独立显卡来运行 ai 图与视频相关的工作流,安装流程到此完毕,如果我的工具对你有帮助,可以给个一键三连,感谢你的观看,再见!

面试官问 laura 是 什么,十个程序员,八个达成微调就没了。 laura 不是 微调,是给模型贴便利,贴 权量。微调要更新所有参数七十亿参数的模型,每个权重都得重新训练。 laura 的 做法是冻结原始权重,不动额外插入两个小矩阵 a 和 b, 只训练这两个矩阵。 原始权重四千零九十六乘四千零九十六,一千六百万个参数。 laura 插入的两个矩阵是四千零九十六乘八和八乘四千零九十六,加起来才六万五千个参数,缩减了两百五十倍。 推理时把 a 乘 b 的 结果加回原始权重,没有任何额外开销。为什么两个小矩阵能顶一千六百万个参数?因为大模型权重矩阵的本质是低质的。 你可以理解为一本一千页的书,真正有用的核心知识其实只有三十页,剩下的都是重复和扩展。 lara 就是 找到了那三十页,只改这三十页的内容就够用了。 关键参数叫质用,而表示就是那个八。二等于八,意味着你假设权重矩阵的变化可以用八个维度来表达, 常用值是八十六,六十四,越大,补丁越强,但训练成本也越高。还有一个参数 alpha, 控制补丁的影响力通常设成 r 的 两倍。 看对比数据,全量微调七十亿参数模型需要四张 a, 一 百八十 gb, 训练一轮三到五天,成本上万。 laura 微调同样的模型,一张三千零九十二十四 gb 就 能跑,训练两到四小时搞定,成本几乎为零。酷洛瑞更狠,先把模型量化到斯比特,再加 laura 七十一参数,模型单张三千零九十跑,微调显存占用布到十 gb, 效果呢?在大多数下游任务上, lora 只比全量微调低一到两个百分点,库洛瑞再多掉一个百分点,花百分之一的成本换百分之九十七的效果,这笔账谁都会算。 我自己的踩坑经历,之前给一个客服模型做领域适配,全量微调要四张 a 一 百,我没有,就用 lora 微调,一开始 r c 了一百二十八,觉得越大越好,结果过你和严重模型连通用对话都不会了。 后来降到 r 等于十六,配合 alpha 等于三十二,效果一下就稳了。教训就是 r 不是 越大越好,十六是大多数场景的甜点,别一上来就六十四甚至一百二十八。收藏清单来了,通用对话微调 r 的 等于八, alpha 等于十六, alpha 等于三十二。显存紧张,用 kolra 斯比特量化加 laura, 单卡就能跑。 推理部署时, laura 可以 合并回原始权重,零额外开销,也可以保持分离做多 laura, 切换同一个基础模型,挂不同 laura 服务不同业务。口诀通用用八,专业用十六显存,仅上扣洛 r a 两个微调方案对比, laura 适合快速迭代,训练快,成本低,但复杂任务可能欠你和全量微调适合极致性能,效果天花板高,但动不动就要多卡多天训练。 二零二六年主流做法是先跑 laura, 看效果不够再上全量,不要一上来就全量微调。有人说 laura 就是 穷人版微调效果肯定不如全量, 但你看 meta 和微软的论文,在很多任务上, laura 跟全量微调持平,甚至更好。你觉得是工具不行,还是你没调好参数,评论区告诉我你站哪边?

今天介绍一个高效的微调技术,使用后可以让你的家用显卡也调教出属于自己的专属模型。今天了解一下什么是 lora。 lora low rank adaptation 是 一种面向大模型的参数高效微调技术,冻结预训练模型权重,仅在模型中插入可训练的低质适配器, 用少量参数近似全量微调所需的权重增量,从而以更低成本获得接近全餐微调的效果。训练时只更新适配器,推理时将适配器权重加到基础模型权重上,既不改变模型结构,也通常不增加推理延迟。 适合在有限显存和算力下为不同任务快速定制模型,并可在同一基础模型上维护多套适配器进行任务切换。那么 lora 是 如何实现的呢?首先了解一下矩阵乘法。对于一个二乘以三的矩阵,对一个三乘以四的矩阵做矩阵乘法运算时,会得到一个二乘以四的矩阵。 我们来公式化这个计算。对于 m 乘以 n 的 矩阵和 n 乘以 q 的 矩阵做乘法运算,会得到一个 m 乘以 q 的 矩阵,这就是 lora 的 计算基础。假如我们有一个权重矩阵 w, 行和列都是一千零二十四,共有一千零二十四乘以一千零二十四,共一百零四万参数。 如果权量微调,就需要更新一百零四万参数。现在设置一个增量权重矩阵,得它 w, 它有两个矩阵相乘得来。这两个矩阵的形状分别是一千零二十乘以二和二和一千零二四。 现在只需要调整 r 就 可以变更微调参数的数量。若 r 等于八,则微调参数为幺六三八四,仅为原来的百分之一点五六。今天的介绍就到这里。

经常有朋友问我,训练老老最低需要什么显卡,其实与急用最低配置的显卡跑模型,一个模型跑四到五个小时,还不如试一下利布利布这款线上训练模型的工具,不光能够一键处理训练级和标签,还有各种预设好的参数,让你 从容炼丹,而且训练的速度特别快,甚至堪比最近被禁售的四零九零。那么这个视频就带领大家使用这个工具,从头训练一个劳尔模型。首先看一下整个训练期,整体上他的色彩感觉都非常的丰富,光感其实是非常强烈,所以这个模型打算做到的效果就是让你正常的画面里有这种光的感觉。 然后来到利布利布的首页,在上面找到训练,我的 lower 在这里啊上传我们的训练素材,上传完成之后要先在这里选择图片尺寸,他会自动的帮你裁切,然后在这里需要我们写一个模型的出发词,我们就写一个拼音的炫彩就可以,他这 这里一定要是一个你自己创的词,然后填写完之后在这边呢点击预处理,然后我们可以点开图片看一看,看他给我们打的标签是怎么样的。这一步呢就需要我们将这些自动打的标签做一个处理,也就是说我们想让画面保留什么元素,所以要在标签这里删除某些元素。 如果你英文不好的话,其实也不要紧,你可以用微信的截图,截完图之后在这里点击翻译,微信就会自动的把这些英文然后翻译成中文,然后我们看一下哪些是跟我们想保留的特征相关,然后就把那些特征相关的词给他删掉,比如说这个青粒子,还有这个发光的,以 这种闪光,我觉得都可以删掉。然后这张图片的标签处理完成之后,可以点击箭头到下一张标签。全部处理完之后呢,在左边可以看到有一些预设好的参数,有人像或者 acg, 或者是画风相关,那我们只用自定义 的参数,像这种画风相关的模型训练,尽量选择这个基础算法一点五的底膜,然后打开这个专业设置,前面这块默认就可以,然后接下来往下啊,在提示词这里我可以写上我写的川词,比如说炫彩,他是美颜轮保存几个模型,因为上面呢我设置的是一共训练二十轮, 所以说这一次呢,我想让他每两轮保存一个模型,就说一共会产生十个模型。然后学习率这块的设置呢,我们要看着优化器来设置, 比如说优化器选择烂的话,那其实学习率可以稍微低一点,比如说可以五个零,一个四,然后文本编码学习率呢,可以是 unit 学习率的十分之一到五分 之一之间,这个时候是值得小心,你老二模型的那种繁华性其实也就越好一些。然后下面的学习率调动器就保持他默认的这个云旋重启就很好,他这里的网络 法可以是网络大小,也就是 d i m 的一半,他 d i m 是一一百二十八,所以说阿拉法我给了六十四,然后在这里需要我们将这个数设置为一,也就是设置我们的出发词,然后在下面呢最大的投感长度,他默认是一百五,其实我的训练级里面的 tag 他有可能会比较长,所以说我选择二二五。 然后噪声设置的话,像这样子多分辨率噪声,还有这个噪声的衰减率,这里的参数按这样的设置的话,可以让你的模型生成的图片更加有黑白灰的层次感。参数都设置完成之后呢,可以回到这个页面,然后直接的可以点击开始训练,然后就会跳到一个专门训练 lower 的界面, 在这里可以很清晰的看到劳尔训练的进程,以及各个劳尔模型训练好之后生成的效果图。等待所有的模型都训练好之后,回到利布利布的生图页面进行劳尔模型的测试。首先呢写上一些描述性的正体式词,一定要写上我们的出发词, 附体日词呢,就用一些通用的模板就可以,然后在 lower 这里找到我的训练,然后就能看到我们刚才训练的所有的模型。一般来说最后几个批次生产的图片会更加的好,所以我选择最后一个生产的 lower, 然后它的权重是零点八,然后简单的调一下参数,可以开一个高清修复, 把它的尺寸的比例一定要给他调整到位。然后我们点击生成,看到生成的图片呢,他就非常的有训练集里面图片的那种感觉,首先他就是颜色非常丰富,画面的光感非常的强,然后我们可以换另一组词看一下效果, 可以看到生成的图片呢,依然是色彩非常的丰富,然后这些是我生成的其他的图片,可以看到整体的风格都是很统一的,就是这种颜色非常的丰富。然后回到 lora 训练的页面,可以点击你刚才使用的这个 lora, 然后点击发布,也新建一个 lora, 填写一下关于模型的一些信息,以及 及上传模型的一些封面图片,就可以点击发布,那这样子一个拉网模型就能够被训练好了。以上就是训练一个模型的全部过程啊,想体验这款工具的可以在浏览器搜索力步力步点 ai 即可找到 前在公测期间是限时免费的,你可以免费的领取七天会员,体验一边在本地跑图,一边在语音上炼丹的快感。

兄弟们,七万的显卡到了个人电脑能买到最好的显卡了,我要训练三 d 模型,这个显卡没有风扇的,因为这种显卡一般装在服务器里, 多张显卡统一封道,不会造成乱流。现在很明显我的这个机箱是压不住它的温度,各位大哥们有什么办法不?七百瓦的显卡只能跑到九十瓦,温度已经八十五了,要去看看有没有什么降温的东西了。

视频,我们来看到 ltx 二人物 lowr 的 训练, ltx 二是一个可以进行音画同步生成的模型,我这里复刻的是,莫非非常有趣? we go east stand aside stop hiding, 可以看到在保持人物一致的同时也保持了音色的一致。我这里使用的工具是 ai two kit, 这个视频我将分享适用于四零九零、二十四 g、 四十八 g 和五零九零这样消费级显卡的训练参数调整,以及线上一键启动镜像的分享。我这里使用的是优云智算平台, 找到对应的镜像,点击部署指令往下拉,复制启动指令。对 ltx 二的选存和六十四 gb 的 内存, 租用二十四 g 的 四零九零是没有问题的。可以进行五幺二分辨率的训练,我这里选择去跑一零二四分辨率的,租用五零九零也是一个比较有性价比的选项,那么算力的话会更强,而且跑一零二四的分辨率恰恰是可以的。点击立即步数, 进入控制台十一列表,等待一下。那么出了这个 gdp 之后呢?我们点击进入 gdp, 找到启动指令,或者说我们刚刚已经复制过了,粘贴过来,回车 出了地址之后回过来点击 ai to kids 就 可以直接进入到我们的训练界面啊。在训练的队列当中呢,有三个预设,分别对应了四零九零的二十四 g、 四零九零的四十八 g 和五零九零。点击训练集,点击新建训练集, 简单设置一下名称,点击创建,点击添加图像,尽管这个地方写的是添加图像,我们依然可以去添加视频。视频的帧数所遵循的规则应当为八 n 加一帧, 帧率呢为二十四帧每秒钟,格式就是我们这个最普遍的 mp 四格式,运行良好。那么这个字幕标签呢,应当怎么去填写呢? 可以以我为例,我这里是跟 tokyo 的 官方对齐了的一个名字叫做汤姆希尔比的男人站在呢一个房间当中呢,说什么样的话用引号呢?给它标起来应当是这样的一个简单的要求,非常接近于我们 e r t x two 进行推理的时候的题日词的格式。 在每一个标签当中,我们都重复的一段文本是什么呢?是一个名字叫做汤姆希尔比的触发词, 可以通过这样的一个在二十个训练级当中重复出现的短语来锁定为我们的触发词。而建议去使用英文,因为像这个 jama 的 话,识别英文还是会更好一些,尽管他也可以去识别中文。 我这里是做了音频和视频的同步训练, this place is dead。 这个地方我除了人物长得很像之外,它的声音也是很像的。 训练的视频可以不包含音频。如果我们想要黏着音频一块去训练呢?我们得确保我们训练当中有音频标签呢,不一定也要做成 txt 文档呢,再进行上传。我们可以直接在这个地方手打 一样奏效。那么这个地方总结一下,视频需要一百二十一帧,二十四帧每秒钟,至少在我提供的可以在消费级显卡上运行的预设的要求是这样的,提日词遵循 l t s two 的 推理规则,我们就进行标签的填写。 训练级这个地方要做足文章,如果不想进行更为复杂的参数的调节,我们只需要我这里租用的是五零九零。 进入更换一下训练集,比如说这个,然后更新一下任务,点击运行就可以执行任务了。在三张卡上我都已经跑过了,前面的这个名字呢,并不会影响我们诺尔模型的实质,但是如果想改这个名字的话,我们可以直接复制一份,这样就可以改名字了。 切一下训练集,再次开始训练,那么这就是训练的快速启动。我的预设下,每一百步就会保存一个诺尔模型, 在 workspace ai 二 toolkit 下面的 output 文件夹下面呢,可以看到我们训练的保存的软模型可以进行下载, 那么这就是快速启动。在这个下一部分呢,我们来看到详细的参数的调节。首先我们模型这个地方选择 l t x two, 设置一下,我们 l t x two 要去训练的模型的路径已经做好了, 是否要开启低选存的这个训练呢?那么我觉得对于这个四十八 gb 及以下的显卡,几乎都是要去选择开启的,是否要将暂时不用的存卸载到 cpu 内存呢?对于 transformer 的 部分呢,我选择百分之一百卸载, 如果做该项,那我们得确保我们的这个内存呢应当要大于六十四 gb。 那 么文本编码器这个地方呢,我直接选择百分之零, 原因是在下方呢,我开启了两项,一个是缓存文本切入和缓存浅空间。那么这两项对于 l t x two 的 训练呢,事关重要,它们非常的影响我们对于显存的消耗。 后一部分对于 jama 呢,我们量化到这个四比特呢,运行良好,可以也建议对这个完美编码器进行四比特的量化,那么 transformer 这个地方的话,最好我们还是不做量化 lora 的 这个维度呢,我用的是六十四,可以干大,按道理来说这个值越大,保留的讯息呢, 尤其是我们追求人物的这种 id 的 一致啊,应当可以适当调高。六十四的话,我一个洛尔模型就已经是一个多 g b 了,我认为已经够高了。下面这个保存的精度呢,我们就选择 b f 一 六, 每一百步呢保存一个洛尔模型啊,我要求是全部保存。下面的 batch size 的 话我暂时就用一,因为在消费级的显卡上面,我好像用到一以上呢,就已经没有办法去正常运行了,其他的部分都可以保持不动。 该向我们之前的视频当中介绍过,训练级这个地方的话,我们一定要选择自己对应的训练级,是否要做这个辅道视频呢?建议开启对于这个性能的占用呢,应当是可以忽略不计的。是不是要做音频的训练呢?如果我们训练级当中有音频,我们就把该项开出来, 最大化音量要不要开呢?训练级当中我们的音频过小的话,我们可以选择开一下在下一项,如果我们严格的遵循了二十四帧每秒的帧率, 我们可以不开起改向。也建议我们在做训练级的时候就尽量的去完善。在训练的分辨率这个地方呢就是分水岭了,如果是我们 四零九零的二十四 gb 的 显卡,我们应当只能去训练五幺二,训练到七六八会比较费力,那么到了这个四零九零的四十八 g 呢?我们可以训练到一零二四,五零九零,也可以训练到一零二四。 训练分辨率的提高意味着我们可以推理分辨率也变高,这样按道理会让我们的 id 更为的一致,保留更多的细节。所以分辨率的话提到一零二十四还是不错的,这个地方能提到一零二十四就尽量提到一零二十四,更新一下任务呢? 下方的彩样这个地方的话,我建议是关闭彩样,它会大大的去降低我们的训练速度。但是如果一定要开启, 我的建议是把这些该加载的这些题日词以及图像全部给加载上去,因为他这里的采用题日词的规则是,比如我上面每一百步保存一个 word 模型,他就会把下面的这么十个测试题日词全给采用一遍, 这里是十个,我们也可以删掉另外的九个,只保留一个,应当要遵循这样的一个规则。其他的项目话比照着我们推理过程当中的参数进行理解, 更新人物点击训练呢,就可以开始训练这个视频。所有的言论都来自于官方,大家可以解锁前面的这一段字母,在邮件上面可以找到官方的账户 去查看原版的视频。如果我们租用五零九零的显卡,给到的内存是九十四点三 gb ai 视频模型的发展确实是给这个内存上了很大的强度,因为我们经常在显存当中放不下的这个模型就要放到这个内存当中去了,那么内存涨价也是非常的合理的, 可以看到现在就已经正在进行训练了,一般情况下练到五千步就可以出一个罗尔模型,这个速度在五零九零下会越来越快,三千步已经可以出效果了,五千步会比较的合适,这个结论也来自于官方 跑一零二四,五零九零刚好占满,所以这是一个比较合适的最为性价比的推荐用卡。 在 checkpoints 这个地方,如果我们每一百步保存一个模型,会在这里直接给到模型,除了在这个 autopod 当中进行下载之外,右边这个小箭头我们也是可以直接进行下载的, 这里的结果我都是我使用五千步的 low 二模型呢生成出来的,可以看到人物的一致性是非常的高的,而且它还会学习我们的音频片段当中的人物的音色, 这样的进步绝对是非常有意义的,大家感兴趣的可以自己去尝试一下,尤其是做研究和探索的。

大家好,我是紫雨,今天我来介绍一下近期我们对 diff pipe forge 模型训练炉的一个优化成果。 这个项目基于 b 站天东大佬对 t d russel 的 diffusion pipe 进行的一个 g u i 封装分层加载。这部分的优化最早是由龙腾大佬搭的出版框架,我在这个基础上接手继续完善。目前它只是一个阶段性的成果,还有很多打磨空间。 这里必须提一下,这个项目的原封装人是 b 站的天东大佬,没有他搭好的 diff pipe forge 框架,后面的优化都无从谈起。 这是他的 get up 主页,大家感兴趣可以去点个 star, 给大佬一点更新的动力,期待他产出更多优秀内容。 为了让各位更好地理解快交换和分层加载技术有什么技术上的区别,以更好地在模型训练中调整设置的参数,关于快交换和分层加载的详细内容已经放在屏幕上了,感兴趣的观众可以暂停观看,我这里就不一一讲述了。 接下来我打开优化后 diff pipe forge 炉,来让各位看看优化后的实际效果。对于没有使用过 diff pipe forge 炉的观众,可以一步 b 站账号天东 ai 的 主页 查看他制作的 diff pipe forge 使用教程,这期我就不多赘述了。为了让大家直观看到优化后的 diff pipe forge 对 显存占用的优化效果, 我们先来一组极限测试,我们使用一千零二十四分辨率的数据集,并把批次大小调整到四,再使用 b fold 十六模型精度全精度 i m w 优化器情况下,先打开快交换二十,看看手部所需要的时间。现在我们点击开始训练。 初次开始训练时可能会比较慢,我们耐心等待 使用快交换时出土化使用了五分钟。好了,出土化完毕, 我们来看看第一步需要多长时间。此时显存占用已经攀升到了惊人的十五点七 g, 可显卡功耗却只在四十五 w 上下浮动,对于这块卡来说,训练时这样的功耗是完全不正常的,说明巨大的 i o 堵塞已经出现,数据传输的效率正死死拖住训练速度的后腿。 在等待了五分钟左右,还是没见到有 loss 值输出。无论最终速度如何, 这个训练速度已经严重影响我们的训练效率,几乎无法使用。现在我们停止训练,去测试分层加载的速度。现在我们开始调整有关分层加载的参数。我们先把分层加载打开, 并把文本模型和推理模型的卸载层数调整到百分之九十。此处需要注意的是,快交换和分层加载是无法同时使用的,所以在打开分层加载后,快交换的选项会自动关闭,且无法调整。现在我们重新打开训练。 打开分层加载后,初步化使用了四分钟,我们继续关注输出第一步需要多长时间? 第一步的 loss 值已经出现在四批次大小下,第一步使用了将近四十秒的时间,紧接着迅速回落到三十一秒上下,因为此时开着远程控制,使用速度应该还能继续下降。因为在测试快交换的时候没有任何输出,所以我们也没办法比较到底比快交换快了多少? 此时显存占用来到了十四 g, 对 于 the image turbo 来说,打开四批次时还没有出现严重的 i o 堵塞,训练时的功耗大小来到了一百二十万兆上下,这个效果 我觉得对于普通玩家已经非常可用了。现在我打算先关闭远程控制,让它跑一会,再来看看稳定后的速度大概多少。 好了,现在已经让他跑了二十分钟,单步耗时稳定在二十七秒左右,重新连接远程控制后,速度略有波动,回到了二十九秒上下。 到这里极限测试的结果相信大家心里已经有了自己的判断。接下来我们把标准放宽,看看在一批次其他参数不变的情况下,需要多少显存才能训练 z image turbo。 我 们接着往下看, 使用分层加载后,显存占用直接调到了五点七 g 左右, 也就是说一块六到八 g 显存的普通显卡就能把 z mix turbo 跑起来。而手部使用了十八秒,随后迅速回落到九秒附近,然后我们切换到快交换,看看它的表现, 现在数据已经出来了,然后我们和刚刚分层加载的数据对比一下显存,这边分层加载只用了五点七 g, 比快交换整整省下了四点三 g, 节约幅度超过百分之四十 速度。这边分层加载稳定后是九秒,一步快交换要十二秒,每一步快了三秒,提速将近百分之二十五。在以上测试中,分层加载普遍更省显存,而且跑得还更快,这足以说明分层加载对比于传统快交换技术的优势。 好啦,以上就是我们这期的节目内容,大家要是想要使用这个训练炉,可以在简介区获取整合包下载链接,也可以去 get up 从源马拉取。要是你喜欢我们的工作,可以给我们点点 star, 你 的支持是我们更新的动力,希望下期还能给各位带来优质的内容。

三张三零九零也能跑满拥有 cloud 四点六 opus 顶级推理能力的二十七 b 大 模型,就问你香不香?大家好,我是 ai 学习的老张,最近有两个蒸馏模型在社区炸了,原理很简单,拿 cloud 四点六 opus 的 思维链数据去重新训练 q n 三点五二七 b, 逼着小模型学会 cloud 那 种深度结构化的思考方式。首先是 jack round 的 开原版,在训练时通过策略强迫模型只关注思考过程和答案,逼着他死磕并模仿 cloud 的 深度思考模式。 实测下来,用 q 四料化版本显存占用还不到十六点五个 g, 二十四 g 的 三零九零跑毫无压力,生成速度能飙到每秒三十多 token。 他还原生支持 developer 角色,跟 cloud code、 open code 这类 ai 编程智能体直接无缝对接。有人实测用它跑代码任务,后台自己跑了九分钟,看报错、改代码、写 read b 一 条龙搞定。 第二个是老熟人 t h a i 发布的同系列高质量模型,并贴心地给出了保姆级实战超三指南,比如写代码时温度降到零点六,防止模型瞎说。做竞赛题的话,输出 token 上限直接给到八万,让他有足够空间慢慢想。 benchmark 上多项指标都比原版 qn 三点五杠二七 b 有 提升。虽然这类蒸馏模型为了专攻纯代码和重度逻辑推理,舍弃了原版的多模态能力,但我认为它真正牛的地方在于它跑通了一个全新的玩法, 用顶尖模型的蒸馏数据配上开源底座和微调框架,未来用本地模型去平替掉昂贵的云端 api, 这才是咱们技术玩家最该关注的星辰大海。

诸位请看这款女王香水,香韵典雅脱俗,留香持久,迷心喷上,即刻化身优雅主宰。哈喽,小伙伴们大家好,那么 ltx 二呢,它也出了这么多天了,社区的热情非常高啊, 那么现在就是说呃它的链单呢,也可以正式的被支持了,就是在这个 ai two kids 啊,你在这边看一下啊,那么现在正式支持了 ltx 二的这么一个 low 二的训练, 那么这个训练怎么做呢?啊,我们先做几个准备工作啊,第一件事就是需要把我们这个呃 ai two kid 啊进行一个升级啊,升级到最新的,最新的也是支持了用图片来训练这个 ltx 二模型哈, 那么升级以后呢,它可能会报一个你的 diffuser 的 版本过低,那么如果你的这个呃训练包呢,是一个整合包,自带拍摄环境的,那你就可以去呃直接在你拍摄环境里去更新, 如果你这个训练包是虚拟环境呢,那就需要进入虚拟环境去更新的 diffuser 啊,那就可以用了哈, ok, 那 么打开以后呢,我们就可以进入这界面,以后呢,就是还是跟我们之前的那个这一妹子的训练很接近啊,就是说我们可以把我们这个训练的名字写上,然后选择我们的显卡,然后我们的触发词写上, 然后这里呢选择我们的模型啊,选择这个视频的 ltx 二,这里有一点要注意啊,我们需要下载我们 ltx 二的一个全量模型,全量模型大概八十多个 g 啊,我已经放到网盘了,大家可以去下载。 那么下载完这个全量模型以后呢,我们需要把这里啊,就是一个目录的一个路径啊,我们需要把我们刚才下载全量模型这个位置啊,把这个路径给它复制过来,然后粘贴过来啊, 那么这里还有两个重要的参数啊,就说如果你的显存低于十六 g, 你 得把这个 lo vran 打开哈,就是低显存模式打开啊,或者还有就是把这个新的一个参数啊,就是这个分层卸载给它打开哈, 那分层卸载来呢,我们能看到它这边有两个选项,一个是 transformer, 一个是 texencoder 哈,我们可以把 texencoder 整个全部给它卸载掉啊,变成零,那么这个时候它的显存占用大概不到十六 g 啊,十三四 g 就 可以练, 虽然会有点慢啊,虽然很慢,但是说至少能练哈。然后这里呢量化,这边呢,我们上边这个 transform 不 用管啊, taxencoder, 我 们如果低显存可以选择四比特量化啊,选择四比特,后面呢就不用动了哈, 这个练的是个 lara, 然后 rank 三二或者 rank 六四,你自己去设置就可以了。然后这里呢,就是按照每多少步是保存一次啊,一共保存多少次啊,保存多少次, 然后这里也就不用调了,这里把这个 cash tax on, tax embassage 啊, tax embassage 给它打开哈, 还有就是接下来是我们的数据集的一个选择啊,数据集其实跟 z 一 样啊,我这本用女王的这个训练呢,就是说用图片练的 啊,没有达标,没有任何达标,当然他也可以用视频练啊,如果用图片练的话啊,我们选择这个哈,用图片练的话,你这边的话 number frames 啊,就是帧数就选择一就可以了。然后呢你可以不带声音,这里是这个选项呢,是带声音的哈, 你可以把它关掉,然后图片的尺寸,比如说我这边选择幺零二四啊,那就可以了。如果是视频的,比如说我刚才用了一段视频的练,那么我们就可以放在这哈选择视频的,然后你的 选取它的一百二十一针,然后把我们的声音也带上,这样的话它是能够练角色这个声音的啊,然后这里就可以把我们这个五幺二打开啊,就不要用幺零二四了,因为可能会爆啊, 下面就是我们这个,呃,就是怎么讲是样彩样视频的这样一个生成,就是说他跑的时候呢,他会给你每隔多少步呢?去设置一个彩样的一个视频,就是让你看看它的效果怎么样啊?这里如果说大家那什么的话啊,就是急的话,可以把它完全关掉啊,就是把这个 disable sampling 给它关掉啊,给它关掉, 然后这里正常设置我们的一个每多少步跑一次,然后是分辨率多少啊?这个分辨率好像有的时候它不起作用啊,我试过了,它好像不起作用,剩下就是我们的 c, f, g, 还有帧数,还有帧率,还有这个跑多少步啊,还有我们的提示词, 然后呢我们点击这个啊, create job 啊,再点击这个运行就可以了, 那么它训练的话,在我这五零九零上把这个低显存,还有这个把这两个全部关掉的话呢,大概是七秒一步啊,我一直在找一个参数,是比较能够适合它让显卡 彻底跑起来的这么一个参数,那大概就是说五零九零的话,你可以把这两个都关掉,都不用啊,只把这个斯比特 offload 啊, 给他全部拿掉啊,变成零啊就可以了。那么训练的效果呢?大概是两千步左右开始,你合了,呃,我这边也试了一下,三千步甚至更多的话效果会更好一些,但是我觉得三千步啊到四千步其实应该是不错的了哈。 ok, 那 么这就是这样一个分享啊。就是,嗯,还是我之前说的那个观点啊,好模型的话永远会社区会很有很高的热情去支持他哈,包括我们这个 low 二的一个训练啊,都是非常快的,对吧?你看那个 ltx 二的训练的话, 得到的结果又没有原膜那么油,对吧?又没有说呃,又符合我们这种东方的审美更多一些,对吧?那这就是我们 这样 l t x 二一个 lowra 训练的一个这样一个方式了啊。 ok, 那 么就给大家分享到这里啊。

电脑配置低,内存不大,没有独立显卡,怎么玩 stable defusion 呢?今天跟大家分享通过 google collab 免费搭建 stable defusion 环境,大家可以自行搜索 google collab, 也可以用我以下的链接直接打开 cola 搬装包地址,点击安装, 他会自动跳转页面,大家也可以在设置这里选择付费版本,点击安装这里大概需要十到十五分钟左右,直到显示这几个链接,就说明安装成功。 点击下面两个链接,随便一个打开工作环境搭建成功,下面带大家怎么使用 c 站的基础模型?汉拉瓦点 cbt, 打开 c 站,随便打开一个基础模型, 复制名字,回到 stable defusion 工作环境,这里选择基础模型。选择搜索,把刚 刚的名字拷贝过来,点击获取列表。 选择刚刚的基础模型, 这里选择模型的版本。 选择模型,这里就会自动显示模型的链接,然后点击下载,直到显示 successfully downloaded, 说明下载完成。用同样的方法下载喇叭模型,回来 随便选择一个图片的提示词,参数一复制过去,看看出来的效果。 点击一下 jasonal networks, 出来捞捞面板, 点击刷新刚刚下载回来的 roller, 就会显示,随便选择个全种植,看看效果。 好了,操作成功。今天就是跟大家分享的全部内容,如果你觉得有用,记得关注我哦!
