粉丝1.3万获赞4.3万

工作,使用 stable diffusion 配合生成图片,便会经常上模型网站搜索下载相应的图片模型。通过预览图片找到喜欢的图片风格后,首先确认一下 模型类型为 laura 微调模型,只是这个模型文件的大小好像比常用的 laura 模型都要大,这个暂时不考虑它,先把它下载下来再说。把下载好的模型剪切到 s d 跟目录 models 文件夹下的 laura 文件夹内,回到 s d 的工作界面。在 laura 模型的这个文件夹下,无论怎么刷新 新下载的这个 lore 模型就是显示不出来,应该怎么办呢?敲黑板,划重点,现在分享解决办法。单击设置菜单,在左手边的选项卡中找到并单击扩展模型,然后把设置页的滚动条拖到最下边,勾选最后一项,在 lore 页面保持显示所有模型,回到页面顶部,别忘记单 击保存设置。回到文生图界面,再次单击刷新 lower 模型,往下翻页,这个没有预览图的就是新下载刚才不显示还刷新不出来的那个模型了。现在我们测试一下这个 lower 模型,并炫一张预览图出来。 单击图片的生成信息,复制正向提示词,把它粘贴到 s d 的正向提示词框内。再次单击生成信息,并复制负面提示词,粘贴到 s d 的负面提示词框中。单击 lora 选项卡, 找到并单机新下载的 low 软模型,回到生成界面。采样方法默认不变。修改生成图片尺寸为五百一十二乘以七百六十八, 图片生成单批数量设为四张。开启 aditailer 人脸修复单机生成按钮,四张图片生成完成,分别预览四张图片,并选一张自己最喜欢的图片。下方的生成信息中复制图片生成的种子, 也就是 se、 e、 d 字母后的那一串数字,把它粘贴到随机数种子框内,图片生成单批数量改为回一,选出的图片效果就由种子固定图片风格再次背单张重新生成。重新打开 lower 模型面板, 单击新下载 low 模型右上角的设置按钮,打开 low 信息设置界面,拖到界面的最下边,并单击替换预览图像按钮,保存并关闭设置界面,这样最初无法显示的那个 low 模型就加载并设置成功了。

今天主要是来介绍下捞软模型的安装和使用技巧。首先来看下 stable diffusion 模型有哪些模型总共有两类,一类是主模型,一类是微调模型。 首先看下主模型,没有这个主模型我们是跑不出任何图像的,所以它是必备的。 还有一个 v a e 模型,配合主模型使用的,一般是内置在主模型里的,它也是必备的。 还有就是微调模型,又叫小模型,小模型是指从大型模型中截取特定的部分,虽然其能力不如大型模型完整, 但是由于训练方向的明确性,小型模型在生成特定内容时表现更加也更加精准。常见的小模型有 embedding hyper network, laura, 还有 dream booth。 dream booth 由于其训练后与大模型作了合并,可看作大模型,所以说除了主模型以外,其他的模型都是主模型的拓展。 这个视频主要是来讲最常见的 lord 模型,我们先打开 c, 站在模型类型这里,选择 lord, 可以看到有好多的 laura 模型, laura 主要是人物特征的训练,比如汉服真人,还有一些画风的训练,比如这个莫心,这次试试这个盲盒模型。进入到这个界面可以看到一些关键信息, 一、模型名称。二、下载。三、模型类型。四、触发关键词。五、这 这里是模型版本,有的模型会有好多版本。六、这里是模型发布的作者写的使用方法和注意事项。七、下面是网友分享的图。 八、还有这里可以看到图片右下角有一个感叹号,我们点击这里就会出现生成这张图片的信息,有关键词,采样,迭代,部署,还有 model, 猫斗就是作者使用的主模型了,因为训练 laura 模型需要选择主模型,所以 laura 使用最好,可以配套主模型, 当然也不是绝对的,可以多多尝试生成不同画风的图。那怎么找到这个主模型呢?我们复制这个模型名字, 在搜索框里搜索一下就可以看到这个模型了,进去点下载就好, 我们来下载一下这个盲盒模型,下载好了要把这个模型放到 wabui 跟目录猫豆里的 laura 文件夹内, 回到 wabui 界面,刷新一下这里的 laura 模型,可以看到我们刚才下载的模型已经出现了,现在来使用一下这个 laura。 我们回到刚才下载那个界面,把它的关键词复制到 wubui 里,所有参数和作者的一样。 选好主模型和 v a, e, 点击生成看下效 效果,可以发现和作者生成的图一点也不一样。我们来看下这是作者使用的 laura, 然后我们把自己下好的调用出来,这里单击一下就好,这里可以看出作者使用的和我们下载的不一样,所以要给它替换一下。 在生成下看下效果,可以看到 laura 已经生效了。 接下来我们自己尝试不使用作者的关键词,输入描述画面质量的关键词, 引用这个 laura 生成一下, 这里会发现我们 laura 都引用了,为啥还是生成的 不太一样,那是因为没有使用触发词。回到 c 站可以看到作者写了触发词,我们复制这个触发词,回到 y b, u, r 粘贴进去生成, 可以看到 laura 有效果了,这里还可以使用别的 laura 给它混合一下,我们使用一个八重神子的 laura, laura 后面的数字就是代表的权重越高越像,我们在使用时,权重最好不要超过零点九, 生成一下,看下效果,发现基本有一些特征了,我们再调高一下权重, 这次就更像了。 laura 最大的乐趣就是混合, 大家可以多多尝试。

今天补充分享一下捞捞模型的具体操作,打开捞捞选项,找到自己要找的捞捞模型,今天我们就以这种超高清的捞捞为例, 打开后点击自己喜欢的模型,我们就以第一张图片为例,打开它的参数,第一张没有显示用哪个大模型,看看其他的,找到对应的大模型,看到对应的大模型,如果自己没有复制名字,到主页去搜索, 搜索出来后点击下载回来,然后再把这个 lolo 模型下载回来, 下载回来后把 love 模型和道模型拷贝到对应的本地文件夹内, 回到 cable defusion 界面,在左上角找到刚刚下载回来的大模型,点击按钮显示 lol 面板,点刷新拷贝过去的 lol 就会在这里显示。 我们点击这个唠唠模型,唠唠后面的是对应的名称,一是全种植,不能超过一全种植越接近一出来的效果,越接近唠唠模型的效果,把它的参数一对应的复制过去, 点击生成,看看出来的效果。 怎么出来的效果跟原来的完全不一样呢?这是因为我们上面的提示词没有 lober 参数,点击刚刚下载回来的 lober 模型,把权重值改为零点八,看看效果。 这就是今天跟大家分享的 love 模型的使用,相信大家都会了吧,记得关注我哦!

哈喽,小伙伴们大家好,那么一直以来 ltx 二点三这个模型呢?哎,它的效果非常好是吧,特别是对我们一些剧情的理解,它做的很到位,但是一直有一个问题啊,就是它经常容易出字幕,对吧?啊?出字幕? 那么昨天呢,我们群里一个大佬,就是我们的麻雀大佬,他练了一个 lara, 他 这个 lara 本意是干什么的呢?是一个古侠的一个这种侠风的这样一个 lara, 但是我们试用了以后发现他有个神奇的副作用 啊,它能够把这个字幕呢,很大概率给它屏蔽掉啊。我们之前用这个 l t r 二点三呢,就是即便加了这个呃, n a g 啊,这个节点,那么也是还是概率出字幕是吧?但是用了这个 laura 以后呢, 它能够几乎是去掉了百分之八九十的这个字幕啊,我这边跑了几个,就是很少出现字幕了。 当然不是说完全杜绝啊,特别是在这种口播视频类的,我们看一下,这口播视频类的,他还是会出字幕啊,但是这种剧情类的,他比原来的就进步非常多了啊,我们可以看一下下面这组对比。 今夜月色真美是啊,像你一样温柔 今夜月色真美是啊,像你一样温柔。 我早就说吃火锅了,你总是要选最贵的。谁说的,你想吃就吃吧,我不饿。 我早就说吃火锅了,你总是要选最贵的。谁说的,你想吃就吃吧,我不饿。 这个多少钱?太贵了,阿姨,新鲜的,今天刚到的,这个价格很公道,五块钱一斤。好吧,就卖给你。五块钱一斤, 这个多少钱?太贵了,阿姨,新鲜的,今天刚到的,这个价格很公道,五块钱一斤,可以了吧?好吧,就卖给你,五块钱一斤, ok, 那 么这就是他的整个一个对比啊,就是说我觉得这个楼啊,就是说,呃,你不光是提升了这个中式审美啊,就是说古装的这一个审美的一个效果,那么更主要的他这个副作用我觉得特别好啊, 大家可以完全试一下玩一玩啊。那么这个老二目前已经上传到网盘了,然后呢?我也准备着上传到 running huff 啊,大家都可以试试哈。 ok, 就 给大家分享到这里。

windows 和 mac 用户今天刚更新 cloud 的 桌面端的,你们是不是也谈了这个报错显示模型直接失效,第三方 a p i 连不上呢?不用担心,我已经找到解决方案了,只需要改一个参数就可以解决。先打开你们的 configure free party inference, 然后将你对应的那个模型 id 改成 cloudsonnet 四杠六或者靠的 opps 四杠七就行。目前比较好的解决方案就是这样的,你想继续使用的话,就把它改成靠的厂商的那些模型名字,也不影响使用, 也是可以正常用的。其他的 base, u, r, l 和 api key 不 用改,改完之后保存在本地,然后就可以正常的连接了。 测试完之后是可以正常访问的。虽然他的模型选择显示的不是以对应厂商的那个模型的名字,但不影响使用。

很多小伙伴下载了 lol 模型文件后,不知道该如何使用,今天我就向小伙伴们介绍三种 lol 模型的使用方法,希望对大家学习斯 dabo defusion 有所帮助。 我们以这个 lola 为例,下载后的 lola 文件放在这个文件夹下,然后在 step defusion 中刷新就可以看到这个 lola 模型了。 这时是不显示捞佬的缩略图的,我们可以复制图片到捞佬文件加项,并改名为捞佬模型的同名 png 文件,再次刷新就可以看到模型的缩略图了。如果感觉捞佬的缩略图叫小,看不清,可以在设置中找到附加网络, 将附加网络默认视图修改为卡牌视图保存。设置后再次刷新就可以看到 lola 的卡牌是排列。在使用 lola 时,我们可以在提示词中直接输入监括号加 lola 加冒号加 lola 名称加冒号,再加数字加反间括号的格式来引用 lola, 这个格式是固定的,其中的数字代表 lol 风格的权重。第二种方法是直接点击 lol solo 图,这样 lol 就会以固定格式显示在提示词框中,权重默认为一。如果想取消这个 lol, 再点击一次 solo 图,引用 lol 的提示词就会消失。 第三种方法就是利用 stable defision 中的可选附加网络捞捞插件,在这个插件中可以设置最多五个捞捞模型,并分别设置权重,使用时一定要记得勾选启用。 需要注意的是,这个插件的模型存放的文件夹并不是 m o d e r n s 八 x s r r a 文件夹,建议大家在设置中 将可选附加网络 lola 插件的默认文件夹修改为系统默认的 lola 文件加目录,这样我们就可以统一 lola 的存放目录,方便整理和使用 lola 模型文件了。综上三种方法,并结合我个人的使用经验, 推荐大家在使用单个捞了模型时使用第二种方法,可以做到方便快捷。而在使用多个捞了模型时,在使用可选附加网络捞了插件,这样能够更好地控制不同捞了所占的权重及风格。点赞关注加留言,每天学习一点点 sleep defusion 知识与大家分享!

哈喽,大家好,今天给大家强烈推荐秋叶大佬的模型训练器训练 lura, 超级方便快捷,他不需要我们自己去配置环境解压即用, 从打标签到 laura 的训练,再到 tenciple 的分析数据,一个界面全部解决,非常的方便快捷。我们来看一下它到底怎么去使用。我们先把这个关掉,等会再去启动。 首先我们要去下载这个模型训练器的压缩包,我会提供给大家,然后你下载好了之后进行解压,这是我提前解压好的这个文件点进去,进来了之后你要先进行强制更新,就是这里 这两个点其中一个都可以,然后下边这个是国内加速双击,它就可以自动的进行更新了,那我这里是 已经到最新了,所以他没有进度条,你更新好了之后,这个就可以关了。关了之后接下来我们要去准备底膜,就是你想在哪个模型上去训练我们的 lora, 然后这里我去下载了一个 sd 一点五的这个模型,然后我把它复制, 然后回到我们的这个模型训练器的这个目录,然后找到它的 s d models 这个文件夹点进去,我们把刚刚的那个模型复制粘贴到这里来。 复制好了之后,接下来一步我们是要准备训练集,就是训练素材,也就是图片,然后这个图片我是提前已经准备好了,这个图片呢尽量保持工整,统一分辨率,建议五幺二 乘五幺二这样的一个大小。当然你也可以使用那种非正方形的一个图片,但是如果你的显存比较小,那你就老老实实五幺二乘五幺二这样的一个大小,这些图片素材呢?看你训练什么,如果你训练画风,那你所有的图片它的一个画风都是统一的。 然后如果你像我这样,就是训练人物或者物体这种,然后这些人物你就只能保持一个,不要有别的人物在里边。第二个,这些人物他的背景要单一一些,不要那么花, 嗯,如果你要精益求精,那你可以去抠图。第三个,这些人物尽量是那种多个角度的,这些图片效果会更好一些,这是图片的一个建议。那这些图片呢?我给大家去推荐一个批量裁剪图片尺寸的一个网站,就是这个, 这个我会分享给大家,就是这个地址,然后你点击这里,然后去上传,你就是截好的一些图片, 比如说就是这个图片,然后你再按 ctrl a 全选,把这些图片选中,选中之后再打开 他这里就选好了,当然我这里全是五幺二乘五幺二的,所以这个地方就不用再去设置了。当然如果你不是五幺二乘五幺二的, 然后举个例子,我这里随便说一个三六八,然后你可以看一下,他旁边就会出现这样的框,然后你可以拖动这个框去选取你想要的那个位置, 那么这里是一样的,那你就设置成五幺二乘五幺二,然后去拖动他的一个框,然后选好了之后点这里保存,这个保存好了 之后,他是保存的那个压缩包,保存好了那个压缩包你要进行解压,解压过后他就是这样的图片了,就非常的工整了,就是这样的图片,然后这些图片你要全选 ctrl a, 然后在 ctrl c 复制,复制好的图片你要放到这个地方来, 就是找到我们的模型训练器他的这个目录这边,然后找到 train 这个文件夹,如果你没有,你就建一个 train 这样的一个文件夹点进去, 然后在这里我们需要去新建文件夹,然后这里你要去建一个你这个图片的名字,我们就随便建一个,就阿尼亚吧,就是这个图片的这个名字,然后再点进去,我们再次要去建一个文件夹,这个文件夹它的一个名 名字就有讲究了,它是一个数字加下划线加这个概念名,然后它这个 我给大家去演示一下吗?比如说我这里的数字推荐就五到八,五到十,这样就差不多了,当然根据你的那个图片数量来哈,然后在下划线加一个概念名,这个概念名随便起一个都可以,比如说我还是起一个这个 啊安妮,然后这个名字就起成这样,这个数字代表每张图训练的步数,那我这里设置的是八,也就代表每张图 ai 都要看八次。我们再点进去把刚刚复制的图片粘贴到这里来, 这里一共是十三张图片,也就是说他每一张图都要看八次,十三张的话就 十八乘十三一百零四次,也就是说他要训练一百零四步,就是这样的。然后接下来我们要给这些图片打标签,那我们回到这个目录,也就是我们模型训练器的这个跟目录这里,然后我们再启动脚本,点这个 启动脚本,他会自动弹出这个页面,然后我们再点这个 w d 一点四标签器,就是我们要去打标签,我们要把刚刚的这个图片,就是这个 tree 文件夹里边,我们一直要进来,就是这个图片这里,然后我们要复制这个路径, 复制好了之后我们回到这个页面,就是这个标签器的这个页面,然后我们把这个路径粘贴到这里来,粘贴好了之后 其他可以默认不用改,然后我们直接点启用,然后我们就可以在后台看到它的一个进程, 好,这里已经识别完成了,完成了之后我们回到这个地方来,就是回到我们的这个图片这个地方,也就是这个文件夹看到没,然后他每一张图片后边都会更一个这样的一个文本, 就是文本文档点进去之后你都要去检查一下这里头有没有,就是说不需要的,不对的,比如说像这个 paper, 我就不需要每个里边都有 paper, 对吧?我就不需要有这个纸,当然你也可以删掉,那我这里就懒得去删这些了,只是给大家去做一个演示, 然后这些是他的标签。当然如果你想要一个那种触发词,那那种收敛词,那你可以用这个,就是我也会推荐给大家,就是用这个 就是这个批量打标的工具,然后我也会提供给大家。大家下载之后解压,就是这个文件我已经提前解压好了,解压好了之后点进去,然后一直点到这里,我们再点这个文件启动,然后我们点这里, 然后我们点第一个去上传我们的就是刚刚的那个图片, 然后我们找到我们的这个模型训练器的目录,然后找到 chain, 然后找到这个 on a, 然后就是这个文件了,就不要再点进去,我们点一下它,它这里就显示这个数字下滑线,然后这个名字 a near 这个文件,然后我们直接点选择, 选择好了之后,这里是总共的一个标签,就是他结合的,然后你可以把你不需要的删掉,就是这个, 那我就随便先删一删,就是你可以去检查一下你哪些标签是不用的,那你可以点中他,然后点这个叉就可以删掉了,然后除了这个,我们要去添加一个收敛词,对吧?然后你就点这个加号, 然后我们在这里去输入一个收敛词,尽量是那种中文拼音吧,就是免得跟我们的提示词有重复,就是这 块,那我们就输入小美女,然后零一这样的一个就是名字,然后这个地方我们把它放到最开始,就是 top, 就是最开始的这个地方,然后点 ok, 那么它每一张图片前边儿 这个标签前边都会有这样的一个收敛词了,你可以看一下,喏, 就是都会有这样的一个收敛词,看到没,然后放好了之后点这个,又是点这个,然后再保存 save, 保存它的一个改变,然后保存好了之后我们就可以删掉了, 然后我们回到就是这个页面,就是我们的图片的这个页面,我们点这个标签,你可以看一下 它每个标签前边都有个这个小美女零一这样的一个瘦脸词了,这儿就是方便我们去调用我们的 lura, 这个就是这个收敛词,这个标签你可打可不打,就是这个只是方便我们调用 nora 而已。 然后好了之后我们回到 lora 训练这个页面,这里有 lora 训练,你也可以看到这里是给出的一个建议,如果是新手的话,你就点新手就好了,如果你有一定的经验,他是开放了全部的高级参数的,那你就可以点下边的专家, 然后这里也有参数的详解,大家可以下来去学习一下。那我这里只给大家去做演示,我们就用新手这个,然后在这个地方呢,这个地方你就要去 去输入你的模型的名字这个地方,比如说我们刚刚的那个模型不是已经放好了吗? 就是在这个文件夹里边,然后它里头有一个 s d models, 这个文件夹点进去,然后这个就是我们的底膜,然后你要把它的这个所有的东西都要复制, 当然你也可以改名字哈,然后复制好了之后回到这个页面,然后我们这前边的这一部分可以保留,就是我们的那个文件夹,然后下边的这个我们要把这个名字输入进去, 然后这里呢它是 train 文件夹下边的那个训练级的一个路径,它是 train 下边的那个名字就可以了。然后同样我们是回到这个地方,然后找 找到 trin 这个文件夹,点进去,点进去这个它的文件名就可以了,不要再点进去了,就是这个 trin 下边的这个,然后同样我们把这个名字复制一下, 回到这个页面,我们把最后的 j 里改掉就可以了,就改成这个名字,它是寸文件夹夹下边的这个文件,我们往下看,这里是正泽化数据及路径,你没有你就空着,这个地方是你图片的大小, 你之前是什么大小,现在就是什么大小,我本来就是五幺二乘五幺二,那我就这里就不变了,这个图片的大小必须是六十四的倍数。呃,这个不要弄错了,我们再往下,这个地方是模型保存的名字,也就是你 laura 叫什么名字?那我就起一个安妮儿就是这个名字吧。 然后这里是你输出的 laura 模型,它的一个保存文件夹,它这里我们就默认不变,它是在这个地方, 我们回到这个页面,然后回到我们模型训练器的一个根部落,然后它保存的这个模型是在这里,就是它输出的模型是在这个 alt put 里边点进去,然后它就会保存到这里了, 然后我们回到这个页面,我们往下,这个我们等会再说。我们先说这个批量大小,这个批量大小他是代表每一次处理几张图片,就是一次性拿出几张图来训练, 嗯,建议一或者二,如果你的选存在八 g 以下的话,那就填一吧,就是这个效果要好一些。然后这个呢,他是跑的一个轮数,之前我们算了 一轮是一百零四步,还记得吗?就是图片那个地方,那么这里的话就是设置你要进行几轮,建议就十五到二十轮,就是效果比较好一些,当然你可以设置成十五,那我这里, 然后这里的十五轮,那总的就是十五乘以一百零四,也就是说总的要训练一千五百六十步,就是这样的。 然后这里呢,它是代表每几轮去自动保存一次模型,那这里你可以默认二,也可以五啊,这些都是 ok 的,那我就默认二吧,就是这个,嗯,再往下 这个学习率,嗯,作为新手我们就默认,就不用去管他。然后再往下就是这个,呃,训练预览图设置建议是不开启的,因为他会消耗 更多的显存托慢速度,就是这个建议不开启,然后这里的网络设置,然后这个地方呢,他不是越大越好的,就是说,呃,经常的一个数字是三十二、六十四、一百二十八,这个不是越大越好,你 三十二、三十二,就是这两个是比较多的,或者是六十四,三十二,就是下边的这个数是上边的一半,或者是相等,就是这样的,是比较多的,就是这个,那我们就默认三十二,三十二,就是这块, 然后下边我们也不动,就是作为新手,这些我们设置好了之后,呃,在这个地方我们可以点这个保存,就是我们保存我们比较常用的一些,就是参数,我们可以点保存,保存了之后我们这里可以读取,读取参数就是这里你可以看一下,这 是我刚刚保存的,你还可以设置一个名字,比如说我就设置为 test, 然后你就可以看到了,这里也是哦,现在这个地方才是我刚刚保存的,就是设错了,当然你还可以在这里删除,就是你不需要的一些参数, 还可以这里使用,然后预览设置名字都是 ok 的,然后你不想保存,那你可以直接点这里,直接开始训练,然后你就可以在后台看到训练的一个步骤了。 how? 这里已经在开始训练了,你可以看一下 how 训练完成了,他这里会显示训练完成,我是三张图片,一千五百六十步,大概就是六分钟的样子就训练完了。 完了之后我们按一下它出来的模型,就在我们这个地方,就是我们这个文件夹里边这个目录,你找到 output 这个文件夹点进去,那我们训练的这个模型就是在这里,他是每两轮就会保存一个模型,所以他保存了很多个模型,然后你都可以去试一下,看一下哪个模型是最好的,那我就试一下最后这一课,然后我们把它复制,就是这个复制复制好了之后, 我们把它存到 vivio vivoi 目录,然后找到 models, 然后找到 laura 这个文件夹,然后点进来,你把它保存到这里就可以了,就是这里我把它复制过来了。复制过来之后,我们回到 vivio i 目录,然后去启动 v b y, 好,来到这个页面之后,这个模型我们要改一个,就是二次元的模型吧, 比如说我就改这个模型,然后 ve 的话,我就用这个 ve 算了,然后我们这里提示词去输入一些比较简单的提示词,去看一看效果, 然后这下边的一些参数我就默认, 然后这里我们点这个粉色的图标,点它,然后我们去调用我们刚刚训练的那个 lara, 就是这个 anna, 然后点它之后,它这上边自动就会帮我们去调用了。当然你也可以用那个触发词,就是那个 小美女零一可以用这个触发词,然后好了之后,我们把这个搜一下,然后点这里生成, 我们可以看一下他生成的一个效果怎么样?好,生成的你可以看一下,就是训练的效果还是非常不错的。我们再点生成,或者是我们这里多生成几张都可以看一下效果。 然后生成的我们都可以看一下,就是效果都是蛮不错的,训练的还可以。好,今天的一个分享就到这里。

哈喽,大家好,那么今天这个视频呢,我们来看一下最近一款比较火热的模型,那么它主要的功能呢,就是为了提供这 image 模型 更强大的观影效果,那么我们来到它的爆联网里面,我们翻译成中文,那么我们可以看到它是一款针对这个 z e m g tab 模型的 roura, 那 么它能够显著的提升我们照片的观影效果以及整体的图像质量,这里面有它的一个演示的效果。 那么左边呢是我们的原来的 tab 模型,右边则是加了 roma 之后的,这两者的区别就是左边的整体色系非常的冷淡,然后右边的色调会暖一点,然后色彩会丰富一点, 但是我们也可以看到这样带来的结果就是他的一个图像上面有非常多的噪点,但是相较于左边这张图而言,右边这张图要明显更鲜明一点,其实有一点像是给左边的图像加了个滤镜的效果。刚才这一张人像上面其实 难分不重,但是在这一张场景里面的话,我觉得右边这张图的效果是远高于左边这张的,那么这种蓝色的这种色调,整体图像的一个美感上面是比左边这张要好很多的。再看一下这一张, 怎么说呢,左边这张图明显感觉你会觉得它精致一点,但是整体的一个特步模型,它生成的图像都具有一个非常鲜明的特点,就是它的色调比较冷淡,所以导致图像的冲击力不是那么强。 但是右边这张的话,反而由于它具有一些噪点,导致这张图像你看起来会感觉要真实不少,所以这也是它的一个优点, 那么通过这种方式呢,我们就能够进一步提升我们的对杠以及模型生成图像质量还是很不错的。对于人像上面,我反而会觉得左边的这种效果会更好一点,因为你看到右边这种人像啊,他使用了我们的 roulette 之后呢,感觉老了很多, 包括皮肤的一些细节上面,整体是不如左边这张好看的,再比如说这一张,左边这个就是明显磨皮过的,然后右边这张就是 因为通过这种噪点的增加,给他增加了一些细节,会让右边的这张图像显得更丰富一点。我们也可以不断的看一下这两种, 这些都是他的模型上面提供的对比图,那么也是有不同的结果。那么具体到我们的康复 u i 中 使用效果怎么样呢?那么这里面我们用一款最基础的 z 杠一妹子的纹身图工作流来测试一下。那么上面的这一部分生成的内容是我们刚才取消了这个 u r 作用的, 下面这个则是添加了 logo 生产的效果,然后用了一组提词来对它进行生产,那么我们采用了相同的提词 及相同的种子树来进行 logo 测试。我们可以直接来对比一下左边这一张冷淡, 但是他的皮肤细腻,右边这张色调浓烈,但是增加了一些噪点。第二个则是一个景观的, 可以看到在景观上面,我觉得右边这张要明显超过左边这张图很多,左边这张图其实有一种很强烈的 ai 感,那么右边这张图要好很多。再比如说这一张,这一张图像带来的最大的观感就是他的图像过于光环,反而没有真实的, 那么右边这张呢,给他增加了一些这种噪点,反而会让这张图像看的更加的真实。再比如说这张的话,感觉左边要明显要好很多。 这一张是我们原来的太空模型的,它整体会非常的光滑,反而有点脱离了现实的感觉,那么这就是整体的这款柔软的一个使用效果,那么这个就是整个视频的全部内容, 我们主要讲解了一下有关这一款提高模型质量的柔软该如何使用,那么我们下个视频见,拜拜。

如何创造出这样的图?准备好你要的模型,这里拿变形金刚模型 lower optimus 举例。 sd 云服务部署好后,展开到云盘的 lower 目录下, 把你的变形金刚模型 laura optimus 复制到云盘的 laura 目录,回到 s d 的界面,单机显示额外网络, 选择 nova 模型,单机对应的变形金刚模型,这样你就可以看到模型加载到 prompt 里去了,然后单机生成看效果。 想知道更多的 s b 小知识,加个关注喽!

今天很多朋友们更新可浪的客户端到最新版后呢,大家都报这个错了, dipc 或者其他任何第三方模型在模型列表中也不显示了。其实呢,用一个很闲的方法可以解决,但是我有种不祥的预感,不知道下个版本直接是不是会这个办法也用不了了, 所以朋友们要用第三方模型,新版本出来后呢,不要着急更新啊,如果你已经更新了,也出现了上面的这种问题,那 现在呢,跟着我的视频往下走,很简单就能解决。我们点击这个 developer 按钮,然后呢,点击这个 configure third party 按钮,定位到模型列表这里,无论我们是什么模型 id, 我 们呢全部改成 astropic 的 这种形态,其他地方呢,不做任何修改,当然你也可以填四杠七,这都没问题,只要是 astropic 了,显示的是 solid 和 opus, 现在我们执行任务就正常了。

你的老板是不是也给你提过这种需求,把公司过去十年的几万条客服对话记录,或者成吨的法律合同、金融研报拿去训练一下,做一个懂业务、懂合规的专属 ai。 但当你兴奋的把数据位给通用大模型,却发现他要么一本正经的胡说八道,要么呢训练的算力成本高到让老板直接劝退。那怎么办呢?难道在电商大促、法律合这些专业场景里,我们就只能用通用的 ai 来凑合吗? 今天我们要讲的 loro 技术,能让你用极低的算力投入,把一个什么都懂一点的万精油模型,迅速改造成一个懂你们公司所有细节的老员工。我们就分四个部分来拆解。第一部分我们先讲一讲 loro 的 核心概念和背景,从它的源头讲起, 也就是限行贷数里面的低质到底是什么意思。这一部分我们会把基础打牢,让你知道这个技术是为了解决什么痛点而诞生的。 有了概念之后呢,我们要深入一下,看看它的数学原理和实现机制。理解了这一部分在面试里绝对是加分项,那么搞懂了原理。第三部分是代码实现与工程落地,让你看完就能够马上上手干活。 最后我们还要讲一个进阶玩法, q laureo 以及最佳实践总结。如果你手里的显卡资源有限,那么 q laureo 就是 你的救星,我会总结一套避坑指南,帮你省去很多报错的时间。 话不多说,我们直接进入第一部分,来正式认识一下 lora。 lora 这个名字其实是 low rank adaptation 的 缩写, 翻译过来就是低智自适应。这个词听起来可能有点拗口啊,因为它源自先天代数里面的一个概念,低智矩阵。但是大家不要被这个数学名词吓跑了,我们从它的英语单词 adaptation 就是 适应或者是适配的意思来理解就容易多了,你可以把它想象成一个转接头或者是一个外挂加载器。 那为什么要发明这个外挂呢?是因为在 lora 出现之前,如果我们想要一个大模型,学会特定的任务,比如说你让 lora 七十币去写一份医疗报告,我们通常需要做全餐微调, 这意味着我们要把模型里面几十亿甚至几百亿个参数全部都更新一遍,这带来的显存消耗是非常巨大的,算力成本也是很惊人的。 这对于我们普通开发者或者小公司来说,这简直就是家里没矿别碰。所以 laura 的 思想就诞生了,它的逻辑非常巧妙,我不去动那个原来那个庞大的基座模型, 我把它给冻结住啊。我在原来的模型旁边,利用向量数里面这个低质分解的方法,加了一个非常小的额外的一个参数模块 adapter。 我 们在训练的时候只训练这个小小的模块, 原模型一点都不动。这样一来呢,门槛就瞬间降下来了。接下来我们可以来看一下这种方法在架构图上具体长什么样子,它到底能省多少事。这张图就非常直观的展示了 lower 的 魔法。 首先我们看左边这张图是常规微调,你可以看到整个这个粉色的方块代表我们要更新的参数。在以前,无论你是为模型什么数据,我们都要调整整个模型的权重, 就像你要装修房子,昂贵的微调呢,相当于把整个房子的承重墙啊,地板啊,天花板全拆了,重装工程量极大。 那我们再看右边,就是 lora 微调了,注意看灰色这个大方块,这是我们训练好的基座模型权重,它是被冻结的,不参与更新。在旁边呢,出现了两个粉色的小梯形,看到没有?那 lora 的 核心逻辑就是,既然不动大模型,那我就只训练这两个小矩阵, 数据流过来,同时经过大模型和小矩阵,最后呢,把结果加起来。这样做的好处是,我们不需要拆房子了,我们只是给房子加了一层软装,或者是挂了几幅嗯,好看的画,还有换了一下墙纸,但是效果呢,却很好,能让房子焕然一新。 那么这个软装到底有多轻量级呢?我们可以简单看一下这个右边的饼状图,绿色的这一大块占了百分之九十五,甚至更多,这是原本被我们冻结住的基座模型的参数,完全不需要占用, 完全不需要占用训练的梯度显存,而蓝色这一小块往往只有百分之五,甚至还不到,这才是我们真正需要微调训练的参数。这就解释了为什么用 dora 技术,我们可以在单张消费级显卡上去微调,那些原本是遥不可及的那种,嗯,百亿级参数大模型。 好。那么讲到这里,大家应该对 lora 省钱省力的原理有一个崭新的认知了。那么这两个小梯形啊,这两个小矩阵 a 和 b 到底是怎么分解出来的呢?他们在数学上是怎么保证效果的?接下来我们进入第二章拆解 lora 的 数学原理。 大家可以先看一下左边这个橙色的大方块,代表我们模型里面原本的一个权重矩阵,假设它的尺寸是一千零二十四行,乘以一个五百一十二列。如果我们要存下这个矩阵,需要多少个参数呢? 算一下,大概是十二万多。 lo 的 魔法就在于他利用线段数的原理,把这一个大方块拆解成了右边这两个瘦瘦的小矩阵相乘。一个是竖着的粉色矩阵,它的尺寸是一零二四乘以三十二。 一个横着的绿色矩阵尺寸是三十二乘以五百一十二。根据矩阵乘法的规则,这两个小矩阵相乘,乘在一起得出来的形状依然是 一零二四乘以五百一十二,跟左边是一模一样。但是呢,神奇的是,这两个小矩阵加起来的参数量只有多少?只有四万多,四万九千多五十二万,对比四万九,参数量直接压缩到了原来的百分之九。这就好比什么呢? 你要背一本书,全仓微调是你要把整本书给背下来。而 loo 呢,只需要你记住目录和几个关键词,也能够把书的内容复出个八九不离十,这就是它省显存的根本原因。想必大家已经注意到了,我们这个例子里面的三十二这个数字是可以随便变的吗? 这就引出了 loo 里面最重要的一个概念, rank 值来看这一页,这个 r 就是 rank, 它决定了中间这两个小矩阵的瓶颈有多细。在实际的训练中,是一个我们可以自己设定的超参数, 通常呢,我们会选用一二四、八十六、三十二这样的数值原则,就是要远远小于 n 和 d, 也就是原始矩阵的长和宽。那么选多少好呢?是不是越大越好啊?大家可以看这一张图,这是原论文里面的实验数据, 你会发现,当从八增加到六十四甚至更高时,模型的效果也就是这个损失值啊,其实没有很大的变化,这说明大模型其实并不需要那么多新参数来适应新任务。所以在实际工程中,我们一般推荐把 rank 设置在四到三十二之间,性价比最高,选大了反而浪费,捡存也没有必要。好了,现在我们矩阵拆好了,大小也定好了,那当我们开始训练的那一刻,系统内部发生了什么呢?这两个小矩阵里面填的是随机数吗? 这里非常关键,关系到 lora 训练稳不稳定。我们的两个小矩阵,矩阵 a, 我 们使用的是随机高斯分布来出式化,里面填的是正负随意的小数。但是这个矩阵 b 啊,我们在最开始必须把它全零出式化, 里面全都是零,大家看到没有?那为什么要这么做呢?因为根据数学原理,任何数乘以零都等于零,所以在训练的开始的第一步, e 乘以 a 的 结果是零,这意味着模型一开始完全等于原始的基作模型就是这个 w 新增的 log 旁路没有产生任何的噪音。 这就好比你新员工刚进公司,先不要乱说话,先在旁边静静的学,等学到了东西,再慢慢的开始发表意见,这样才能够保证模型不会一开始就崩掉。最后我们来看一下下面这个公式,这里出现了一个新的参数,阿尔法这个缩放因子,这个阿尔法和 r 的 值完全取决于我们自己, 那么这个比例我们应该怎么理解呢?举个例子,假设我们在前面选的 r 等于四,如果我们把 r 法也设置为四,那么这个比例就等于一,对不对?这时候我们训练出来的那小块参数是多少?就原封不动的加回去,不多不少,不缩不放,相当于直接来做加法, 模型更新的幅度就是训练出来的原始值。但假如啊,如果你觉得这个步子迈的太大了,万一掉过头,模型崩了怎么办? 就可以把 r 法调小一点,比如说设置为二,这时候 r 法除以 r 等于 n, 二除以四就等于零点五嘛, 相当于你把训练出来的权重整体砍掉一半,再加回去,模型变得更加温和更保守了。如果你把 r 法设的更小,比如说不到一,比如说它等于零点五,这个 r 呢?它还是四,那么这个比例就等于零点一二五了, 这时候你加回去的东西几乎微乎其微。那么问题来了,这个比例到底是影响的什么呢?其实它主要是影响我们在微调训练时的有效学习率,如果你的 r 法和 r 取一样的值,也就是比例为一, 那通常我们可以用一个比较常规的学习率去训练,不用来回的调整,因为你的更新量就是原汁原味的。但是一旦你改动了这个比例,比如说把 r 加大了,或者把 r 法调小了,导致这个模型变小,或者是你把它变大,那你很有可能得配合着调整学习率。为什么呢?因为 实际作用到模型上的更新不长,其实是学习率乘以一个阿尔法除以二。如果你这个成绩太小了,模型就学不动,半天没变化,如果太大呢,又容易震荡, 甚至直接发散,越训越差。所以我们可以把这个阿尔法看作是一个放大镜或者学习率的平衡感 调节,它就是为了找到那一个让模型学的最舒服最稳定的节奏。好了,讲到这里,我们的数学原理部分就通关了,其实总结下来就三句话,大矩阵拆成小矩阵,然后 b 矩阵全零,抽象,用 r 法和 r 的 比例来控制学习的力度。 懂了这些原理,接下来我们去写代码的时候,你就知道那些参数为什么那么填了。下面我们直接上代码,大家可以先看一下代码,如果你要自己手动去用 type 原生代码去写 lower 的 话,大概就是这个样子。 这里的核心逻辑完全对于我们刚才讲的原理,我们现在要实现的其实就是 w、 q、 w、 k、 w、 v 这几个权重矩阵。具体的做法就是 出使画两个不同的矩阵, b 和 a, 然后通过 b 乘以 a 来得出结果。这里不管是 q、 k 还是 v, 逻辑都是一样的,所以我们只看 q 就 可以了。 大家看第二行 luo 的 q 矩阵里面这个 b 我 们出水化成了全零矩阵,是 d 乘以 r 的 形状,那 a 呢?它是随机高斯分布,形状是 r 乘以 d, r 行 d 列可以退回去看一下我们刚才讲矩阵分解的那张图,是不是就是一个竖的乘一个横的?那么这两个矩阵相乘得出来什么呢? d 乘 r 乘以一个 r 乘 d, 中间这个 r 就 抵消了,最后的结果呢,是 d 乘 d 的 矩阵,这刚好就还原了原始模型中 w、 q 的 形状。 同理, a 和 v 也是完全一样的套路物理化做完之后,我们再去生成最终的 q、 k、 v 参数时,就非常简单了。你看代码的第十二行到第十四行, 说白了,这就是把原来那个又大又重的权重矩阵拆成了两个小矩阵的成绩。我们只训练这两个小矩阵,就能够间接的更新原来的参数。所以啊, loo 的 核心其实并不复杂,它只是利用了先进代数里面的矩阵分解的思想,让微调变得既高效又清亮。 当然,在实际工作中,我们很少会去手写这一段代码,大部分时候我们是直接用封装好的库,大家可以看右边,这是 hackface 的 eft 库, eft 的 全称是 kilometer efficient fine tuning, 指的就是高效参数的模型微调。这个库呢,大部分时候都是和 lora 绑定在一起用的,这才是我们在公司里面跑模型微调的时候,真正每天在写的代码。这里面有几个参数是我们经常见到的, 这时候我们再来看,你就可以彻底理解了。你看,它所有的复杂逻辑都被封装进了一个叫 lora config 的 配置里面, 这一行 r 法等于一, r 等于八 r 法,就是我们刚才数学公式里面那个分子, r 呢,就是那个分母嘛,我们刚才也说了, r 就是 我们希望这个小矩阵降低到什么程度的一个浮动值,你可以取 二四八等等,取的 r 越小,我们的参数量就越小,模型跑起来就越快。你在这里只需要填好数字,剩下的全都交给这个库去处理。然后这里有个很重要的参数叫做 target modules, 简单来说,它就是我们用来指定在模型的哪些模块或者是哪些层上面去应用 loo 微调的配置项。 loo 的 应用范围其实非常广,它可以加在我们刚才讲的 q、 k、 v 投影层上,也可以加在 输出投影层 o 上面,甚至还能用在前馈神经网络 f f n 里面。换句话来说,模型里面几乎所有的限行层理论上都可以被 loo 覆盖,而且我们可以按需选择灵活组合,想微调哪一部分,你就微调哪一部分。 那我们就来简单拆解一下这个列表里面的每一个字母串具体是代表什么。首先这个 q、 k、 v 和 o 这四个呢,是注意力机制 attention 中的四个线圈变换层,分别用于生成 query, key, value, 还有最终的输出。 下面这个 gate up 还有 down 这三个呢,是属于模型的前馈网络 f f n 部分。简单介绍一下, f f n 是 transform 中负责非限性特质变化的关键模块,通常参数量非常非常大,所以也是 lower 微调的热门选择。那我们到底是怎么去选择呢? 答案我们刚才也说了,完全看你的任务需求和资源限制,非常灵活,你只微调注意力层,比如说你只加 q approach, 还有 v approach, 也可以只调 f f n 或者是全部加上做一次全面的微调,很多任务中不同的组合效果差异很大,建议大家多尝试,多对比。主要呢是看一下在你的数据集上,哪一种策略效果更好,显存占用更低。好了,这么讲下来,大家下次再看到 pft 库里面这个 target modules 配置表的时候,应该一眼就能够看出它到底在干什么了。好啦,但前面的代码和配置大家都看懂了,逻辑其实非常简单对不对?但是在实际动手的时候啊, 很多人会遇到一个更现实的问题,显卡不够用。哪怕你用了 lora, 如果你想跑 luma 三七十 b 这样的大模型,光是把基座模型加载到显存里面,可能就需要一百四十 g, 那 怎么办呢?难道显存小就不能玩大模型了吗?当然不是,这就需要我们用到压箱底的技术 q l 了。 q lora 这个 q 代表的是 condition, 就是 量化的意思。那 q lora 也就很好理解了,就是量化版的 lora, 它的核心逻辑没有任何的变化,架构还是原来的架构。 唯一的区别在于,我们在做 lora 微调的时候,把底座模型的精度给砍了一刀。看一下图,原来我们的模型可能是三十二位浮点数或者是十六位的,而在 q lora 里面, 我们把它量化到了四 bit 四位整形。这样做有什么好处呢?因为计算精度降低了,矩阵计算的速度会更快,同时呢,这样的显存会大幅减少,这就是 q l 存在的唯一目的,降本增效。 通过四 bit 量化,我们甚至可以在消费级的 g p u 上,比如说你有一块 r t x, 三零九零或者是四零九零去跑那种原本想都不敢想的超大模型, 这要是在以前是必须要有 a 一 百级群才能干的事情,现在呢,单卡就能跑起来了。而且因为我们只训练 lora 那 一小部分,参数可能就百分之零点零一到百分之一, 所以上市的权重文件非常小,可能就只有几十 gmb, 这就意味着我们可以很轻松地保存、切换不同的模型版本。所以说 q 二最适合的就是资源受限环境下的超大模型微调。比如你只有单张 gpu, 但是又想定制一个医疗或法律领域的专用大模型, 或者是做快速原型开发,想低成本验证一下想法,那 q laureo 绝对是你的首选好课程的最后,我们来做一个大总结,我们今天讲了 laureo 的 原理,看了代码,也学了 q laureo, 为了让你们在项目中啊少走弯路,我把整节课的精华浓缩成了五条最佳实践指南。 一、参数最小化 laureo 的 核心就是轻量化,在保证效果的前提下,尽量减少可训练的参数规模,不要贪大。第二,工具标准化, 不需要手写矩阵分解了,优先使用我们刚才演示的 pft 库,它提供了标准化的接口,能让你快速实现微调,把精力放在数据上,而不是代码上面。第三点,全限层覆盖,意思就是对所有限层应用 logo, 也就是我们在配置 target modules 的 时候,把 q k v o, gate up, down 这些全部配上, 这样模型的学习能力啊是最强的。下面呢,还有个小坑值得大家注意一下模型里面的编制和层规划,他们的参数量非常小,但是对稳定性很重要,所以我们在训练的时候通常不把他们纳入 lora, 而是让他们保持原样或者是独立训练就可以了。最后一条,只要你是单机 gpu 或者是显存不太富裕, 直接无脑选择。 q laureo 利用了量化技术,它是我们目前解锁大参数模型训练的最主流最经济的方案。好了,以上就是我们关于 laureo 和 q laureo 的 全部内容了,希望大家听完之后能亲手去跑一跑代码,训练一个属于你自己的大模型。

以前想给几十亿参数的大模型做全量微调,那是大厂和顶级实验室才玩得起的算力游戏,动不动就需要几排几柜的顶配显卡连轴转,普通开发者根本摸不到门槛。但是自从有了 loo 技术,他硬生生把微调的显存需求直接砍掉了百分之九十以上。 各位,这意味着,现在哪怕你手里只有一张普通的二十四 g 家用显卡,你也有资格在自己的电脑上零成本训练出一个专属的行业大模型。今天我们就把 lora 技术彻底拆解明白。 我把视频内容分为了四个部分。首先,我们会花个几分钟理清一个底层逻辑,微调的本质到底在干嘛?基调定准了,你就会知道传统的做法有多吃亏,为什么我们非得用 lora 不 可? 搞懂了为什么?第二部分,我们来讲 lora 的 数学原理和实现机制,这部分非常关键,只有掌握了底层的低质分解,你才能够真正驾驭微调,面对面试官的原理,考打也丝毫不慌。 接下来第三部分,我们会顺带扫一眼现在的行业前沿,看看各种升级版的新玩法,毕竟显卡资源是永远不够用的,我们会看看怎么把性价比压榨到极致。最后呢,我会把我总结的参数设置和避坑指南全都列出来,看完这一部分,你马上就能抄作业去跑自己的模型了。 好,那我们就直接进入第一部分,来看看微调的本质。其实啊,大模型不管外面吹的有多神,他说白了,底层就是一堆密密麻麻的数字,也就是我们说的权重参数。 你看这个公式, w 一 撇等于 w 加上 data w, 原来的模型参数是 w, 我 们要教给他新技能,就是给他加上了一个变化量,就是这个 data w, 最后得到一组新的参数 w 一 撇微调,本质上就是在找这个 data w, 就 这么简单。 但是呢,问题来了,我们看右边这个图,以前我们做的是传统的全量微调,就是要把这几十亿、几百亿的参数全都给它重新算一遍。 这就像什么呢?假设你手里有一套几百万字的百科全书,现在你想往里面加上一点关于最新的网络热词,解释存量微调的做法,就是拿起红笔,把整套书从第一页第一个字开始全部重新抄一遍。你看这个图里面红笔改的密密麻麻的, 这种做法不仅费卡烧钱,而且模型还特别容易把以前学过的常识给忘了,也就是我们说的灾难性遗忘。对我们平时在公司跑业务来说,动不动就去搞全量微调,那算力成本肯定是吃不消的。那怎么破局呢? 既然整本重抄太笨了,大家就想出了 lora 这个办法,我们来对比一下这两个架构图。左边这个是常规微调, 你看左边这个 data w 模块跟原来的模型一样大,更新起来特别笨重。而 loo 他 特别聪明,他直接把原来那一个巨大的预训练权重 w 给冻结住了,不让他动。 然后呢,在旁边开了一条旁之路,在这条路上他放了两个小一点的矩阵,叫做 a 和 b, 我 们在训练的时候只更新这两个小矩阵,最后把它们相乘的结果当成那个变化量 data w 加回到原来的流程里面, 效果有多夸张呢?我们来看这个丙图,绿色的这一大片百分之九十五甚至更多的原始参数都不用算了,我们只需要管这个蓝色这一小撮可能只有百分之几甚至千分之几的参数。你看这一下子,几张普通的显卡也能跑得动大拇指微调了,对吧? 那说到这里,其实很多朋友第一次接触 lora 的 时候,心里都会有一个大大的问号,凭什么?对吧?凭什么?原来要更新几十亿个数字才能够学好的东西,现在你搞两个小矩阵就能够搞定了。模型真的能学会吗?这就涉及到了 lora 背后最核心的一个洞察,学术上叫低智。 我们来看这两张图你就懂了。你看左边这个厨师,其实基础的大模型,他已经是一个上知天文下知地理的博学家了。现在我们微调,比如让他去写你们公司的特定文案, 就好比让这个博学家去学做川菜,他需要从头开始去学什么是辣味,什么是火,什么是食物吗? 完全不需要,他脑子里已经有庞大的常识了,他只需要稍微记一下花椒怎么用这种特定规则就行了。这就是为什么那个变化量 datw 里面真正需要塞进去的新知识,其实没那么多。我们再看右边这个例子,这个也特别形象, 你看张三写了一篇两千字的水文,废话连篇,其中真正有信息量的就一句话,今天天气不错,我们去野餐吧。 大模型的参数也是一样的,虽然它可能会有几百亿个数字,看着挺吓人的,但其实数字跟数字之间有很强的关联性,大量的信息都适用于的。所以你看 lora 其实就是抓住了大模型的这个本质。 既然你本身信息就高度融合,不需要那么多参数来表达,那我就用极少的参数去精准捕捉你那点核心的增量信息。 这就解释了为什么 luo 能用这么小的代价敲动那么大的模型。好,我们理清了大方向,现在进入第二部分, luo 的 数学原理和实线机制。 大家看到数学原理这四个字,先不要紧张哦,我们其实就是要搞明白一件事情,刚才说的那两个小矩阵,它在底层到底是怎么运转的?首先呢,我们需要破除一个名词障碍,叫做低至 low rank, 听得特别学术,对吧?但其实也特别好懂。大家看,这里有个例子,左边是有一个三乘三的矩阵,一共是九个数字,对吧?但是如果你稍微观察一下它的规律,你看第二行二四六,其实就是第一行一二三乘以二,第三行呢,就是第一行乘以三,对吧? 这意味着什么呢?这意味着这九个数字里真正有用的核心信息,其实只有第一行的那个一二三,剩下的全都是个固定套路,是荣誉的。所以啊,不管一个矩阵看着有多么庞大,只要他的数据存在高度的关联性, 他的有效信息维度其实是很低的,我们完全可以把那个核心的基底给抽出来,用很少的数据去还原他, 这就是低质的本质。在一堆废话里面去找重点。好,顺着这个找重点的思路,我们就来到了 lora 最核心的操作矩阵分解,既然我们上一章说了模型需要学的新知识,也就是这个黄色的 data w 信息量其实不大,是一个低质矩阵, 那我们在数学上就可以动手脚了,利用斜线代数的性质,我们直接把这个大矩阵给他深深的劈开,劈成两个小矩阵相乘,也就是右边这个矩阵 a 和矩阵 b。 大家注意看啊, 矩阵 a 呢,它是一个高瘦的柱子,矩阵 b 像一个矮胖的长条,对吧?他们俩相乘的时候,中间那个共同的维度,也就是 a 的 宽度和 b 的 高度,而 其实就是我们刚才说的那个有效信息维度。在学术上,我们管它叫 rank, 也就是智,那说到这个 rank 智,我们在实际跑代码的时候,这个 r 设置成多少最合适呢? 我这里有一条法则,是说 r 应该远远小于模型的原始维度。很多朋友刚开始接触微调的时候,可能会有个误区,觉得这个 r 设的越大,模型学到的东西就越多,效果就越好。但是你看左下角,这是原论文里面的测试数据,非常有意思, 你看啊,当 r 从一增加到了四的时候,哎,各项语言的指标确实在变好,对吧?但是当你把它加到八十六, 甚至加到一零二四的时候,你会发现效果并没有什么明显的提升,甚至呢还会掉一点点,这说明什么?这说明你要交给模型的那个新技能,它的信息量其实就那么一点大, 就好比你非要开一辆大卡车,就是很大的 r 去装,其实车厢里全是空的。所以我们平时训练 r 设置个四八十六往往就足够打了,那把 r 设小之后能省多少事呢?我们来算一笔直观的账,这也是我觉得 lor 最牛的地方。 假设我们要更新一个一零二四乘以五幺二的权重矩阵,如果是传统的微调,你要老老实实去算这五十二万多个参数。现在我们用 log 假设我们把刚才说的 r 设置成了三十二, 你看矩阵 a 就 变成了一零二四乘以三十二,那矩阵 b 呢,就是三十二乘以五幺二。我们只需要管这两个小矩阵,把它们的参数量加起来,只有不到五万个,参数 从五十二万多降到了四万九,那参数量只剩下原来的百分之九了。如果遇到更大的几百亿参数的模型,这个比例甚至能降到千分之几。 对于做工程落地的人来说,那就意味着你原本可能需要八张 a 一 百才能跑起来的训练,现在是一张消费级的四零九零就能轻松搞定了,这是实打实的降本增效。 最后这部分还有一个非常精妙的工程实现细节,大家一定要知道,就是他的出实化。大家想一个问题啊,刚开始微调的第一步,模型,其实什么新东西都没有学进去,对吧? 我们肯定希望这个时候新加进去的 a 和 b 不要去瞎干扰原来模型的输出,所以呢, low 的 作者非常聪明,你看他在最开始的时候把右边这个矩阵 b 用随机数出实化,但是呢,他把中间这个矩阵 a 啊,全都设置为零了,也就是全零出实化, 这有什么用呢?任何数乘零都是等于零对吧?这就意味着在训练的第一步, a 乘 b 的 结果就是等于零, a 它 w 也就是零, 那模型刚一上来,表现跟没加 load 之前是一模一样的。然后随着训练的一步步推进, a 里的数字慢慢不是零了,新知识才一点一点加进去,这就保证了训练初期的极度稳定,不容易崩。 另外大家注意看底下这个公式,这里多了一个字母叫阿尔法。我们在设置参数的时候也一定会遇到它,它其实就是一个缩放因子, 你可以把它想象成一个音量的旋钮,算出变化量之后,我们乘上一个阿尔法,除以 r 的 这个系数,用来控制新学到的知识对圆模型的影响到底有多大, 有个行业里面的经验值哦,我们通常会把这个阿尔法设置成 r 的 两倍,具体的我们在后面参数设置的部分还会再详细说。 好,我们把 luo 最底层的数学逻辑盘清楚了,那我说到这里,你可能会觉得,哎,把参数量降到百分之几,这已经很极限了吧,一台电脑就能跑了,还要什么自行车啊。 其实不然,大模型这个圈子卷的是非常夸张的,既然能降,那能不能再降一点?这就引出了我们的第三部分, q luo 和其他的一些境界的新玩法。我们先来看目前大家用的最多,基本上可以说是平民玩家标配的 q luo, 这里面这个 q 呢,就是 quantization 量化。原本我们大模型里面的数字都是非常精确的小数,比如说十六位甚至三十二位的浮点数,非常占用显存,那 q 洛尔是怎么做的呢?他直接大刀阔斧把这些精确的小数压缩成了四倍的粗略整数。 这一压好家伙,模型的体积直接缩水了好几倍,单卡二十四 g 的 显存也能够跑七十亿甚至更大的模型了。但是注意,我们用来微调的这两个小矩阵 a 和 b, 它们是不做这种极端压缩的,它们还是保持高精度的计算。 这就相当于大部队虽然因为后勤不够降级了,但是我们派出去学习新知识的特种部队,用的依然是顶配的装备。这样一来,既省了卡,又保证了微调的效果,可以说是性价比拉满。 那除了这个 q loro, 因为 loro 实在是太火了,这几年学术界还卷出了好多升级版,我给大家简单的介绍几个。 比如第一个 loro, 他 觉得原来 loro 更新参数的时候有一点手脚不协调,所以呢,他在算法上做了一个结偶,把权重的方向和大小分开来学,这样模型学习复杂任务来表达能力就会强很多。 再看中间这个 loro 加,哎,这个思路我觉得特别有意思,刚才我们不是说矩阵 a 上来全是零,矩阵 b 是 一堆随机数吗? 它的起点根本不一样,凭什么训练的时候要让它们用同一个速度去更新呢?所以 loo 加呢,就给这个 a 和 b 设置了不同的学习率,相当于是因材施教。结果发现,嘿,不仅训练变快了,最后模型变聪明的效果还更好了。 然后呢,还有 r s loo, 它其实解决了一个很多人微调的时候都会碰到的痛点。刚才我们说过,普通 loo 的 制,设置个八或者是十六就差不多了。 有时候你遇到特别复杂的任务,你硬把 r 开到一百二十八,二百五十六,满心欢喜的以为模型能学到更多东西,结果一跑, boss 许仙直接崩了,训练很不稳定, 那么 r s lora 就是 对内部的缩放比例做了一个数学上的优化,用了它之后啊,你哪怕这个 rank 开得很高,模型也能稳稳当当的继续学,不会轻易崩溃。这对于那些需要给模型疯狂灌输大量新知识的场景,比如说要学一门,嗯,全新的冷门语言是非常有用的。 当然了,对于大部分刚上手的人来说,也不用死记硬背。这些变体你只要知道,不管外面的花样怎么变,他们底层的灵魂都是我们刚才拆解过的低质分解。 如果你平时做项目的话,你只要知道武器库里面还有这些进阶的装备,哪怕哪一天,圆满的 logo 满足不了你了,你懂得,来回翻这几张牌就完全足够了。 好,前面铺垫了这么多理论和遍体,可能很多朋友已经迫不及待去跑代码了。最后一部分,我们来盘点一下在真实写训练脚本调餐的时候,那些最容易踩坑,最容易让人抓狂的地方。 大家如果用开源的工具微调过,就一定会面对配置文件里这三个参数,我们一个一个来看。首先第一个也是最核心的 r rank, 这个参数我们在前面反复的提过,它决定了模型能容纳多少新知识。 我再强调一遍,真的没必要去迷信,大力出奇迹,一般日常的任务设置个八十六,最多三十二,绝对够用了。设的太大,不仅训练慢,还特别容易过你河。第二个, loro alpha, 还记得我们前面打的比方吗?它就是一个音量旋钮,是用来控制新知识对原模型的影响权重。绝大多数情况下,你直接把这个阿尔法设置成跟阿尔一样大,或者是阿尔的两倍,是很安全的。比如说你阿尔是十六,阿尔法就给十六或者是三十二。 除非呢?你去用我们刚才讲的 lower 加这一类特殊的变体,那就得老老实实按它们论文里的配方来。第三个, target modules, 也就是你要把 logo 挂在哪些层上。很多框架默认非常保守,只给你加在注意力的 q approach 和 v approach 上。这种做法最省,显存跑起来最快。 但是你看,如果你的显卡资源稍微富裕一点,或者是你想追求极致的微调效果,那强烈建议你把括号里面这些 k approach、 o approach, 甚至后面的前馈层全给它覆盖上, 代价肯定是显存占用变高,但模型理解复杂指令的能力会有一个质的飞跃。 ok, ok! 最后我们来过一遍这几个很容易被忽略的避坑小贴士,这可都是我们用算力和时间砸出来的血泪经验。 第一条, drop out, 其实你就可以把它当成一个防死记硬币的开关。如果你手里的数据特别小,比如说你只弄了几百条问答,那你把 drop out 给个零点零五或者是零点一,防止模型过你核。但如果你的数据量很庞大, 几万条几十万条,那就直接设为零,不需要开,让模型敞开了学第二条 bios, 也就是偏置,听我的,通常情况下呢,直接保持默认的 long 就 可以了,千万别手痒去微调它,用了反而容易出一些莫名其妙的收敛问题。 第三个呢,是数据类型,这个很重要,如果你显卡支持,我们一定一定要选 b f 十六,千万别去选那个 f p 十六。为什么呢?因为大模型在训练的时候经常会蹦出一些极端大的数字, fp 十六的表示范围比较窄,特别容易溢出,你可能跑着跑着突然 boss 爆掉了,白跑几天,而 bf 十六就稳健的多。如果你结合了我们刚才说的 q laureo 框架,会自动帮你把底座压成 speed。 但在运算这一步,记得一定还是要用 bf 十六 最后一条呢。这是一个报显存的急救顺序,你看,假设你一跑,代码啊报错了, o m 显存不够,应该怎么砍配置呢?千万别一上来就去砍这个,那太伤模型效果了。 你的第一步应该是立刻换上 q lora, 这招最立竿见影,如果还报呢?第二步,再去把 r g 稍微调小一点点,实在不行了,再到最后一步,你再考虑去减少复写的层数, 如果按照这个优先级来,能在你现有的破显卡上保住最大的模型战斗力。好,那关于 loro 微调原理的拆解,我们就讲到这里,我简单总结一下。 首先我们理清了微调的本质,其实就是求原有参数的一个增量 data w。 然后我们是拆解了 loro 的 底层机制,它是利用低置矩阵分解的数学特性,把庞大的参数更新转化为两个小矩阵相乘,从而呢大幅度降低了需要训练的参数量。 接着我们还介绍了 q logo 等等进阶玩法,进一步降低训练的显存门槛。最后就是刚刚给大家梳理的核心参数设置和实战避坑建议,行理论加实操都齐活。接下来呢,你就差动手去跑个模型了。这期先到这,我们下期再见!

可以看到啊,他已经下载完了,这个速度非常快啊,这边显示这个墨星的模型已经成功下载好,我们的这个墨星的 lore 已经下载完毕了,我们再返回这个纹身图。好,我们如何在作图中调用这个 lore 呢?我们先点击这个深层下方的这个红色的按钮,也就是第三个按钮。 好,点击了之后,他会在这个反向提示词的下方多出来一栏选项啊,这个选项刷出来可能会多等那么十几秒的时间,大家需要耐心等待一下啊,我们在看到这些选项之后呢,选择最后一个这个 lower 模型。 好,大家先忽略我这个 lower 啊,这个是我之前安装的 lower 模型,和我们刚才下载的模型模型没有任何关系啊,那我们进来之后呢,我们先点击刷新看一下。好,我们刷新发现啊,还是只有这一个模型,很多小伙伴呢,其实就是卡在这里了,就是他发现用这个 cbtai 来下载模型之后,结果刷新却刷新不出来这个 lower 模型。那么我们怎 解决这个问题呢?我们还是返回我们的这个谷歌硬盘,然后我们找到这个最上方的这个云端搜索,然后我们搜索一下刚才下载的这个模型模型模型 好,然后我们回车看一下。好,可以看到啊,我们通过搜索呢,找到了这个墨星捞绕的文件,然后我们点击他呢,右边就会显示这个文件的详情,我们注意一下啊,这个捞绕模型文件的后缀呢,是这个点 shift, 然后我们一定要选择这个有这种后缀的文件,然后我们右键点击这个墨星的模型,我们选择一下下方的这个复制 好,我们看到他提示啊,已在我的云盘中创建了这个墨星的副本,然后我们点击这个显示文件位置, ok, 可以看到啊,我们现在回到了这个云盘界面,然后我们在这个最后已经有了这个我们刚才复制的这个墨星文件的副本,我们可以看到啊,他的后缀是这个 siftonsos, 但是后面有一个这个副本,这个就是我们刚刚复制的文件,然后我们 在这个副本上呢单击右键,然后我们选择这个一致好,他就会在这个文件下方弹出一个窗口,然后我们选择这个 stable defusion 的文件夹双击,然后再双击进入,然后我们往下滑找到这个 models 的文件夹点进去, 然后呢我们再找到这个 lora 的文件夹,然后双击好,进来之后呢我们点击这个移动到此处按钮,好,我们再点击了之后就收到一个提示啊,他已经把这个文件移动到这个 lora 文件夹里。关注尽责浅谈爱,了解更多爱使用小技巧。

模型是什么?它和大模型有什么区别?如何炼制自己的 lola 模型,以及如何正确使用 lola 模型?这期视频将最通俗的话语一并讲清楚,很干,看完你一定有收获,收藏可反复观看。 stable fusion 作为目前市场最强 ai 绘画软件之一,已经具有很强的商业价值, 多了则是 stable 抽象微调模型,它的使用能让 ai 生成你想要的人物、某一种风格、自己的产品或者特定的功能,它为什么能起作用?这要结合 ai 出图原理来讲。别怕,其实很简单, ai 就是 个婴儿,婴儿要认识事物时,通过反复观察后,将单词与事物连接。 ai 也是如此,想让 ai 认识这个就是石头,那么就拿上百上千张石头照片反复给他看,然后你再打出石头,他就会绘画出石头。 而用上百上千甚至上万张照片训练的模型,就是大的微调模型,我们简称大模型,但你是做园艺造景想生成艺术造型的石头,而仅靠学了简单石头的他肯定达不到要求。 这时你就要拿出私藏的武功秘籍,将你认为不错造型的石头照片给他看,而且还告诉他这些都是艺术。其中艺术这个词就是触发词,下回只要打艺术,就能画出造型感不错的石头。所以 lola 就是 在大模型上基础上进行升级,让 ai 更有个性化的一种模型。 lola 根据 sd 的 版本也分为一点五与 xl 相对应, sd 一 点五版本和 xl 版本。现在你是不是对 lola 有 了出。