今天教大家训练自己女神的浪漫模型。首先我们需要一些女神的照片,基本要求是面部无遮挡,角度多样,精度越高越好。然后把图片放到这个批量采切的网站,让所有的图片规格统一,在右边可以设置图片的尺寸, 我这里是五百一十二乘五百一十二,然后调整一下图片的位置,就可以点击右边的 c 八, c c 就会把所有的图片都打包后下载下来。新建两个文件夹,一个音,一个二。把下载回来的图片放到一文件夹里面, 启动 stable diffusion, 选择训练,选择图片预处理,把图片的原函目标路径分别对应应和 out, 然后点击预处理就可以了, 你就会在二图文件夹里面看到这些图片。看文本,文本就是 ai 生成的图像 prompt ok, 到这里我们前期的准备工作就完成了,现在开始训练模型,我给大 大家的下载里面包含这两个文件。先安装第二个文件,也就是拍粉,因为我已经安装过,所以这里是这样的,提示你们安装的时候把所有的框都打勾就可以了,安装就是全程下一步就行了。然后打开这个文件夹,右键这个文件,选择使用 pose so 运行, 就会开始下载部署所需的运行环境,这里时间比较久,等一下 much much much later。 部署好以后,在这里新建一个村营的文件夹, 在这里新建一个静香的文件夹,在里面再新建一个同名文件夹,最前面加上数字六,代表我们要迭代六次。然后把刚刚凹出文件夹里的图片汉文本全部放进来,右键这个文件使用文本编辑器编辑。 这里的猫豆是底模型,选择一个你喜欢的就可以把底模型放到这个文件夹里面,注意文件名 一字,这个穿云 data 就是我们刚新建的竞相的文件夹,尺寸跟我们的图片保持一致最大。训练我们填二零 network game 我们选三十二,记住不是越大越好。真人模型我觉得六十四就很好了。 这里是你模型的名字,我选择 jacks, 其他的地方不要动,点保存。最后我们在这个文件上面点右键,选择 power, 稍运行就开始训练了。 much much much later 训练完成,你将会在这个文件夹里面看到你的模型,这些就是生成的模型了。 下一期教你们怎么用吧,看看我们半个小时跑出来的结果怎么样。
粉丝2.3万获赞20.5万

从本节开始,我们会新开一个系列,讲讲捞热模型训练的内容。第一节课,我们一起来看一下如何配置软件并炼制自己的第一个私人定制捞热模型。正文开始训练一个捞热总共分五步,分别是,一、 下载软件二、准备训练级。三、给训练级打标签。四、训练 laura 五、测试 laura 首先下载软件,你需要先下载秋叶的 laura 训练一件安装包,然后再下载一个 stable defusion 的基础一点五模型。 注意,这里最好是下载未经裁剪和微调的原声 sd 一点五模型,否则训练出来的 laura 泛用性会稍微有点差。当然,如果你实在硬盘空间紧张,也可以用之前下载的 sd 一点五模型替代解压 laura 训练一件安装包,路径上最好都 不要有中文。然后将第一步下载好的 sd 一点五的模型移动到 sd models 文件夹, 回到根目录下,双击 a 启动脚本, but 就可以启动软件了。启动完成后会自动在浏览器中打开 s d trainer 软件。到这里环境部分就准备完成了, 这里会有新手和专家两个模式,本节课程主要讲新手模式来训练捞啊。第二步,准备训练级你需要提前准备好二十到三十张训练图像, 比如说相同画风的素材或者同一个人物的图片素材。作为新手课素材不需要要求太多,重点需要每张图片都在五幺二像素乘五幺二像素以上,尽量清晰一点就可以了。接下来你需要将所有的图像处理为统一的尺寸,这里就统一通, 通过 photoshop 将图像处理为了五百一十二乘五百一十二的图像大小,你可以按照自己的习惯对图像进行命名,文件和文件夹都不要出现中文就可以了。复制文件夹的路径 第三步,给训练级的图片打标签在训练模型前,我们需要告诉 ai 每张图画的内容是什么,如果要手动来标记就太麻烦了, 所以 s d trainer 软件直接集成了一键打标签的能力。回到 s d trainer 软件,点击 w d 一点四标签器, 找到路径这一栏,将刚才复制的训练级图片路径粘贴在输入框里,下边的参数都不需要调整,点击启动按钮即可。看到 tiger 任务已提交提示后,就正式进入了自动打标签过程。你可以切换到后台看 下打标签的进展,这个过程一般比较快,看到识别完成就是完成了打标过程。切换到训练级的文件夹,可以看到每张图片后边都多了一个同名的文本文件,打开可以看到描述这张图的标签级。将这个文件夹整体复制或者剪切到 lower scripts 文件夹下的纯文件夹下, 重命名为你自己将要炼制的 lord 的名称,注意还是要用英文或者拼音。第四步,开始模型训练,切换到 lord 训练的新手模式下, 配置底膜文件路径,点击右边的文件夹,找到我们第一部放好的 sd 一点五模型,看到选取成功说明模型配置成功了 训练数据及路径,同样点击右边的文件夹,找到我们第三部放好的文件夹,点击选择文件夹,完成训练级的配置。模型保存名称这里修改为 想要生成捞热模型的名字,其他的参数都不要修改,直接点击开始训练就可以了。看到训练任务已提交,接下来的事情就交给显卡吧。如果不放心,也可以切换到后台,看下任务的执行情况。看到训练完成这行字就说明捞热训练顺利完成了。 打开 laura scripts 文件夹下的 output 文件夹,这个不带编号的文件就是最终训练出来的 laura。 这些带编号的 laura 是过程中产生的 laura 存档,对于 laura 训练来说,不一定最后的才是最好的,有时候过程中的 laura 会比最后的 laura 要好, 所以这些暂时不要删除。这个时候可以关掉 lower 训练的后台了。第五步,测试 lower 效果。我们复制所有的 lower 文件,复制到你 weboy 用来放 lower 的地址下。 为了跟之前常用的 laura 区分开,可以新建一个名为 test 文件夹,并将刚才复制的所有 laura 粘贴进去。启动 will be u i 切换你比较常用的大模型,关掉 fi clip, 中指层数调整为一,输入提示词并选择刚才训练好的 lord。 可以适当降低权重,选择常用负面提示词 embedding。 开启高分辨率修复。点击生成即可查看 lora 的实际效果。 可以切换不同的 lura 和权重,查看每个 lura 的实际影响和效果。还可以将之前训练集中的 tag 输入到 纹身图中进行效果验证。 那么问题来了,有了这么多 lord, 到底哪个才是效果更好的 lord 呢?除了手动测试外,有没有更高效的测试方法呢?其实是有的, 下节课我们来聊下如何高效测试 lora 或者关于 lora 训练。你还想要了解哪些内容,可以留言告诉我。这里是专注 ai 绘画的聚梦小课堂,记得关注我呀!


假如你准备五月十九号开始学习 ai 大 模型如何成功上岸,只要你不是三分钟热度,从小白到大神,真的不难。接下来告诉你一条最快的学习路线,照抄就行。第一阶段,死磕基础,把 python 基础和简单的 api 调用吃透,这是大模型的基础。第二阶段,掌握两大核心框架和三大技能。两大框架是 lamb chain 和 lambendrix, 一 一个用于构建 agent 逻辑框架,另一个用于构建外部数据缩影。三大技能是指 r a g agent 模型。微调这三项技能直接对应了当前 ai 岗位的核心需求,深入了解大模型应用场景,结合前面所学知识,做二到三个项目,如智能电商、智能客服、 股票分析,掌握这些足够让你胜任百分之九十以上的 ai 大 模型岗位。如果你还不知道从何开始大模型系统学习路线以及配套视频教程,实战项目,以巨大模型双手奉上。好,各位家人们,这个视频我们来深入的讲解微调哈, 那么本期视频呢?分为四个部分,第一部分是我们为什么需要微调啊?第一部分是微调的本质,第三部分是 lora 的 数学原理与实现机制,第四部分呢是 q lora 啊,我们先来看第一部分呢,就是为什么需要微调。我们先来解释一下这个微调是什么意思啊?微调微就是轻微的意思,调就是调整的意思,那也就是 轻微调整。轻微调整什么东西呢?当然是轻微调整大模型,或者说基座大模型。那问题就来了,我为什么去轻微的调整这个基座大模型呢?那一定是因为这个基座大模型存在着一些问题,那存在什么问题呢?虽然说啊,这个通用大模型,或者说这个基座大模型他很聪明,他学了很多很多知识,但是呢,打 一个不恰当的比喻啊,他就有点像一个天才的高中生啊,掌握了很多知识。但是我们把这个通用大模型啊,放在一个特定的场景里面, 他就有点像个新兵蛋子,虽然他能干活哈,事情能干,但是干的呢,不是很麻溜,或者说干的不是很老道哎,显得比较深邃哈,什么意思呢?给大家举个例子哈。 嗯,第一个例子就是智能客服哈,这有一家电商公司的,这个有一点财,有点财力的电商公司哈,他自己呢,就基于 tbc 的 这个机奏大模型做了一个智能客服,这个智能客服上线之后呢, 有客户就问了这么一个问题,他说我的快递怎么三天了还没到,那你们行不行啊?哎,这个时候呢,我们的这个 deepsea 是 这么回答的,他说,尊敬的客户,您好啊,对于您的快递延迟问题,我们深感抱歉。物流信息呢,显示你的包裹目前正处于运输环节的中转站 啊,后面巴拉巴拉一大堆,我就不念了,大家知道意思就可以了。那么这个回答还有没有什么问题呢?没有什么大问题,那只有小问题, 就是显得太中规中矩了哈,太中规中矩了有什么不好呢?太中规中矩了,就有点像个机器人对不对?没有亲和力,没有人情味对不对?虽然倒也不是什么大问题,但对于一个有追求电商公司来讲,我们当然希望我们的客服啊,他有亲和力啊,像人一样对不对?有人情味。 好,那么现在我们就来优化了一下,做一些轻微的调整好,那么微调之后啊,摩羯是这么回答的,他说,哎呀,真抱歉让您久等了啊,我马上帮您催一下。好,您方便把电话发我一下,发我一下吗?我立刻去查具体到哪里了。 你看这个,你看这个,你看这个回答还有情绪,你看哎呀对不对?他像一个人一样回答对不对?这样的回答显得很专业很老道对不对?前面的回答呢,虽然也没什么大问题,但是呢需要个新编袋子,很深邃对不对?那我们需要的是后面这种回答。我们再来看一个例子啊,一个医疗的问答系统, 那么有一家医疗科技公司呢,那就是用 tips 做了一个医疗问答系统啊,然后呢上线之后啊,有一家医疗科技公司呢,那说我的体验报告显示幽门螺杆菌阳性很严重吗? 那么这个 t v c 是 这么回答的,那幽门螺杆菌,它是幽门螺杆菌阳痿与胃癌的发生有密切关系?与胃癌的发生有密切关系啊,你看这个跟癌症扯的关系是什么啊?一定幽门螺杆菌能把用户给吓死啊,建议您立即进行胃镜检查啊,便开始什么四年 四年四年疗法治疗啊,我就不不忘念了啊,你说这个,这回答有没有什么问题呢啊?也没有什么大问题啊, 虽然说他也在陈述一个事实,但是呢语气过于严重啊,且把可能性呢当成这个必然性就容易引起患者的恐慌 啊。这个医生啊,他的这个角色,他是很特殊的一个角色啊,他不仅仅是叫病人陈述这个,这个这个病情,对吧?而不是机械的陈述,你要照顾到病人的情绪,对不对?所以医生他其实不,他这个虽然说不仅仅是物理上的这种 看病啊,他其实还有精神上的治疗,对不对?还照顾好这个病人的情绪,所以你要委婉的告诉他啊,你不能像这个机器人机械的向他陈述, 所以这个肯定不行,对不对?好,那我们经过微调之后,我们看下这个回答啊,他说幽门螺杆菌阳性,在我国比较常见,比较常见,说明这不是什么大问题,对不对?他通常是可以治愈的,首先你要说他可以治愈啊,你要激发用呃,这个病病人的这个信心,对不对?但长期感染确实会增加某些胃部疾病 啊,给,这是给他个提醒对吧?不能长期感染对不对?这个回答就很专业对吧?该,还后面还有重要提示,我无法提供 啊。这个医疗诊断啊,建议你带着报告去咨询这个医生啊,那么前面这个呢,其实本质上来讲是爱他的情绪,对吧?后面呢,建议他跟专业的医生之间沟通。那么这样的回答呢,就很显老道啊,这个呢,就是我们需要的这样的回答。那么中国的这种案例来看, 就是说没有经过微调的这样的激奏大模型,他虽然什么问题都能回答,但是稍微什么呢?稍微支棱了一点啊,那我们就需要对他进行调整啊,要给他补补课,让他更老道一些。 好,那么我们把这个补课哈就称之为微调好,那么这个微调哈到底什么意思呢啊?我们毕竟是在讲这个,讲专业知识,我们还是要回到专业的这个领域上面来啊,还是要专业的解释这个微调到底是什么意思。那么我们说微调是微调大模型,那这个大模型又是什么意思呢? 我们天天在听啊,这个博客上面到处充斥着这种词汇,大模型,大模型啊,但是我们对于普通人来讲,好像不知 不知道这个大模型到底是个什么东西啊?其实大模型,我们可以把大模型看作是一堆有数字过程的权重参数, 也就是说大模型就是一堆参数啊,如果大家有机会去哈根弗斯上面去瞅一瞅啊啊,你打开一个大模型看一下,你会发现啊,这个大模型机就是一个文件夹,那文件夹里面放着一堆文件,这个文件里面放的什么东西呢?文件里面放的就是参数 啊,这个参数量呢,可能是七十亿,也可能是七百亿,像 deepsea 啊,七千亿啊,这个参数非常非常庞大的。那么所谓的微调是什么?做一些什么样的事情?所谓的微调就是调整这些参数啊,调整,调整这些参数呢,就意味着啊,他学会了新的技能,也就是这些参数啊,就代表着模型的能力, 我们只要稍微调整一下,就意味着学会了新的技能啊,那么这个调整怎么去调整呢啊?我们有两种方式啊,第一种方式是为全料微调,什么叫全料微调?顾名思义,全料微调就是对全部的参数都把它调整一遍 啊,那有的时候,有的时候,那就调整一遍呗。哎,这个听起来好像很简单,就全部调整一遍,但是其实真正去落实起来,这是一个非常巨大的工程 啊,他的这工作量接近于啊,我们训练一个大模型,那有时候去训练一个大模型吗?啊,不是什么问题。哎,大家你不要小瞧这个训练大模型啊,这个训练这个大模型啊,投入的财力、物力和人力是非常庞大的啊,你知道这个 deepsea 的 背后是谁?是谁在投资吗?啊? deepsea 的 某公司是换换尿化,人家是搞金融的,不差钱,拿个几百亿出来,小意思。 对,所以人家才能搞这个大模型,哪怕你个中小企业,你能拿几百亿出来吗?多现实,对不对啊?所以搞这个群聊微调啊, 其实不太现实,对绝大多数,对绝大多数企业来讲都是不现实的事情。那么怎么做呢?我们只能采用第二种方式啊,我们称之。为什么部分参数微调还在这个部分参数微调里面啊,最具有代表性的一个算法,叫什么呢?叫这个 loo 啊?叫,叫什么呢?叫低质自适应。那么它是这个部分参数微调里面最具有代表性的一个算法啊。甚至呢,在某些情况之下,我们讲微调,其实就等价于微调 啊,已经已经普遍到这个地步了啊。那么这个微拉尔微调什么意思呢?哎,这个拉尔微调的意思是这个样子啊,他不去动所有的参数,不动所有参数 啊,他是在这个注意力这个模块旁边啊,打两个补丁,然后呢,我们去训练这两个补丁就可以了。那有同学有同学可能会问呢,那我们训练这两个补丁,哎,这个 好使吗?有效果吗?我们就加两个补丁啊,这个模型就有新的能力了吗?哎,你还别说啊,这个还真有效果,他其实是有依据的哈,我跟大家讲哈,他其实有依据的,其实这个 就是说,呃,这科学家在研究这个,研究这个微调的时候啊,当然也不是一开始就就老耳微调就冒出来了啊,最开始他们是做这个全量微调, 刚开始也是没办法吗?对不对?只能做这个全椒微调,那么我他们通过这个全椒微调去学习这个新的能力啊,那么他们发现学习到的这个新的取证啊,爱情就是低质的,据他们观察就是低质的 啊。那有同学会讲,他为什么就是低质的呢?哎,这个东西其实跟我们现实生活中的一些一些事情啊,其实他也能够发生一些联联系啊,比如说我们让一个博学家怎么用的这个特定规则就可以了。 那也就是说我们这个大模型啊,他在学习一个新的技能的时候,他已经找了一个底层规则了,是不是?然后再学一些上面的东西,只要学一些这个细致,只要学一些,只要学一个核心和重点就可以了,对不对?所以呢啊,他这个就是低质的,就是低质的, ok, 好,那么这个既然我们发现啊,大魔仙他学到的这个,既然我们发现啊,这个大魔仙他学学,学习一个新的技能的时候,他就是低质的,那么既然是低质的话,那么我们就没有必要把每一个参数都把它学出来,对不对啊?那么既然没必要把每个参数都学出来,那接下来怎么做呢? 这里面我们要跟大家讲一个线线代数的知识的啊,叫低质的矩阵分解啊。我们先来看一下这个低质矩阵啊,什么叫低质矩阵呢?低质矩阵其实就是把它的这个有效线形维度啊,比较低, 什么意思呢?大家看一个矩阵啊,这个矩阵呢,这就是一个低质的矩阵,质呢是为一啊,质为一就是这个,就这一,就这一行。质是一是什么意思呢?意思就是说这个矩阵哈,我们只需要保留这一行信息就可以了,其他信息可以不需要保留,那有时候不保留呢,这个信息不就损失掉了吗? 哎,没有关系啊,我们可以通过什么?通过这一行可以可以什么呢?通过这一行我们可以把这后面给算出来, 感觉有点像什么?像压缩啊和还原,对吧?哈,那我们这个,比如说,呃,这个文件被打包之后啊,被压缩之后,他可能从 十十兆啊变成了一兆,对吧?但是你发现我们可以把它还原,对不对啊?这个还原他不是变细法变出来的啊,他通过某种算法先还原的好,那么这里面假如说我们只保留他哈,我们去还原这个二次六,把它 把它算出来呢?很简单嘛,一二三乘以二,是不是得到二十六啊?一二三乘以三,是不是得到三三六九,对不对?那么也就是这个矩阵其实我们只需要保留一二三,其他东西就可以算出来。 那言下之意啊,我们其实我们在微调大模型的时候,我们是不是只要把一二三给学出来就可以了?后面这些参数啊,我们通过某种算法可以把它算出来,对不对 啊?那么这个怎么可以,怎么实现它呢?哎,我们我们这个时候我们要讲到这个矩阵分解了啊。好,现在我们来看这个低质矩阵分解啊,那么在新鲜代数里面呢,有这么一条规则,就是任何一个低质的矩阵可以都可以分解为两个更小矩阵的层级啊。 哎,就是得加 w 等于 a 乘以 b。 好 了,现在我们讲下这个就是得加 w 啊,得加 w 是 一个矩阵,那么这个矩阵呢,是需要我们通过训练去学习得到的,它就代表一个新的能力,那么这个矩阵呢?我们假设它是 n 乘以 d 啊,就是 n 行 d 类,那么我们假设的质是 r 哈,那么这个矩阵就可以 由 n 乘以 r 这个矩阵,再乘以 r 乘以 d 这个矩阵所得到。那我们给大家举个例子啊,前面我们谈的一个矩阵,一二三二四六三六九,这个矩阵对不对?那么它是一个低质的矩阵,那么它就应该可以有两个更小的矩阵得到,对不对?好,那么现在我们来给大家算一下啊,那么刚才这个矩阵是多少 啊?一二三对吧?然后呢三四六啊?然后呢四 六九,那么他应该来讲,他指的是他的字是一对不对?所以他应该可以什么?他应该可以有一个,也就这个 r 就是 一对吧, r 就是 一哈,那也就是这个女人应该是多,也就是这个指证应该是什么?呃, 三行,它可以三行一类,对不对?那么它就是三行一类啊,那么它就我们写成它就可以由一二三这个整数啊,乘以什么呢?对,乘以,然后呢是 r 乘以 d, 对 吧? r 乘以 d 就是 一行三类,对不对啊?那么这个三类,这个就是一二 三,那么这个集就是两个小矩阵,那么这两个小矩阵相乘就会得到一二三三四六四六九这个矩阵大家可以去算一下啊,根据矩阵的乘法就是毫乘一类,对不对啊?大家可以去算一下,那么这个结果刚好就是这个结果。 好,那么这个矩阵分解啊,那么这里会存在一个问题啊,因为我们是要去训练得到这么一个矩阵是不是?那这个矩阵的质到底是多少呢?我们并不清楚啊,因为我们只知道它是低质的,但是具体到了每一个大模型这里面啊,他这个低质啊,质到底是多少呢?是不确定的,所以我们需要进行 人为的去指定这个质啊,那么根据我们实践的结果啊,这个质到底设定为多少是比较合适的呢? 哎,这个痣根据我们验证的结果啊,这是我们验证的结果啊,其实当你超过了十六的时候呢,后面其实啊,基本上啊,说的训练会加大之后的结果啊,其实基本上没什么区别,所以这个痣通常是选在八或者十六啊, 八和十六,我们首先呢,我们选这个选八,如果八的话,效果还不是特别好的话,我们就选十六,基本上是八或者十六这个这个样子,这个是我们经过实践验证得到的一个结果啊,这个质这么来选的比较合适一点。好,那么我们现在啊, 来看一下,就是说当我们,呃,当我们的这个,当我们把一个大整数变成两个小整数之后啊,这个参数要能够减多少呢?我们假设这个大整数幺零二四乘以五幺二,当然这个还不算很大,在实际的开发过程中,这个整数会比这个整数会比这个大很多哈, 好,那么现在我们现在我们指的它的值是三十二,那么就是幺零二四乘以三十二,然后呢?再乘以 啊,幺零二乘幺零二四乘以三十二,然后再乘以三十二乘以五幺二,对吧?好,那么我接下来我们训练的就是这两个矩阵的,训练,这两个矩阵啊,把这两个矩阵的参数把它训练出来, 那么我这两个矩阵相加的它的参数是多少呢?我们可以算一下,那么幺零二四乘以三十二啊,它等于三万两千七百六十八,那么三十二乘以五百一十二呢,就是一万六千 三一一,一万六千三百八十四啊,好,那么这是他们,呃,加起来啊,加起来之后的这个结果是这样,相加之后啊,那相加之后应该是四万九千一百五十二,这是他的这个参数量,然后我们幺零 s 乘以五百一十二等于多少是, 好,五十二万四千二百八十八, ok, 那 么你就发现他的参数其实只到他的百分之十还不到,对不对?我们就少了百分之五十,是不是啊? 少了百分之九十的话,就相当于节约了百分之九十的算力,那么这个成本降下降是非常非常低的哈,但是呢降了很多。好,那么我们在实际的实践过程中啊,我们还会在这个什么呢?还会会有一个缩放啊,就是我们对德尔曼会做一个缩放,这个缩放呢?就是 啊,这个 at 除以这个 r 为什么进行缩放呢?这个缩放的目的其实就是为了,呃 啊,减少这个 w 对 于圆心的这个权重矩阵的这个影响,影响力啊,当然这个就是不要他对他的影响太大啊,如果影响太大的话,可能会产生一个后果就是呃, 瞻来些疑问哈,所以我们呢会加一个缩放的参数,但通常来讲这个缩放的参数呢,就是刚开始我们会把这个呃这个艾特和这个 r 会设置的一样大啊,也就是那么这就是 e 啊,相当于是没有缩放, 没有错吧啊,那如果后面他如果影响会比较大的话,我们会把这个 r 会设置一个比 r 小 小一些的这么一个数字啊,那么呢,呃,当然这个需要进行尝试啊,去减少 l w 对 于 w 就是 我们原先的这个选项中的这个影响啊。 啊,那么这个呢,就是 luo 啊, luo 算法的这个介绍。好,接下来我们来再介绍一下 q luo 啊, q luo 呢,其实是是 luo 的 一种间接的玩法,什么意思呢?就 q 哈是 core 的 意思,其实是量子化的意思啊,质量量子化的意思。量子化是什么意思?量子化其实就是压缩哈, 因为原先的参数啊,原先的参数呢?是什么意思呢?原先的参数呢?这个三十二位的浮点数。整参数呢?这个三十二位的浮点数,它占的空间是比较大的, 那么量化之后呢,其实是我们对他这个参数啊,这些裁剪,裁剪什么呢?裁剪,比如说八位或者四位,原先是三十二位啊,现在呢,是变成八位了,变成八位之后有一个什么样的特点呢?那变成八位之后空间 小了吗?对不对?原先是三十二位,就是原先占三十二个格子,现在是占八个格子呢,就一个参数,原先占三十二个格子,现在是占八个格子了 啊,相当于说呢,相当于我们对于参数,对于这个模型的体积压缩了啊,压缩这个体之后啊,那么它占的这个显存的空间就更少了,对不对 啊?那么原先可能我们需要在啊,在,在什么?在服务器上面才能做这个微调,那么现在我们使用 color 的 方式,就是我们对于参数进行量化之后,那可能在个人电脑上面也可以做这个微 调啊,那个人也可以做微调啊,那么这个是量化的好处啊。 好,那么我我们再来介绍几种这个感件啊,就基于 laro 的 叫感件的算法啊啊,分别是这个 daro, daro 就是 它是将权重幅度啊与方向间结合啊,提升学习的表达能力。还有这个 laro 加啊,这个呢, 是啊,为矩阵 a 和 b 设置不同的学习率,加速收敛并提升效果。还有这个 i s laro 动态式调整啊,这个其实就是优化缩放因子,是模型在高质下依然稳定, 那么这个呢,就是优化训练过程中的一些高级的玩法,但是核心呢,依然是低质分解,大家可以去了解一下,了解一下。好,那么今天的视频我们就到这里了哈。

在一起给大家分享一下 any 码的这个劳拉训练。然后我们这里主要呢是这个 stand alone, 如果大家要在本地用的话,就可以跟着他这个 instotion 的 一个步骤去安装。然后我这里主要讲的是一个云端的使用,然后之前的话在 previews 瑞的时候已经给大家做过一次,这一次主要是更新了一下,然后添加了一下这个 w d 的 简单的一个 option, 然后部署的话,这边的话你也可以使用这个 p 四零,如果这些没有创例的话,一般来说我推荐大家可以用三零九零,然后等他这边加载完成,我们就可以打开这个丘比特, 我这地方使用的是这个四零九零做测试啊,大家的话用三零九零是完全够用的,因为之前我们已经训练过一次了,再用的话大概在十二级左右。 然后我这里先说一下,如果你是小白的话怎么用啊啊?小白的话,我们点进这个 data cs, 然后点进这个 test, 然后这里的话把你的一个图片,如果你没有达标的话, 这边的话是可以自动打标的,如果你有达标的话,把你的这个 t s t 一 起传进去。我这边先讲一下,就是没有打标的情况下,然后我们把图片上传完之后,我们把这边打标的这个给复制粘贴一下,然后它会有我们一个触发词,我这里触发词是六米, 然后一个月字,我用默认的,然后他说如果有的话要不要覆盖,我们这里没有,直接是 int 就 行了,然后等一下的话他就已经打标完了,然后我们这里可以点击看,你可以进行一些删除,根据具体根据你要训练的一个劳拉来。 如果你训练像我一样是角色劳拉,那我们主要就是不能描述这个角色的一些特征,比如眼睛的颜色,头发的颜色这些。如果你训练的是风格劳拉, 那你就不要描述你这个风格,就是 style 是 什么样子的。然后我们这边需要进行一些修改啊,这边的话清理的话主要有两个,一个是简单清理,一个是你自己详细的清理,这里先演示一下吧, 这边我们还是一样复制粘贴,然后这边话就是它把所有的 tag 都显示出来,你要删除了一些 tag, 你 就在这里面输入一些编号,比如说这个角色的一个颜色 blue s, 这个是二十,我就把它给删掉,我们输入二十,或者你可以逗号隔开再加其他的,比如我随便说个二吧,然后我们就删除这两个 blue s 和这个 black background, 那 我们还是一样确定,然后输入 y 删除,然后这样的话它就直接把这个 blue s 已经给删掉了。 你自己在做这种复制,就是清理的时候可以注意下,比如这种 blue hair 啊, purple eyes, 这些都是角色车人都需要删除的。另一个的话就是我们可以直接用这个初恋的,但是这个初恋的有时候会有一些问题, 他这边的话就是直接来说你是角色老狼,那他就会帮你删除一些固定的外貌,然后风格就但这个的话,比如我们选一啊,厨房才是留空,这边都直接输了就行了。那我们再来双击看一下,可以看到他这次的话就已经把这些什么 blue eyes 啊, blue hell 啊这些全部都删掉了,但是它这个页面是初恋的,你可以进去再进行一个查看,就是是不是符合一个风格。然后如果你有 tst 的 话就更简单了,因为我之前已经有其他教程讲过了,我们再用 joincap, 然后打标,这种自然语言啊,或者是 那种叹号打标都已经分享过了。如果你不知道还可以看我之前的那个教程,你就直接在我主页搜那个打标就可以找到的。如果你想简单打标的话就是这样子,然后我这里把这个先删掉, 然后这边删掉之后,我把这边全部给它放进去,因为我这已经有自己的一个素材了。好,它这边显示完成之后,我们来到这里,把最开始上面这个启动给它启动一下,我们启动一下 ui, 然后我们看到它这里显示已经启动了,我们在这边点击这个 makeup, 然后你点击这个 simples, 点这个 prompt, 这边要改一下你自己的一个 prompt, 因为这边的话是我自己的一个提示词,你需要改一下,这样的话你后面在这个采纳结果的时候你才知道是什么样子,就把这个提示词就是最后生成一个提示改一下,如果你不改的话也没有关系哦,这个只是你的一个选择,然后就可以直接点券了,然后他这边就已经直接在开始跑了, 整体来说速度还是很快的,一点七的一个迭代,然后内存占用在十二 g 左右,加上八点七的一个虚拟型的内存, 然后这边跑的话你就可以分成他不管了,因为训练速度还是很快的,大概你训练个一两百啊,一个小时应该就够了。然后你如果是第一次用这个的话,你实名注册是可以领十块钱的,可以练大概七八个楼兰应该是没问题啊,因为这个一两个小时就可以练一个角色了 啊。然后这像之前的就是那种新手的一个讲解。然后,嗯,首先这个 global city 的 话就是你的一个模型路径,我们这里是 amma 啊,这个 a 尼玛贝斯,然后千万三零点六 b, 这个就是官方的那个直接放进去,如果你要训练入密了,他这个也是支持的,我们这里就不用管了。 然后学习率的话,我这地方用的是他的一个默认的学习率,给的是零点零零零一,也就是一一杠四,但是一杠四的话稍微有点快了,就有点大了。一般来说的话,在我们用 这个 endum, 这个传感器是 n 这个 endum 的 时候,一般用的是零点零零二,也就是二一杠五。这个学习率的话就是你越大的话他学习的更快,越小的话学习的会更慢一点。这个的话我到时候给大家,我会是给零点零零二的一个数字,因为我刚刚去埃尼玛的官方仓库看了一下, 他们在,嗯,在他们仓库写的是推荐用二一一杠五来进行一个训练,说我们这里直接用二一杠五,然后这边的话有一个八 b 尺,就是如果你内存不够用,你可以开八 b 尺。然后其他的话我也用的比较少,这个 project 之前有用过,在一些情况下它 可能会好一点,但是稍微有点玄学,所以一般我推荐大家就用这个就好了。这也是我们最常用的一个老腊训练,然后这个它它声音扣得的话,你给零或者变都没有关系啊,因为它这边 在训练 any 码的时候,它会自动把这个删掉,就是不会去动这个 type in code。 然后这边的话我们的一个 schedule, 嗯,这边的话我们直接默认 cosine 或者你用 constance 都可以啊,一般来说默认不动就行了,然后其他的话这个我们都用默认就行了。 warmstep 的 话,一般在我们训练这种, 哎,立马这种比较小的模型的时候不太会需要这个,一般我们在会用到我们 steps 这种就是去预热的一个情况下,都是在视频模型才会去用啊,这样子主要是避免前期学习的时候 学习到一些不必要的东西。这边的话就默认,一般来说我就是用默认的。然后 tencent code 这边的话,因为我们 let's work 这里是缺 unicron, 所以 它实际上是比不会起作用的,可以直接把它改成零也是可以的,因为 这边我们设置他就不会起作用了。然后这个地方我用的是一万步,嗯,这个的话已经说过 就很多次了,因为我们设置一万步是因为如果你是训练风格劳拉的话,你的步数就会更多一点,你可能七八千步你才可以看得到效果。那如果你是训练 角色劳拉的话,可能两三千步你就已经训练完了。我们给这么大的步数是为了节省时间啊, 因为如果你比如说你给我给个两千步,那我们训练风格了啦,或者角色了啦,我们两千步还没看到效果,但是他这个训练已经停了,那你后面还要打开那个 load 去重新启动一下,就稍微有点麻烦,所以我们给一万步就是 让他一直训练。然后我们反正在传感器这边的时候是可以看到一个效果的,然后我们看到我们最想要的那个效果的时候就给它停掉就行了,这一点就是方便使用。 然后 also line 的 话,这些都无所谓吧,然后 save tensor 这地方我们用 bf 四六就行了,这个精度。然后下面一个的话就是这个 data sets, data sets 这个文件夹就我们刚刚放的那个路径,然后呃最低的一个这个分辨率的话就是一零二四和一五三六,也就是我们身图采用的一个分辨率,也是 安尼玛他自身支持的最大的分辨率就是一五三六,然后八七 size, 八七 size 你 是可以给高一点的,你可以给到二。一般来说推荐的话就是一或者二啊,当然你可以给四,这样的话他学习过猛啊,有可能会过礼盒,这个自己 就是看你的需求吧,一般默认就是给一或者二了,看你的一个内存,如果你给二的话,内存会占用更多一点。然后 nice 这里的话,我们训练的是这个劳拉,不是这个俯卧撑,包括嗯, nice 这个 dm 的 话也是按照 any 码官方推荐的,具体的话大家可以自己去 any 码那个 hang 跟 face 就 爆点的界面下面是有的,它推荐的 一个参数就是用我们的一个二一杠五加上三十二和三十二,因为我们在训练汪老拉或者训练其他老拉的时候,有时候会给到六十四,但是它这边的话推荐是给三十二比较稳定,那我们就直接按它推荐的来就可以了。然后这个的话就是瑞钟啊,瑞钟的话就是你如果 避免到一半给它停了,你就可以从这边重新开始,就继续开始,从你之前中断的那个文件夹啊 matty gpu 这个我们没有。 然后这边的话就是我们的一个踩压,每二百五十次它会踩压,然后生成一张图片,我们就可以看到一个效果, 然后它这个 model 下面等你就是它保存劳拉之后,它这下面会显示有劳拉,到时候你就可以选择, 一般来说它也会自动进行一个生成啊。这边就是我们的一个提示词,这个提示词的话就是大家最后看到的一个效果,这个的话大家可以自己设置,前面可以加上你的一个触发词,这样的话得到效果会更好一点。然后踩按界面的话,就是看 每二百五十步到时候生成的一个效果是什么样子的。然后这最后一个就是我们这个 temperature board, 你 可以在这边它有个打开,打开之后我们点这个设置值的一个曲线,我们可以看到它的一个曲线的一个步骤, 你就知道他的一个曲线是怎么样的一个变化的,这些都是用来就判断一个劳拉的一个作用,但是实际上我们最多看的还是这个残样,然后整体大家就可以直接进行一个训练了,简单的话就直接启动就行了, 因为一般来说大部分参数实际上是没有必要去动的,除非你对你的结果不满意,需要一些微调才会去动。 呃,然后我这地方才刚刚训练了十分钟啊,可以看一下,他这个基本上已经得到我们的一个角色特征了,非常快啊,这一点还是很惊人的,就是我们的一个角色特征基本上都有了,可以看啊, 相当于你如果念的比较快的话,二十分钟就可以念出一个老拉了。我这地方才跑了大概不到十分钟啊,我们这地方只跑了二百五十步,非常快啊,就第一个二百五十步,直接就有了这个角色特征。然后我这里说一下,如果大家不想要这样的话,可以怎么去调整一下 啊?这个 data cs 这里我给的是五,因为我本身的一个图片数量有五十张,然后我又给了重复次数五,所以他每一次学习的一个那个 ipod, 实际上学习的次数很多呀,如果可以把这个给低一点,给成三或者四,这样的话,他会稍微学习的慢一点,或者你也可以打开 windows 那个,就我们之前说过的这个。呃,这个预热部署,但整体来看并没有什么影响,就角色特征这些也基本上是得到了,所以训练起来还是非常快的。当然我们也可以就是看它后面训练更多的一个影响,因为我们之前在训练 preview 三的时候 也是一样啊,就他这个模型礼盒的速度还是很快的,当时我们是训练了,我当时是训练了两千步,那个时候对角色的一个泛化性还是这些都还是挺不错的,所以大家也可以继续往后面训练,去看一下一个效果,他这边还是很快的就出现了一个差不多的一个模样了, 然后劳拉的位置的话,在这个你点这个 stable default 选,然后我们点进这个确定 u i, 然后点到这个 jobs, 然后 my job, 然后这个 outbox, 然后在嗯,在这里就有 my email, 这个劳拉就是我们可以直接给右键下载, 可以看二百五十步,整体还是非常快的一次训练,所以大家想训练的话可以去试一下,因为这个模型的一个潜力真的是非常大呀,然后效果还是非常不错的,然后这一期就差不多分享这么多,如果大家觉得有用的话,可以三连支持一下,谢谢大家。