粉丝5.2万获赞27.3万

从本节开始,我们会新开一个系列,讲讲捞热模型训练的内容。第一节课,我们一起来看一下如何配置软件并炼制自己的第一个私人定制捞热模型。正文开始训练一个捞热总共分五步,分别是,一、 下载软件二、准备训练级。三、给训练级打标签。四、训练 laura 五、测试 laura 首先下载软件,你需要先下载秋叶的 laura 训练一件安装包,然后再下载一个 stable defusion 的基础一点五模型。 注意,这里最好是下载未经裁剪和微调的原声 sd 一点五模型,否则训练出来的 laura 泛用性会稍微有点差。当然,如果你实在硬盘空间紧张,也可以用之前下载的 sd 一点五模型替代解压 laura 训练一件安装包,路径上最好都 不要有中文。然后将第一步下载好的 sd 一点五的模型移动到 sd models 文件夹, 回到根目录下,双击 a 启动脚本, but 就可以启动软件了。启动完成后会自动在浏览器中打开 s d trainer 软件。到这里环境部分就准备完成了, 这里会有新手和专家两个模式,本节课程主要讲新手模式来训练捞啊。第二步,准备训练级你需要提前准备好二十到三十张训练图像, 比如说相同画风的素材或者同一个人物的图片素材。作为新手课素材不需要要求太多,重点需要每张图片都在五幺二像素乘五幺二像素以上,尽量清晰一点就可以了。接下来你需要将所有的图像处理为统一的尺寸,这里就统一通, 通过 photoshop 将图像处理为了五百一十二乘五百一十二的图像大小,你可以按照自己的习惯对图像进行命名,文件和文件夹都不要出现中文就可以了。复制文件夹的路径 第三步,给训练级的图片打标签在训练模型前,我们需要告诉 ai 每张图画的内容是什么,如果要手动来标记就太麻烦了, 所以 s d trainer 软件直接集成了一键打标签的能力。回到 s d trainer 软件,点击 w d 一点四标签器, 找到路径这一栏,将刚才复制的训练级图片路径粘贴在输入框里,下边的参数都不需要调整,点击启动按钮即可。看到 tiger 任务已提交提示后,就正式进入了自动打标签过程。你可以切换到后台看 下打标签的进展,这个过程一般比较快,看到识别完成就是完成了打标过程。切换到训练级的文件夹,可以看到每张图片后边都多了一个同名的文本文件,打开可以看到描述这张图的标签级。将这个文件夹整体复制或者剪切到 lower scripts 文件夹下的纯文件夹下, 重命名为你自己将要炼制的 lord 的名称,注意还是要用英文或者拼音。第四步,开始模型训练,切换到 lord 训练的新手模式下, 配置底膜文件路径,点击右边的文件夹,找到我们第一部放好的 sd 一点五模型,看到选取成功说明模型配置成功了 训练数据及路径,同样点击右边的文件夹,找到我们第三部放好的文件夹,点击选择文件夹,完成训练级的配置。模型保存名称这里修改为 想要生成捞热模型的名字,其他的参数都不要修改,直接点击开始训练就可以了。看到训练任务已提交,接下来的事情就交给显卡吧。如果不放心,也可以切换到后台,看下任务的执行情况。看到训练完成这行字就说明捞热训练顺利完成了。 打开 laura scripts 文件夹下的 output 文件夹,这个不带编号的文件就是最终训练出来的 laura。 这些带编号的 laura 是过程中产生的 laura 存档,对于 laura 训练来说,不一定最后的才是最好的,有时候过程中的 laura 会比最后的 laura 要好, 所以这些暂时不要删除。这个时候可以关掉 lower 训练的后台了。第五步,测试 lower 效果。我们复制所有的 lower 文件,复制到你 weboy 用来放 lower 的地址下。 为了跟之前常用的 laura 区分开,可以新建一个名为 test 文件夹,并将刚才复制的所有 laura 粘贴进去。启动 will be u i 切换你比较常用的大模型,关掉 fi clip, 中指层数调整为一,输入提示词并选择刚才训练好的 lord。 可以适当降低权重,选择常用负面提示词 embedding。 开启高分辨率修复。点击生成即可查看 lora 的实际效果。 可以切换不同的 lura 和权重,查看每个 lura 的实际影响和效果。还可以将之前训练集中的 tag 输入到 纹身图中进行效果验证。 那么问题来了,有了这么多 lord, 到底哪个才是效果更好的 lord 呢?除了手动测试外,有没有更高效的测试方法呢?其实是有的, 下节课我们来聊下如何高效测试 lora 或者关于 lora 训练。你还想要了解哪些内容,可以留言告诉我。这里是专注 ai 绘画的聚梦小课堂,记得关注我呀!

太逆天了!利不利不把劳拉训练的门槛降到最低了!对新手保姆级友好,没有硬件要求,有电脑就能用。现在跟着我,一分钟学会练劳拉!来到利不利点击右上角训练新手直接用预设模式,人脸动漫画风,想练什么就选哪种,然后点击上传已经准备好的素材, 比起参数,素材的质量更重要,这里为你整理了素材准备的 tips, 以人脸模型为例,我准备了二十张清晰度高、多角度的甜美图片, 上传后拖到最下面,选择素材的预处理。剪裁很好理解,尺寸建议素材大小保持一致,直接用算法自动标注描述图片,让 ai 理解特征出发词可以自行命名, 甜美模型就叫 svt。 选择完毕后,点击预处理,稍事等待,激动人心的时刻就来喽!点击右下角,免费训练开始搓手等待 在咱的滴如仙丹诞生!等待过程中可以时时看到生成样图,还可以点击日志查看 note 值,判断你何程度训练完毕后,点击在线升图测试,直接验收劳拉的升图效果是不是超级简单?

保存家人父母会是女友的。当下最好的一面,当然是要把他们念成 ai 模型,现实中做不到的事情可以到虚拟事件中实现。带他们环游世界,换上不同的衣服,师傅比经营拍个照有意思吗?那么本视频将手把手的大底完成制衣过程 第一步,准备好训练需要用的图片集。这是我们常说的训练集,我拿之前的韩国娃娃为例,大家说一下该怎么挑选这种多角度的正脸的,侧脸的,反正就是可以看清楚他的脸的,都是可以选的,这样就挺好,背景就很干净,这些也都可以,然后侧头的各种表情的微笑啊, 清晰的大头照,背身,转头等等。我们练真人的话,最好是各种角度和景别姿势,还有各种光照情况下都要有,如果图片不多情况下,你只有二三十张脸,不要选有遮挡的图片,一丁点都不可以。这样练出来,半身照基本上是近景无敌的。然后还有些特殊的情况,例如这张有镜头光 命运的就不要,然后这种全身照的,我们是需要把它们裁剪成到只有人物全身。你要知道我们练习人是要有人的特征,就要把这种不必要的背景全部拿掉,只剩下人物的体态就可以了。特别是这种 全国大排档的背景就巨乱,和国内的差不多都需要裁剪掉的,像这种有物品遮挡帘的也是不能要的,然后这张有一点东西挡住的,我们也是不要的,所以这挡就更不用说了。然后这张背景很乱,还有个按摩 也是需要裁剪的,这种戴眼镜的虽然极少的话就别用,然后这种体态看不清楚的也是可以选择,裁剪质量也是一样啊,这样最好就不用 体态不太明显。这种轻微遮挡的大训练级是可以用的,可以增加训练级的多样性,提高模型的放化性。我建议选择图片最好十五张往上,图片越多的话效果就越好,但相应的训练时长也会增加,影响模型的好快。训练级是最最最关键的一环,如果大 拿不出这么多图的话,也要确保正面没有遮挡,背景尽量简单,没有水印和尽可能的清晰。然后把这些处理好的图片。需要这个批量裁剪的网站,左边可以统一设置裁剪的分辨率,电脑配置低的话就别改太高,我这里就改五一二乘七六八, 龙头动可以改变位置设置完成以后点这个保存 vip 的就可以打包下载了。然后可以用高清处理的软件高清画一下这些图片,这是一个可选操作,也可以跳过。然后就到打标打 tik 的环节了,布置刚才处理好的图片的存放路径,回到位 ui 点 训练图片预处理,把路径复制过去,然后下面填输出的路径。其实这里也可以裁剪图片的,但怕他不准确的话,还是到刚才的网站弄一下宽度高度就改成图片的分辨率,选使用生成说明文字 tag 点预处理就可以了,这个过程是很快的,不要输入文件夹就可以看到每个图片对应的生产人的一个文本,文本里面都写 ai 识别到图片的 tech, 那么这些 tech 有什么用呢? ok, 我请到一位广东靓仔,以他为例啊, ai 会识别到一个男孩,黑色短发眼镜,黑色 t 恤,背带,背包。此时我们什么都不改动, ai 就会自动把这些 tech 链进模型里面,合并成同类项,那么最后输入一个男孩 靓仔出来,就可能变成黄色头发和不戴眼镜的,会带有一点的随机性。而如果我们知道他是一个四眼仔,我们并不想改变他,那么就需要删掉眼镜和黑色短发,这两个 tip 就会保留成图片人物的特征,每次输入 eboy, 他就会带着眼镜和他的黑色短发出场。 当然是你想要保存图片信息或者人物固有特征,就需要删掉对应的 tag。 这是练二次元人物,非常实用的,我们练三次元并不需要,因为我还是想在之后可以任意换一幅 diy 的。但我们还是需要检查一下 tag, 因为有些 tag ai 可能识别不到,需要我们手动打上去。 这也是为什么我们挑图片的时候尽量就不要把奇异怪东西选进来的原因之一。摇头脑练习最好是用脚本,为了不打断节奏。脚本安装方法,视频最后讲右键确定点 ps one 这个文件用 love 文本打开又是一大堆参数,这也是用到秋叶版的脚本,他要给汉化成中文的,非常 nice。 脚本第一项,需要填到底模型的路径,我们练习真人一般用全号 max 或是 sd 一点五就可以了。把模型放到脚本根部路 sd model 文件夹下复制这个路径过去名字名也要复制过来。第二项,这是训练级的路径,我们需要到趣文件夹里面再新建一个文件夹,这文件夹名字随意,然后把刚才我们处理好图片的文件夹复制到里面, 文件夹前面打一个十下划线就代表循环训练的次数,这是演示文件夹里面图片不多,只有三十四张,就是三十四乘以十等于三百四十次。而这里也可以分开的训练,例如上面文字 文件夹训练点循环十次,下面这个文件夹训练身体循环九次,这样分开来训练也是可以的。这些带下划线的文件夹就叫做概念集,一个训练集里面是可以包含 n 个概念集的,新手不懂的话就跟着我做就好了。改好循环次数以后,把这个文件夹的路径也复制过去, 下面这里填入图片的尺寸,我这里是五一二乘以七六八。下面这个 epos 是最大训练的次数,可以理解为跑多少圈,我们这里填个二十, 那么就是三百四十乘以二十等于六千八百。 safe e plus 就是每隔多少圈保存一次,再填个二的话就是每两圈保存一次,那么最终就会得到十个训练好的模型,任你挑选。而这个 besice 就是每次要走多少步,一就是打老师是一步步走,二就是每次夸两步, 素质越高的话显存占用就越高,低配置就老老实实改成一下面的这个步数除以这个 besice 就是最用 训练的步数了,那么六千八除以二就是三千四,所以就得出我们最终训练的步数是三千四百步。图片不多的话, bit size 不建议太大,而且改大 bit size 快会导致模型的过快离合,需要配合下面的训练率来做相应的调整,而这些都是进阶才需要的,不懂就先不要动,按照默认就好了。这个导出名字可以改一下, 大家都可以不用改了。然后 ctrl 加 s 保存,然后我们右键这个 ps one 的文件,用 powershow 打开程序就开始自动跑起来了。训练过程中可以看到有一个 los 值,这是训练的选失值,一般来说,当 los 不再下降,这次模型就差不多收敛了, 规则可以结束训练,如果他持续在波动不上就不下,那么就是训练级太大或是太复杂导致难以收敛,要么就是学习率设置的不对,越大学习率越容易发生震荡,而我们训练的是图片,最终还是要以肉眼为实,这个落实只能作为参考。 ok, 经过一段时间的等待,可以在 outpun 里面找到练习出来的这十个模型,下面我们就需要测试这些模型。回到 wip ui, 先下载一个 lola 的插件,在扩展可用这里找到 network 插件,安装它并且重启。我们滚到下面就可以看到多了一个 network 的选项卡, 把这十个诺尔模型都发到插件部落里面,路径就是以上这个了,你们自行操作好。弄好以后我们点击下面这个刷新就能看到诺尔了,我们随便选中一个哪一个都无所谓,这样只是为了激活这个插件。然后下面脚本这里选择 x, y 一些图表, x 选择模型一 装了 lol 插件,这里才会有显示的。然后点击下面这个小说,就能把模型全部加载进来,把这个图表间距设置成十,先加载一个起手式,把训练级文本里面的 tech 复制过来做来测试,改回对应的分辨率,把批次直接改多一点,可以试也可以九,然后让电脑跑起来。生成满以后,我们看到 第一个模型原图,本人大概是这个样子的,然后零二和零四这两个模型看起来就不太像。这种就是铅笔盒的情况,就是学的太少,没有很好的捕捉到数据的特征,所以看起来不像。虽然在我自己私下练呢,我摸人头那几个都是要踢掉的,我是看都不看他的,但现在一看 也还行。第二个已经表现的挺好的,就是因为我们在选图的时候选的还可以,所以说训练集就是重中之重。 ok, 现在看往后的模型图片基本上都没有崩坏, 人物还原的还可以,后面那些颜色有点加重了,就是有点过礼盒的倾向了。过礼盒就是模型把数据学的太透彻了,以至于把噪声数据特征都学明白了,这样会导致模型在训练级的测试 tik 表现的很好,但训练级没出现过的 tik 就表现的很差, 是模型的放化能力不行。而下一步我们就是测试模型的放化能力,放化性好是可以很容易的把衣服法式或是其他 元素换掉的。说一些训练级没有的 tag 做测试,我这里出一个和服精法,然后先定他是上半身,因为我们的训练级都是近照,如果出来全身照基本上都会崩掉的,这是必然的, 想要解决就要从根源找问题。训练级给多一点全身照,然后我这里还加入了韩国人头做陪练, ok, 最后看一下效果,头发都换成金色,而衣服也能很好的换上,放化的挺好的。而韩国人头这边就有点拉化了,他在一的强度上直接就崩了,衣服有点变样,这也是过礼盒的现象,西安上很多真人多少都有这个情况, 基本上都是过礼盒的。然后需要把强度改为零点六到零点八来用。我们也可以用 x y 一些图表来看一下其他强度下的表现。 x 也是选模型一,我这选四个表现的最好的,然后 y 选择模型的强度,零点六,零点七,零点八,零点九,然后一,那么看一下出来的效果,零点六基本上就不像本人,零点八开始才 有一些特征,然后零点九到一才像,我们再试试一次,情况和刚才是一样的,零点九开始才像这种状态,属于幻化性,挺好换装或者是加其他元素,随随便便。如果你喜欢这种状态,就可以从这里挑一个 los 值最低的来用,而如果想更进一步的话,那么就需要继续练了。我这用一破十地为例, 他放回去脚本 sd model 的文件夹,把这文件夹路径复制到下面继续练习。这里文件名也是要复制一下,我们把一炮改低, 每一个一破保存一次,其他不用改,和第一次一样,改完参数就可以开始了。但其实这样继续训练是不太严谨的,因为这个学习率是一直往下降的。文字里学习率是需要根据图表来做先来改动,但这里是先不做深挖的, 初生牛犊不怕虎,文练就是练出来模型也是和之前做一样的,试试可以看到零点六到零点八表现的和本人就很接近了,而零点九和一基本上都一样的,而且还没有过礼盒 这效果,我认为这是可以的。然后好的模型的基准我认为是很好的,还原级的人物,还有可以很轻松的就给他 diy 换装。练诺拉最重要还是训练级,而不是参数,只要你的训练级没问题,练起来的模型就不会差, ok 啊。最后就是脚本的安装, 显卡显存小于六 g 就别想本地部署了,直接云部署吧,不然就会出现各种错误,爆显存之类的。首先安装自己一个东西, notepack 文本编辑器,让文本更好看一点,安装过程全默认,点下一步就可以了,然后 gift 是全默认安装,直接舞蹈下一步。 python 三点十以下步骤就很重要了,都需要做好。打开后一定要把这个 at python topic 点上, 要试试默认的话就点上面这一个,而下面这里是可以改镀金的,不用装机盘也是可以的。那么很快安装就完成了。安装完以后右键点击 windows 开始按钮,选择 power 帅的管理员模式,然后复制这段英文粘贴过去。回车选择 a, 再回一次,把罗马脚本减压出来,进入罗马脚本以后,右键这个 insta 杠七 n 的使用这个哈哈笑打开,然后就一直等就好了,等进入条全读完以后就本地部署完了,然后再点击这个强制更新,更新完毕以后右键这个 change, 点 ps one, 选择 note, 稳稳打开,就在这里改参数了,这些时长已经超标了,至于如何让模型表现的更好,还有各种参数的调整,增值跨的使用之类的,就只能留到下一次。 ok, 按照惯例,点赞过五千,我们下期再深究。

大家好,我是小欠揍,咱们又见面了,这集呢,咱们来以我的亲身经历聊聊关于如何训练出一个长得像而且泛化性强的 low 模型。本来呢,我是打算中间加更一期的,因为我家领导啊批了预算,让我升级了一块四零九零,而且更换了电源和内存。 于是呢,我就想把开箱的视频和安装的过程录下来给大家分享。但是呢,我的素材录翻车了,我想录个双击位的, 用嘴叼着 gopro 拍主视角,但是因为角度啊调小了,就基本都没录上,而且在接线时,我还把 pcie 的供电接到了 cpu 上,以至于啊,完全不能开机,把我吓个半死,以为电源坏了。 总之,经过一番的折腾,终于是能用了,我现在的配置如下,感兴趣的朋友可以和我 我交流沟通。对了,插一句,我之前用的是秋叶一月二十三日那个视频下面发布的训练器,感觉啊,对四零九零的支持并不好,按照网上的教程,把什么什么文件放到什么什么文件家里提升也不大,但是我下载了五月二十八日那个视频里面的训练器, 速度就有了很大的提升,所以推荐大家在升级显卡后重新下载这个训练器来用。那下面就正式进入今天的正题,开始我们的真人 low 模型的训练吧! let's go! 训练呢,有四个步骤,我简要说一下, 一是准备训练级,二是打标签,三是调整参数,四呢是模型的测试。这里边我认为最最重要的是前两项准备训练级和打标签,之后呢才是 单数的调整和模型测试,作为类比说明呢,就相当于前边两项啊,是你在准备考试的参考书, 调整参数呢,是对于这本参考书的学习过程。而最后的模型测试就是咱的期末考试,下面咱们逐个分析一下每个步骤的要点。首先训练级的准备,要准备三十到六十张特别清晰的分辨率高的照片, 其中呢要包含这个人的正脸,侧脸,不同的表情,不同发型,不同服装,不同角度,不同姿势。 景别呢,就要选用有肖像半身像,全身像,远景全身像呢,最好有十张以上,这样生成的全身像的崩的几率啊,会降低人物的动作呢, 不能对脸有遮挡,你把脸挡上了也没什么可训练的对吧?身体姿势最好一目了然,别特扭曲,用常见的姿势,要不然 ai 读不懂。关于尺寸呢,很多人啊,都推荐大家去网站批量裁剪,就是这个网站, 其实我推荐大家用 ps 一张一张的去剪成你需要的尺寸,通常根据你的配置是五幺二乘五幺二或七六八乘七六八。 这里呢,我事先准备了我的训练集给大家可以看一下,哎,是漂亮的小姐姐,把它放大一点。这是我之前拍摄过的一组模特的照片, 为了做咱们这个视频,我已经取得了模特小姐姐同意,可以用来给大家讲解这个模特的训练。 自己处理图片的好处呢,就是按这个尺寸去裁切的时候,把他脸上的一些小的细纹啊,都去进行一些修改。 不过呢,我的建议是可以适当的稍微留点,这样会让训练出来的模型啊更像一个真人,而不是那种鸡蛋清一样,整张脸都是特别油腻腻的那种感觉。 背景呢,要尽可能的简单,你也可以像我一样,把每张图的背景都涂成白色,这样方便 ai 的学习。我们放在这个训练器下面有一个 tree 门店夹, 在里边新建一个文件夹,把它命名成你要做的这组模型的名字。我们是叶老师的模型,所以叫 miss 叶,把它打开, 再新建一个文件夹,就是这个前面是数字,然后是下横杠 miss e, 这个五是 repeat 的数字,我们一会会学到哈,这里暂时填一个五吧。这里面就是刚才这些图片,下一项是给刚才处理好的这些图片打标签。 在这个秋叶的训练器里有一个 w d 一点四的标签器,这里有个路径就是这个啊,演示一个, 把这个复制粘贴过来,然后点启动就可以了。像我这里面的这些文件,就是已经打过标签的文件了,他们都是这种 tst 格式的。我的建议呢是要在打标后非常仔细地检查,每个单词是 在图片中都有对应没有打上标的元素呢,要自己手动的添加,直到把整张图片的元素都精准的描述进来为止。而且同样的东西,比如说一个帽子,同样的衣服,前后的标签的名称要一致。我用的方法是这个,给大家演示一下, 用这个叫 vs code 软件打开, 把整个文件夹都打开, 然后左图右文自动换行打开,这样我们就可以根据左边图片上面的内容精准的去描述,有不合适的或者不精准的及时修改。这个过程啊,肯定是非常考验人耐心, 真的很枯燥,但是这个是特别有必要的,这就像呢,期末考试的参考书,这里边图片和打标的质量就影响着你这本参考书的质量,你想想,要你拿来学习的书都有问题, 你也就别指着期末考试能考出好成绩,对吧?所以啊,一定要特别特别认真的对待。那第三项就是各种参数的设置, 也就是你要选择的学习方法,我们不断优化调整学习方法的目的呢,就是为了让模型在泛化性和拟合度之间达到一个相对的平衡。 在这个训练器里,有新手和专家两个模式,根据我几十卢训练下来的经验,只要你训练级和打标这两步做得好,参数设置 不是很离谱的情况下,两个模式都能训练出还不错的模型,起码像是肯定能保证的,但具体泛化性如何?确实呢,还是要在参数上费一番周折的。下面咱们来详细说一下常用的参数。首先是训练用的底膜, 我还是上一集的观点,建议大家使用完整版的模型来进行训练,我们把它的路径放到这里,数据集的路径呢,是这个,也就是咱们放图片的这个位置, 把这个路径填写进去就可以了,不要填后面那个数字杠的那个哈,那是他的下一集,直接填到这一集就可以了。正则化呢,我们今天不讲用不到,就先略过。正面图片的 尺寸呢,我们就填写图片剪切的尺寸,我这组图片是五幺二乘五幺二的,所以这里如是填就可以。 a r b 筒呢,打开之后可以用不同尺寸的照片来训练,不过我这里边是统一尺寸的,这里就不打开了。 模型保存的名称呢,就像我这样保存就可以。 v 五呢,就是我的第五个版本,大家可以有自己的这个系列哈。 oppo 的文件夹默认 格式就还是 safe tensors, 目前这个最好, f p 十六半精度模型就行,每 n 轮 e park 自动保存一次模型我选一,也就是他每一轮都会单独保存一个模型。 这个原因呢我后面去说。下面就是训练的相关参数了,我们先说第一个,但这个参数没在这个界面里,它叫 repeat, 在这 这里,这个数字代表了这个文件夹里边的图片,它每张学习几遍是这样。下一个是 epoch, 代表训练的轮次,也就是说它整体会学多少轮儿,因为温故而知新呢,所以每次学习都有新的感悟。 我们的模型 los 值会越来越低,如果循环了 n 多轮,你的这个 los 值都没下降,就说明你的 repeat 有些低了, 以至于很多知识点啊,没有学明白,重复多少轮都没有什么太大的意义,就像你的这个知识学不会,你复读多少遍都没有什么太大的意义。 下一个是 batch 批次,可以理解为啊,把参考书分几份,同时学分的份数越多呢,学的越快,但同时会更加的胡敦吞枣, 是 los 值的下降会变得更加的缓慢,而且呢更加耗费显存。常规显卡呢,建议一到四,我的四零九零呢, 可以做到六,大概会占二十三点五个 g 的现存。这里呢,我给大家提供一个总的学习步数的公式 就是总部数等于图片数乘以 repeat, 乘以 epoch, 再除以 batch。 然后我就邪恶了啊,我想法比较多,就是如果让他除不尽会怎么办,会不会就直接嘣就报错, 但是我后边实验了一下,发现他会自己添加几步,让这个数变得除的进,哼哼,所以他想的比我聪明的多多了啊。下面是学习率和优化器的这个设置。第一个 learning rate 总学习率在下面,两 学习率分开设置后,它这个值就失效了,所以这里我们不做讨论。下一个是 unit learning rate 学习率,它主要对于照片的学习, 我推荐大家用一一复四这个数。下面这个叫 text encoder learning rate, 他写的中文叫文本编码器学习率, 我们可以将它理解为对于关键词的学习理解能力,我常用的数字是五亿负五,我也推荐大家用这个。下一个是学习率调度器的这个设置,他默认的是 cosine with restart, 用这个就可以了。 总的预热步数呢,就可以用之前咱们的那个公式乘串那个数字乘以百分之十填写在这里就行,可填可不填哈,重启的次数就是前面这个 restart 的次数,默认填一就可以。 下面是优化器的设置,我们打开看到啊,特别的多, 我们使用这个亚当 w 巴比特就可以了,这个就是常规使用的哈。下面两个不用填, 网络设置里呢,主要填这两个, network, theme, network, alpha, 两个我都填一二八之后,剩下的这一些特别多的这些我们都不用管它, 把上面设置好后,直接点,直接开始训练就 ok 了,那不同的参数对于训练的模型有什么影响呢? 我们可以用一些比较有代表性的参数啊,实操一下,看看同样是每张图片三百步的迭代,什么样的参数更有效率。但分别是这 repeat 三十乘以 epox, 十,三百除以一还是三百, 一百乘以三,五乘以六十,十乘以三十,他们都是三百步。我们就按照刚才的这个方法,把上面这里的这个 epok, 还有这里的 repeat 都改成相应的数字 训练即可。为了节省时间呢,我提前给大家训练了这四个模型,是不是想的特别周到,来把周到打在公屏上,分别是这四个,这第五个,咱们之后说啊,我们把它分别打开看一下, 十个模型,三个模型,六十个模型, 三十个, ok, 和这个是对应。好的,我们来这里看一下他们的训练曲线。 可以看到啊,第一个十个 epoc 的就是这个,这是第一组三个的是第二组这个绿色的。第三个六十个的是这组紫色的。 最后一个三十个 epoch 的是这组橘黄的。我们可以看一下他们的特征哈, 这组绿色的下降的最快,这组紫色的下降的最慢,而且最抖。大家可以猜一下哈,一会训练出来哪一组的模型,它的拟合性和泛化性最好。可以把这个答案打在公屏上,咱们测试是这样做的, 我先打开这个常规的界面哈, word 正向关键词写这个,反向关键词写这个。 那我讲一下关键词啊,第一个 say for work, 他不会出现一些特别播不出来的这种的图片。 one girl, 一个女孩好理解银发一点三,因为银发这个关键词它上色不是很容易, 相对我们用 pink hair 和什么 green hair 这种会更好上色。对于他的泛化性的这个测试呢,还是用银发更合适,所以我加强一下他的权重。 用金属盔甲呢,是因为它和我们常规的衣服差别比较大,所以用这两个关键词能更好地测试出这个模型它的泛化性如何。 反向关键词是这些,我把正向和反向的关键词都写到一个文档里,上传到网盘中,大家如果有需要可以在下面简介里面自行下载即可。下边的参数咱们迭代写三十高一点。 采样方法,写这个 d p m 加加二 m carros 之前我记得这个采样在这个位置,可能是因为用的人比较多,所以这次更新就把它放到了前边儿。 这些修复呀什么的都不打开,宽度和高度就按照剪切的这个尺寸去填就可以总批次填四吧,其他的不变。这个 additional networks 打开一定要勾选启用模型,就选 则你要测试的这一组,比如说 version 一有好几个嘛,对吧,我们随便挑一个就行。 下面就是脚本 x y z 图表 x 轴的类型,就选一个附加模型一,后面什么都不用填,直接点这个小黄的书 就都出来了,这个无要保留,他就是为了给我们一个参考,告诉我们没有 lower 它是一个什么状态。网格图边框填实,这样会让每一组图片之前啊有一个十像素的空白,方便我们去 观察这个图片点生成就可以了。凡事都想的这么周到的,我呢一定为了节省大家的时间,就又提前训练了,我们看一下啊,先打开这个 v 一, 这个是没有 lower 的一个情况,第一组,第二组刚才那个白线就在这能看到吧,基本上在这个第三四组的时候就开始出现黑头发了, 对这个银发的泛化性在这组里并不好,而且可以看一下盔甲,这边盔甲就已经不怎么穿了,但真正长得像的看一下哈 向的比较靠后,但是靠后的它的散发性就不行,所以这组应该就 pass 了。你看后边基本就不穿盔甲,也没有银发了。 下一个 vrvr 上来这组这件就没有穿盔甲,你看这张就没有穿盔甲,这个基本上就没有什么盔甲了,银发也没有保持的很好,所以学习了一百步, 就是 repeat 一百的。这组应该第一组泛化性就不高了,不过还是像的哈,就证明他拟合度还是可以。还要下一组哇,下一组这么多,做了六十个 epoq, 我们基本上在第二十多组 还能看到比较鲜艳的这个银发,大家看这个十九二十, 但是他前面几组都不像,都像外国人,不过前面的这几组确实泛化性都非常好,银发和这个盔甲也都是正常穿的, 我自己判断这个模型做的好坏的方法呢,就是放到 ps 里面打对勾,这组应该是这个和这个能打对勾,这组可能像多一些,一二三, 就把后面的都打上对勾,最后可能会有这么四五组吧,就是他们的对勾数会比较多。之后在这里呢,把像的那组,比如说像刚才那个是第三组 图片里这些打对勾的第十八组,第十九组保留,其他的就都不要,这样让他再去生成九张, 九张的这个画崩的几率就会更低一些,所以就能更好的判断出哪组模型更合适。看一下下面一个,下面一组是有三十个模型的,但是我们可以看到 基本上到这头发都黑了,里面呢很像那个外国人,可能第六个,第八个可以分别试一下,所以你看他出现像的模型的迭代的这个轮次,第八轮好,刚才那个是第十几轮,所以我们还是希望他能用一个小步快走的方 去进行一个模型的学习。我不求你前面很快就能像,但是你每一步都有一个新的迹象,哪怕多走几步, 最终也是会有好结果的。我为了做这个呢,做了一个表格,就是把其中的这些参数都做了一个记录, los 值,他的参数等等的,方便我自己后期去查他的这些参数你们可以看见啊,他的步数都是九千九百,因为三十三乘以三百出来是九千九百,他的时间也都差不多,五十一分,五十二分, 五十一分,五十三分,大概都是这样的,所以我们应该基本可以确定这组里面这个 v 三出现好模型的几率会更高,但是他时间太长了,所以咱们刚才有一个参数没有用,就是 batch, 这个都是一,我们这里呢试着调高这个 batch, 调到六,又做了一个模型,也就是刚才咱们大家看到的威武的这个魔性啊,我们可以看一下他的曲线是什么样的, 哎,明显威武也是下降的非常陡,都是六十步啊,你看他们都是六十步,也就是说这个紫色这条线的这个这些模型呢,是在从这块到这个数字之间的这个区间切了六十片, 然后这个呢,就是在这个到这个区间切了六十片,肯定相对来说这组切的要更细。我们看一下这个模型,他的设置和第三组几乎是完全一样的,除了 bass, 所以他们的步数一个是九千九,一个是一六五,零,用时呢也少了非常多, 一分四十七秒就完成了。我们来看一下他的测试的样图,也是到二十多张的时候,还能看到他穿着盔甲,并且还有银发,前面也是你合的比较慢, 到后面就像的越来越多,嗯,尤其这张多像,这张也挺像的,然后盔甲都是一直穿着的,头发也颜色非常的浅, 效果和第三组应该说没有什么太大的差异啊,我甚至觉得他更好,因为你看他的这个泛化性其实是更好的, 所以我说一下结论啊,我认为从样图可以看出来,让我们的 repeat 降得尽量的低, 让 epoch 尽量的多,让 batch 在尽可能的情况下更大,是我个人认为训练一个真人模型比较好的参数,也就是小步快走,在更小的 los 值的区间里,尽可能的多生成模型, 这样我们撞到好模型的几率会更高。所以结论就是,我认为从拟合度到泛化性,再到我们的用时时间长短都是最后这第五组。而且在此呢,我要跟大家聊一下,就是真人的模型训练真的是一个玄学, los 值不是越低越好,每组图片的情况不一样,图片和人物简单,你的初始 los 值就会很低,所以只要特征项淡化性强,这就是一个好的模型。希望大 大家也可以多多的进行训练,来找到更有效的方法。如果找不到合适的素材进行训练呢?可以试着去买一些电子版的绘画模特素材,可能会有奇效哦。 以上就是我对于真人 low 模型训练的一点小小心得,希望能和大家多多交流沟通。喜欢的朋友呢,欢迎点赞转发投币,多多留言与我互动。那这集就这样了,下集我想和大家聊一下现阶段 ai 绘图在工作中的具体应用,或者你有什么想了解的可以告诉我, 希望视频对你有所帮助,咱们下次再见了,拜拜!


训练人脸一次性的 nora 需要有很多质量高的照片作为训练数据,要弄出来一个人的几百张的照片,怎么做呢?我们来详细讲一讲。训练 nora 不要用名人和明星的照片啊,我们自己创造一个人一张新的脸,用这个工作牛先说说怎么用,然后面呢,再详细过一遍公主牛当中的关键节点, 找四张人脸的照片和一张主图的照片。四张人脸照片啊,要求脸部的特征比较明显,是没有遮挡 手图照片呢,用来换脸,建议分辨率在幺零二四乘幺零二四,不需要很高的分辨率啊。那训练 fox 的 lower 呢?这个尺寸是比较常见的, 多数的在线的训练平台啊,都支持到这个题。那我用的是幺零八零乘以幺四四零三比四啊,用长方形的原因是考虑到这些图以后还有用的。那工作流进行之后呢,会产生两张图,第二张图的底部是标有数字的,数字的意思呢,后面 会讲,然后用第一张的效果图换掉第一张人脸的照片,再运行出结果之后呢,再用第一张效果图去换掉第二张人脸照片,再运行,再换掉第三张人脸照片,第四张人脸照片,如此的循环往复吧,直到满意为止。什么时候算满意呢? 那就是目的是造脸嘛,那么只要你觉得生成的这张脸是你想要的,就可以停止了。或者这么看,生成的第二张图的底部标注的两个数字嘛, 他是表示生成的图片的人脸和前面的参考人脸的相似度的差值,这个数字的值越小越好,那越接近于零,表示相似度越高,越接近,于是同一张脸。 在我们测试当中发现,当这两个数值到零点四以下的时候,基本上他已经收敛的差不多了,那不过这个数值可能会发生波动的,他是会受到过渡牛当中一些权重和参数的影响,所以我们来过一遍过渡牛的节点。 现在这里啊,是对四张人脸的照片分别进行面部的分析,把面部的区域取出来,四张脸合在一起,然后在这里连线,接到图像这个点,交给仪式的 id, 进行脸部特征的分析。下面这个点图像 kps, 他连接的是主图, 其他几个要连线的比较好理解,大家自己看一下。那这里的权重呢?是唯一。后面就那个 ipadapter 的 face id, 他是进行人脸的风格迁移的,这个风格是包括妆容和表情的,那他的闹耳强度啊和权重可以设置的稍微低一些, 把面部细节的重绘和增强的节点用的是 d d 的 face detainer, 所以它的参数啊,思念腹肌不要设的太大。最后两个节点是计算面部相似差值的结果,标注在第二张图的底部,那这样一张新的人脸就造好了,保留好最后四张图作为人脸的 地图啊。接下来进行换脸,用换脸的工作理由,通过不断的换主图生成一次性人脸的图片。那注意啊,换脸用的主图是有要求的,那分辨率不低于幺零二四,同样也不需要很高的分辨率啊,可以和上面的保持一致,所以我用的还是幺零八零乘以幺四四零。那另外主图最好是人在不同场景下的图片, 我们的目的是训练人脸一次性的挠乱码,所以这里说的不同场景是指主厨的人脸的不同场景,比如脸的不同角度啊,不同的光照条件啊,不同的表情啊等等。那这样做是为了让模型能够充分的学习到人脸的各种特征。 换脸的工作流很多啊,当然可以继续用这个工作流。这四张人脸的地图照片不变,这是换主图生成的图片呢,人脸的一次性会非常高,那也可以用这种快速换脸的工作牛,效果也是很好的。然而你也可以在这个快速换脸的工作牛前面加一个纹身图的工作牛, 最终我们需要收集一两百张吧。那虽然说越多越好,但是,嗯,搞太多呢,自己继续训练的时候跑起来也费时间,那在线上跑的话,多数线上的平台对训练数据的数量也是有限制的, 这样训练的数据就准备好了,接下来会进行训练数据就是照片的预处理和标注,具体的方法我们下一节再讲。