粉丝262获赞805

从本节开始,我们会新开一个系列,讲讲捞热模型训练的内容。第一节课,我们一起来看一下如何配置软件并炼制自己的第一个私人定制捞热模型。正文开始训练一个捞热总共分五步,分别是,一、 下载软件二、准备训练级。三、给训练级打标签。四、训练 laura 五、测试 laura 首先下载软件,你需要先下载秋叶的 laura 训练一件安装包,然后再下载一个 stable defusion 的基础一点五模型。 注意,这里最好是下载未经裁剪和微调的原声 sd 一点五模型,否则训练出来的 laura 泛用性会稍微有点差。当然,如果你实在硬盘空间紧张,也可以用之前下载的 sd 一点五模型替代解压 laura 训练一件安装包,路径上最好都 不要有中文。然后将第一步下载好的 sd 一点五的模型移动到 sd models 文件夹, 回到根目录下,双击 a 启动脚本, but 就可以启动软件了。启动完成后会自动在浏览器中打开 s d trainer 软件。到这里环境部分就准备完成了, 这里会有新手和专家两个模式,本节课程主要讲新手模式来训练捞啊。第二步,准备训练级你需要提前准备好二十到三十张训练图像, 比如说相同画风的素材或者同一个人物的图片素材。作为新手课素材不需要要求太多,重点需要每张图片都在五幺二像素乘五幺二像素以上,尽量清晰一点就可以了。接下来你需要将所有的图像处理为统一的尺寸,这里就统一通, 通过 photoshop 将图像处理为了五百一十二乘五百一十二的图像大小,你可以按照自己的习惯对图像进行命名,文件和文件夹都不要出现中文就可以了。复制文件夹的路径 第三步,给训练级的图片打标签在训练模型前,我们需要告诉 ai 每张图画的内容是什么,如果要手动来标记就太麻烦了, 所以 s d trainer 软件直接集成了一键打标签的能力。回到 s d trainer 软件,点击 w d 一点四标签器, 找到路径这一栏,将刚才复制的训练级图片路径粘贴在输入框里,下边的参数都不需要调整,点击启动按钮即可。看到 tiger 任务已提交提示后,就正式进入了自动打标签过程。你可以切换到后台看 下打标签的进展,这个过程一般比较快,看到识别完成就是完成了打标过程。切换到训练级的文件夹,可以看到每张图片后边都多了一个同名的文本文件,打开可以看到描述这张图的标签级。将这个文件夹整体复制或者剪切到 lower scripts 文件夹下的纯文件夹下, 重命名为你自己将要炼制的 lord 的名称,注意还是要用英文或者拼音。第四步,开始模型训练,切换到 lord 训练的新手模式下, 配置底膜文件路径,点击右边的文件夹,找到我们第一部放好的 sd 一点五模型,看到选取成功说明模型配置成功了 训练数据及路径,同样点击右边的文件夹,找到我们第三部放好的文件夹,点击选择文件夹,完成训练级的配置。模型保存名称这里修改为 想要生成捞热模型的名字,其他的参数都不要修改,直接点击开始训练就可以了。看到训练任务已提交,接下来的事情就交给显卡吧。如果不放心,也可以切换到后台,看下任务的执行情况。看到训练完成这行字就说明捞热训练顺利完成了。 打开 laura scripts 文件夹下的 output 文件夹,这个不带编号的文件就是最终训练出来的 laura。 这些带编号的 laura 是过程中产生的 laura 存档,对于 laura 训练来说,不一定最后的才是最好的,有时候过程中的 laura 会比最后的 laura 要好, 所以这些暂时不要删除。这个时候可以关掉 lower 训练的后台了。第五步,测试 lower 效果。我们复制所有的 lower 文件,复制到你 weboy 用来放 lower 的地址下。 为了跟之前常用的 laura 区分开,可以新建一个名为 test 文件夹,并将刚才复制的所有 laura 粘贴进去。启动 will be u i 切换你比较常用的大模型,关掉 fi clip, 中指层数调整为一,输入提示词并选择刚才训练好的 lord。 可以适当降低权重,选择常用负面提示词 embedding。 开启高分辨率修复。点击生成即可查看 lora 的实际效果。 可以切换不同的 lura 和权重,查看每个 lura 的实际影响和效果。还可以将之前训练集中的 tag 输入到 纹身图中进行效果验证。 那么问题来了,有了这么多 lord, 到底哪个才是效果更好的 lord 呢?除了手动测试外,有没有更高效的测试方法呢?其实是有的, 下节课我们来聊下如何高效测试 lora 或者关于 lora 训练。你还想要了解哪些内容,可以留言告诉我。这里是专注 ai 绘画的聚梦小课堂,记得关注我呀!

上一个视频我已经组装好了四零九零显卡的电脑,具体的电脑配置可以参看我上一个视频。今天这个视频呢,我们一起看一下 nvda a 一百和 nvda 四零九零在模型训练和推理运算中的性能表现。 a 一百隶属于恩威利亚的特斯拉系列,四零九零隶属于 gfos 系列,前者是面向数据中心的产品,后者是面向消费者桌面端的产品。 今天的测试呢,我们就选择用阿里达摩院开园的 facetchen 这个 ai 项目,它的原理是我们上传三到十张照片,然后他马上会对照片进行处理,然后进行在线的捞二训练, 训练结束以后,用训练好的 lord 结合风格 lord 进行推理运算,生成六张新的写真照。我这里已经在 a 一百和四零九零这两台机器上布 数好了飞子称,如果大家也想不数飞子称,可以看我之前发的一键安装开源命啊相机飞子称的那个视频。 今天的测试方法呢,是使用两组相同的照片,测试两者的训练速度和推理速度。接下来就让我们开始吧。首先我们先测试一百这台服务器的性能, 现在看到这个界面呢,就是 facetchen 的界面,现在这个 ip 地址呢,就是我的 a 一百服务器。然后呢,我们选择三张照片, 然后我们在这点击开始训练,然后我们看这已经开始训练了,我们就在这等, 我们看一下现在 a 一百这台服务器上显卡占用情况,这是我的 a 一百服务器, 我们能看到一百四十 g 的现存,然后呢,这是它的 gpu 的占用,然后呢,这是现存的占用,现在就是在做训练, 我们看多长时间能训练完。 用了二百零一秒,然后我们在这点推理, 现在就开始推理了,我们看多长时间能推理完? 推理用了五十六秒,生成了六张, 接下来我们换三张, 然后点击开始训练。 第二次训练用了一百九十秒, 我们点击开始推理计时,看这次用多长时间能推理完。这次推理用了五十四秒。 现在的这个画面呢,还是 facechen 是四零九零上运行的,然后我们导入相同的照片, 然后我们点击开始训练, 看四零九零用多长时间, 现在四零九零上面的也跑满了,然后这是现存,现存的消耗四零九零, 四零九零第一次用了一百五十秒, 然后我们执行推理, 看四零九零退了,用多长时间。 四零九零推理用了三十八秒, 然后我们换三张照片, 然后点击开始训练, 这次训练用了一百五十秒, 这次推理用了三十七秒。 通过测试来看,四零九零二十四 g 显存在跑捞儿训练和图像推理时的性能是高于 a 一百四十 g 显存版的,这应该是得益于更新的架构和制成工艺以及裤带数量的提提升。 今天的分享就到这里了,希望通过今天的对比测试,让大家能够对四零九零的性能表现有个认知,希望对研究 ai, 准备购买四零九零的朋友有所帮助。另外说一句,四零九零这台电脑我安装的是国产的 linux 操作系统,低频二十点九, linux 在训练和推理中的性能和稳定性更好,推荐有条件的朋友可以选择系统平台性能对比,大家 可以参看我之前发的不同平台对 sleep defusion 出图速度的影响的那个视频,大家如果有什么疑问也可以在评论区给我留言,大家一起友好的交流,谢谢大家!


训练人脸一次性的 nora 需要有很多质量高的照片作为训练数据,要弄出来一个人的几百张的照片,怎么做呢?我们来详细讲一讲。训练 nora 不要用名人和明星的照片啊,我们自己创造一个人一张新的脸,用这个工作牛先说说怎么用,然后面呢,再详细过一遍公主牛当中的关键节点, 找四张人脸的照片和一张主图的照片。四张人脸照片啊,要求脸部的特征比较明显,是没有遮挡 手图照片呢,用来换脸,建议分辨率在幺零二四乘幺零二四,不需要很高的分辨率啊。那训练 fox 的 lower 呢?这个尺寸是比较常见的, 多数的在线的训练平台啊,都支持到这个题。那我用的是幺零八零乘以幺四四零三比四啊,用长方形的原因是考虑到这些图以后还有用的。那工作流进行之后呢,会产生两张图,第二张图的底部是标有数字的,数字的意思呢,后面 会讲,然后用第一张的效果图换掉第一张人脸的照片,再运行出结果之后呢,再用第一张效果图去换掉第二张人脸照片,再运行,再换掉第三张人脸照片,第四张人脸照片,如此的循环往复吧,直到满意为止。什么时候算满意呢? 那就是目的是造脸嘛,那么只要你觉得生成的这张脸是你想要的,就可以停止了。或者这么看,生成的第二张图的底部标注的两个数字嘛, 他是表示生成的图片的人脸和前面的参考人脸的相似度的差值,这个数字的值越小越好,那越接近于零,表示相似度越高,越接近,于是同一张脸。 在我们测试当中发现,当这两个数值到零点四以下的时候,基本上他已经收敛的差不多了,那不过这个数值可能会发生波动的,他是会受到过渡牛当中一些权重和参数的影响,所以我们来过一遍过渡牛的节点。 现在这里啊,是对四张人脸的照片分别进行面部的分析,把面部的区域取出来,四张脸合在一起,然后在这里连线,接到图像这个点,交给仪式的 id, 进行脸部特征的分析。下面这个点图像 kps, 他连接的是主图, 其他几个要连线的比较好理解,大家自己看一下。那这里的权重呢?是唯一。后面就那个 ipadapter 的 face id, 他是进行人脸的风格迁移的,这个风格是包括妆容和表情的,那他的闹耳强度啊和权重可以设置的稍微低一些, 把面部细节的重绘和增强的节点用的是 d d 的 face detainer, 所以它的参数啊,思念腹肌不要设的太大。最后两个节点是计算面部相似差值的结果,标注在第二张图的底部,那这样一张新的人脸就造好了,保留好最后四张图作为人脸的 地图啊。接下来进行换脸,用换脸的工作理由,通过不断的换主图生成一次性人脸的图片。那注意啊,换脸用的主图是有要求的,那分辨率不低于幺零二四,同样也不需要很高的分辨率啊,可以和上面的保持一致,所以我用的还是幺零八零乘以幺四四零。那另外主图最好是人在不同场景下的图片, 我们的目的是训练人脸一次性的挠乱码,所以这里说的不同场景是指主厨的人脸的不同场景,比如脸的不同角度啊,不同的光照条件啊,不同的表情啊等等。那这样做是为了让模型能够充分的学习到人脸的各种特征。 换脸的工作流很多啊,当然可以继续用这个工作流。这四张人脸的地图照片不变,这是换主图生成的图片呢,人脸的一次性会非常高,那也可以用这种快速换脸的工作牛,效果也是很好的。然而你也可以在这个快速换脸的工作牛前面加一个纹身图的工作牛, 最终我们需要收集一两百张吧。那虽然说越多越好,但是,嗯,搞太多呢,自己继续训练的时候跑起来也费时间,那在线上跑的话,多数线上的平台对训练数据的数量也是有限制的, 这样训练的数据就准备好了,接下来会进行训练数据就是照片的预处理和标注,具体的方法我们下一节再讲。