如何训练lora保持人物一致性

哎呦喂，今天这个太好玩了，以前我训练模型跟看天书一样，参数一落报错一堆，每次都得低三下四去求提拔那瓜娃子，他还不情愿，鼻孔朝天说破线没空， 结果今天 i 二幺一上线，老子当场原地起飞，扔进去五个图，连我奶奶都会用显存吃得比猫少， 速度快得飞起，两分钟不到就练出真真专属丹，我立马叉腰冲到提拔面前，看到没，从此魔性自由， 再敢跟我摆谱，就把你塞进丹炉当腐料。那货满头黑线，嘴里嘟囔，王炸王炸，我甩头哼歌，以后想练谁就练谁，妥协专门用来打苍蝇，再也不求人 啊。大家好，我是 t 八啊，今天呢，给大家啊，更新一下这个 difference 最新出的一个模型啊，叫千万 image i two l， 也就是 image to lala 啊，直接把图片变成一个 lala。 那 实际上我们之前有介绍过非常多的类似这种风格迁移的项目， 有一些呢，他也是把它做成一个罗兰，但是呢，这次啊，确实在各方面来说啊，都是一个比较大的一个突破。那作者自己都说啊，他们以疯狂的思路设计的模型构架，让输入一张图片，直接变成这个罗兰模型。 目前呢，开源了四个模型啊，第一个呢是 i two l style， 也就是说它主要是获取我们图像的风格，包括里面的光影，颜色等等。第二个呢是一个 cos 模型啊，它呢，主要是把我们的这样一个结构 啊，包括物体等等啊种形状啊，类似这方面的进行一个获取。第三个呢是一个 fly 模型，它实际上呢，呃，主要是获取我们图像的高频细节，比如说纹理啊等等。 最后个是白 s， 一个非常小的模型，只有三十轴啊，它主要是进行一个啊，提升它的一个对齐的。 那我们目前呢啊，已经有作者把它给复现了，这是 comfie 的 一个作者，我们先给作者点个 star， 但这个版本呢，我还没有装啊， smile 大 佬他去安装了啊。所以说呢，我今天给大家介绍的还是 runnyhab 的 版本。那前面呢，我跟温总啊说看了一下，他说 目前的情况下呢，他把第一个模型给复现了，后面两个模型呢，还有点问题啊，所以说后续我们到时候把这个给装上看一下，因为我这边我看了一下，已经有七个 star 了，也没有人提示，应该说没有问题，我看一下，这是昨天啊，今天开源了。 那我们先来看一下 reneehab 的 版本，也就是我们第一个啊， i two l 的 一个 style 版本啊，风格迁移，风格迁移还是比较呃有用的，因为我们虽然有编辑模型，但是相对来说， 除非像啊这种收费的大香蕉，那其他的风格模型呢？就说你一致硬强的情况下，他编辑模型的风格就会稍微弱一点， 尤其在一些不太常见的这种风格的情况下呢。如果我们有一个快速可以几张图直接搞定一个 roman 情况下，我觉得还非常有用了， 毕竟来说训练个人物现在越来越简单了，但是训练风格依然是需要费很多的时间的，而且我们还需要大量的数据期啊，前期的准备也是非常占用时间。而现在呢，我们只要四到五张图片，两分钟就可以把一个罗拉训练出来，所以说性价比还是非常高的。 这一段视频呢是后补的，我们先给温总点个 star， 它是 renee haub 开源的这个版本，而且呢比我们现在在 renee haub 的 官方版呢啊，更新一点，它已经支持后面三个模型，也就说我们四个 这个训练模型全部都支持了，因为在本地的话，我们是可以直接保存成 saftexas， 虽然在 renee haub 上也可以保存，但是呢要考虑到我们下载的包括贷款等等，为 做一个罗兰，它里面有三百多张啊，所以说还是挺影响的，目前在线版的它直接帮你图片出出来，这个模型呢，它是会下就帮你删掉的 啊，所以说如果说我们真的要把这个模型保存下来，还是得本地跑一下啊。首先我们来到 reneehab 啊，这里呢，我做了几个工作的，实际上是一样的，就是我们上传几张风格图片，让它自动啊去获取它的一个风格信息， 那我们通过剪辑去链接注册会送一千点，每天登录都一百点啊，这样的工作流都是可以免费的玩的。那我们先来到我们人民 up 看一下啊啊，首先呢，我这边有个 batch 的 节点，也就是我们可以传多张 啊，当然你可能想啊，我偷个懒，传一张行不行啊？也是行的，但是可能会出问题，我给大家看一下，这里呢，我们按照作者的，我作者展示的都是四到五张，所以说我们这边传了四到五张这样一个手绘的啊，这种粗手绘的插画 啊。然后呢，我们提示词就写你要的东西有正常我们提示词的描述，比如说一头猪对吧？啊，一个采蘑菇的小姑娘啊等等都可以了，我们这边呢，因为是在线版，所以说呢啊，它是自动输出了一个 saftexus， 我 们看一下，这里是个 saftexus， 对吧？啊，也就说它是直接能生成一个可以附用的罗兰的，跟我们以前用的这样一些啊，风格化的节点是不一样的啊，它是直接生成模型的，然后呢通过这个模型再次去裁样，生成了一个一个图片 啊，所以说呢，它是要跟生图是分开来的啊，它是生成一个模型的这样节点，然后呢我们再去裁样，我们来看一下它的效果 啊，这个提示词就是采蘑菇的小姑娘，我们看一下这个蘑菇啊，这小姑娘对不对？那风格还是非常啊，接近的 对不对啊？当然可能啊，这种色彩稍微啊有一点区别，但是正常情况下就两分钟就出了这样一张啊，把基本的元素啊，基本的这种风格信息提取了，那已经是非常不错了，那还是非常期待后续有更强大的一个更新。 然后刚才我们看了啊，这 cos 模型跟啊 fly 模型呢，它实际上是要结合在一起用的，没有办法单独用的，那这个温总呢，还没有把它复现啊，到时候如果说更新了，我会在人力哈普上再更新一下，我们今天主要还是看一下这个 style 的 模型， 那我们刚才说了，如果说想骚操作，只用一张图片的情况下会怎么样啊？比如说我们同样的格式，对吧，这次只用了一张图片，我们来看一下最后什么样结果 好我们看一下啊，最后就这样啊，那哪怕一张图片，对不对？他这个人物啊，跟这个蘑菇的风格他依然学习到，就说是个黑背景， 我刚才跑了其他的风格，一张图情况下都是这个问题啊，所以说推荐大家还是把五张图给传全啊，这样的话效果会比较好一点。然后呢这个模型我们改成罗拉以后呢？啊，我我已经上传了啊，可以看到这就是刚才生成这个罗拉， 我们让他再跑一遍，我们看一下啊，可以看到，对吧？这个风格也是有的啊，所以说这个 还是挺好的，对吧？就是我们在跑一些不太好找素材集的情况下，然后呢这个模型呢，它又不是特别好把它进行迁移，我们用这个方法就可以跑很多的素材集给出来，然后呢我们再训练一个更好的模型，或者说就直接用它，都是非常不错的 啊，我们再稍微对比几个啊，就说像这个这种啊，扁平风的手绘插画可以看到，也是爱心，对吧？因为它上面说了它默认的。呃，这一个基础的模型好像是分辨率是低一点啊，五一二五一二啊， 后面呢进阶版的呢是一零二四，一零二四啊，如果说我们觉得有点糊，我们可以适当的降低分辨率，这里我设置的是一二八零的，那后续我们再用 ctv 放大一下就 ok 了。 我们再看一下这个这种蓝色的扁平风的，对吧？扁平风可以看到，也是完全都学到了，但这个蓝色可能跟前面有点区别，所以说局限性的也是有的，我们再看下一个 啊，这呢我是想让他学习这个熊，但可以看到没有出来，这包括我们头上这个 啊，小包袱，对不对？所以说啊，这个 style 模型呢，它只能学风格，你让它学什么人物啊什么的是不行的，如果说你想学这个小熊，你得就得用后面的 rocos 模型加上 fly 模型，也就是把这个整体的 高频细节以及它的结构形态给学下来啊，这个呢就是又有点不一样了， 好，我们再看一下啊，这个是一个手绘啊，素描风可以看，这素描还是挺好的，对吧，但是这里基本上都黑白的，最后呢，它还是衣服有点颜色的啊，它实际上就是把正常的一个背景毯啊，进行一个素描画 啊，然后呢保留了它本身的这件橙色的衣服，那我们也可以提示词再改一下，然后我们看到这只猫，因为它眼睛也是有蓝色的，也就是说并没有完全杜绝我们颜色的信息。 我们可以提示词再稍微加一下啊，它的效果会更好一点啊，因为温总还没有把这个给复现，我们可以在啊官网看一下它这个方式，对吧，打 cos 模型加 fire 模型加 bios 模型， 包括它的对齐啊，高频细节，结构形状都有了，哪怕是列这种，就是像这个书包，这个小熊， 或者说这样一些蓝莓的小碗啊，它都能都能训练出来，对吧，这个实际上它的用途呢，就会变得更加的丰富。 那今天的课程呢，就到这里了啊，工作人呢已经上传了，目前只有风格模型啊，像后面的这种呢，晚点也会给大家更新到 renohab 上了。那今天课程就到这里了啊，谢谢大家再给提拔点个赞。

十二月十日， ai 视频人物一致性工作流终于来了，你们是否在生成 ai 视频的时候为人物的一致性焦头烂额？解决了人物一致性问题，那么你的 ai 视频和故事画面的质量将会蹭蹭蹭的往上涨，加上现在平台对 ai 慢置的改革，每天肯定都能收获不少。 那么到底该如何保持人物的一致性？我们在使用 comui 时，在不同的场景下保持人物形象只需要三个步骤，第一步，生成人物形象 第二部，生成人物 lower 模型第三部，使用训练好的模型生成人物。不管是卡通三 d 还是真人，这套工作流适配任何风格生成好人物，那继续用来做二创漫剧、电视剧热梗等等就方便多了。整套的工作流和学习文档我都打包好了，想体验的小伙伴暗号抱走！

太逆天了！利不利不把劳拉训练的门槛降到最低了！对新手保姆级友好，没有硬件要求，有电脑就能用。现在跟着我，一分钟学会练劳拉！来到利不利点击右上角训练新手直接用预设模式，人脸动漫画风，想练什么就选哪种，然后点击上传已经准备好的素材， 比起参数，素材的质量更重要，这里为你整理了素材准备的 tips， 以人脸模型为例，我准备了二十张清晰度高、多角度的甜美图片， 上传后拖到最下面，选择素材的预处理。剪裁很好理解，尺寸建议素材大小保持一致，直接用算法自动标注描述图片，让 ai 理解特征出发词可以自行命名， 甜美模型就叫 svt。 选择完毕后，点击预处理，稍事等待，激动人心的时刻就来喽！点击右下角，免费训练开始搓手等待 在咱的滴如仙丹诞生！等待过程中可以时时看到生成样图，还可以点击日志查看 note 值，判断你何程度训练完毕后，点击在线升图测试，直接验收劳拉的升图效果是不是超级简单？

hello， 小 伙伴们大家好啊，那么我们现在呢，练了个 laura， 我 告诉你只需要十六秒，嗯，是吧，你信吗？那么这个就是我们新出的这个叫啊啊 千问 image 的 i2l。 什么叫 i2l？ 就是 image to laura 这么一个新技术啊，是摩达这边发布的这样一个 他把这个模型训练的步骤呢，大幅度的简化，特别是这种风格化的啊，他会非常快速的去实现这么一个呃， 风格的 lowr 的 获取，那么他也可以训练物品啊，也可以训练物品，他比传统的那些 lowr 训练呢，他的拟合速度要快很多啊。那么温总呢，也是在 呃，我们折腾一宿啊，跟他折腾一宿，把这个节点他这不是算是弄出来了啊，然后中间我这边在本地部署了一下， 中间发现了很多的一些，呃，也不能说 bug 吧，就是说他这边一些特殊的点，那么现在呢，我们算是在本地基本可用了啊，我这边给大家看一下工作流 啊，那它这个节点其实非常简单啊，就是长得非常简单，就这么一个加载，加载一个模型的，是个 pie line 的 啊，还有一个呢，就是这个呃加载图片的地方啊， 那它的安装其实是有点小门槛的啊。嗯，就是需要呃，装一个 devise， 需要装这个，必须要装这个，那么 windows 这边也给了一些这个 安装的步骤啊，但是这边我我觉得可以直接去把它放到我们 confluence 文件夹里，但是比较特殊啊，因为它还需要一个依赖啊。 放在什么地方呢？我们找一下啊，放在我们的 python invest 这里边啊， lips， 然后找到一个 set package， 然后找到我们的这个看一下啊，在这啊啊，就是这个 defensives， 这个 把这些文件啊都要放出来才行哈，才能算安装，他也有他自己的依赖，也需要安装一下。这个其实就是难度相对有点点高啊，有点点高，然后呢，就是他下载的模型需要非常多啊，下载的模型的话我们看一下。呃， 需要，他是自动会下载的，如果你这边加载的话会自动下载，而且我建议大家在下载这个模型的时候不用开 t 字，因为他是自动连接我们魔搭这边去下载啊，他是在国内的镜像，所以会非常快。 呃，我看一下模型，如果你要手动下载的位置的话呢，在我们 mod 四啊，有这两个文件夹啊，一个是 deep science studio， 还有这个千问这两个啊，需要这两个，那么如果你只练那个 style 呢，就是风格的话，可能就是不需要第二个文件夹啊， 它文件也比较大，几十个 g 啊，那么我们看一下它这个表现啊，就是先说 style， style 的 话我觉得非常棒，甚至可以用它的速度的话，我觉得可以当一个千问以位置的一个 ipadapper 都可以哈 啊，可以当它这个 ipad adapter， 那 么我们只需要找这样几个图片啊，这种风格固定的图片，然后呢把它啊做一个 bench 啊，给它传导到这个我们这个训练器吧，相当于是训练器里边啊，它就会自动输出一个 lo r 的 名字啊，我这边训练，因为五零五零九零 b 可能会比较快一点啊， 大概只要十六秒都是这样十几秒啊，然后就形成一个新的 lo 啊，然后把我们这个 lo 呢接到我们这个 lo 二加载器里边啊，用我们这个用我们的千问这个 模型去跑它就能够得到这样一个，对吧？哎，有的小伙伴可能说，哎，我是不是提示词也可以直接出这种风格啊？那不好意思，其实不行啊，这种这种精确的工笔画的风格它是出不来的哈，我这边跑了很多啊，我们看一下啊，从右往左吧 这种风格对吧，你怎么用提示词去描述呢？你很难去描述啊，即便反推的话也很难做到非常棒的一个弧线，对吧？这种， 呃带墨点的墨迹这种啊，很草的一个呃，类似于水水那个素描加水彩这样一个结合的哈，还有一个这种就是块啊，以块状的为一个精准的这样一个画风的， 还有就是我们这种建筑的这种手绘稿这种感觉的啊，这种这个人虽然是有点崩，因为他面积比较小， 他就是这种大的色块拼搭的这种是吧，油画这种拼贴的啊，我们如果用题词描写可能会非常难去做出来，之前我们还得用一个专门做 logo 啊，但是我们现在直接找几个这种图片就可以形成这个 logo 啊， 这种也是啊，这种插画画风的这种比较偏艺术的啊，也是轻松就实现了。那么啊这种二次元的是吧啊也是很容易啊，他这种线稿啊线稿对吧， 提示词都是一样的啊，这几组提示词全是一样的。然后呢，这个就是我们一个卡通的啊，这个一个卡通形象的，对吧？还有这我们二次元的这个啊，我们一个水墨画风呢，特别是那种泼墨的效果，晕染的效果，对吧？ 还有就是我们的功笔啊，这些是我们其实题词是很难办到的啊，那有的小伙伴说，哎呀，我找这些素材其实不好找，怎么办？其实我以前我的作为一个设计师和摄影师嘛，我都会给大家推荐这么一个网站啊，就是这个 pinterest 啊， pinterest， 呃，这个网站里边非常多种风格的图片啊，而且的话你选了一款的话，他旁边会给你蹦出很多款来，让你接着往下选啊，他这个风，他这个操作比较好啊，比较友好，所以说我们可以去这个网站上去找啊， ok， 那 么这就是它的一个 style 的 一个模仿啊，我觉得效果很好，又快又好啊。那么说到它还有一个就是这个 c f b， c f b 什么呢？ c f b 其实就是一个物品的模仿啊，但是这个说实话啊，我不太建议用的目前啊， 为什么这么说？因为他现在的我跟温总也聊了下，他现在的一个步数还不能调整，而且效果呢，我感觉是因为步数不够啊，造成的效果比较差，造成效果比较差，那么这个时候就， 而且呢他吃的显存会比这个风格呢更高啊，会比风格更高，会造成一个什么问题呢？会造成我们这个 logo 直接加载过来的时候呢，会爆显存啊，因为这边我们还要加载我们的主模型，对吧？ 这个时候只能我们给分段去跑了，然后跑完这个 low 二的时候，我们记住他这个名字啊，他这边会输出一个 low 二的名字，记住这个名字以后呢，我们再在这边加载啊， 在加载之前我们需要把显存去释放一下才可以，不然的话铁定爆啊，我这边都爆啊，五零九零 d 都爆，那么大家肯定也会爆啊， 嗯，这就是这样一个效果，我觉得实话说这个技术非常好啊。呃，虽然现在这个 c f b 这个就说物品这个还不成熟啊，还不成熟，但是这个风格，这个我觉得非常成熟了，就是它有点类似于我们那种 ipad 啊，那种 ipad， 其实我作为一个以前的从业者，我也带来一个思考啊，就是现在技术的门槛是越来越的越低了， 对吧？以前像我们如果说想做出这种的效果啊，画出这种画来说，对普通人或者对，就是哪怕是业内的一些很多的同学来说都不是很容易。 那么现在有了这么多的技术啊，从之前的 ipad 到现在这个秒出 lara 这么一个效果，呃， 技术门槛是越来越低，这个时候其实大家也不要沮丧啊，就说我们的业内的小伙伴也不要沮丧，我们一定要想到什么呢？这个时候就拼的就是创意了，拼的就是我们的创意，看怎么能把一个技术的一个 效果最优化。这个其实是我觉得永远不会过时啊，这方面还是我们人类在主导啊，不会让 ai 主导。 ai 还是一个工具啊，给我们提供一个比较好用的工具的。以前我们可能用的是 photoshop， 对 吧？用的是我们的 cad， 用的是我们的三 d max 或者是 sketchup， 现在我们只不过换了一种形式啊，换了一个工具而已啊，它的效率会比帮我们提高非常非常多啊，所以说 我觉得日内的小伙伴们不要有这种呃，不要被一些营销号带偏的节奏啊，有压力。 他感觉就是 ai 是 会要自己的饭碗啊，抢位饭碗。其实不是的， ai 就是 我们的工具，永远是我们的工具。掌握他的话就是说，呃，你会 ai 的 话你会比你的同行呢有一定的优势啊，有很多的优势，比如说我一个方案我可以出很多，对吧？ 我可以在短时间内我一下子出很多套方案，但是你同行他如果不会这东西的话，他可能就很难啊， 或者说他只能用一些币源的豆包金蹦什么的去出一出，他的效果还不可控啊，他的成本都比你高，对吧？当然我们用康威的话我们就可以 去高效率的实现这些东西啊，包括插画也是包括我们建模这个人物的皮肤这些都是啊，都是这样的，所以说业界的小伙伴们不要有焦虑啊，不要被营销号带跑偏，制造焦虑完全没必要啊。 好，这个就说的有点跑偏，说点多啊，这个新技术还是不错的。还是不错的啊，咱们大家可以本地装一下试试啊，就说十六 g 以上的显存呢，可以试一下啊，因为五零六零都能跑的。没问题啊，五零六零是都能跑的， 五零六零泰哈是能跑的啊，十六 g 是 稳跑的呃，但是温总呢，在 running hap 上不输了啊，在 running hap 上跑其实是最好的。这样的话呢，其实，嗯， 无非就有一点比较麻烦，不能下楼啊，对吧？我们在本地跑的话能把这个楼直接存在本地啊。 ok， 那 就给大家分享到这里啊，这个新技术很好玩，特别是这个风格迁移啊，风格，这个学习非常快，又非常好 啊。这个物品呢，我跟温总也说了，后续让他那个看看能不能把这个节点呢？增加一些自定义选项，比如说 增加一下步数选项，还有一个这个 lower 的 名字的自定义选项，因为现在它是自动生成的啊，我们还不能自定义。好，就这样，拜拜。