粉丝5072获赞3.4万

掌握 reference only 轻松生成角色一致的插画曾经需要花费大量时间来构思角色的表情、服饰、动作、场景等,现在只需要学会这个功能,就能完成我们的人物设定,大批量生成同一个人物角色的故事版。 在 reference only 出现之前,使用 ai 控制人物的一致性一直是化身的比较头疼的一件事。要么使用图生图降低重绘幅度,人物是保证住了,但是整幅画面的变化也被限制住了,要么就是保持随机种子的一致。但是由于 ai 出图的随机性, 只要提示词或者参数改动稍微大一些,整体的画面就是另外一张图片了,人物也完全不同了。 reference only 的发明就是为了解决这个问题。按照 ctrl net 作者对它的介绍,现在我们有一个 reference only 预处理器,它不需要任何控制模型即可以实现直接使用一张图片作为 参考来引导扩散。作者也给出了一个例子,他在 ctrl net 中上传了一张狗狗的图片,提示词也非常简练,仅仅是 a dog running on grassland best quality。 然后就得到了主体相似,风格也相似,但是动作和场景符合提示词描述的图像效果可以说是非常的舒适。 下面就让我们来亲自体验一下这个玉处理器。首先打开 ctrl net 将我们之前用灵魂草稿生成的小姐姐拖进来,点击启用完美像素模式,允许预览。再点一下这个箭头,目的是生成图像的尺寸 与 control net 中加载进来的图片尺寸一致,不然就有可能发生扭曲变形的情况。控制模式选择 reference 预处理器这里有三个,我们选择 reference only。 在视频的结尾,我会给大家比较和另外两个预处理器有什么区别。下方的参数控制,权重引导,介入时机引导,终止时机保 是默认就行。模型选择二次元的 cost mix 提示词这里我们可以简单写一个女孩在坐着喝咖啡,负面提示词用通用的即可,采样参数可以按照个人的喜好,我这里选 dpm 加加 sde carrus 这里把修脸的插件 ad tyler 打开一下,让我们一次性生成四张看看。 点击生成,结果出来了,看起来还不错,人物几乎还原了我们输入的女孩, 光影,氛围,细节场景处理的都很好,可以看出来,如果我们给的提示死不多的话,那么他生成的人物,面部表情,五官结构,发型,发色,服装穿着等都尽量的与输入的图片相似,比如棕色波浪的头发, 中间有一绺刘海,白色的衬衫,偏蓝的眼睛,等我们再换一下提示词,这次写这个女孩在逛街,黄色的头发,留 仔裤,还是生成四张,这次再看看,结果出来了,大家看还是很听话的,头发变成了黄色,因为我们没有限定发型,所以还是卷发,额头上还有一绺刘海,还有牛仔裤,而且这个女孩还是我们输入的那张脸,只不过是去做了头发做头发。 所以说 reference only 完美的解决了 ai 不能生成人物一致性的难题,并且还可以按照我们的想法更换设定,这个真的太棒了,再让这个女孩在海边跳个舞吧, 在教室讲课,在滑雪,打橄榄球,在画室画画,全部都能生成出来,这时肯定有网友会说,那么思维打开一点,哈哈哈,这个功能实在太强大了,你以为这就完了吗?我试了一种很新的玩法,他竟然能够保持人物的 面部不变,我单独开一个。 ctrl net 只输入角色的面部,再另外开一个。 ctrl net 还是使用 reference only 输入角色的服装,有的小伙伴呢? ctrl net 单元无法加载多个,点击菜单栏中的设置,在下面找到 ctrl net 再多重 ctrl。 net 这里调整数值, 一般五个左右就够了,然后需要重启外部 ui 才能生锈。提示词,输入 one girl 和服装的信息,让我们点击生成。 是不是这个人物就穿了这套服装呢?用这种方式拼图,就可以训练一套属于自己的角色。 laura 既然已经开了两个 control net 那就再开一个 openpose, 控制人物的姿势,这里我让小姐姐摆个 pose, 这样才能达到真正的控制 ai 绘画的程度。 实现可控性是一款软件能成为生产力的前提。接下来我给大家测试了一下 reference only 三款预处理器 的区别。 reference only 是没有模型的,只有预处理器,分别是 reference a dam, reference a dam 加 attem 以及 reference only。 方法,在最下面的脚本菜单中点击 x, y, z 图表, x 轴类型中找到预处理器,英文名是 pre processor 轴直点开,找到上述的三个域处理器分别点击,这样就加载好了。 y 轴和 z 轴不用动,下面保持种子随机,我们不勾选,因为要控制变量。 种子随机的话就看不出结果是由种子引起的还是由预处理器引起的了。让我们返回上面点击生成,这里我生成了十次左右, 直接拿结果出来,我挑选了三个具有代表性的。首先可以看到中间的 reference again 的颜色与其他两个不同,色彩饱和度较高一些,人物的表情略显僵硬,背景由于饱和度高的原因有一些糊掉,并且背景的透视和逻辑也有一些 错误,相比较而言是三块玉处理器中表现较差的一个。再看右边的 reference a den 加 a time, 它的颜色风格与 reference only 是一样的,是比较舒服的那种类型。 人物的发型、神态和动作较比 reference only 稍微张扬一些,虽然不过分,但是出现的错误也较多。如果不看错误的地方,人物整体甚至要比 reference only 表现的更好,可是他的背景显得较为没有逻辑, 像 reference only 那样是比较正常的。透视应该是更加偏向输入图片的画面信息较多一些,因为输入的图像背景就有些鱼眼透视的感觉,而且有时候也会有两种不同的材质混搭在一起,一眼看上去没什么问题, 仔细看就会发现很多不合理的地方。所以相比较而言, reference only 的表现更加稳定一些,他的人物形象不会出错,颜色比较舒服,背景也符合逻辑。当然这是我的主观看法,如果您喜欢第三 三个预处理器也很合理,这两个我都喜欢。好了,以上就是本期的全部内容了,主要给大家讲解了如何使用 reference only 保持角色一致性的问题,还介绍了多个 ctrl net 配合使用的方法,以及 reference only 三个域处理器的测试, 保持角色人物一致性,可以用在漫画、连环画系列、插画、有声小说、 ip 设计等方面。感兴趣的小伙伴们可以多多尝试,欢迎在评论区交流讨论。如果你想了解更多关于 stable diffusion 的使用技巧,或者想尝试其他类型的图片生成,欢迎关注我,让我们一起发挥自己的想象力,每期做一张神奇的 ai 绘画。