粉丝2.1万获赞5.8万

零基础喂饭,每期讲透一个工作流!近期 openart 上下载量排名第一的 ai 视频转会工作流,只需要咱上传一个参考视频,再通过提示词控制,就可以获得相同动作、不同人物的 ai 视频。涉及到的功能节点主要有动画插件 imitidf 和姿态控制差价 openpose。 如果呢,你有魔法,可以直接登录屏幕上的这个网址,下载作者的原版工作流。但如果呢,你是新手,原版看起来可能会有点吃力。所以呢,我对工作流进行了重建,替换掉了旧版节点,内置了最佳参数,并按照工作流的实现步骤进行了分组的梳理和 备注,更适合新手小白输了以后的工作流。联通涉及到的 imeterdif 的模型和软件安装包都在全文件,需要请咨询哦。本期呢,我们就来详细的讲一下这个工作流应该怎么用。我把工作流分成了四部分,左边两个的蓝色区域是参数输入模块,需要 我们根据自己想要的效果来进行手动修改。而后面的绿色和紫色的区域呢,是视频的生成和优化模块。此处呢,我已经内置了最佳配置,一般都不需要改。那接下来呢,我们就来实操演练一下,看看如何让一个视频从这样变成了这样。教程很干很详细,要不先收藏下? 正式开始之前呢,咱得先对齐一个信息,那就是所谓的视频。其实呢,就是把一堆连续的图传起来,快速的播放就得到了视频。所以呢, ai 做视频本质上来说是在画图,只是呢,从画一张图变成了画很 多张图,那玩过 ai 绘画的朋友应该了解, ai 绘画的风格是由模型决定的,所以呢,在视频转会的过程中呢,我们也是需要通过选择大模型来指定我们最终想要的视频的风格的。注意哦,大模型必选,如果呢,你没有去亲自手动的选一下 这个大模型,那运行起来肯定会包错。选择的方式很简单,找到工作流左上角的这个大模型的节点,点击输入框右侧就可以调出大模型的列表了。这里展示的呢,就是你本机电脑上已经安装的所有的大模型,你可以通过点击选择自己喜欢的风格,写实二次元或者三 d 都可以, 款式记得要选一点五版本的模型哦,因为在这个工作流中,作者调用了 animative 的运动模型,劳软以及 ctrl net 等。截至我发稿时呢,这个插件的 sd 叉 r 版本呢,还处于测试阶段,支持不全。待后续插件完善了以后呢,大家就可以愉快的选择 sd 叉 r 版本的模型啦。 ok, 这里呢,选择了一款一点五版本的写实大模型,这呢就意味着我此次生成的视频也将是写实风格的。 ok, 大模型搞定,紧挨着他的呢是 vae 模型,可以呢,微调画面,一般选通用的几款就可以。 大模型和 vae 模型的下载地址和安装位置我都贴在这里了,公主王子请截图,重点来喽!如何设置视频的帧数、帧率和尺寸呢?这里如果搞错了,直接影响最终生成视频的节奏和时长,但是呢,他也不难,最简单的方式就是照抄你的参考视频,比如呢,我的这个参考视频画面是正方形的, 咱在尺寸这里就可以填个 ai 绘画常见的方图的尺寸,五幺二乘五幺二。 ok, 尺寸定了,来看一下真率。在原参考视频上,点击右键 选择属性详细信息,可以看到原视频的帧数率是三十帧每秒。那咱呢,就把工作流拖到最后一个,叫做合并为视频的一个节点上,找到第一个叫做帧率的参数,点击右侧的输入框,把这个数值改 三十。 ok, 现在咱的帧率也跟原参考视频一样,都是三十帧每秒了。好喽,现在还剩下最后一个参数人数, 这个得有点数学基础,还是刚才右键属性详细信息。这次呢,咱得看两个信息,一个是时长,另一个是帧速率。我的这个参考视频呢,时长是一秒,帧速率是每秒三十帧。那么请拿出你的毕生所学,告诉我这个视频一共有多少帧呢?三 二一,答案是三十针每秒乘以一秒等于三十针。好,第一道坎,这就算过了。理论来说呢,咱直接把算出来的这个数字三十填到左上角的这个针数的输入框里就 ok 了。但是注意哦,但是这里呢,有个 哼,在这套工作流里呢,为了提升绘图的速度,在我内置的这套参数中,使用了两倍插针的方式来实现。啥意思呢?意思就是在整套工作流里,其实呢,是生成了两个视频,第一个视频咱为了快速试效果,只先用了一半的针数来生成了一个稍显 卡顿的视频。然后呢,咱又把这个卡顿的视频呢,利用插针的方式把针数乘以二,得到了一个丝滑的视频,也就是说呢,刚咱算出来的那个针数三十,其实呢,是插针以后的数值,那插针前应该是多少呢?是 三十除以二等于十五。所以呢,左上角帧数这里呢,咱应该填的是差针以前的数字十五,而不是最终的那个总帧数三十。懂了不?没懂的话呢,就直接套这个公式,帧数等于原视频的帧率乘以十 时长,再除以插针的倍数。用在咱本期的案例上呢,就是三十针每秒乘以一秒,再除以两倍,等于十五针。 新手呢,我建议关于帧数的这个话题呢,咱听到这就 ok 了。但是呢,如果你是专业的影视剪辑人员呢,你可能会发现,其实呢,在帧数这里会有个一帧的误差。对于这个问题,咱可以通过对帧 率进行加一或减一来微调。但是呢,我个人认为啊,这一针之差呢,对于新手来说呢,影响不大。所以呢,新人请忘记我刚才说的话,记住这个公式就 ok 啦, ok, 总结一下视频的尺寸和真率,直接照抄原视频,其中 尺寸填左上角的第四个框,真率填最后一个节点的第一个框,而真数得会算数学题公式在这里算完,填到左上角的第三个框里。妥了,最难的部分已经啃完了,点赞收藏休息一下,咱接下来呢,就要继续看看如何控制画出来的这个人,他长啥 样?以及呢,他的动作是怎么动的,很简单,长啥样呢?靠题日词写,而动作就得靠左下角的这个 openpose 了,咱先从 openpose 开始。左下角的这个蓝色模块呢,是用来上传参考视频和提取参考视频里的人物姿态的。这里的参数一般都不需要修改,但是为了不报错,有两个步骤必须得做, 第一,一定要去手动上传你的参考视频。第二,一定要提前安装 ctrlat openpose 模型。这俩资源呢,也都在取文件,模型下载完以后呢,直接放到屏幕所示的文件夹就 ok 啦。好了,接下来呢,咱看几个不需要修改,但比较重要的才是。 首先就是紧挨着参考视频上方的这个参数,无论他翻译成个啥,他的意思呢,都是每几针提取一个姿态。比如呢,我这里呢,设置为了二,意思呢,就是对于当前这个总共有三十针的一个参考视频呢,要求 ai 每两 提取一个姿态,所以呢,最终咱就会得到十五张姿态图。那这个姿态图里有啥呢?有手,有身体动作,还有面部,你可以根据自己的需要单独的去设置。是否开启 这里呢,我有个小建议,如果呢,你原图的手部姿态不是很清晰,建议呢,关闭手部识别功能,让 ai 自由的发挥可能呢,效果会更好。 ok, 下方的这个框呢,就是选择你刚装的那个 control net 的 openpose 模型,咱选这个 sd 一五 openpose 就 ok 了,它呢,可以帮你提取人物的姿态。最后还有一个节点,它是用来调节 ctr net 的控制力度的。第一个参数是权重,可以理解成咱想让 ai 夺 听话一呢,就代表完全得按照咱说的来,但一般呢,咱不建议拉满。下面的两个呢,是控制 ctrl net 的开始和结束的时间的。 现在的这个设置呢,表示的是让 ai 呢一上来就听话,但是呢,画着画着画到百分之六十五时呢,就可以自由发挥了,大家呢,可以根据自己的预期来着情的调整这三个。 ok, 下方的图片就是 ai 帮我们提取的十五张姿态预览图啦,有鼻子有眼有姿势,一会呢, ai, 他就会按照这个姿态图来画,十五张画面连起来呢,他就是一个完整的转头睁眼的动作啦。好,总结一下,左下角这个模块只干 一件事,那就是控制视频中的人物,他怎么动? ok, 现在呢,就只剩下最后一步了,这个人他长啥样?这个呢,要靠上面的这个提示词来控制。玩过 ai 绘画的朋友呢都知道,提示词分正负,正向提示词描述的是咱想要的画面内容,而负向提示词就写咱不想要的。 在这个工作流里呢,绿色代表了正向提示词框,而红色就是负向提示词框。其中呢,正向提示词又分了三部分,最上面一个框是重点,他是用来描述视频的关键真的画面的有 特定的格式要求。而下面的两个框呢,是用来在刚才的每一针的提示词的前后统一的添加一些固定的提示词。后面这两框呢,不是必填的,但是呢,咱一般会建议将需要去重复填写的词呢写这,这样呢,就可以让关键针的描述更加的简洁。比如呢,我在前置提示词框里 添加了对画风的要求,比如照片写实。然后呢,又在后置提示词框里添加了对画质的要求,什么高质量啊,四 k 等等,你呢也可以根据自己对画面的要求自行的更改,反正这些词呢,将来呢,都会被添加在每个关键针提示词的前面和后面,然后呢,一同发给 ai, 去 指导 ai 绘制关键真的画面, ok, 现在咱来重点的看一下本期的最后一个知识点,关键真的提示词应该怎么写?如果咱呢,只画一张图,那肯定就是只描写一个画面就 ok 了。但是呢,咱现在是要做视频吗?那就得多描写几个关键真的画面,这样呢,才能确保画面连贯的动起来。 描述呢,其实就是你想要啥就写啥,全程大白话, ai 他看得懂。比如呢,咱的原参考视频呢,他是一个海边的女孩的特写,他在转头的同时呢,眼睛从闭着到睁开这样一个过程。 现在呢,我想要的是把这个女孩变成一个小丑,而且呢,让他边转头边微笑。场景呢,也从海边改成一个咖啡馆。一起来看一下我是怎么描述的。首先是视频的最开始,也就是第零针,我写的是一个特写镜头,一个女孩有着小丑的装扮,闭着眼睛不开心,场景呢,就在咖啡馆。 第一针,画面描述完毕,不难吧?好嘞,继续再隔几针,比如呢,第五针吧,换一组提示词,把闭着眼睛改成睁开眼睛。得嘞,第二个关键针又描述完毕,最后呢,在线隔几针,比如第十针,再换一组提示词,把伤心改成微笑搞定。注意哦,这里面的提示词你可以随便改,而且呢,在哪针 改变这画面内容也是可以随便定义的,但是注意哦,但是格式不能乱,比如呢,这引号后面的这个空格,还有每行的结尾是否有这个逗号,以及这个引号是半角的还是全角的,这 些通通都不能改,哪怕你有一点点的不一样,就肯定会报错。所以呢,最最保险的方式就是跟我刚才的操作一样,只修改提示词部分,其他全都不要动。 ok, 正向提示词搞定,下面的红框是负向提示词,你可以写自己常用的,也可以沿用我内置的这套。但是注意哦,这里呢,我又给你挖了个坑,我引用了一个 组合的复向提示词模型,如果你需要的话呢,记得提前到全文件中去下载并放到指定的位置。要用时呢,你只需要写上 in bed 冒号就可以吊起下拉列表选择就可以了。哈喽,课程进行到这里呢,已经接近尾声了,虽然呢,看起来咱只对工作流的四 四个模块讲了前两个,但其实呢,影响咱使用的所有的知识点都已经介绍完毕。至于后面两个模块呢,咱只需要提前下载好模型就可以直接维持默认。比如呢,这个绿色的视频生成模块里呢, 模型和 lora 要记得下,下载完以后的存放位置,我贴在这了,请截图。另外呢,一定要记得在手动的去选一下哦。至于采样器的参数啥的呢,新人不建议改,老手就照着你的喜好条。最后一个是视频合成的节点,有两个地方可以稍微的注意一下。 一个是针率,这部生成的呢是插针前的视频,所以呢,针率是一半,也就是十五针每秒。如果呢,你想生成首尾无缝衔接的循环视频,那你就可以把这个乒乓按钮打开。至于最后一个紫色的视频优化模块,他也是一样的。比如呢,这个 ctrl net 模型挤得下,下完呢也要去手动选 下控制的权重和介入时机呢。你也可以按需要去调剩下的两个模块呢,一个是调整对比度的,另一个呢,是调整如何插针的新手呢?还是建议维持默认老手呢?通过名字应该也能够理解他是怎么调的,我呢,就 不啰嗦了,得嘞,模型尺寸、真数、真绿,人物的样貌和动作全部设置完毕,点击添加到提示词,作业列等着就行。绿框表示当前跑到哪一步了。可以看出呢, ai 他先利用 openpose 提取了十五张姿态图,然后呢,又按照这十五张姿态图绘制了十五张图片。而这些图片的画风呢,跟咱选的大模型是一样的,都是 美食风格的,画面的内容呢,也跟咱提示词描述的一致,一个小丑一边转头一边微笑。随后呢, ai 又利用一个视频合成的节点,把这十五张图串成了一个视频。此时呢,由于帧数较少,视频稍显卡顿。 所以呢,最后一步, ai 又利用插针的方式,将刚才的十五张图暗隔一针插一针的方式呢,重新绘制成了二十九张图。最后,咱就得到了一个针率为三十针每秒时常为一秒的小丑转头睁眼微笑的丝滑视频。通过对比可以看出, 视频的画风是模型定的,画面的内容是题词定的,而人物的动作和姿势则是由原参考视频决定的。 ok, 第一次搞定以后呢,咱可以将工作流保存下来。以后呢,就不需要再重新选了,咱只需要不断的换模型、 题日词、换参考视频就 ok 啦!好喽,以上就是近期 open up 上排行第一的视频转会工作流,你学会了吗?软件安装包、模型和工作流都在全文件,下期还想看我拆解哪个工作流?快来评论区留言!这里是专注 ai 绘画的巨魔小课堂,关注我,解锁更多 ai 生产力技能哟!
