粉丝1.0万获赞0

hello, 大家好,我是于白白,欢迎来到我的 ai 绘画系列教程之 stable diffusion 的板块内容。 呃, ai 绘画发展到现在呢,虽然还没有夸张到说可以用它来去制作非常高质量的动画电影或者说长视频, 但是呢,现在已经足够可以用它来去生成一些啊,非常有意思,非常富有创意的这种短视频了。相信大家在各种网络媒体上呢,也看到过类似于像顺序全宇宙真人转动漫以及一些 ai 角色的这种舞蹈视频, 相信这样子的视频呢,大家也很想去学啊,他是用什么样子的软件做出来的啊?其实他主要使用的插件呢,无非就是第一个是 deform, 然后呢就是这个 absence, 还有 最近刚刚推出的这个 stable video diffusion, 以及我们今天要讲到的这个 animated。 这个插件相对于前面这几款插件来说,或者是说模型来说,它的一个使用的难度会比较高,而且它的参数呢会比较复杂, animated if 呢就非常友好了,它操作呢非常简单,然后的话效果也比较直观,制作的内容呢也更实用一些, 所以说非常适合我们初学 ai 视频的这样子的小伙伴们。那么今天我们就来学习一下这款插件吧。今天的教程我会从 animate def 的安装使用注意事项,界面说明、参数讲解、基本文字生成、视频控制镜头运动的方法, from the travel 以及结合 continent 的视频转会这几个方面来讲解插件的使用,小伙伴们可以根据章节来去选取观看。首先我们来讲一下 anymate def 的安装以及模型的一些准备说明扩展的安装方 法呢,很简单,和其他的扩展一样,我们首先来到这个 vip ui 的界面,然后呢在这个扩展的选项卡里面单击选择这个可用,然后直接点击这个加载字,我们在这个弹出来的列表里面,在这里有一个搜索框,我们直接输入 anymate 去搜索我们的需要的这个脚本,有时候会搜不到,我们把这个含广告啊, 这个这个勾选给它取消掉啊,你看应该就能搜出来了啊,在这边我们就可以再去点击它安装,安装完了以后呢,我们一样的啊,要去重启一下我们的这个 ybui, 然后呢我们就能在这个纹身图以及图身图的这个选项里面往下面拉啊,就能够看到一个独立的 这样的一个下拉框,我们点击它就能进入到它的这样的一个页面当中来了。我们首次使用它的时候呢,一般是没有模型的,这个时候呢我们就需要去下载一个模型,那么这个模型的地址呢,我也会给到大家。好,我们来看 看一下这个模型地址,我们进来了这个哈根 face 的这个模型地址的页面以后呢,我们该看到这边有非常多的这个模型啊,其实我们最主要的要去下的两个模型呢,一个是这个 s d v 十五 v 二的这个模型啊,也就是这个一点八二个 g 的,然后它下面呢还有一个 s d x l 的这个模型 啊,也是最近啊二十天前啊更新的这样的一个,他已经可以支持 sd xl 的这个模型了,然后除了这个以外呢,下面还有几个这个 lora 模型,这几个 lora 模型呢是用来控制镜头运动的,后面的话我也会讲到,如 如果大家有需要的话呢,也可以去下载,如果小伙伴们啊不太方便在这边去下载的话呢,我也会啊,打包整理好上传到云盘里面分享给大家啊,大家可以到时候在简介或者是这个置顶的评论里面啊去找一下。然后这几个 lolo 的话,我打包好了以后呢有这个镜头 运动方向的这样的一个预览图,方便大家去使用。那么下载的模型放在哪呢?大模型的话,我们呢是放在这个 extensions, 我们找到这个 anymidif, 然后的话呢这边有一个 model, 我们把这两个大模型放在这里,然后的话那几个 lora 的话呢,我们一样的啊,就是它就是一个正常的 lora 模型,我们只需要去放到这个 models 的 偶尔模型的这个文件夹里面去就可以了。接下来一个非常重要的点啊,就是关于这个插件的一个使用注意事项,我们还是推荐大家无论是用哪一个插件,都去到这个插件的 gap up 的主页来详细的看一看这个作者对于这个插件的介绍。好,我们可以首先看到呢,它的 wib ui 啊,至少是要为一点六点零的这个版本, ctrl net 呢,需要是为一点一点四幺零的这个版本才能去安装。第二个的话呢,就是关于现存,因为为了保证这个生成视频帧数的前后关联性比较大呀, animatedif 的生成逻辑呢?跟其 其他插件生成视频的逻辑呢,稍微有点不一样,我们稍后的生成过程中应该也能看到预览,这里的话呢,有两个非常重要的设置,在安装好插件以后呢,一定要去改一下啊,第一个的话呢,就是在这个 optimization 里面啊,有一个内容我们可以看一下,点击设置,然后的话呢找到这个, 然后这里有几个需要去勾选的,主要是这一条需要去勾选他这边的话呢,是说必须要执行这个操作来去防止生成两个单独不相关的一个祈福图,因为很多小伙伴第一次用这个插件以后生成的图感觉跳跃特别大啊,就是因为没有改这个设置,设置完了以后记得保存,然后再重启。 然后第二个设置的话呢,也有一点点重要吧,就是这边作者也讲了啊,就是说不要禁用哈西计算,哈西计算的话,如果是用这个秋叶大佬的这个会试的这个内容的话,我们在这个 高级选项这里啊检查一下,这边有一个叫做模型焊机计算,把这个开启就可以了。然后的话呢,我们在初次使用的时候呢,我们还要来到这个设置里面去找到这个 animate def, 这边的话有几个选项的话呢,是建议大家去勾选的,还有这个滑块啊,把它拉到最大,这样的话能保证我们生成的这个质量会比较高,那么设置完这些以后呢,我们就可以正常的去使用它了。 ok, 接下来我们来看一下这个插件的一个界面 啊,其实在安装完插件以后呢,我们的整个界面不会有太大的变化,但是在这个下边的话呢,我们可以去找到这个 anymate def 的一个下拉框,我们点击以后呢,就能弹出 它的一个操作界面啊,在图深图的界面里面也是一样的,在这里往下拉,然后找到 m made 图深图的界面的话呢,会多几个参数啊,但是这几个参数稍微复杂一些,我们只要保持默认就可以了,它的正常的使用的方法呢,其实就是比如说我们正常画 图,对吧?我们画图完了以后,输入正向描述与反向描述语,如果我们不去打开或者说不启用这个 mvd, 我们就是画一张图,我们启用完了以后,他就会开始把这个 mvd 介入到我们的这个内容当中来,我们就可以直接生成视频了。这边呢就要去选择一个模型啊,当然前提是扭模型的情况下啊,他的界面非常简单, 你只需要去勾选他,然后设置一定的参数,然后我们再点生成的时候呢,他就会直接生成出一个视频出来,那我们接下来就会来看一下他的一个具体的一个参数设置啊。其实如果说我们初次使用的话,我们只要写好了这个关键词,然后去启用他, 只需要简单的设置几个参数,其他的选项呢,保持默认啊,我们就能够得到一个比较好的这样的一个视频了啊。首先是这个关键词,其实关键词的书写的话呢,如果说没有特定需求的小伙伴呢,可以直接按照我们 纹身图的这个内容来去写关键词,但是如果说你希望这个画面呢有更有动态的效果的话呢,我们在写关键词的时候呢,可以尽量的去加入一些啊动态的词,比如说一个女孩在舞跳舞啊,或者是一只狗狗在草地上奔跑啊,或者是各种啊带动笑的这样的一些词语进去就是动词啊, 这样的话你出来的图也许会效果会更好一些啊。然后在这个迭代步数这里呢,我们一般推荐二十五左右,而采用方法的话呢,其实 ddim 或者是这个 user 或者 usera 都会得到比较好的效果,其他的参数按照你需要的去设置就可以了。然后呢我们来到 nad 服启用以后呢,我们来看一下啊,这边有几个选项,第一个呢是这个模型选择,模型选择的话,如果你上面用的是 x l 的大模型的话,那我们这里呢推荐用这个 x l v 幺零的这个模型去画,如果你用的是 v 一点五的模型,我们就选择这个 v 幺五 v 二的这个模 进来去画。右边的话呢,是你要生成出来的结果的保存那个格式啊,默认的话呢,是称成这个 g f 图和啊 png 图,你也可以把它保存为这个 m p 四的视频的模式,或者是其他的这样子的模式,那我一般会多勾选一个 m p 四,但是这个肯定会 增加我们的这个生成时间。然后下面这几个参数呢,如果说你要去做视频的话,肯定要去理解啊,一个是这个针数,针数的话,就是我们这个视频一共有多少针,我们的这个视频也好,动画也好,它都是由啊一针一针的这个画面来去构成的,比如说我们总针数 如果说是十六,然后 f p s 的话,就是每一秒钟它运动多少针,一共是十六针,每秒运动八针的话,等于是我们会做出来一个两秒的视频。然后这两个参数的话呢,作者比较推荐的话,就是我们在用 v 幺五的这个模型化的时候呢,按照这两个参数来就 画啊,它效果是最好的啊,因为它整个的模型都是按照十六帧,然后八 fps 的参数来去训练的,所以在这两个参数下,它生成出来的效果会最好啊,当然你也可以去增加它的一个帧数或者 fps, 但是呢效果呢,会没有那么好啊。其实我也有设置过,就是把这个帧数设置的很高,然后 fps 也设置的很高,他能画出来,但是呢效果会比较差。然后后面的这个 display room number 呢,就是你画完以后在这边会有个展示嘛,对吧?然后 呃你想让他展示多少遍?如果是零的话,就是默认一直一直循环播放啊,这个一般不需不太需要去改。那么下面的这几个参数呢,就稍微复杂一些,其实我们在日常使用的时候,大概率的话是不太需要去改他的, 但是既然我们要去呃全方位的去理解它,我们还是去讲一讲。我们来到 guitarp 的页面,我们来看一下这里这个 参数的一个介绍。首先是关于这个 contacts batch size, 呃,也就是这里的这个参数,这个参数的话呢,意味着就是上下纹的一个批量大小,也就是说他一次性呃运动多少多少针, 那么因为他是采用十六针进行训练的,也就是说他每次都训练十六针,所以说在十六针里面他的一个效果会最好,所以说我们一般来说就用这个十六默认十六就可以了 啊,他不同的这个模型训练会不一样,如果你用叉 l 的话,那用叉 l 的话就选三十二,那么第二个呢是关于这个 closed loop, 也就是闭环。闭环是什么意思呢?就是说比如说我们画了十六针,对吧? 他会问你需不需要,就是把他这个视频的第一针跟最后一针尽量的去靠近,让整个的视频呢形成一个闭环啊,那么这边就会有几个选项啊,那么 n 的话呢,就是绝对不要闭环,就是 no, 对吧? 然后 a 的话呢,就是尽量让它变成一个闭环。那么另外这两个 r 减 p 和 r 加 p 呢?就是如果你有这个 prom travel, 也就是呃提示词跃迁的话呢啊,这边就会去啊,帮你去考虑你的提示词跃迁里面需不需要去补成一个闭环啊?如果是 r 减 p, 那就是不会插不为闭环,如果是 而加 p 呢,就是你的提示字月签,呃,也会尽量的去形成一个闭环,呃,所以,呃在大多数情况下呢,我们去选 n 或者是 r 减 p 就可以了。那么后面的话还有一个叫做 stride, 还有这个 overlap 啊,这边的话也有这个介绍,帅的话呢,就是不服,那这个不服呢,我们可以把它理解为上下文的关联性,也就是说他的一个画面的变化的一个大小啊,一般来说我们设置成一或者二就可以了,如果设置太大的话呢,他的画面的跳跃会太大啊,这个画 画面就会不流畅,那么这个 overlap 呢,就是你上下文中的一个重叠帧数,如果是设置为默认负一的话,你的重叠就是四帧,它其实就是可以改变你的一个视频的一个流畅度的这样的一个参数。然后下面的这个参数呢是关于插针,这个是视频制作里面的一个专业名词啊。 然后如果你想要去启用这个插针的话呢,你必须要去安装 deform, 如果你没有 deform 的话,你点了这边也是没有用的。然后这个参数呢就是你每针之间再去插多少针,然后往下的话,这里就是一个原视频,就是如果说你是要对视频转会的话呢,你就需要去把你的视频 拖到这里来,你拖到这里来了以后呢,他就会根据你视频的这个帧数,然后自动去填写。比如说我拖进来了一个视频,这边的视频的话呢是二十四, f p s 是二十四,然后一共有一百二十帧,他会自动填写进去啊。这边下面还有一个视频路径,视频路径的话呢,就是如果你要用 continent 的话, 你可以把它处理成一针一针,然后出存储在一个文件夹里面,然后把这个丢进去,他就会去读取这个原始针,但是他的优先级是低于这个视频来源的。下面两个是优化的一个模块,就是如果说你的显存不够的话,你可以让他丢到那个 cpu 里面去跑 这边这个话呢就是你画完的一张图,如果你显存不够了,你可以在显存里面去卸载一下它的模型啊,来去释放你的更多的这个显存。了解完参数以后呢, 我们接下来就开始实际上手操作一下,来生成一段视频看一看。那么我们首先要讲到的就是最基础的用文字生成视频的这样的一个操作啊,我们把我们准备好的这个 一段描述语书写上去。呃,这个描述语的话呢,它就是一个很简单的一个画一个人物的这样的一个描述语,一个采样方法。选择 ddim 步骤的话是二十五步,暂时我们先不开高清修复,宽高比的话是五幺二乘七六八啊,种子的话呢我们就不固定了,这个时候呢我们打 然后启用这里的模型呢,选择这个 v 幺五 v 二,然后帧数的话呢,我们设置成十六帧,保存格式的话呢,我们勾选一个 n p 四,其他的就使用默认的参数就可以了。然后设置完了,我们直接点击生成好他这个生成的过程呢,可能会稍微慢一点,但是因为我们没有开高清修复,可能速度还可以。 那么在这个过程当中呢,我也跟大家去讲一下我的一个使用的结论啊,就是你的总针数是不会影响现存使用的,你写十六针或者是写三十二针啊,他是他消耗的现存是差不多的。 然后的话呢,如果说我们不开高清修复的这样子的情况下,按照我刚才说的这个生成的这个比例,大概需要占用十一个 g 左右的现存,如果你开高清修复,开一点五倍的话,十六个 g 的现存,如果你要开两倍的话,基本上就是要消耗二十四 g 的现存,然后如果是叉 l 的模型,你可以画 五幺二乘七六八,大概要十二 g 现存,但是呢效果不是特别好,如果你画七六八乘幺零二四的话呢,需要二十 g 左右的现存啊,所以, 嗯,主要看看你的一个显存的情况,然后我们可以看一下这个图已经生成出来了哦,我们看到这个效果的话呢,其实还可以啊,反正就是一个人物在这边 动来动去的这种感觉啊。以上就是最简单的一个文字生成的一个操作,我们可以看到啊,这张生成的图呢,我们的这个场景他是一个固定视角,对吧?人物在这个场景里面去动,如果我们想让这个画面的镜头有一些运动,我们前面讲到了我们会运用一个 lora 来去做,我们看到啊,我们把这个 lora 已经放到这里来了, 他这边呢一共有八个楼软,我们可以看这个指针的方向啊,大概可以看到就是往左运动,往右运动,其实就是一个镜头运动,然后这边的话呢是镜头推进跟镜头拉远,然后比如 说我们这里来试一下这个镜头推进的这样的一个 lora, 我们只要点击点击这个 lora, 然后他就会加入到这个内容当中来,然后我们这边的话权重的话可以设置成大概零点八左右,这个根据你自己想要的这个镜头运动的程度来去设定就可以了,比如说我们加了一个 lora 以后呢,我们再来生成一次看看。 好,我们可以看到这个效果呢,还是有一点的啊,就是能明显的看到有一个镜头往前推进的这个感觉,但是效果不是特别明显,因为我们的这个 权重的话呢,拉的不是特别高,这个 lol 的话呢,目前只能使用一个。好,这个时候呢,我们小伙伴会说啊,我这个视频这个清晰度完全不够啊,而且脸也是糊的,怎么办呢?这个时候我们就可以采取下一个操作,对吧?如果说比如说我们这个视频,我们就 觉得效果可以的时候呢,我们把这个种子记下来,然后呢把它填写到这里,我们前期可以用这种方式,因为这个速度比较快嘛,啊,用这种方式 来生成比较多的,然后找到你喜欢的那一个,然后利用他的种子来进行一个高清修复,以及我们的脸部修复。比如说我们这边去添加一个高清修复,这里不开特别大啊,比如说十步,然后零点五五的高清修复,这里放大倍率的话呢,放大到一点五倍。 那么在这个下面呢,我们再开启一个脸部修复,选一个脸部修复的这个内容,然后把这个脸部修复的这个 inpent 也打开啊,设置到零点三左右。 关于这个面部修复的这个插件的话,后面我也会出教程来去给大家具体去讲,然后这里反正这里就大概演示一下这个操作就行了啊。手的话呢,我们也修一下吧,然后这边选一个手的模型, inpenting 的话,也设置到零点三左右,就可以把这个视频呢进行生成一个质量高一点的版本。 好,视频上传完,我们再次打开啊,效果应该是好了不少啊,因为预览的分辨率有限, 那么这就是我们文字生成视频的一个基础操作。那么在我们生成视频的时候,能不能再对画面进行一个更精准的控制呢?比如说我希望这个人物在运动的时候呢,去切换他的一个服装啊,因为现在网上有很多这个移动换装的这个视频啊,也是用这个 amidif 做的, 他是怎么做到的呢?接下来我们要讲解他的一个另外一个功能,叫做 problem travel, 就是提示字月签的功能,我们可以在这个主页当中去得到一个介绍。那么这个提示字月签的意思的话呢,就是你可以去控制啊,你的画面在哪一针啊?进行一些什么样子的变化 啊?这里作者的话呢,给了一个参考,就是比如说他需要这边画的是一个女孩,然后的话呢在零针也是开始的时候,他是闭着嘴巴的,然后从第八针开始呢,就把嘴巴张开来,然后他的一个使用方法呢,也很简单啊,就是你在写提示词的时候呢,在前面呢去加上一个针数的数字,然后面 去接你从这一针开始需要的一个操作,前面的话呢是一个整体的一个提示词,你也可以不写,你也可以直接写到这个零针这里来,意思呢就是前面是一个全局的提示词,下面的话是从零针开始什么动作?第八针开始是从什么动作?如果后面没有的话,你就是第 八针到最后一针啊,然后后面的这个的话呢,也是可以不写的,类似于一个结尾的这样的一个动作的这种感觉好,比如说我们可以尝试着把这一段描述语复制下来,然后来到我们的这个当中啊,粘贴上去,然后这个 lora 的话,我们没有,我们就不需要他了,我们把这个分辨率调小一点,生成一张看看。 好,我们可以看一下这个效果啊,大家可以看到整个他整体的是一个女孩的这个微笑的这种感觉,然后的话呢,从一半左右开始,他的这个嘴巴呢就张开了啊,整体的这个效果呢,质量还是非常好的,是比较连贯的好。那么我们再讲下一个内容呢,是关于视频转会,如何用一段视频 去生成另外一段视频啊?这个的话呢需要结合到 ctrl net 的插件,比如说我这边有一段这个火柴人跳舞的视频,我要把它变成一个动漫角色跳舞的视频怎么处理呢?我们一样的啊,我们现在这边设置好他的关键词,比如说我们就用这个关键词,然后的话呢是这个女孩在跳舞, 然后全身,我们设置好关键词以后呢,把这个分辨率改一改,然后其他的我们都设置好。然后呢打开 nad, 然后按照我们刚才的需要的这个内容来去设置,选好模型,然后这个的话帧率可以不用选了,在这边直接把我们要的这个视频上传进来,我们这里可以预览一下,比如 这是一个两秒的这个跳舞的视频,对吧?上传完了以后呢,我们下一步需要打开我们的这个 control net, 我们这里选 m p 四,然后打开 control net 以后呢我们启用,然后呢?比如说我需要用这个 control net 呢,因为它是一个火柴人,它是一个 open pose 的模 行吗?所以说我在这边的话呢,就选择用 open pose 来去对它进行控制,因为它本身是一个已经处理好的这个模式图,所以这边的话我选择无。如果你自己有一段视频,你想要用这个视频来生成新的视频的话,你可以使用 open pose 然后对它进行预处理, 或者是你还可以在这边再去加入一个新的 control net 哦,比如说你要用 candy 来去控制它的边缘,对吧?这些都是可以的啊,根据你的一个设置把这些参数改好。关于这个 control net 的使用呢,大家可以去看我前面的关于 control net 的 详细的教程,具体我就不再去赘述了。选完设置好了以后呢,我们就不需要去上传图片之类的,因为他这边就会默认啊,对你的这个视频进行一针一针的去处理啊,这边选完了我们就可以直接进行生成 啊,这个时候我们呢就能看到这个 视频已经出来了,对吧?嗯,效果的话呢,不能说还可以吧,只能说是一般般了啊,因为这边的话没有加另外的这个 connect 啊,只是做了一个很简单的这样子的一个演示, 相信小伙伴们应该能做的效果比我好很多吧。那么这个 animate def 的基础操作其实就是差不多至这一些了。我们视频生成完了以后呢,我们可以在我们纹身图的这个文件夹里面呢, 去找到有一个 anymadef 的这样的一个文件夹啊,如果说你按照我前面的这个设置了以后呢,你就会得到一个这样的文件夹,里面就会有我们生成出来的这个视频的一个内容在这里了, 然后如果说啊咱们觉得这个视频的这个清晰度还是不够呢,我们下期视频呢会带大家认识更多的工具来去帮助大家去生成二 k 甚至四 k 的 ai 动画视频,大家多多点赞支持,我会尽快的出下一期的教程,这也算是一个小小的预考, 我们可以看一下我们后面能做出来的这个视频的这个效果是什么样子的。 好的,以上就是今天教程的所有内容了,如果说今天视频对你有帮助的话,千万要记得点赞、投币、收藏,一键三连以及转发给你可能有需要的小伙伴们,你的支持就是我更新的最大动力,我们下集再见。拜拜。