stablevideo3教程

儿媳妇， 哈喽，大家好，今天给大家带来 stable diffusion 官方新出的这个 video 模型，也就是做视频的模型，目前他能做到把图片生成一个几秒钟的动图，类似于 round， 为早期的一些效果吧。讲一下他的安装和使用，开始之前呢，先整体评价一下，前面几个视频是我 分别都做过测试了，目前的局限性也是有的，比如说目前最大应该是能生成四秒的视频，虽然说是四秒啊，但是我测了之后，在一点七八秒左右的时候，这个主体就开始进行变形，后面就已经不太能看了。 大家看到我视频中展示的呢，其实是被我修复过的，就是给他补针，然后进行慢放，然后才会有那样一个效果。第二个就是配置的要求，应该十二 g 的现存是不够用的，他有两个模型，一个普通模型应该是要十三到十五 g， 然后叉 l 的模型应该是要在十八 g。 接下来讲一讲如何进行安装和使用。首先说一下安装，网上已经有大佬打包好了，这个整合包大家可以去搜一下，我昨天本来也是准备下载一个整合包的，但是发现大佬发的是阿里云盘， 我又没会员，所以我就自己来这个 github 上面项目地址这里来看了一下，我发现它并不复杂，但是前提呢，大家需要装有 python。 第二个要装有 get， 如 如果用过 sd 的，这两个依赖的配置应该是早就有了。如果你连这两个还不太明确的话，可以建议先不接触这个 svd 这个东西。把这两个装好之后，第二个需要我们的网络通畅啊，大家都懂得。接下来就正式的进入操作，因为 这里已经装过了，我就新建一个文件夹来给大家演示，我们在电脑上 c 盘以外的地方，呃，随便找一个空间给他建一个不带这个中文的路径，建好之后呢，我们打开它，打开它在上面的路径当中输入 cmd， 调出他的这个命令窗口。然后他会教我们，第一步首先要把这个项目的库给他克隆下来，我们复制他这个代码，然后粘贴到这里，点击回车，大家不用觉得这个很复杂，这个从 dta 上面克隆东西，这种算是非常常规的用法。 ok， 重新回到这个光标闪烁的状态下，他这个库就克隆完了， 可以进来看看，刚才在我们的这个文件夹下，他已经把这个整个项目给宰下来了。然后第二步他这里是货哈，我们第一步把这个克隆完，第二步就要进行安装，他说运行这两个其中的一个，为我们建立这个必要的依赖。那我们就再回到这里，看到他有一个安装 pse 和安装 c n pse， 我建议大家可以用第二个，他的速度和 更快一点，可能是那个镜像来源不同，这个如何运行呢？我们点击右键，这里有一个实用 powershow 运行，这样他就会进行陆续的安装和下载，这个过程可能会比较长，因为他把我们所有的环境所需的环境都安装好了，然后同时这里需要网络环境比较好，如果你的这个网络有些问题，产生了一些红紫的话，他必须诠释一 度白，如果你有红色的报错，要么再重新装一下试试，要么可能你的网络就没办法自主的去配置它，装完之后它会显示一个安装成功， step complete 安装成功，大家可以看到的，然后我们就摁回车把它关掉就好。装完这个之后，我们需要在它这个网站上下载模型，这个模型的话是一个是用于 s d 的，一个是用于 s d 叉 l 的， 我自己感觉啊，虽然我的配置是十六级，我没办法用这个叉 l 模型，但是他应该优势就在于他的成效会稍微更加清晰一点，在我看来我们可以用后期的软件去给他变清晰，不一定非要 下载这个东西，大家可以直接下载这个就好了，点击一下这里就直接下了。这个模型比较大，有八点九个 g， 它是一个视频模型，下完了之后呢，我们把它放到哪里，在跟目录底下有个 checkpoint， 我们把它放到这里就好了。如果你前面一切顺畅，接下来就开始运行它，里面有一个 run， 这个 pse， 我们点击右键，同样使用 power 式要运行它， 如果你没装好，他这里直接就闪退，不会有任何东西。如果你装好了，他会最终给你后台会这样运行一下，然后也是一样给你弹出一个地址，定来的界面就是如此的简洁，这个就说明我们正常的已经运行他了，然后呢，我会尽快的打包一个整合版本。接下来就是使用的部分， 他界面很简单，这里一个上传图片，这个界面我们其实可以翻译一下，如果你的网络状态良好的话，第一个他是上传图像，第二个就是打开摄像头，第三个就是，呃，你的你的剪切版中，你可以直接粘贴到这里都反正都是上传图像。然后接下来高级选项，这里呢只能 调针数和步数，我自己亲测这几个选项啊，这个解码我不太懂，所以我没动它。这个种子，我发现你改了之后，目前来说我看不出太大的影响，改不改都可以。步数这里我建议大家也保保持默认，他肯定是最好的针数这里虽然他没有给我们说针率是多少，但是我测了一下，如果是默认十四针跑的话，他就是两秒钟， 如果我们把它改成二十八针的话，他就变成了四秒钟。但是呢，我不建议大家去拉长时间，因为我发现超过两秒的视频，他这个变化就太乱了，所以后面的根本没法看，大家直接用十四秒的默认证书就好了。 然后我们接下来就试一下效果。这里呢，有个注意事项，他目前只有一个横版的默认尺寸。呃，我给大家举个例子，我选择一张这种一比一的图片，点击这个 run 可以看一下啊。后台，我这张图片他原本是八百乘八百的，但是他会把它改成幺零二四乘以五七六，目前这个模型应该是固定这个分辨率的，所以大家一定要匹配到这个比例。如果你的图片特别大，你一定 要勾选上这个，让他在幺零二四乘五七六的分辨率下跑，他的效率是最高的。这速度呢，我是四零八零跑这样一个视频，两秒钟的视频大概可能要一分钟，所以也不算特别慢。如果我们这种八百乘八百的，他就会给他进行图片的变形， 对，最好大家的图片就保持在幺零二四乘以五七六是最好的。 ok， 可以看到我们很快的就把它生成完了，这个这个页面我刚才刷新了一下，给他给掉了，我们生成完所有的视频呢，都在这个奥特铺子里面，这是我们刚才生成的，可以看到他被压缩的很严重啊，我们暂且先不管他压缩的效果啊，因为我就不再多演示了， 发现这个质量呢跟我演示的还差很多。那这个其实就需要后期了，我们需要在这个我之前也讲过这个视频的修复软件，我们把它添加进来，然后用这个软件给他放大四倍，同时呢给他进行六十针补针，然后生成两秒钟的视频，他还是 挺快的，虽然是四 k 的像素。然后我们看一下他生成出来的效果，他的清晰度和还有这个稳定性都是很不错的，我觉得在目前有些场景的变化上，这个还是有点作用的，而且毕竟他是免费嘛， 大家可以去尝试一下。嗯，我会尽快把这个包打包出来，因为最近抖音的这个审核问题群公告经常掉，大家有可能进了群之后发现没有公告，没有资料，不要着急，可以去在群里艾特我一下，我看到我会第一时间给他补上。

一个 stable video diffusion 和 animate def 结合使用的工作流，可以将图片呢转换为动态的视频。这五个框大概是一个什么样的效果呢？我们输入图片转换为视频补针，然后我们进入 animate def 生成视频，再进行补针。 那能够明显看到我鼠标指向的这个人物，他的头部向左侧运动的时候呢，面部会变得更加模糊，而过了一遍 anymate def 之后呢，则会更加清晰。 这个试用期呢，是我在 redit 上面看到的，是这个作者制作的，那么这个地方我也尝试编一下。首先肯定是一个 stable video diffusion 简单的图片转视频的工作流，然后呢，再加入一个简单的 anymitty 服纹身图的工作流， 这样就已经很简单明了了。现在我只需要把这个地方生成的视频在 enemate def 这个流程当中做一 视频转会一样的设置就可以了。两者之间应该通过什么连接？这个地方输出的是图像，然后合并为视频，所以这个地方实质上还是图像，要进入到这个 k 采样机当中，应当要先把图像进行编码才可以进入潜在空间，所以这个地方应当是 va 编码。 这儿加载什么 v a 一，应该加载这一个模型啊， stable video diffusion 模型的 v a 一，所以我把下面的 v a 一加载器断掉，新建节点， 全局输入，全局输入，这样的话我就把 svd 的 va 应用到全局了。现在还缺什么呢？就跟我之前所做的视频转会的工作流一样，我们还是需要使用 cometry 的去控制它 啊，同样让这个正向反向提示词啊，过一下 ctrl net 再进行连接到可以采样器这个地方没有什么难度啊，你要不就是背出来，你要不就是把你的外表 ui 打开，然后感受一下为什么是这样的一个流程。 同样我们要过这样的一个预处理器，肯定是要输入图像的，应当是输入哪里的图像，那应当是输入这个地方的图像啊， 每一针我们都要控它的，这就是一个基本的流程了。原理上就是使用 stable video diffusion 图片转视频，然后呢，再使用 anymate 对视频进行转会，这就是一个基本的原理。那么说 说应用上的问题，既然我们使用了 checkpoint 的加载器，在这个 anymate def 的这个流程当中，那么必然我们转会后的图片呢，是会受这个大模型的影响。现在你看到的这个视频的影响还比较轻微，在这个视频当中就表现的尤为明显了。同样这个视频也是有问题的，可以说是丢失了一些细节，比如胡子这个地方， 这个工作流应用的场景更偏向于原来的 stable video diffusion 出来的视频比较模糊或者偏模糊的状态，通过 enemy stiff 转会呢，会有较大的提升。 那么在我之前测试的状况当中，也有使完全崩掉的脸部复原的，这样的状况出现，是一个比较好的效果。这个作者的工作流呢，我会把它分享到我的云盘当中，或许的方式的话，抖音就是进粉丝群，其他平台的话，关注一下公众号 aiksk 就可以了。

三种方法免费使用革命性 i 工具 stable video defusion， 轻松将图像转换成视频 嗨，大家好，上周 stability ai 发布了一款革命性工具 stable video diffusion， 这个免费开源的视频生鲜工具即强大 stable diffusion， 轻而易举的就可以将图像转换成视频，效果呢远超市面上到数同类产品。 那么如何使用 svd 呢？目前我总结了三种方式，第一种是可以通过访问他们官方网站，点击这里 来预约体验这款工具。第二种呢，就是在本地安装和步数这款工具，如果你们对本地安装和使用感兴趣，可以在之后的视频中详细介绍。 第三种呢，是目前最推荐的，仅仅需要简单两步，通过 rap lake 的这个平台可以立刻在线上进行尝试，上传一张图像，点击运行，稍微等一会会，就能 看到图像变成了一段运动的视频了，这个过程是不是简单又神奇呢？最后，如果有任何问题或者想要分享你的创意，欢迎在评论区告诉我，期待下一期视频，再见！

ok， 下班了，我们花点时间来搭一下那个 stable video diffusion， 可以看得到他的代码其实放在给好仓库这边的，然后给好仓库我们点击进来，可以看得到上面这一些是他的项目的运行的代码，然后他的模型是放在这里啊， 他有两个模型，一个是 svd， 一个是 svd xt， 然后我们今天还是先针对这一个做一个搭建啊，针对 svd 做一个搭建，我们可以看见我们点击进来之后，他其实是跳到一个爆脸的一个页面上啊，爆脸页面的话他是长这样子的 啊，这个是他的模型介绍，然后这里是他的模型的文件的地址，然后我们把这个下载下来备用啊。 ok， 我们正式搭建一下，我们首先在一个空的文件夹下夹，我想着是 d 盘， d 盘里面 s b 这个文件夹是我新 键的，然后我们在这里在这个路径这里选择 c n d， 输入 c n d， 然后这时候他就可以打开这样的一个 c n d 的界面，这时候的话我们需要把这一句复制进去， 然后这个是什么意思呢？就等于说把这个觉得那天 model 是这样的一个项目的代码拷贝下来，因为我已经拷贝过了，所以说他会产生这样的一个文件夹 啊，然后 get 怎么安装，这里就不系数了，如果是现在普遍内存可能比较低的这样的一个玩家的话，我们先进入这样的一个文件，去把他的那个地显存模式给他起起来，然后我们进入 script， 然后 demo， 然后找到这个文件，然后把它编辑啊，然后这是 我们看可以看得到非常多的这样的一个代码，对不对？好，这时候的话我们把这个这段复制，然后 ctrl f， ctrl 就是查找哈，我找到对应的这个他默认是 force， 因为我已经改过了，所以说他现在是 two ok， 这个东西如果是你是用一个非常牛逼的显卡的，那我觉得其实你可以不用改哈。第三步需要做的是什么呢？ 需要把当前的这个文件给他挪到差项目瞩目录下，当然你不挪也 ok， 你可以看得到这边是不是有非常多的刚才进来这样一个 demo 的一个文件夹下有非常多的文件，我们把这个给他 copy 到全能。 net 下面啊，所以说你可以看得到啊，正常他是做一个黏贴，黏贴完之后 的话他这里就会有这个文件，你可以也不怎么操作，我只是为了之后运行方便的去做一个操作，然后需要新建一个 checkpoint 文件夹啊， checkpoint 文件夹里面的话就是把刚才说的在爆脸这边下载的那一个模型给他拷贝进来这个文件夹。 还有一个要记得注意，就是他要把一个对应的依赖给他删除掉， 然后这依赖里面的话，把这个因为我已经删过了啊， control f， 然后它查找正常是能找得到的，这时候把它删除掉，然后并且把这个也删除掉，然后做一个保存啊，做一个保存，这样子的话 代码测的环境已经准备完成了，那接下来的话我们就是运行环境测的，运行环境的话，你如果是有装拍审的话，你可以直接运行，但是我们为了这个系统的干净，对不对？这时候的话我们就用一个叫做空挡 这样的一个软件去新建的这样的一个环境，然后空挡从哪里下载呢？在这里下载啊，在这里下载下载这个版本哈。 ok， 然后我们重新回到就是这个文档，我们假如装完空档之后呢，你可以看到你这边会多了一个这种空档的一个运行的一个环境， 然后正常的话我们就先新建一个环境啊，我要先新建啊，因为我已经建过了，所以说我可以直接激活啊。 好，你可以看到这前面的标志已经变了，他从原来的背线变成 s v d。 啊，这是我新建的一个虚拟环境的一个名字。然后我们回到刚才的那个代码目录，我们把这个 copy 一下，然后 c d， 然后进入这个文件夹好，然后按一下地冒号切到地盘。好，这时候的话我们运行环境基本上准备好了，然后这时候的话我们需要安装一些依赖，然后这些依赖的话需要注意，你要有一个叫做课时上网的环境。 好，这时候的话我们首先在这个爆脸这边去安装这样的一个依赖啊，复制进来啊，因为我已经安装过了，所以说他提示应该是已经安装过的啊。行，那这个时候 后的话，呃，按部就班，然后你就把这一些也都安装一下就 ok 了。可以看得到这里面要注意的一个就是只要你现在用的是酷打环境，就是用英伟达的显卡的话，你就把这个给他装上就 ok。 好，把这些装完之后，我们可以直接启动界面。 好，这个其实跟我们呢 gradu 界面有点像哈，所以看得到这是我运行完了之后，然后它就弹出了这样的一个界面啊，它会 running running， 会做做一些环境的预设加载， 然后有一些 running running 可以不管它啊， 如果你刚才没有安装这一步的话，他可能默认跑的是 cpu 的 一个环境，所以说他可能报错的会更多。嗯，如果是对速度不在意，一直做个实验的话，你也可以不管他， ok， 那我们可以看得到正式进入了那个 say boydo defusion 的这样一个界面，这时候的话我们首先选择 model 啊，这里面啊，因为我下的比较多，正常来说你下这个就 ok 了啊，然后你选择了这个下了之后呢？然后点漏 model， 然后漏 model 了之后，你会发现他这边后台就在跑了啊，这个可能时间比较长啊，我们先等他露一下， ok， 经过漫长的等待，可以看到这个有报错，对不对？好，恭喜你，报错是对的，他就是这样子运行成功了，这时候的话，我们可以看到我们需要做的事情是什么啊？ 启动完了之后，然后我们就点击上传就 ok 了，然后把这样的一个图片给他上传上去，然后这时候的话他会根据你设定的这样的一个呃长框，然后他会先把它做一个截图， 然后你可以看到这默认有一些参数，这参数的话之后有空再讲，然后我们点击这个 simple 就 ok 了，然后他就开始裁，让你发现就是后台，他就啪啪啪啪，然后我们又开始漫长的等待， ok， 经过漫长等待，我们可以看到就是他下面生成了对应的一些图片，那这时候的话，将这些图片再去合成了一这样的一个视频 啊，因为我没有改到默认参数，可能合成效果不太好，但总的逻辑就是这样子的。所以下个视频的话，我再详细讲一讲这种参数应该要怎么设置。

这是一个小姐姐，如何让她穿上圣斗士中的圣衣呢？通过 ai， 你可以将小姐姐的模型与圣衣的模型进行组合， 而掌握组合是学会 ai 绘图的关键钥匙。比如这张模特图片是有符合亚洲审美的人脸模型 加裙子模型加真实照片风格的底膜组合而成。再比如这张网红小姐姐，是由抖音网红模型加黑丝模型加真实照片风格的底膜组合而成。 所以 s d 绘图的一个最基本思路就是将你的需求进行拆分，对应到已有的模型进行组合。但要熟练的运用组合，你需要掌握模型的基础概念。今天我们就介绍最常用的底膜。 nora 底膜又称大模型， 是控制图片整体风格的模型。比如我要绘制一张二次元人物，可以选择二次元风格的底膜，而同样题日词，换一个真实风格的底膜，则会生成真实照片的风格。对于 sd 来说，底膜是必选项，也是我们出图首要考虑的因素。 底膜可以在 c 站下载，这里选择 check point 进行筛选，也可以通过图片左上角的标记来识别模型的类型。点击图片进入底膜，这里可以选择底膜的不同版本，然后点击右侧按钮进行下载，下载位置如下， 卸载完成后点击刷新，可以找到新下载的底膜。至于具体使用哪个底膜，主要在 c 站查看每个底膜的视力图片是否符合自己的需求。后面我会专门做一期视频，给大家推荐一些好用的底膜。而 lora 是微调模型，用于框定更 具体的图片特征，如某个品牌的汽车、某种人物姿势、某个款式的衣服，某个 ip 人物，某种画风等等。多个 lora 常常组合使用，如我要生成人造人，十八号的某个特定姿势则可以组合使用。姿势柔软和十八号柔软。 在 c 站中，通过左上角标签可以识别 lower 模型。 lower 需要下载到本地的这个目录，在 sd 中点击右侧的这个按钮，点击 lower 标签，可以看到本机已下载的所有 lower。 点击刷新可以显示最新下载的 lower。 i lora 的具体使用，则需要在提示词中加入两部分内容，一是 lora 的权重设置，二是该 lora 的触发词权重可以通过点击对应的 lora 进行添加修改这个 数值即可调整权重。我们可以参考 c 站中该 lower 模型的势力图片中权重的设置。而第二部分触发词 在 c 站 lora 的属性中可以找到，我们需要根据自己的需求选择一个或多个触发词，填写到你的提示词中即可触发 lora。 比如我们描述词为一个女孩，现在加入十八号 lora 设置权重， 加入触发词看下效果，这时再加入剪刀手词式的 lora 设置权重， 加入出发词再看一下效果。 ok。 本期内容较多，感谢观看，下一期会继续给大家讲解组合的使用，让大家吃透在约中如何运用组合。