ltx2.3发布时间
大伙好啊，呃，今个呢，说一下这个 ltx 二点三，这个 msr 哈，就是参考图上视频，那么它是由光追大佬啊开发的，呃，一个罗拉和一个工作流，然后呢，呃，也用了一下哈， 呃，这两天呢，也有小伙伴问我这个 msr 的 情况哈，呃，我先说结论啊，就是为什么出来这么长时间我一直没做视频啊，就是我个人使用下来啊，当然是我个人的观点啊，各位，就是 msr 的 这个抽卡率有一点点高 好吗？呃，就是可能得抽几次啊，才能形成一个比较理想的视频，再有一个是什么呢？这个 m s r 哈，对这个， 呃，对这个参考图和这个提示词的要求相对来说高一点点啊，所以呢，因为我个人是玩那个批量的哈，大家都知道我有个批量管理软件哈，就是一次性生成多个视频，那么这个 m s r 哈，对我这个批量操作这一块相对来说就啊不太适合我的应用场景啊，所以一直没做。 小伙伴问了，咱们也说一下这个工作流啊，其实整体这个功能还是挺好的啊，就是参考生视频那一块确实挺好的。那我们先说一下啊，这个工作流啊，各位，主要的点在这里啊， 主要的点在这里，上边这一段就是我们普通的这个 lts 二点三的一阶段啊，一彩的这个工作流，那么 msr 实现啊，主要在这里，第一个啊，它会将我们的参考图啊传入到这个节点当中，然后生成一段类似于参考小视频的， 里边包含各个参考图，最后一个是背景图了，这么一个参考小视频啊，然后呢，垫入到我们这个 icloud 这个节点当中啊，作为引导哈，然后第二步 啊，这个是条件这里哈，将我们这个参考小视频其实就是多张图片好传入，第二个就是当我们生成这个 video latent 这个位置的时候，是吧？在 latent 这个层面哈，将我们的参考图和背景图垫入到这里边去啊，实现哈双向的引导，最后是吧，来控制我们最后的视频生成。 好吧，各位，那么这里边有几个点啊，参考图一和背景图是必须传的，其他几个参考图选传哈，但是呢，大家看啊， 这是我的参考图，这个是我的背景图，那么参考图二，参考图三，参考图四哈，大家选传。好吧，各位，但是最后不管大家传几张图啊，这个点要连好，比如说我就传了参考图一和参考图二，加上背景图，那么我这个一和二和背景那块要连上三和四，就不用连了， 好吧，然后呢，在这个位置，那我参考图一和参考图二以及背景一共传了三张图啊，那么这个位置是吧引导这块我们就写，是吧，三个，大家看这个位置，三个参考图，然后参考图一连到一号这里，参考图二连到二号这里，最后的背景图，注意，背景图一定是最后的啊，传入到三号图片这里。 好吧，大家知道这么个事啊，就是你有几张图，这里边就写几，因为就是为什么一直没做的视频啊，就是每一次我都得调的，我觉得这个 浪费时间，而且很难进行规模化的处理，所以这个视频我一直没做啊，但是从个人的角度，这个功能还是挺全的，好吧，然后呢，大家看啊，他传的参考图啊，尽可能的各位包含你人物的所有信息。那么大家看我这个参考图啊，这也是看了很多博主之后得到的这么一个结论啊，因为之前我上传的参考图就是一个人物的一个全成像，效果不太理想 啊，呃，这样呢，好，好一点了，大家看，首先最左侧是一个人物的一个全视图好吗？那么这个怎么生成的呢？ 呃，很简单啊，大家看啊，我就用这个千万二五幺幺上传一个人物的照片，然后两段提示词，第一个生成人物正面的头部特写，纯白色背景，生成一个人物正面的头部特写哈，然后纯白色背景，好吧，接着 生成人物的三式图，包括正面，背面和侧面啊，纯白色背景风格写一下，然后呢，人物的穿着写一下，因为什么呢？你上传这个参考图有可能没有下半身的描述以及斜的描述，对吧？所以我们把这写一下，生成完两张图片之后，大家看啊，在这里边， 我就得到了一个大头照和一个三式图，然后呢，用这个图像拼接啊，这个节点将图像保存起来，好吧，效果就是这样的， 大家看是吧，一个大头照，一个三十图，那么这是一个人物是吧，其他人物同理哈，大家看这个，其他人物同理，我就得到了两个人物的这个角色图像哈，然后呢，用做参考图一和参考图二，然后呢，我随便找了一个背景啊，就是一个大街，现在呢，我有两张参考图和一个背景图，然后呢，在这里边， 好吧，参考图一，参考图二传进去，背景传进去，那么这边一共是三张图，一二三啊三是背景啊，在这里，好吧， 这样呢，我实现了双线引导，然后在上边设置一下最后视频的宽和高啊，以及生成的总时长十秒钟。 然后呢，各位来到提示词这里啊，这个提示词也要好好写啊，首先我们提示词当中对这几个参考图进行描述，这个我是把它扔到豆包里面进行一下反对啊，比如说参考图一，他的名字叫音乐性别女，然后他的穿着以及长相的描述，参考图二是吧，叫什么？性别是什么？然后呢 对他的外貌进行描述，然后简单参考图三啊，他是场景，然后对场景进行一下简单描述好吗？呃，这样呢，能够让我们后边的题诗词书写啊，就是然后让我们的题诗词被模型理解的时候啊，更容易一些，而且呢 生成的效果相对说好一些啊。最后就是我们对视频的描述啊，比如说写诗风格，镜头啊，环绕怎么啊？镜头怎么运镜？然后呢给到音乐啊，上面因为已经说了参考图一叫音乐，所以在这里边直接写啊， 围绕音乐，然后呢音乐站在大街上，然后对着镜头说啊，然后呢这个如烟啊，从远处走过来啊，对音乐说，好吧，下边啊是对我们生成视频的一个描述，那么上边这一块啊，大家注意啊，就是 每一个参考图啊，都把对应的这个呃解释，也就是参考图的描述啊写在旁边，然后呢他就可以后期通用了啊，也就是这部分提示词实际上是通用的提示词，好吧，每一次用你把它粘过来就行，好吧，重点是下边好吧，视频怎么啊，视频怎么生成？好吧，各位那么最后的效果呢？就是这样了， 好巧啊，你也在这里啊，这是另一个开播啦，干活啦，我想死。呃，我先说一下各位，这个 m s r 啊，它会掉一定的人物相似度啊，就是人物的相似度其实没那么高。人物相似 这个人物的相似度其实是没有啊，就可以说小鱼吧，小鱼这个图声视频啊， 好吧，小于图层视频。而且呢，呃，咋说呢，就是同样有啊，就是这个崩坏的问题同样存在啊，就是人物远景啊，高运动啊，这个情况下是把这个崩坏的概率同样存在好，而且有抽卡率。好吧，各位。呃，但是他的优点是什么呢？各位，这个有一说一啊，就是我们正常生成视频的时候肯定是，比如说首先是提着词 啊，就是纹身视频啊，纹身啊，不是纹身视频，纹身图。第二个，这个图实际上就是我们的关键帧啊， 关键帧，然后再用关键帧啊，就是图，是吧，图生视频对吧，这是我们正常的生成流程，那么 m s r 哈，它是跳过了中间步骤，直接是用我们的 t s 加参考图，因为参考图只生成一次，后边接后边连续使用是吧，所以它就相当于省去了关键帧生成的这个步骤 好吧，直接用文加参考图。参考图啊，因为参考图已经是生成过的，所以不用反复生成啊，这个是参考图好吧，然后呢，送视频，它省掉了中间的步骤哈， 它省掉了中间这个关键帧的步骤直接从文跳到视频，所以呢，它的这个效率应该是高于我们的纹声啊，这个纹声图加图声视频的这个这个流程的好吧，各位，但是呢，也有一点哈，因为本身我们这个 ai 声视频啊，它就存在着一定的不可控性， 对吧？因为上边提着词能控关键帧，关键帧能控视频，相当于多了一层控制，是吧，这个就从我个人的理解，是吧，它更难控了。 好吧，各位，就是视频的控制成本其实更高了哈，所以呢，就是大家可能经常会得到你就是意想不到的，这种视频就造成了这个抽卡率比较高。另外呢，他毕竟是参考生视频，对吧，他不是我们之前的文生啊，图生视频啊啊，这样的人物的相似度啊，会相对来说低一点，对吧？再加上什么呢？各位，其实这个才是重点啊， lts 二点三本身模型能力的问题，对吧，各位，它本身模型相似度不高，然后呢，呃，用这种情况，其实相似度反而有点有些下降啊，但是整个这个参考生视频提高效率这一块，我觉得还是挺好的，这个看个人好吧，各位，看个人的需求。 呃，重点在于我们生成的参考图是吧，要尽可能的把我们要做的事描述清楚。那么第二个工作流是吧，各位， 就是可以自行的上传自己的这个语音啊，大家看啊，这是我自己用这个 omni t t s。 生成的一段语音啊，剧组人员还在逛街，没有任何紧张感。 你好啊，小音乐，好久不见，你好啊，你老公的腿好了吗？呃，其他的都一样啊，就是将这个声音的生成这一块交给我们自己的 t t s， 然后生成好对应的声音在逛街，没有任何紧张感。 你好啊，小音乐，好久不见。你好啊，你老公的腿好了吗？总体上还行哈各位。所以呢，这个还是推荐大家一试的哈。
粉丝971获赞3524
相关视频
01:37查看AI文稿AI文稿如果你对 ai 声视频感兴趣，请先别划走，这个视频将告诉你如何使用本地 ai 工具实现免费且不限量的产出视频。在开始之前，我们先欣赏一下我使用这个工具做的几段视频，大家评价一下效果。 以上就是我使用 software 模型实现的土生视频，它由二零二六年五月初推出，是基于 ltx video 二点三架构进行深度微调的模型。它得益于对硬件配置要求极低， 以及对内容的极高包容度，一经发布变火变全网。当然，它的视频效果不能和极梦这些头部工具比，但它的优势也很明显， 比如本地部署带来的隐私安全，永久免费使用，不用排队，不用买会员充值积分，再怎么抽卡也不心痛。它的上手也很简单，不需要你会代码，也不需要折腾环境，只需要准备好这个模型，放到 comui 的 路径下， 然后在 comui 内选择对应的工作流即可运行。很遗憾的是，为了遵守平台规则，我无法一步步演示。总之，如果你是 ai 视频的爱好者，以及你的显存在八 g 以上，很推荐你部署到本地试一试。如果你不确定你的显卡是否够用，可以参考我的配置。我的显卡是五零六零钛 十六 g 显存，生成一段十秒的七二零分辨率的视频，大概需要七分钟零二十秒。如果你是四零七零、五零七零的显卡， 生成效率会更高。如果你对这一套流程感兴趣，或者实践过程中有任何问题，可以在评论区留言，我看到会第一时间回复。好的，本期视频就到这里，如果你也对爱爱感兴趣，别忘了给我点个关注，谢谢。
78小明测AI
04:39查看AI文稿AI文稿做 ai 视频还在为真人无法上传而烦恼吗？开元界的 t 零级选手来了， ltx 二点三是目前因视频基础模型里的王者。今天我不讲废话，直接分享我深度优化过的三合一工作流，附带提示词，优化助手，傻瓜化操作，小白也能玩。 为了方便大家抄作业，我已经把环境都部署在 running hub 云端平台了，一键就能调用。 先说几个基础避坑参数，无论什么模式，记得先加载一张底图，输入提示词后，文声视频和图声视频只需要一键切换 分辨率，别乱填。竖屏建议一千零八十八乘以一千九百二十横屏反过来，为什么？因为这些数值能被三十二整除，画面可以避免出现伪影或噪点，兼容性更好， 时常建议控制在二十秒以内。虽然他支持多种帧率，但为了效率，强推二十四帧，在四千零九十显卡下，差不多一分钟就能跑完一秒的视频，性价比极高。 第一，内置 l l m 提示词，大脑官方的提示词建议太长记不住，我直接接入了 gemini 三点一 pro 模型做自动化处理。你看这组对比输入亚洲女明星户外舞台唱歌 优化后的版本，无论是画质、物理、动态还是运镜，简直不是一个档次。 第二，字幕终结者，用 ltx 二点三做口播视频，画面经常乱飘。字幕很多人迷信 kg 大 神用 nag 结点加负面提示词，我实测告诉大家，成功概率极低，而且很吃资源， 二十四 g 的 四千零九十都能给你跑爆。显存一键相吸正确解法是什么？直接挂在一个移除字幕的专属完美绝杀， 你想做自己的个人网办吗？不要九九八零成本，成本零个代，一件一件详息。 第三，拒绝音质损耗，中文台词发音不准，直接开启 audio latent 上传本地音频。但这里有个大坑，官方的保存节点会对音频进行重新编码采样，导致音质受损。 我的解法是，删掉默认保存节点，换成 video command 节点，它能把原始无损音频直接和生成的视频进行封装。大家听听这个对比，音质是肉眼可见的降维打击。 第四，自动化处理技巧，三个工作流融在一起，怎么避免反复加载模型导致卡顿？ 秘诀在于用 r g z three 的 any switch 节点替换掉普通的 switch any。 这不仅是名字的区别，而是它实现了惰性求值的运行逻辑，走哪条路才计算哪条路，屏蔽的节点绝对不浪费一丝一毫的显存，这才是真正的效率优化。 最后说点大实话， l t x 二点三作为开源模型，画质、音质升级幺零八零 p 指出都极具诚意，但它完美吗？并不是。遇到大幅度动作依然会肢体错乱。 动态美学上线不如 v e o 三点一 语理解的聪明程度也不及 c d s 二点零。但是开源代表着绝对的创作自由，更代表着性价比。 毕竟不是每个人都能随便烧的起一块钱一秒的闭元大模型。这套诚意满满的三合一工作流，免费分享学习资料，评论区自取！
1593AIGCTV
13:19查看AI文稿AI文稿l t x 二点三呢发布了，这个呢无疑是开源视频生成领域又一个重大的里程碑。二点三比之前的二点零模型呢，它的视频参数从原来的十九 b 提升到了二十二 b， 它可以更好地支持九比十六的竖屏视频。 并且呢拥有更加清晰的声音，更加稳定的图像，到视频的转换，更加智能的提示词的理解， 以及更加清晰的文本渲染。与之前的二点零版本来讲，它最大的问题依然是模型比较臃肿。在开源社区里边，有各种各样的应用方案，帮助视频的创作者用更少的显存， 更短的时间来创作质量更高的视频。那在这个视频当中呢，我们会给大家提供三种方案，大家呢可以根据自己的实际算力情况来选择不同的工作流。为了让大家更加清楚地看到 这三种方案的不同，那我使用了相同的提示词，相同的参考图片以及相同的种子来对三种不同的方案进行统一的测试。 那在这里边呢，也有很多匪夷所思的问题，比方说针对于这个新的模型，即便你是文声视频，你也要提供一张图片。那大家可以看到新版的 l t x two 二点三 这个版本呢，我们提供的模型是比较多的，那首先呢是我们全量的模型，另外呢，我们这有一个蒸馏板的模型， 那蒸馏板主要是为了加快速度，如果你使用蒸馏板的模型，你可以将 c f g 设成一，然后进行八步裁样，就可以得到一个非常棒的效果。那同样呢，它提供了一个 lora， 你 可以使用这个 lora， 那 配合我们的全量模型来达到蒸馏板模型的效果。那剩下的三个模型呢，就是放大模型。 第三个放大模型呢，有两个是进行空间放大，也就是像素的放大，而另外一个呢则是在时间维度上进行放大，也就是我们说的插针。目前的 confui 呢，已经支持了这个模型， 这是 confui 官方发布的一个簿刻，大家呢可以在这个簿刻里边找到工作流的下载地址，那大家呢，可以将你的 confui 更新到最新版。然后呢，我们可以点击 template， 通过下来列表选择对应的模型。可以看到两个工作流，一个是文声视频的， 一个是途胜视频的。那为了方便演示呢，我将工作流也构建到了 running hub。 在 comfy 领域， running hub 是 一个非常棒的在线工作平台，因为只要有新的模型和新的扩展出现，它都会第一时间跟进。 那下边儿呢，我们就先来看一下 comfy 官方提供的 ltx 二点三这个模型的图声视频的工作流。这个工作流的基本结构呢，和 ltx two 是 非常像的，只不过就是个别的参数呢，有一些调整 好。首先呢，我们需要提供一张图片，这个图片呢可以是横屏的，也可以是竖屏的， 但是呢你要注意就是宽和高呢，尽量的能被三十二整除。另外就是它的总真数一定是八的倍数，然后加一。同时在这个工作流当中呢，它也列出了所有模型的下载地址， 并且呢也详细说明了模型下载之后应该放在本地的哪个目录当中，这有一个文声视频和图声视频切换的一个开关，这个非常的重要，这是我们视频的总帧数，那这个呢是分辨率的设置，下边呢是真频的设置，这我设置的是二十四帧每秒。 下面呢我们看一下主模型的加载，大家注意我现在加载的是一个 f p 八的版本，那这个模型呢是由 l t s 官方发布的，大家看一下啊，它将近三十个 g 全量的 l t x 二点三的模型，它的大小呢是四十六个 g， 所以 说我们有理由相信 f p 八的模型呢，并不是通过简单的数据转换得来的。这个模型啊，我们使用消费级的显卡来跑的话呢， 应该还是有一定难度的。那由于这个模型啊，它本身没有蒸馏功能，那为了提升速度，我们使用了官方的这个蒸馏的 lora 权重，我们设置成了零点五。那另外还有一个问题要注意，在加载主模型的时候，并不是使用 default model loader， 而是用的 checkpoint loader， 那 意思就是说这个模型里边除了我们的主模型之外，应该还有其他的内容，那这里边其实是包含视频的 ve， 所以 说呢，我们也需要把它单独的拿出来，那这是我们音频的 ve。 再往下边呢是我们的编码器，第一个编码器我们使用了和二点一一样的编码三，第二个呢则是 l t x 二点三专门的一个编码器。下边呢是我们的放大模型，这里边呢我们使用的是空间放大， 因为大家呢其实目前更在意的还是清晰度的问题，而不是帧率的问题，提示词呢，一定要严格按照我们的参考图片来写， 那这个提示词大致描述了一个炎热的夏天，一个美女呢，正在从他的同伴的手中拿过一瓶矿泉水。那我们的声音设计是这样写的， i need that。 那 提示词经过我们的文本编码器编码之后， 会进到这样一个节点啊，叫 ltxv conditioning。 那 这个节点其实我们在 ltxtwo 里边就已经使用过了，下边呢我们这儿放了一个自定义的彩样器，那这个彩样器呢，我们使用了一个欧拉的变体。再往下边呢是我们的 sigma， 这个是里边比较独特的一个地方，因为它是一个手动的 sigma， 所以 说步数呢是暗藏在这里边的啊，并不需要大家显示地去进行设置，比较重要的就是这个 latent image date 的 image 呢，和我们的参考图片有关。那我们看一下参考图片的处理。首先呢，我们把输入图片进行一个缩放，让它和我们的分辨率保持对齐。那下边的处理流程呢，和 ltx 二是一样的，先把它的宽边 缩放到了幺五三六，然后呢我们进行一个压缩，压缩完之后呢，我们现在需要将它的宽和高进行减半， 因为呢，我们都知道 ltx 的 工作流呢，基本上都是一个两段式的采样，所以说呢，它是先生成原来的一半， 然后再把它放大成你需要的那个分辨率。下边呢就是 latent 的 生成，那对于音频的 latent 呢，就是直接生成一个空的，而对于视频的 latent， 我 们也是先生成一个空的， 但是呢，我们需要将我们的图片注入到这个 latent 当中去，然后将视频和音频的 latent 进行组合，传递到我们的采样器里边进行采样，这个时候呢就会得到我们的基本采样的一个视频， 那这个视频里边的话呢，声音是已经完全生成了，但是视频呢只有原来的一半，所以说呢，我们要进一步放大视频， 那这个时候会用到我们的放大模型，目前的放大模型有两类，一个叫做空间放大，一个叫时间放大。由于我们现在是进行像素的放大，所以说我们使用的是空间放大， 那空间放大也有两个模型，一个呢是一点五倍的放大，一个是两倍放大，那我们这选择的是两倍放大的模型，下面呢我们将视频的 latent 从音频当中给它分离出来，然后进行放大。那放大之后呢，我们需要做一个事情，就是将我们的参考图片再一次注入这个 latent 当中去，让它保证整体人物的一致性。下边呢是我们第二个阶段的采样，那第二个阶段的采样和第一个阶段大致相同，大家注意这样几个地方， 那第一个呢就是我们的彩样器，这个是不太一样的，第二个彩样步数，也就是我们的 sigma 的 设置也是不太一样的。彩样之后我们还是先把音频和视频的 latent 进行分离，原因是因为我们进行解码的时候使用的 ve 呢是不一样的。那最后呢大家会得到最终的一个效果， i need that。 总体上来讲呢质量还是不 错的，这次采药呢，我用的是两分四十秒，那整体的速度呢也是比较快的，那通过这个简单的测试，大家可以看到 l t x two 二点三的模型，相对于二点零版本来讲呢， 在生成速度上其实有了很大的提升，那从生成的质量上，大家也可以看到生成的人物会更加的自然， 声音呢会更加清晰，但是呢还是有些杂音。那大家如果使用这个工作流，最大的问题就是显存的占用，因为这个呢需要将近三十个 g， 那 如果你的显存不太够的话呢，大家可以尝试一下第二个方案。 那第二个方案呢，其实是由 k 神来提供的，大家可以看到它这呢有一个截图，其实是将我们视频里边的 ve 和我们的主模型呢给它分开了， 同时呢对于我们文本编码器的加载呢，也做了一些优化，那大家可以在它的抱抱脸的仓库里边下载到相对应的模型，那主模型它提供的版本比较多，大家注意啊，带蒸馏这个关键字的就是我们所谓的蒸馏模型，速度会更快， 但是模型大小呢不见得会变小，那模型大小呢，主要看一下模型的精度啊，我们这有 b f 幺六的， f p 八的。 那同时呢大家可以发现这里边呢有其他的一些关键字，比方有的叫 skill， 而另外一些叫做 input skill， 那 这有什么不同呢？那大家看一下这个表述呢，相对来说还是更加的专业一些。那你可以简单地这样认为，如果你是四零系或者五零系的显卡， 可以采用 input skill 版本，那如果你是之前的老显卡，你可以直接采用 skill 版本。那下面呢，我们来看一下 kj 的 这版工作流， 主要的区别呢是在主模型的加载上边儿，由于呢，它现在将 ve 给它分离出来了，所以说呢，我们可以直接使用 load deforge model 来加载这个主模型，这儿需要加载的 ve 就 变成了两个。 下边是编码器的加载，这儿呢，我们依然采用了 k j 提供的那个策略，它这儿提供了一个模型叫做 text projection。 大家呢，在加载的时候呢，第二个编码器选择这个就可以了，放大模型呢，没有任何的变化。好，下边呢，我们运行一下，看一下执行的效果， i needed that。 那 我觉得效果呢，其实并不比官方提供的那版要差，但是主模型的大小从原来的二十九个 g 变成了二十三个 g。 下面呢，我们来看一下 g g u f 的 工作流， 那它的区别依然在我们的主模型加载上边，这儿呢，我们加载的是一个 q 四的模型，而且呢使用 kmeans 进行了量化。 那这个模型是从哪儿来的呢？来自于非常著名的 count stack。 那 大家可以在模型列表里边看到非常多的模型啊，比方最小的 q 二 以及 q 八模型，这儿呢，我们选择的是 q 四 kmeans， 它的大小呢，将近十八个 g。 大家呢，可以根据你算力的情况来选择不同的量化模型。那视频和音频的 ve， 我 们依然使用了 k j 的 加载方式。那关于编码器的加载呢，我们使用了 j j u f 的 双编码器加载节点。大家注意啊，我们这儿加载的 该马三的这个模型呢，依然是一个量化版的，那这个模型呢，来自于 dreamfast， 那 由于这个模型呢，它本身体量是比较大的啊，所以说呢，我们建议大家还是选择一个量化版，大家可以看到我们从 q 三啊到 q 八 fast 都有提供，你可以根据自己的算力情况呢，来选择其中的一个。下边呢，我们来看一下最终生成的效果。 i needed that。 大家会发现啊，这个视频呢，由于人物有一个明显的转头的动作，所以说当人物的面部 重新面向镜头的时候，你会发现它的一致性呢，是有一定变化的。我还没有测试这个问题是不是由量化模型造成的，但是总体上来讲，它视频和音频生成的质量呢，还是不错的。 那最后呢，我们来说一下纹身视频，不管是哪个工作流，你要纹身视频的话呢，只需要将这个部分给它切换成处，那它最终影响到的都是这个节点。其实非常容易理解啊，因为它这儿有一个 bypass， 就是到底要不要把我们的参考图片给它注入到我们的 latent 当中去，如果你选成了 false， 那 也就是说你在这个地方不管传一个什么样的图片啊，它都不会影响我们的潜空间， 所以说呢，也不会影响我们的采样。下面呢，我们使用相同的工作流参数再来生成一遍， 我会发现视频的写实性呢，还是非常强的，包括人物喘气的这个声音。但是你会发现新版的 ltx 模型呢，在细节的动作展现上呢，是有一些问题的，比方说拧瓶盖的这个动作， 那你会发现现在瓶子上没有瓶盖啊，但是他依然有拧的这个动作，所以说逻辑上呢，还是需要去优化的。 那这就是我们今天给大家讲到的四种不同的工作流，其实呢属于 ltx 的 最基本的应用，后边我们会给大家展示一些更加有趣的用法。好，今天呢，我们就说这么多，关注我，做一个懂爱的人。
472有趣的80后程序员
28:48查看AI文稿AI文稿这雨不知何时能停， 公子可是无伞避雨，正是不想雨势突及，被困于此， 姑娘这是要归家，这伞公子若不嫌弃，便先用着吧。不可不可，伞雨了，我姑娘你该如何是好？雨夜路滑，万万使不得，公子不必挂怀寒舍就在前面巷口，转个弯便到，这雨我走快些便是， 快拿着，莫要再淋着了。 hello， 大家好，刚才大家看到的短片就是我们用万象 ai 来制作的古装真人短剧的一个案例，那么今天给大家讲的就是用这个来制作真人短剧的一个 教程，然后大家也都知道最近的这个某某啊，这个因为排队很严重啊，那所以说根本没法做一个生产的工具，再加上一个 sora， 它这个因为这个算力，也是因为算力的问题啊，全球都不稳定， 那么在最好的闭源模型受到这样那样的的影响之后，那么我们现在要去做真人短剧，那选择什么样的方案呢？今天给大家带来的就是一个开源模型的一个方案， 我所用到的工具就是万象 ai 啊，在这个里面可以去啊使用这个各种调用这个各种的开源闭源的模型啊，但我们都是支持的。 然后呢，这个玉园的模型呢？这个开元的模型呢？这个纹身图呢，用的的这个？是啊， fiori 的 啊，这个最新的纹身图和角色参考的一个模型，然后图层视频呢，用的是 ltx 二点三啊，这个可以做到音画同步的 啊，这个这个模型啊，那么今天是给大家带来一个完整的教程啊，我会给大家从头到尾的来演示一下啊，怎么来做，主要包括这么几个部分，一个是生成剧本，包括怎么生成剧本，我都给大家说一下啊，在万象里面进行分镜，然后设置模型和算列的来源， 然后第四步生成角色和固定画风，第五个批量纹身图啊，第六一个批量图身视频啊，最后导出到剪映里面去啊，分这么几步，如果大家对这方面感兴趣，可以一键三连关注我，那我们今天的课程就是正式开始 啊，首先我们来生成剧本啊，这个剧本呢，我也是想来测试一下啊，正常情况下你肯定是跟着根据小说啊，根据什么东西来生成剧本？那么呃，我先是用大家比较熟悉的一个工具啊，比如说你用豆包来生成啊，你打开这个豆包，打开豆包之后 把我给给你的这段提示词啊，可以扔进去，帮我生成一个一分钟左右的一个分镜脚本啊，然后呢，什么什么什么的，这样啊，这些大家可以用这个，也可以不用他啊， ok， 他 就给你生成了一个 脚本啊，生成一个脚本，因为正常情况下你要做动漫短剧的话，你应该有这个小说原文啊，如果你有小说原文的话，不需要这么复杂啊，直接点我们的 万象眼里面的创作工具啊，创作工具，把你的小说原版扔进去啊，他就可以去一步一步的引导你去先生成剧本，然后再生成分镜，最后生成脚本。 那么这个地方我为了，为了给大家测试这个案例呢啊，我是给大家独立的去啊，生成了一个剧本啊，你可以按照这个来测试一下，好，他帮你生成，生成完了之后啊，把它下载下来，我的就是一个 macdunk 的 格式的文档 啊，大家看一下我这个让豆包给我生成的他是什么样？他是分镜的，他是直接就是分镜的，他不是小说原文，也不是这个，呃，剧本啊，也不是剧本，如果你是剧本你就扔扔进剧本啊， ok， 这些就相当于我们得到一个原材料 啊，这里面有一些详细的一些东西啊。好，这是我们的啊，输入啊，有这个东西我们去做这个片子。好，第二步呢，肯定是进行分镜啊，分镜，打开分镜的话，打开我们的万象，在创作工具里面啊，有一个开启导演模式啊，开启导演模式啊，我给大家看一下这啊 看创作工具啊，开启导演模式啊，开启导演模式之后啊，开启导演模式之后 啊，这个地方有一个，呃，有几个选项，一个是啊，搜啊，这个是就是五点零版本的，这个十五秒的， 然后通用短剧的，然后解说脚本的，解说脚本不敢玩的，那么就根据你的需要来做，比如说我这个呢，想做的就是一个纹身图，图身视频的，那就选择这个通用短剧啊，这个这个版本 如果你想生成啊，用吉梦或者 solo 这种版本的，那你选择这个，但是呢，目前这两种方案都是因为算力的问题啊，暂时用不了，那我们今天用到的这个东西是用的传统的纹身图和图身视频， 那么用开源模型来替代啊，开源模型来替代，又选了这个，选择完以后啊，选择完以后，那 我刚刚说过了你，你开启导演模式之后，你到底是扔进去小说原文还是剧本还是分镜？那么刚才我说了，我们已经说了，这个我生成的是一个什么，他是一个，呃，分镜啊，分镜。所以说你就直接点到第三步，你把这个分镜扔进去，然后点击下一步啊，点击下一步， 如果你是小说原文，你就从头开始啊，把小说原文原文扔去，因为小说原文很长很大啊，那么你你扔进去之后啊，他给你生成剧本，然后再去生成分镜啊，同时呢，这地方有一个注意的事项啊，就是 啊，你的原文不要超过啊，最好不要超过一万字啊，因为不要不要超过一万字，因为大模型啊，这个去推理的时候他也会啊，这个有上下文的一个限制，你如果说在你的这个里面，他万象报错了， 他有个什么超过四万个字符啊，那么就有可能是你原文太长了，那为什么你是原文不能超过四万字呢？他不是这样的，你小说原文扔进去之后，他生成剧本，他要加一些东西， 你生成分镜，他又要加一些东西，所以到最后的时候他可能超过四万个字符。那么所以说我在你跟你说，你说小说原文啊，最好不要超过一万字 啊。有的同学会说我的小说一，我想把一部小说全部扔进去，这样能能够保证你人物的一致性啊，保证人物的一致性不在这里保证啊，我们在后面会给大家讲如何来保证人物的一致性， 好吧， ok， 那 所以说你的成品，你的这个原材料是什么，你就扔什么，你是小蒜原味，就扔小蒜原味是剧本，就是扔成剧本是分镜就扔分镜，我这个地方因为是分镜啊，直接把这个扔到第三步，点击下一步啊，点击下一步他深层分镜脚本啊，点击深层分镜脚本， 深层分解完了之后啊，你就新建一个啊，新建一个任务啊，新建任务，新建任务完了之后啊，就来到了我们的这个视频原创这一个啊，来到这来，你来这之后你肯定没有图片，也没有视频啊，但是呢他会的提示词，纹身图的提示词和视频的提示词都是给你弄好了的啊，都是弄好了的， 那么这就是我们的这个第几步了啊？第第二步。那么然后呢，就第三步，你要去设置模型和算力的来源啊，设置模型和算力的来源啊，我打开这个软件里面给大家看一点啊 啊，我们打开以后你可以去选择云端引擎，这个云端引擎就是指你的算力的来源，大家可以看一下，我们这里面是支持很多很多的这个算力的来源。前面的四个一二三四就是用到的是开源模型 啊，我们今天讲的就是用的前面四个当中当中的一个啊，后面的这些呢，不是开源模型，全部是币源模型。币源模型是通过什么来去？呃，消耗算力呢？ 如果是即梦的，包括这种即梦支配的啊，它是消耗的你自己账号的积分啊，一定要听我清说清楚啊， 如果后面标了这个价格的，就表示是调用的我们的这个啊， g p d 的 算力啊，就是我们网站，我们这个平台给大家提供的这个算力，它是按照一次，比如说你这个要像用香蕉称图，那么就一次一毛钱，一次两毛钱， 他这这个地方是通过网站上去充值啊，统一去充值啊，如果说你选择的是极梦之配，就表示是啊，用的你账号，你集你自己极梦账号的积分啊，大家要注意啊，这个前面呢是表示你云端引擎的纹身图的来源， 后面呢就表示你生成视频的一个模型啊，视频模型我们有怎么用？哪些给可以给大家看一下啊？开源模型有最新的 ltx 二点三闭源啊，那个还有二点三，万象二点二啊，万象二点二，万象二点一，等等啊这些，那么闭源模型呢，有哪些有维度 啊？有 groot， 有 veo， 有 sora 啊，有吉梦，也就说啊， 国内啊，制作动漫短剧啊，最先进的开源模型，闭源模型我们这个软件他都是支持的啊，都是支持的，只是我刚才给大家说的这个原因啊，有些闭源模型现在受算力的影响，受一些其他因素的影响，用不了，那么所以说今天给大家讲的就是用开源模型， 那么所以说我用的的这个平台是 rolling hub 啊，给大家提供的这个，呃，算力啊，提供算力，那么纹身图啊，这个地方我选择，呃，算力来源，我给大家说清楚了啊，算力来源说清楚了，而且同时呢我给大家发布了一个图身视频的这个工作流，这个工作流呢啊，就是这就是这个工作流 啊，但是啊，你在万象里面用的时候，你不需要去知道这个工作流啊，它具体是什么样子的啊，待会如果大家感兴趣我也会给大家讲啊，这个 ltx 二点三这个工作流的具体情况，但是呢，你你你在使用的时候啊，你只需要知道我这个工作流的 id， 把这个 id 填到我们的这个 软件里面啊，就可以了啊，是是这个， 但是这是图生视频啊，纹身图，因为我们纹身图，待会我给大家讲，纹身图里有很多种途径，我们只是想给大家讲图生视频的 纹身图呢，你当然也可以用专利哈伯来做啊，也是没有任何问题的，因为纹身图我以前讲过了，我在基础教程里面讲过很多次了，那么所以说纹身图不是重点，因为纹身图有很多种渠道，用极梦啊，用开元模型啊，用香蕉啊，都可以去做，都可以做得很好，那么今天讲的重点是这个图生视频，所以说我也给大家做了这个图生视频的工作流 啊，你可以打开这个工作流就行了，当然你你自己去使用，你点一下啊，就可以打开这个工作流去，去测试啊，去使用啊，去使用，金城已在我的掌控之中，来测试啊，来测试，可以，这是可以的，但是呢，我们去使用的时候不是让你去啊，直接直接通过荣耀 app 网站去使用，我们是通过万象 a 里面去 设置好刷脸来源啊，怎么设置啊，怎么设置打开啊，这个软件设置啊，软件设置在这个 gpt 平台里面去选择啊， ruby hello 啊， ruby hello 的 hello， 选中以后啊，把你的你的密钥填进去啊，这个呢，我开始以前跟他说过了啊，你要开通了这个呃，六十九以上的会员，你才可以有这个 ipad key， 才可以通过 ipad 的 方式去调用罗尼哈姆这个平台，然后把这个 id 填到这来， 填这个 id 填到这来。如果你要去纹身图啊，你要填纹身图的 id， 那 么我这个 id 呢？我今天这个 id 呢是图声视频的 id， 你 就把这个图声视频这个 id 填到这来，填这来， 你在哪一步，你就选择哪一步的算力的啊，哪一步算力的平台和哪一步的 id 啊？如果说，如，如果说你是纹身图啊，那我我们纹身图的也有这个 id 哈，我以前的时候给大家讲过，到时候我会把这个纹身图的 id 啊填到这来， 我就跟大家，我就跟大家放了在一起啊，放到一起，到时候你你如果是纹身图你就用，你就把这个，因为前面的密钥是一样的，你只是把那个 id 要改一下啊， id 要改一下。如果是图层视频，如果想用我们这个 ltx 三点二点三的，那么就是这个 id 啊，就是我给你做好的 啊，因为同学会说我自己能不能去做这样的工作流呢啊，也是可以的，我们这个 run 这个，这个， 我们也是支持自配工作流啊，但是呢，这个东西需要你对康菲埃有一点的基础啊，有一点点基础，其实这个基础啊，也不需要太复杂，就是你在普通的工作流的这个提示词那个地方啊，提示词那个地方 的最前面加上一个词叫正面词啊，正面词，那么加上这一个东西之后是目的是干啥？我跟大家解释一下， 因为我们万象和 roundelhop 链接以后，你是需要把你生成的这个分镜脚本里面的这个视频提示词传给这个平台， 传给平台，然后一个一个的传给平台，那么你提示词传给谁啊？传给谁，那么软件就做了一个设置，哪一个节点里面如果有这个正面提示词，它就进行一个配对， 配对，那么所以说到时候啊，到时候你在这个啊，你这个分镜脚板里面的这个视频提示词就会通过那个节点传到啊，传到 ronnie harper 这个平台啊，通过 api 的 方式去生成视频， 这就是它这个一个原理啊，这就是它这个原理。当然这只是传提示词，我们的图片也会传过去啊，图片它是自动的传过去，不需要你去人为去改什么，当然我们的音频也是可以传过去 啊，当然我们的这个其他东西也是可以传过去，但是传过去这两者之间一定要注意，他是有一个参数的要设置的。 那么最简单的就是这个啊，图片啊，就是这个提示词的设置啊，在你的你哪个节点里面需要去接收，你万象里面他传提示词的，那你就哪个哪个节点前面就要加上正面词啊，加上正面词。 这就是啊，我以前给大家讲啊，以前的时候没给大家讲那么清楚啊，没给大家讲那么清楚，是因为我觉得有些有些事情啊，不需要大家了解那么多，大家只需要学会使用就可以了。 好， ok， 那 么第三一步，设置模型和算力来源，我相当于是给大家讲了会多一多了一点点，但是呢，这是也是经常啊遇到啊，刚用我们这个软件的同学会遇到的问题啊，这个地方我再给大家讲一讲啊， 这四个啊，前面这四个是开源模型的啊，开源模型，那它之间的一个区别啊，区别。第一个万象 ai， 这个它用的就是啊，我们这个平台给大家提供的，它也是按照按秒计费，这个呢，你就不需要去部署啊，云端镜像。 第二个呢就表示啊，要用仙宫云，你要去部署云端镜像啊，部署完云端镜像之后才可以使用啊，让它给你提供室内来源。 第三一个呢，就是你自己提供的呃，工作流，比如说你本地电脑配置比较高，那么你就可以选择这种方式啊，你本地电脑，比如说四零九零、五零九零的显卡，那么你就可以选择这种方式。第四一个就是 runnyhab 给你提供工作流 啊，其他的就是毕业模型了，那么我我们一次深图或者一次深视频，你的算力来源肯定只选一个，对不对？你选了这个 先公允，你就不会去选择 roundinhabib， 你 选择了 roundinhabib 就 不不需要去部署，先公允，对吧？这次你算进来源只需要有一个就可以了， ok， 这个地方我说了有稍微多一点啊， ok。 第四一步就是深层角色和然后去固定的这个画风啊，固定画风。那么深层角色固定画风，我们首先是固定画风啊，固定画风， 那么你在这个小说剧本和小说原味的时候，你看我在豆包里面，他就让我就让他给我生成了这个画风。是什么？ 让他给我生成了啊？比如说我让他给你生成整个这个片子的画风是什么啊？就是这个啊，是这个，如果说你没有去固定画风，那么你肯定会变来变去，那么生成这个画风之后把它粘贴到哪里啊？粘贴到我们的软件设置啊，软件设置 啊，软件设置。自己写正反提示词，就是在这个图片风格里面选择自己写正反提示词，然后把你这个这个风格提示词进行固定啊，把风格提示词进行固定， 固定到这个地方来，比如说我是古装真人的，那你可以参考我的啊，参考我的，这是正提示词反提示词啊，那就是你你的提示词里面有字幕，有水印，有中文啊，这些都是反提示词。 然后呢一个图片的长度和图片的高度啊，这些呢是针对什么呢？针对于啊，有些模型它起作用，你针对币源模型啊，针对有些东西它是不起作用的啊，这个呢它主要是针对啊，仙宫云上面的啊，仙宫云上面的默认的啊 comf 它是起作用的， 你要生成横屏，你就选择横屏的一个比例，你要是竖屏就选择竖屏的一个比例，对吧？ ok， 这些选你选择完来那个这个来源之后啊，来源之后 啊，然后呢你就可以去生成角色了啊，生成角色，点击设置角色啊，点击设置角色，点击设置完角色，点击设置角色之后啊，这一个全局 啊，全区的话，如果说你有算力来源，你可以点击生成全部参考图啊，那么他就后面的人物的这个场景的，他都会给你生成。 如果说你不想啊，全部去生成，那么你想一个一个去生成，那么你可以去点击啊生成参考图，但是啊，这个是前提条件，你的就是你的云端引擎啊，那些全部配好了之后，你这个地方才去点，去点击生成参考图啊，点击生成参考图。 好， ok， 那 我因为，因为我就是做测试嘛，我就只给大家生成的这个两个主要的人物啊，两个主要人物， 呃，而且这两个主要人物呢？我给大家说一下，我也不是用的这个开源模型去生成的，因为像这样的重要的这个，呃工具啊，重要的东西呢，我就用闭源模型去生成啊，我用的什么呢？我用的就是 rony hauber 的 这个无线画布啊，无线画布 啊，无线画布。我上，我上面有一次课专门给大家讲啊，去生成一个这个啊，怎么去使用无线画布？其实很简单啊， 你在上面点，呃，先去生成一张图片，你这个图片你可以用任意的这个模型去生成，对吧？你只要用用用，用一张任意的这个，因为我们最开始的时候已经给大家固定的这个角色提示词啊，已经有了，如果你没有，你肯定是让大圆模型给你推 啊。而同时呢，我们万象里面本身也有这个提示词，看没有也有这个提示词，他推理完成之后，本身这里面也有这个提示词，有人物的提示词 啊，你把这个人物的提示词再加上这个风格的提示词，这两个组合以后啊交给任意的这个大元模型啊，交给任意的啊，交给任意的这个闭元模型，让他给你生成一个好一点的啊，好一点的这个人物啊，人物 生成完人物之后啊，来到我们的无线画布，你把这个人物传进去，我们要去生成人物的多视角啊，生成人物的多视角啊，为什么要生成人物的多视角？ 生成人物的多视角是为了你在生成图片的时候啊，因为我生成图片的时候，我，我用的是吉梦啊，我想他生成图片吗？让他 这个质量稍微高一点啊，质量稍微高一点，那么你要想生成高一点儿，你就可以去生成这种多视角的，大家一定要注意生成多视角的这个参考图，它只有最顶尖的模型能够识别啊，人最顶尖的闭源模型，那么目前能够最顶尖的闭源模型哪些能够识别呢？即梦、 sora， 然后这个维度啊，包括可灵这些最顶尖的这个闭元模型，它是能够识别的啊，你开元模型啊，他是不要去，不要去用这种多视角的，如果你是开元模型，你的参考图就是一个正面图就可以了 啊，那么我是这里方式给大家展示，用无线画布去生成啊。人物的多视角啊，怎么去生成？你上传一张图片，点右键上传一张图片啊，比如说你上传这个图片， 上传完图片之后啊，你这个点个加号出来，去生成一个图片，就是图生图，在图生图的下面啊，去给他描述一个提示词啊，这个提示词怎么写的？来我给大家看一下啊，其实很简单啊，为我生成人物的角色设定啊，生成四四图， 四图呢？包括哪些呢？人面，正人，人脸的特写，正面，侧面，背面，然后保持人物跟服装的一致性。下面这个是什么呢？下面是我们刚才给大家提到的，就是你的画风， 你为了保持所有地方的画风统一，那么你在生成角色的时候，你生成图片的时候，你都会把这个提示词，把这个把你的这个风格的提示词要进行固定，然后完了之后他就给你生成这样的啊，这个角色图，人设图 啊，这也就也就是用到的工具啊，用的工具就是我们呃，万象里面的这个无线画啊，这个王力哈布里面的无线画布，无线画布怎么做啊？怎么使用？我上次有一课专门给大家讲了，但是我们去生成这个 啊，生成这个人设图啊，没有那么复杂，你就是像我刚才讲的你，你生成一个图片啊，然后把这个去生成试试图啊，就可以了 啊，这个地方我也截了图啊，方式啊，大家也可以啊，自己参考这个啊，参考这个。生成完这个角色图之后啊，我完了之后，我们把它这个图片下载下来啊，点击以后啊，点击以后有个下载，下载到本地之后啊，我们可以在这个我们万象里面把你的角色 添加进去啊，把你的角色添加进去，点击添加参考图，把角色添加进去，我们添加进去之后啊，添加进去之后啊，这样子的话就能够去固定啊，我们现在通过这一类这一步，这一步非常非常的关键啊，先是固定画风，然后是固定角色啊，固定角色 啊，再然后啊，再然后。有的同学会说啊，你这个极梦的这个怎么去获取你的账号的呢？那个什么东西啊？这里面我也给大家介绍了一下，就是你打开你极梦的官网啊，按住 f 十二， 然后找到你的这个应用程序啊，找到这个 cookie 啊，找到 cookie， 找到你的 ssnid 啊，然后把这个 id 呢填到我们万象里面的软件设置啊，吉梦的密钥啊，填进去，填进去之后啊，你就擦掉就可以了啊，你就不用管了。有的同学会说，你擦掉之后下一次还是打开我们还是这个 还是 gpt 啊，不影响啊，不影响，你只要把它保存过一次，它默认就保存在后台了，你下一次它会自动调用的，所以说你不用去管它它有没有保存，有没有保存上，你不用管它 看没有，你只要保存过一次，保存过一次他就可以用了啊，你就把它擦掉就行了，他就保存在我们万象软件里面呢，包括你下一次以后打开也不需要再去设置了啊，我都会去调用你的吉梦的那个账号的积分。 然后呢？这这一步生成完成之后啊，我们下一步第五一步就是去做批量的纹身图了啊，批量的纹身图之前啊啊， 在做平面的纹身图之前，我们把云端引擎改一下，改成极梦啊，五点零看，没有我们，我所以说你这个云端引擎是非常重要的，这个是决定了你的算力来源啊，算力的来源啊，比如说我们要去生成一张图，那我们生成一张图，你就点击 我们先生成一张啊，随便生成哪一张，我们比如说我们先生成第一个分镜的第一张图，点击重新绘图啊，重新绘图，那么这个时候呢，他就会把，呃，我们这个软件就会把几个东西传给啊，官方传给哪几个东西呢？第一个我们设置的这个 正提示词会传给官方啊，正提示词会传给官方网站。第二个呢，你的角色的这个图片会传给官方啊，然后呢？你 啊，然后这这两个东西会传给官方网站，然后通过官方网站去绘图啊，所以说他是扣的你的是吉梦 你自己账号里面的积分，你通过你的运行日记里面啊，也是能够看见的啊，也是能够看见的，他是通过这个东西把他发送到了，发送到啊你的吉梦的官方账号里面去生成，看到没有？ 他是放到你的基本官方账号里面去生成，生成完了之后也会在你的资产里面啊，也是会在看一下，也是会在你的资产里面啊，这就是刚刚生成的，他如果生成完成之后，他是自动的啊，自动的他会下载到我们本地来啊，下载到我们本地来，不用你去操作啊，这就是因为这样的原因，他能够实现批量化。 我们都知道吉梦他他一次性给你生成的是四张图片，那么你就可以去选择啊，选择你点，点击一下啊，你点中，点中哪个啊，你相当于是最后我就用哪个啊，所以说他给了一个选择啊，如果你吉梦生成多张的时候啊，你就选择其中一个 啊，选择其中一个，比如说啊，他生成好了，另外还给大家提一下，如果说啊，你觉得这个东西他生成的也不好，那么你还可以点右键啊，从外面去导入图片啊，从外面去导入这个图片，包括你你其他的图片，你导入的图片 啊，你去可以去导入图片。好，然后呢？然后呢？还可以去批量导入啊，批量导入， 批量导入，我们添加图片呢，是可以把图片添加进来啊，大家注意了，有一个添加图片，有个导入图片添加图片，它是单张单张的啊，它是比如说这张， 比如说我们添加这张啊，它就是单张单张的，如果你是导入图片，它就导入整个文件夹，看没有，它是让你去选择文件夹啊，选择文件夹，所以说这两字是有区别的 啊，你如果想批量导入，导入文件夹是导入，如果你是单张单张的，你就是添加啊，添加，然后，然后呢？这个是批量纹身图，假设你批量纹身图都生成好了之后啊，生成好了之后，然后你再把它切换回来，切换到 runninghab 的 工作流 啊，然后呢，就点击啊，点击制作动画啊，点击制作动画，那么这个时候啊，它就会调用啊 ronnyhab 的 算力去制作视频啊，制作视频，那我们怎么来证明这件事情呢？你可以打开你的 ronnyhab 的 这个后台啊，打开你 ronnyhab 的 这个后台 啊，你可以看到啊，比如说点开你的 a p i 点，点开你的 a p i 的 调用啊，调用记录看没有，这里面就会用到了，正在运行当中啊，正在运行当中啊，它就正在运行， 或者哈，或者你打开任意的一个工作流，在你的画布的右侧有一个任务列表啊，任务列表，你把右上角的这个 api 的 任务你勾选上啊，勾选上也看，也能够看到它生成的一个进度啊，也能够看到它生成的一个进度啊，看没有也能够看到它的一个生成进度 啊，这是它生成的进度，你可以取消啊，你可以取消，你可以在网站上把它取消。通过这个案例呢，我们就能够看到啊，我们是通过万象里面发起，然后去调用 ronnie hauberg 的 这个 ipad 的 任务去实现啊，生成视频啊，生成视频 啊，然后呢，如果这个能跑通，这个单个能跑通之后，你再点击啊右上上面这个批量动画啊，批量动画啊，然后批量动画，批量动画完了之后啊，就是相当于我们就可以我们就不管了，他就完成批量的去做这个事情 啊，整个生成完成之后啊，整个生成完成之后，所有的东西都在你的本地啊，本地 打开这个工程文件啊，打开工程文件，你可能看到你生成的所有的项目都是在你的这个本地的文件夹里面啊，本地的文件夹里面包括图片，包括视频啊，包括视频都是在你本地的文件夹里面 啊，然后呢，你就点击右上角这个啊，啊，右上角有一个导入剪映啊，导入剪映，然后合成视频啊，导入剪映，合成视频，然后啊，那么你在剪映你的剪，打开你的剪映草稿里面，你就会看到你的那个项目了啊，看到你的项目了，那么这这个呢？就是啊整个的 这一个啊，整个这一个啊，流程啊，整个流程和用法啊，用法这个和结合我前面讲的啊，结合前面讲的，大家应该能够啊，能够做出来啊，能够做出来， 那么所以说我今天讲的这个方案呢，是去替代，当然你的效果呢，肯定是不能够完全跟这个闭元模型媲美的， 毕竟目前地表最强的还是啊叉叉梦二啊，这个确实他很强，但是呢很也受制于很多的一个限制条件， 那么所以说今天给大家带来这样的一个方案，大家如果对这方面感兴趣，可以一键三连关注在评论区来获取我们这个软件和这个教程啊，这就是今天的一个整体的一个情况介绍啊，谢谢大家的观看啊，拜拜。
670Ai随风
00:435月25日大神手搓工作流更新 1.LTX2.3+PromptRelay分镜设计，解决AI短剧节奏控制难题
2.角色分镜一键生成
#comfyui #AI视频 #comfyui工作流 #ai短剧 #AIGC查看AI文稿AI文稿五月二十五日大神手搓工作流，做 ai 视频最怕的就是节奏控制不好。第一个， ai 拆解短句，独立分镜工作流，直接解决这个烦恼。工作流，我已经跑通了，你只需抄作业就好了。在这里拖入三张分镜图，这个位置调整每张图片的时间节奏，写上提示词，点击运行 整个短剧，连续长视频就出来了，视频的节奏控制的非常好，制作 ai 短剧宝子的福音，想试试的朋友六七八。第二个，在这里拖入一张角色照，工作流就能自动接管一切反推提示词，点击运行，角色的分镜头就出来了，多个角度和特写场景的 适配度使用率高达百分之九十九。工作流支持 n f w 这两个工作流，不管你是想生成 ai 慢剧、 ai 真人短剧，还是 ai 动画，通通都适配，没有的朋友六七八试试。
70-AIGC教程
12:53663有趣的80后程序员
06:20查看AI文稿AI文稿大家好，这期呢给大家介绍一下招 ai 一 尺啊，这个模型呢是京东发布的一款模型，那么它这个模型并不是说京东自研发， 是基于 lts 二十三正流来的，我先说一下它这个模型的特点，大家可以看到它这里面提到的标题，开创长视频生成的崭新境界，也就是说它这个模型更强调的是对于长镜头的一个 生成，最高呢可以支持到五分钟啊，相对于普通的短视频模型，重点是解决了在生成过程中长视频的角色漂移，还有它的声音的变化，以及镜头的割裂，还有推理的一个耗时，它这里面提到增加了七点五倍的推理速度， 并且呢并没有牺牲太大的质量。相对于 lts 二点三的基础模型，他会把前面的镜头记忆传到后续的镜头，这就是他的一个实现方式啊。目前呢，这个模型并没有开原图上视频，所以说没有办法做角色参考， 当然呢也是有一些缺点的，比如他说话的内容经常和我们预设的是不一样的，而且呢还经常出现他声音和内容不同步的一个情况。我们首先看一下他模型的下载啊，是在这个地方， 那么我们首先呢是需要安装一个插件啊，就是这个插件啊，用字母大佬给他封装到了 com， 需要安装一下，然后呢他的模型的架构也会在这里面指出来了，到时候呢我会把这个模型整理一下啊，大家直接下载就可以使用了。 那他这个模型对于显卡的要求呢，也是非常高的啊，所以说如果你的显卡不太好的话，大家可以尝试一下使用 wifi 这个平台， 这里面的工作流模型都是非常全的，也不需要你去担心环境的问题，用起来非常方便，而且呢每天登录都会送一定的免费积分，到时候我也会把这工作流上传上来，大家可以直接使用就可以了。 让我们看一下他的工作流上传，这边呢是他的 clip 的 上传， 这里面是他对于克里普题词的一个处理，我们直接使用这边的题词处理就可以了啊，等一下我们再具体讲一下他的题词的结构，这里面是他的模型加载啊，模型加载完之后，这是他的彩样的部分， 彩样的部分有宽高、他的种子，还有他的总帧率啊，这是他的一些设置。然后这里面还有一个创建视频的一些帧率啊啊，这里面模型加载还有 ve 两个 ve， 一个是声音的，一个是视频的。这里面是他的两个 clip 啊， 这是它的一个具体结构，那么主要的其实就是我们对于提示词的一个处理啊，首先它是支持多镜头，那么这个多镜头其实就是通过提示词来实现的啊，那么它这个提示词支持普通提示词，也支持 jason 结构，并且呢作者也给出了一些预设， 我们看一下啊，就是这个路径，在这个插件的目录下有一个叫 a i h， 然后有个胞密词，就是这几个，这插件作者给了几个预设，大家可以直接把这个路径添上来也可以啊，这里边有一个值是需要注意的哈，就是这个这两个值，我给大家在这写了一下啊， 如果是说你的显存大于二十四 g， 你 就可以把这个设置一下啊，大于等于一， 那如果说你的显示低于二十四 g 的 话，你就需要把这关闭，关闭之后呢，上面这个页也就失效了啊，根据你的显卡来设置就可以了。还有一个位置就是他这个啊，总帧数不要超过二百四十二帧，如果超过的话，他就可能会崩啊，这就是他的两个情况。 主要的话我们看一下他的提示词，这个提示词呢我使用了千万三点五，首先这里面给他他一个结构，结构最下面可以看一下他给他两个样式是这样的， 这是一段，也就是这一部分呢，它是属于一个镜头，下面这一部分呢属于一个镜头，那如果你是需要输入文字的话，是需要以这个内容为开始啊，就是 这个斜杠冒号为开始。然后呢以这边这个斜杠冒号为结束啊，这就是他的说话的内容。这里面如果是不同的人物，可以给他这里面设置啊，这个 ida 是 一个人物， 这里面只是有 ida， 那 么如果是说你有多个人物的话，你可以设置 idb 啊，就是另外一个人物，这是他设置人物的一个方式， 那么这个题的词是使于使用于预设，这里面有两组镜头，所以说我们在这里面输入文本的话，也是需要两个场景， 分别是需要输入他的内容，这是他的主要内容，还有他说话的内容，都可以通过这设定。然后这是他的镜头啊，这是他的背景以及他的 音乐啊，或者是说背景音，直接设置成两个就可以了，那么如果你单个的话，你就可以直接把这部分删掉啊，记得把这个逗号也删掉啊，这是单个的话，把这个也删掉也可以了。那如果你是说想要三个的话，你也可以直接在这加 把这一部分复制上来，然后呢在这粘贴一下，可以看一下，他就成了三段了，然后你直接在这输入场景三，场景三的什么内容就可以了，根据你的实际情况来调整就行了，其他的不需要动啊，都是已经预设好了， 那么他做完之后呢，就可以算成这种的样式了啊，首先提着词 ida， 然后说话的内容 是第二个镜头说话的内容，然后呢经过一系列的预算，那么如果是说将题个词解码之后，他是这种格式的啊， 这些呢，大家不需要去管啊，这是正常的情况。解码之后呢，文本再传入到这里面去采样，然后呢最后生成视频啊，这就是整个的一个流程，我们看一下出来的效果啊， 这是作者预设的一个文本。 now this is how a morning is supposed to start open road， clean air and enough space to really well shoot if you were gonna go tearing up the highway this pretty you could at least invited me fer invite you mater you usually show up before the idea does that is called talent 啊，这一共是十五秒，然后有十五个镜头的切换啊，这就是出来的一个效果啊，大家可以去自己玩一下啊。这期视频就介绍到这里，一箭三连，下期再见。
64遇见AI
08:52查看AI文稿AI文稿你现在看到的这些视频全都是四零九零显卡运行 ltx 二点三大模型生成的。 你可曾在雪山上救过一只狐狸？你是那只白狐，我是那只酱板鸭的妹妹。 女士们，先生们，今天做客的嘉宾是当红榨子鸡、小龙虾。 现在我们来看一下 lts 二点三到底升级了哪些地方。第一，依旧开源，配合四零九零显卡就可以尽情的在自己的电脑上运行它。 第二，大幅度的提高了九比十六竖版视频的生成质量，因为我们的手机屏幕是九比十六竖版，所以对移动端的视频更加友好。 第三，画面更清晰，台词配音更准确，配乐和音效更好听。第四，更懂你写的提示词，无论你写的提示词多么的复杂，它都懂你。第五，视频文本渲染更准确。比如你想生成一个 logo 的 视频，它就能准确地把 logo 的 字母写到视频里。 comfui 第一时间就对 lts 二点三进行了支持。现在呢，我就带大家去搭建一下 lts 二点三的 comfui 工作流。在 runnyhub， 我 搭建了四个与 ltx 二点三相关的工作流，我们一个一个的来，先看第一个， 点击运行工作流，你就可以跟着我学起来了。整个工作流你看起来很复杂，但其实需要你配置的参数很少。 首先你要看这个节点，是个开关，开启表示纹身视频，关闭表示涂声视频很明显现在是开启状态，也就是纹身视频 现在来到工作流的左上角，其中 log in mid 节点我们不用管，因为现在选择的是纹身视频模式，我们只要看提示词就可以了。我在这里写的是标志性的电影制片厂的厂头，以航拍镜头扫过雄伟的雪山峰顶，刺破棉絮般的云层，开始 时值黄昏，天空渲染着身子与金色渐变等等等等。这里有一个站位符叫做 replace name， 我 用 test replace 节点负责把这个站位符找到，然后在下面输入你的电影工作室的名字，比如我写的是 emw studio test replace 节点就会把这个站位符替换成你输入的工作室名字了。 下面就是一些常规参数的设置了， length 表示视频总帧数，现在我们设置的视频帧率是二十四帧每秒，然后根据这个公式，总帧数等于二十四乘以秒数加一。因此我想生成八秒的视频，带入公式就能得到幺九三。 一般支持生成十秒以内的视频啊。当然，如果你的显存足够的大，你也可以尝试十五秒时长。 vs 和 hit 表示生成视频的宽和高， 其他参数不用动，包括模型加载，你就用默认的配置就可以了。点击运行，等待两分钟，你就能得到一段运镜效果还不错的 logo 展示视频了。 第二个 ltx 二点三，生成电影公司厂标视频工作流，其中文声视频开关，这里选择的是关闭状态，也就是说这是一个图声视频工作流。那么此时在 lud 编辑节点上传视频的手帧画面，作为视频的开头， 我设计了一款我们工作室的厂标，我直接上传到了这里，然后输入提示词，中景构图，开场画面精准呈现。这张金色厂标， 橘色短毛毛，穿着灰色针织衫，端坐中央，神情威严镇定啊等等等等，写的很详细，其他的参数跟刚才介绍的一模一样，我就没有改，直接点击生成，等待一会你就能得到一段特效相当不错的电影公司厂标视频了。 到这里你有没有发现我写的提示词都很复杂，因为 ltx 二点三这个模型对提示词的要求很严格，你写的提示词需要包含以下几点，生成出来的视频的效果才会好。第一，需要确定镜头的构图， 最好是使用电影术语进行描述你想要的风格。第二，描述视频氛围，比如视频光线、色彩风格以及你要表达的情感。 第三描述动作，将主角的动作按照时间顺序写出来，尽量的自然流畅。第四，确定运镜，说清楚镜头何时切换，包括镜头移动后的主角状态。 第五描述配音，请使用清晰的文案，描述出视频的环境，音、音乐、音频以及主角对话。对于主角对话，请将台词放在引号内，并注明你希望主角要使用的中文还是英文以及其他语言，还有口音等等等等。 讲了这么多，我相信大家已经蒙了，没关系，接下来我就来讲如何在康复 ui 中使用千万三点五来帮你写 ltx 二点三的提示词。现在来看第三个工作流， ltx 二点三配合千万三点五生成宠物播客视频。 整个工作流我只做了一处改变，就是把原来负责写提示词的节点直接删掉了，取而代之的是添加了一个千万三点五大模型节点。 首先我把 ltx 二点三大模型的提示词拷写规则给到了它，然后呢，我只需要把我想生成的剧情用大白话跟它讲一下就可以了，你看，我就是这么写的， 我想生成一个八秒时长的呃，具有皮克斯动画风格的宠物播客视频主持人是一个柯基犬，嘉宾是一个小龙虾。主持人先面对镜头介绍本期来的嘉宾 ladies and gentlemen， 今天做客的嘉宾是当哄炸子鸡小龙虾 现在确实很火啊小龙虾。然后镜头转到可爱的 q 版红色小龙虾，小龙虾面对镜头腼腆的微笑，示意你给我生成出中文提示词，只要最终的提示词结果到这里，大白话就说完了。 然后你看一下经过千万三点五处理之后给你写的标准提示词版本，尤其你来看一下他写的这个运镜镜头脚本，那叫一个专业，是不是写的特别的好，根本就不用再愁怎么去写好 ltx 二点三的提示词了， 其他的都不要动。你来看一下视频效果是不是特别的 q， 特别的可爱。 然后我们来看一下第四个工作流，使用 ltx 二点三配合千万三点五生成武打电影视频。在这里我把纹身视频的开关关掉了，然后在 log 隐秘之节点上传了一张武侠电影的配图。 紧接着我跟千万三点五说，将输入的图片作为起始帧，生成一个八秒的武侠电影片段。 男主和女主的口音是经典的武侠片里的中文配音，那种感觉。女主问，你可曾在雪山上救过一只狐狸？男主回复你是那只狐狸。 此时女主掏出一只特别大的酱板鸭指向男主，然后生气的回复道，我是那只酱板鸭的妹妹。 之后千万三点五就会把你的大白话写成一个很详细且符合 ltx 二点三大模型规则的提示词。再次感叹一下，写的是真好这个提示词，然后你再等个两分钟，就会得到一段对话效果特别棒的武打电影片段了。 最后我们总结一下啊，第一， ltx 二点三这个大模型开源，它可以部署在本地运行，配合四零九零显卡就能跑。第二，生成的视频效果和配音都很不错。 第三，使用千万三点五可以帮你写出很棒的提示词，且符合 ltx 二点三的规则。 最后，有个地方需要注意一下啊，他对中文的文字渲染能力还是不足的，需要继续提升。如果本期视频对你有所帮助，请点赞收藏，支持一下，这里是电磁波 studio， 我 们下期视频见！
2288电磁波Studio
12:31查看AI文稿AI文稿l t x 二点三呢，也能玩全能参考了，那这儿呢，有两个人物和一个背景啊，这是一个非常简单的参考生成，大家看一下，效果非常的棒。而这个呢是两张角色设定图，也就是我们说的 character sheet， 这样表现的人物呢，就会更加的立体，展示的效果呢也会更好。 那这里呢，是人物加上一辆跑车，也就是我们说的人物加道具的模式，大家看一下，最终的效果呢，依然非常抗打， 那这个就是一个特殊的用法了，是三张分镜图，控制一个美女回头的场景，那我们可以通过这样一种方式对它进行精准控制。那最后一个呢，则是一个极限测试，我们将五张参考图呢全部给它用上，我们看一下它生成的质量到底会不会下降。 这个呢，就是我们今天给大家讲到的这个模型啊，叫做 ltxmsr 的 全称呢，叫做 multiple subject reference， 那这个名字呢，已经把它的核心作用呢都说出来了，它不是只让模型参考一张图，而是让模型同时参考多张图。 但是呢，这种参考模式呢，跟我们之前讲的其他的模型呢还有着本质的区别，它呢并不是简单的把几张图呢丢给模型， 而是通过 luco m s r 这样一个节点，把多张参考图呢打包成一段参考视频，那你可以把它理解成，我们提前给了模型准备了一段视觉记忆， 这段记忆里呢，前几帧呢是角色，中间几帧呢是道具，后边几帧呢是背景。然后模型在生成目标视频的时候呢，就可以时不时的回头去看看这些参考帧，这个呢就是它大致的一个创新的机制。 那下边儿呢，我们说一下环境的搭建，如果你想在 confui 里边儿去使用这个模型的话呢，我们需要安装一些扩展。第一个呢就是 ltx video 的 相关节点， 这个扩展呢其实是由 ltx 的 官方提供的，我们之所以安装这个扩展呢，主要是为了使用 i c lora， 因为我们今天讲的 m s r 这个模型，它本身是一个 i c lora。 第二个呢是这次比较重要的一个扩展，是一个 m s r 的 专用节点，也就是 confu i 杠。 呃， lickon m s r 它提供的核心节点呢就是 lickon m s r 这个节点的作用呢是把多张参考图和背景图按照固定的顺序打包成一段儿参考视频。 那它的安装方式呢，也非常简单啊，大家呢可以进到它的 github 的 页面，然后把这个仓库给它刻拢到我们的 custom node 下面，然后呢安装相应的依赖包就可以了。 下边的是模型文件，在这里边的话呢，主模型基本上就是 ltx 二点三所用到各种各样的模型， 在这呢，我们会用到一个 msr 的 lara， 刚才我们提到了它是一个 iclara， 大家呢可以从抱抱脸上下载到对应的 lara， 然后放到你的 lara 目录里边就可以了。为了方便演示呢，我也把工作流构建到了 runnyhop 上。下边呢我们来看工作流，那这个工作流最重要的地方呢，不是节点有多少，而是它有一个非常巧妙的组合。 那从整体上来看呢，它大概是这样一个链路啊，就是我们先输入多张参考图，然后呢，我们经过啊 leco m s r 这样一个节点，把这些参考图呢打包成一段参考视频， 然后呢，这段视频呢，就会进入到我们的 i c lara 的 节点，那这个节点的作用其实是把 m s r 的 参考视频变成适合采样的条件。 那同时呢，原始的几张参考图呢，又会进入到另外一个节点啊，叫做 l t x i 的 get multi。 这个节点呢，我们也经常去使用， 其实呢，是给这个 latent 呢做一个多图的引导。所以说呢，这里边的参考生成的是两条链路，一条是 m s r， 一 条呢是 multi guide。 如果我们只是这样讲呢，可能还不够准确，因为呢，这个工作流最巧妙的地方在这儿， l t x i 的 multi guide 和 l t x i 的 iclora guide。 那 这两个节点都可以为采集生成新的 正向条件，反向条件和 latent， 也就是说，它们都可以单独地影响采样。但是这个工作流呢，并没有把它们串起来，而是采用了一个混搭的策略。 在真正的进采样的时候，我们使用的 latent 是 ltx i 的 multi guide 提供的，而采样用到的正向条件和反向条件用的则是 ltx i 的 iclora guide， 它输出的 condition。 那这一点呢，非常关键。那你可以这样认为， l t x i 的 multi guide 负责给画面一个更强的视觉的起点，它让模型知道。而这些参考图呢，大概是怎样进入到视频空间的？ 而我们的 ltx 爱的 video iclora guide， 负责把 msr 的 参考视频变成更适合模型独取的正向条件和反向条件，在这呢有两个帧数，我们必须重点来给大家说一下，一个呢就是 lucolmsr 里边的 frame count， 第二个呢就是我们彩样用到的总帧数，这两个呢不是一回事， m s r 的 frame count 呢，它是控制参考视频有多少帧，也就是说我们把几张参考图呢，会打包成一个视频， 那这个记忆片段它到底有多长？在设置的时候，我们也需要保证。这个呢是四的倍数加一， 而最终的针数呢，我这用的是二百四十一针，也就是将近十秒的一个视频。所以说呢，大家呢，别把它搞混了。那这次的测试呢，我们把它分成了五组，第一组呢是两个人物加背景，我们先看一下会不会串联。 第二组呢，我们用的是 character sheet， 也就是决策设定图。我们看一下啊，这种三式图是不是比单式图的效果会更好？第三组呢是人物加道具，我们这儿是厢车美女，来测试一下最终的效果是不是足够良好。 第四个呢，我们用的是分镜图，呃，这个呢，其实是参考生成的另外一种形式。那最后一组呢，其实是一种极限测试， 因为呢，在 m s r 这个参考节点上呢，我们可以传四张参考图和一张背景图。我们现在呢，把这五张图全部用上， 我们来做一个极限测试，我们看一下它保持的到底怎么样。下边呢，我们先来看一下简单的两个人物加背景，有人说为什么要加背景呢？你要注意啊，这个节点里边背景是必传的 参考图片，你可以传一张，也可以传两张，但是背景呢，是必须要传的，不能省略。那我们的参考图一呢，是一个身穿白色长裙的女性角色，参考图二呢，是一个身穿深蓝礼服的男性角色，背景呢，是一条 月光花园里边的小路啊，非常的浪漫。这组测试呢，看起来很简单，但其实呢，它非常的重要，因为多主体参考的最基本的能力就是两个角色呢，这个脸不要串啊， 那我们在提示词里边写的非常清楚，说女性在左边，男性在右边，然后两个人慢慢的走向对方，牵手在一起，走向远处的湖边。 那我们看结果的时候呢，重点不是看这个画面好看不好看，要看三点啊，第一个，女性和男性的服装颜色有没有相互污染？第二个，两人的位置关系有没有相对稳定的表现出来？第三个，关键的牵手动作有没有出现，从结果来看呢，人物关系呢，是基本上可以表现出来的， 手部的细节呢，当然不会百分百的完美啊，但是牵手的动作呢，还是非常棒的。 那测试二呢，我们只是把参考图呢换成了 character sheet， 也就是角色设定图。这个测试呢，我觉得非常有意思啊，因为很多人在做角色一致性的时候呢， 更理想的状况呢，是有一张角色设定图，包含侧面啊，甚至四分之三视角。所以说呢，我们建议大家呢，可以用 character sheet， 但是要干净一些，三式图，五式图都可以，但是不要太复杂。女性角色呢，同样是一张 粉色长裙的设定图，男性角色呢，是一张奶油色的西装的设定图，背景呢，我们换了一下，变成了一个玻璃温室，里边呢，有非常多的花。提示词里边呢，我们是让两个人在花境里边轻快的奔跑，最后在玻璃拱门下边停下来， 我们看一下啊，会不会有分身出现。如果说你发现视频里边突然出现了三个女性或者是三个男性，那就说明呢，模型没有把这个 cherry script 识别成一个角色。我们来看啊，总体的效果呢，还是非常棒的， 如果真出现了啊，他把这个角色设定图当成了三个人，这时候你不要慌啊，你可以先把那个角色设定图变得简单一点，看看是不是你传的太复杂了。那第三个呢？我们是啊，人物加道具啊，我们用的是厢车美女， 背景呢，变成了未来城市的天台，黑色礼服的美女和一辆啊金属红色的超级跑车。 那我们的提示词设计呢，也非常简单啊，是美女从未来城市的天台上走向红色跑车，他绕过车头，手指划过引擎盖，最后呢停留在车的旁边，看向镜头。 在这呢，大家需要注意四个点，第一个人物是否保持了黑色的高定礼服，第二个，跑车是不是依然是基础红色？ 那整体的轮廓有没有变化？那人物和车的互动呢？有没有成立？下边呢是一个分镜参考啊，这个呢是参考生成里边一种特殊的用法。其实呢，我们是用三张图来作为整个镜头转化里边的 三个关键帧，也就是三张分镜。第一张呢是一个后方的中景，第二个呢是回头的瞬间，第三张是正面特写的微笑， 那既然是分镜图，也就是他们是对同一个人物，同一个镜头，从不同的阶段或者角度切出来的一个画面， 那大家看一下最终生成的效果，我觉得也是不错的啊，这有一些问题啊，就是最后一张人物我们生成的那个衣服的颜色跟啊原始的这两张图的极限测试。这五张参考图呢， 第一个是一个女祭司，第二个是神圣的白虎，第三个月光权杖，第四个发光的魔法书，背景呢，是一个魔法圣殿。 这组的难度呢，明显要高很多，因为呢，模型不仅要保持人物，还要保持动物道具、书本和背景之间的关系。看结果的时候呢，我们还是看啊几个点，第一个就是整体的感觉有没有很乱，第二个就是 各个主体有没有保持它原来的特征，另外呢，就看一下各个主体之间的互动有没有遵循提示词，然后再看这种互动有没有美感。总体上来讲呢，五个参考图 生成视频的效果呢，一般不会太好啊，所以说我们把它称之为极限测试。那总体来讲，我觉得 m s r 的 价值呢，不是让一张图动起来啊，它真正有意思的地方是啊，多参考，而且这种参考的能力非常的强。 大家会发现啊，很多模型都在尝试这种全能参考，包括我们上一个视频给大家讲到的 y 二点二的 burnin 技术啊，其实也属于这个范畴， 但是 ltx 二点三它的优势是速度生成的非常的快，那目前 m s 二应该是 ltx 二点三里边 多视觉参考做得最好的，那在这期视频里边呢，我们通过五个测试，主要是让大家搞清楚啊， 他能做到什么，在哪呢？容易翻车？以及呢我们尽量的怎么去设计这个参考图和提示词，比方说大家有没有发现我的参考图呢？它的背景都是比较简单的，另外呢，我们还做了一个五张图的极限测试，一般呢，我们还是以三张为主， 就是两张参考图，一个背景。好，今天呢，我们就说这么多，还等什么，赶紧自己试一下吧，关注我，做一个懂爱的人。
172有趣的80后程序员
08:24查看AI文稿AI文稿哈喽，大家好，今天给大家介绍一下 ltx 二点三导演分镜台的一个工作流，那么用了这个工作流之后呢，这个你就是导演啊，你可以在这个工作流里面去根据分镜图，音频和提示词啊，随意的来控制。我们来看一下这个工作流啊， 呃，它的核心节点就是这个叫 ltx director 啊，就是 ltx 导演台啊，什么意思呢？它就是 可以把你的这个图片，分镜图，音频，包括你的提示词啊，看没有每一个图片对应的提示词啊，可以来随意的进行拉啊，随意的进行拉来调整啊，比如说中间这个地方啊，我现在这个地方是总共是十二秒钟 啊，你可以切换成秒数和帧数啊，比如说我现在这有这有四张图片啊，四张图片，每张图片呢，我的这个后面有对应的音频啊，这张对应的我的剧本啊，对应的我的剧本，每一每一张图对应我的剧本，还有台词在下面写完之后啊，用这个 ltx 二点三来生成， 生成的结果啊，这样子，我们来看一下成泽，我好像在做梦，聂安，这不是梦，从今天起你就是我唯一的未婚妻 啊，这个开源模型啊， ltx 二点三能做到这个样子啊，已经非常不错了啊，但它的不足之处啊，我们首先说不足啊，再说它的好处 不足，他的远景啊，远景就是中远景，还是一样的啊，他的这个效果有一些那个模糊和变形啊，这个是他模型能力决定的，那是中近景啊，他就好得多 啊，他就好得多，而且呢，整个的他把图片和我们的音频还包括我们的台提示词啊，是完全的啊，来遵循了的， 而且呢，我刚才说过了，你可以在这中间自己来调换每一个分镜的长短啊，每个分镜的长短啊，比如说这中间有空的啊，你可以增加一个提示词，或者是再增加一张图片啊，增加一张图片，这就是你，你可以在这个 分镜台里面啊，自己来控制每一个分镜的长度啊，每个分镜每个分镜的长度啊，这个就比较有意思了，这就控制很精准啊，控制很精准啊，这个地方看没有这上面， 这里面有增加图片啊，你点一下就可以增加图片啊，有增加提示词，还有啊，这地方是增加这个音频啊，增加音频啊，当然还可以删掉 删掉，所以说这个控制台啊，就是比较精准的来控制啊，我感觉这个闭月模型现在都没有这样的控制的一个能力，能力，那么所以说 ltx 的 模型啊，它的这个在社区的帮助之下，确实进化的很快啊，进化的很快 啊，这个分镜图怎么来？有的同学可能会问啊，这个是我在万象里面做的一个实际的案例啊，我们打开万象以后，如果你推理的时候，你在这个万象进行推理的时候，选择开启导演模式啊，如果你选择了这种 ltx 的 短句啊，短句啊，它就会自动的去生成我们的这个四宫格的分镜图的提示词，生成这种四宫格的，然后我们再去生成这个这个 图片的时候啊，它自动就会生成这种这样的四宫格啊，这样的四宫格啊，一二三四。但是我刚才说过了，你最好啊，这种远景啊，最好是不要用这个呃 ltx 二点三的模型来升啊，然后如果你你你非非得用它来升啊，那么可能容易会变成人物的变形，但是这种中景近景啊，它的效果确实非常好啊， 所以说它做人物的对话，像这种人物的对话啊，这种人物的对话，它 l t x 二点三的模型是没有任何问题的，那它的效果也是非常好的啊， 非常非常好的啊。这个的步骤，这个使用的步骤我跟我以前给大家讲过了，我这儿简单提一下啊，就是用啊，要么用 g t 啊， g p t emoji 二，或者是香蕉啊，或者是香蕉这两种啊，这两种都可以 啊，完了之后去生成啊，去生成这种，你看没有，他的提示词就是他的提示词就是四宫格的啊，他本身提出来的提示词就是四宫格的，而且生成这个四宫格的图片，他自动会会给你裁剪成四张啊裁剪成四张啊，你可以把这个图片啊用来测试啊用来测试 啊。中间这个配音怎么来的啊？配音怎么来的？音色的设计，这个配音呢，我们在这个万象里面也直接可以配啊，在啊，软件设置啊，你选择这个 index t s v 二啊， index t t s v 二 啊，选择完这个模型以后，在设置角色里面啊，就可以给每个人啊，每个人去给他设置他的音色啊，设置音色啊，关于音色怎么设置啊，我在其实前面给大家发过一个公式流，叫啊 v o x c p m m m 二，这个语音克隆和音色设计 啊，具体怎么使用啊？具体怎么使用，怎么结合万象来使用？我这地方再给大家提一下，打开这个工作流以后啊，打开这个工作流以后，这个工作流节点非常简单啊，非常简单， 主要的节点就是这一个啊，这一个比如说啊，我们要去设计一个人设啊，我们在这个万象里面推理完了之后啊，推理完了之后 有他的这个音色的一个，呃，提示词啊，有有他的音色提示词，我们只要那个中文的部分啊，我们只要中文的部分，其他英文部分删掉，把这个复制一下 啊，复制一下回到这个软件里面啊，看没有？在这，你先把你的中他的中文那东西粘贴过来啊，我们这些东西不要啊，只要中文的，只要这个中文的部分 啊，然后呢？他的这个人是是什么人啊？你给他复制过来啊，一位中年的三十岁的男性，中国啊，中国三十岁男性声音啊，什么什么样的？好， ok， 他 说的台词啊，我们找一个他的台词，这是这个司仪啊，我看一下司仪说了啥， 把这句话直接弄过来，直接弄过来，然后，然后呢？我这些都就就设置好了，相当于你就把你的声音的这个，你的他的要求啊，他的这个说的话啊，然后我们点击执 行选中节点。今天是沈家千金沈念安小姐与顾家少爷顾成泽先生的订婚之喜 好，这个就是生成的这个音色。那么所以说你按照这个方法，你可以把所有的人物啊，所有的人物啊，你把他的这个国籍年龄加上后面他的音色的要求啊，复制到这个 这下下面来，然后上面呢，你可以写一段他的文字，然后点击运行就可以了啊，这个模型还是呃推荐大家去用一下啊，这个主要是去设置音色，设置完音色之后啊，前面这地方可以去声音的克隆啊，声音的克隆，当然我们在外乡里面本身也是可以进行克隆的啊， 大家自己来选择，看不同的模型，看哪个效果好你就用哪个好，所以有了图片，有了你的配音啊，加上你的剧本，你这个剧本怎么来的啊？剧本也是我们推理完了之后，每个剧本都有都有的，你看没有，这里面 每个他一共四个宫格啊，四个宫格的话，他有一二三四每个镜头他的一个台词和提示词，你把每个台词啊给他对应的复制过来， 第一个台词写什么，或者是你自己来编排啊，他的他的这个运镜啊，都可以啊，也就是说这个的灵活性啊，可控性就更强啊。这就是今天啊给大家介绍的 ltx 二点三导演分镜台的工作流啊，导演分镜台的工作流 啊，顺便给大家介绍一下啊，下期的时候啊，准备大家做一个古装宅斗啊，解说慢的这个制作方法啊，制作方法 啊，会给大家用两种方式来制作，第一种方式呢，就是啊，用万象啊，来批量的跑 啊，批量的跑跑这种解说慢啊，他的，呃，这个好处是，就是啊，成本低啊，速度啊，不用我们人来管啊，不用人来管。第二种啊，就是在我们的无线画布当中来跑，他的好处就是，呃，质量高啊，质量高，效果好， 但是呢它的价格也更贵啊，这两种呢方案适合与你不同的这个需求。好吧？下次课啊，下个视频啊，给大家来讲这个东西，今天的视频就这样，感谢大家观看，拜拜。
64Ai随风
17:01查看AI文稿AI文稿哈喽，各位同学大家好，欢迎来到数字折叠，那我们之前的本地 ai 视频生成的课程用到的大模型都是万二点二， 但是万二点二的话呢，他就只能到二点二了，他有二点五，二点六也不会给大家本地开源使用了，是要去做一个线上的收费的。就在大家认为这个开源模型将要进入到一个停滞不前的阶段的时候， 咱们的 l t x 啊，这一家以色列的公司给大家开源了二点三的视频生成模型，那 这个模型相比较于万二点二，它有一个比较大的优势啊，它是可以音画同出的，也就是说我们可以出来一个完整的带有声音的 画面的视频，不用我们后期再去重新给它对口型做这个音频的一个合成了，非常的方便，也比较符合现在的一个 ai 的 视频生成的一个趋势吧。那么我们如何去使用它？对于电脑的要求是什么样子的？我们如何在本地成功的去部署它，那这节课我们就要给大家去讲了。 那首先我们来看一下啊，我使用这个 ltx 二点三制作的一个小效果吧， put your hands on the arm here open your legs not too much there you'll see why i like that very much do you want me back？ ok， 那 大概就是这样的一个效果，我们可以看到它的分辨率是很高的啊，我在后期对它进行一个放大，但是我们一次就可以直出一二八零乘以七二零分辨率的视频， 并且的话呢，我们这个视频的帧数率是支持二十四帧或者二十五帧每秒的，它的时长也可以达到十秒甚至以上，对显存的要求也没有那么大，我使用的是 四零八零十六 g 的 显存，然后六十四 g 的 内存就可以跑这个效果了。那如果你的电脑比我还好，我相信它可以在一分钟之内就可以跑出一个五秒钟的视频。 如果你是十二 g 的 这个显卡的话，你可以试一下，因为我没有试过啊。那如果你的内存比较低的话，你也可以设置一个虚拟内存，这样子就会让我们的这个跑起来没有那么大的内存的压力。 那我们看完效果之后，我们来看一下怎么样一步一步的把这个效果给它复刻出来。那我们第一节课讲的就是工作流的部署， 如果你从来没有使用过 comui 的 话，你还需要先去下载我们的 comui， 然后再去给制作我们的 ltx 的 模型的工作流。 如果你不想去折腾啊，你不想一遍一遍的又配置环境，又要用这个代码去调配拍摄的各种模块，还要自己去下载工作流，安装插件，然后优化节点， 解决报错，这是所有的非程序员出身的人来去使用本地 ai 的 时候遇到的问题。那么我们数字折叠给大家提供了一套完整的开箱即用的软件，就是 comui 的 整合包，加上我们的这样一个 e f studio 的 工作流操作工具。如果你是我们输入折叠的会员的话，你可以用我们这个工具，如果你不是会员的话，你可以直接用我们的 comu i 自己去部署这个工作流。那么我们来看一下一步一步的一个操作过程。 首先的话呢，我们的 comui 整合包是可以在我们的网站上去下载的，我们首先可以进入到课程这个页面，在我们的课程页面里，我们点进来这个 ltx 二点三的课程的主页，在课程主页里面我们可以看到这边有一个这个配置链接， 首先第一步你就去点击这个 comui 的 整合包，把这个 comui 整合包下载下来，我们现在使用到的是这个零点一六点四的版本， 里边的环境是库达十三加拓十二点九，也就是说你首先要去升级你的这个显卡驱动，能够支持我们的库达十三，然后呢再去安装我们提供的库达十三点幺的这个库达驱动， 那么我们这个详细的部署的视频是在这里的，你可以到这里去下载部署一下，只不过我们这里边是十二点八，你只需要把我们的库达变成一个十三点一就可以了，如果你不是三维用户的话呢，那个侯蒂尼的安装你也可以自动的给忽略掉啊，就前期先去适配一下这个库达环境， 然后下一步的话就是安装我们的整合包，然后把它解压出来，放到指定的位置，就可以把这个软件打开了，下面给大家去看一下如何去打开咱们的这个软件啊？在你没有安装 cd 的 情况下呢，你进入到我们的 comfui 里面， 然后双击我们这个英伟达 gpu 的 bat 脚本命令，就可以把我们的 comfui 给启动起来了， 在启动的时候的话呢，大家可以再继续去下载第二个东西，就是我们的 d f studio， 我 把所有的工作流都配置好放到里面了，那这个 d f studio 的 下载链接的话，也可以直接去打开它 到这里去下载就行了。那它的一个部署的话呢，你可以看我这边这一个县城文学的课程， 这个课程上面的话呢，我们的第二节有一个部署的教程，你只要把这两个东西部署完，后面你就非常开心的去玩我们的 comu i 在 本地可以零成本的去制作各种 ai 的 一个效果了啊，这是我们的一个前期的部署， 如果你是老用户的话啊，你可能之前已经安装了我们的这一个数字折叠的 comui 整合包了，只不过你的整合包目前不是十六点四或者不是扩大幺三的系统，你就根据我们的下面这个部署教程去重新的升级一遍就可以了，你就不用再去安装其他的环境了，只需要去替换一下里面的这样的一个 is embedded， 还有我们的这个插件，还有我们的本体就可以了。那替换完之后，再把你老版本里面的你之前下载的囤积的一些大模型给它直接剪贴到我们新版本的模型文件夹里面去就可以了，这是一个比较方便，不用折腾环境的升级方式。 那现在我们看到 comui 已经打开了，那我们就直接进入到咱们的 df studio 里面去吧，我们打开我们的控制软件。 好的，现在这个控制软件我们就已经打开了啊。首先我们点击这个视频生成，里面我这边提供了有三个 l t x 二点三的工作流，分别是音画同出的图声视频，还有音画同出的文声视频， 在这个声音生成里面还有一个自定义音频的一个 l t x 二点三的图声视频的这个工作流，这三个工作流是我们要用到的， 我们今天先要给大家去讲的是这个 l t x 二点三图声视频，就这个咱们的工作流，那在去使用之前，你要下载 l t x 二点三的模型啊，我们可以直接点击查看介绍， 我们进入到这个介绍页面，我们可以看到这边有一个模型下载的链接，看到没有，你直接点击模型下载链接这边我就提供了我们的这个三个工作流共用的 一个模型，就一套模型系统吧，它的一个文件的路径我也给大家在这里梳理出来了，比如说在 models 里面，然后 different models 里面下载这一个可立普里面下载这一个 ve 下载这俩，是吧？还有放大模型，然后你就直接可以点击这个百度网盘啊，我们这个模型都是 开源的，免费分享的，在别的地方下也是可以的，没有关系的啊，那我们进入到这里面去之后的话呢，那我们就可以看到了啊，这个可立普文件夹，什么 different model 文件夹，给大家说一个技巧，我这个文件夹的名字啊，比如说可立普，就是在我们的这个 comui 的 model 文件夹里面，我们找到 model， 这里面也有一个可立普啊，你就放到同一个文件夹里面去就好了，就把它下载到这里面， 那相同的，就比如说是我们这个 latent app skill model， 那 你就找到我们 comui model 文件夹里面的相同的 latent app skill model 文件夹，然后把它给下载下来就可以了， 按照我的这个方式把这里面所有的模型下载下来，就可以使用它了。那我们首先的话点击使用该工作流，我们在使用的时候可以先创建一个工程，如果你有新的工程就直接打开就行了，比如说我们就放在我们的 l t x 二里面吧，然后这个名称的话，我们就叫做演示吧。 ok， 我 们创建一个演示的工作流，创建好之后呢，我们就选择这个图声视频的工作流，点击使用工作流就可以了。 然后我们可以先创建一个图像，那这个是我们默认的图像，那我就生成一个新的图像吧。比如说我们在工作流里面，我们选择另外一个工作流，图像生成的工作流，我们使用的是 z 妹子的这个纹身图，我们选择它就可以了。 然后我们这个图像我们创建一个古风女孩吧，一个穿着汉服的女生吧，这个的话是可以支持中文的，我们输入一个穿着古风汉服的中国女人 站在院子里，上半身特写， 就这样吧。然后我们的分辨率可以给到一二八零三七二零稍微小一点嘛。那我们这个保存路径的话，也可以放到我们自动创建的这个资产里面，你可以自己写一个文件夹，比如说叫做古风 这边的话呢，我们改变一下他的保存的前缀也行，让我们刷新一下历史记录，这个时候我们就可以执行了。那这个任意美指纹身图也是需要去部署模型的，我们之前已经部署过了，你可以看一下我之前的课程，我们点击一下执行就可以了。 好的，现在我们已经生成了，我们来看一下整个质量还是可以的啊，非常有这种古装剧的感觉。然后我把提示词的上半身特写去掉了啊，改成了面带微笑，因为只有上半身特写，他的面部没有那么完整， 那我就把它改一下，优化一下。那我们就可以点击一下标记啊，把这个图像给它标记出来，作为我们的一个图生视频的手帧图的使用用途。那下一步的话呢，我们就切换到 lts 二点三的图层视频工作流，把这个手帧图切换成为我们刚才的这个 mark 出来的图像就是它了。然后提词词应该怎么写呢？提词词其实是有一些要求的，那这个 l t s 二点三的这个提词词的格式，我们提供了一个反推工作流，就是说你把一些必要的条件给到它，把图像给到它， 它就能够给你一个适合 l t s 二点三出视频的这样的一个题词词啊。不是说你随便去写，可能随便去写出来的效果并没有那么好，那我们可以再去选择一个工作流，你看我们有了这个十六六软件之后，你就不用到处去部署工作流了，你就直接在这里面去选就行了。 那我们可以看一下，在文字生成里面有两个反推的工作流，另外一个是二点三反推的官方版， 这个是之前 lts 二的反推提词词，它的提词词是比较的完整，就是把画面也描述出来了。那这个是官方的 k z 流给到了一个提词词的反推方法，这个可能会更简洁一点，那我们就用这个官方版的，我们点击使用工作流， 如果你没有部署这个反推模型的话，你也可以查看介绍一下，看一下需要去下载什么模型。其实这个工作流里面所用到的那个模型跟我们二点三这个大模型是一样的，用到的是它里面的可立破模型，所以你就不用下载任何的模型了，直接点击使用就可以了。 那我们把刚才的那个图像给到他，就比如说这个图像，然后他的这个前置条件是有一定的格式的，比如说前面这一句是不用管的，就是让这个图像变成一个流畅的动作，然后这个主题你要改一下，动作你要改一下，场景你要改一下，如果自己改的话比较麻烦啊，你可以直接 ctrl 键加 c 键复制一下，然后我们可以进入到 excel gpt 里面去啊，那我们就进入到这里面来，然后把这个题词给到它，就是这个反推的格式，说修改一下这个这个内容 要求，然后我们就可以把下面的这些题目给到它，就是 subject 啊。这个主题是什么呢？一个女女人对着镜头打招呼， 然后再把我们下一个这个 action 再复制过来。说什么呢？说这个女人走到 镜头前，微笑着说，是吧？一日不见，如三秋兮， 这应该是一个文言文啊，就这样子，一日不见如三秋兮。 ok， 然后我们再去回车，然后这个盛世描述一下啊，盛世就是一个呃，古代的院落里， 这里就会触发他对环境或者声音的一些描述，然后点击给我们的这个大模型，他就可以把我们的题词给优化了，我们来看一下，他自动就去写了。 他给了两个版本啊，第一个版本的话他把台词也变成英文了。啊，这个我们要中文的，这个叫什么呀？呃，一日不见如三秋兮，我们复制一下，可以来去看一下啊， 粘贴是吧，让图像以流畅的运动变得生动起来啊。一个女人面对着镜头，然后微笑的说这个样子。好的，那我们就可以把这个反推的指令复制到我们的工作流里面去， ctrl 键加微键啊，如果大家觉得比较麻烦，可能更喜欢做在线的，但是我觉得，呃，如果你想要简单一键的东西可能就没有那么准确，如果你想要省钱，想要做的更专业，你还是要稍微的呃，用一些流程来去规划一下。 那这个最大制服就是说他反推出来有最大的一个反推提示词的长度啊，但是一般情况下是不会超过一零二四的，你就算给到一零二四，他可能反推到几百个就停止了啊。那我们这个路径也可以改一下， 他会给你一个提示词文档的，你后面可以发给别人，也可以自己去学习使用。那我们可以给到这个反推的文件夹里面去就可以了，这个就叫古风吧，然后我们就开始执行就可以了。 好的，我们现在已经反推完成了，我们可以看到这个提示词在我们的右边展示栏里面也展示出来了，我们可以直接 ctrl 键加 c 键，我们回到这个翻译软件里面来看一下， ok， 就 这样子的，你可以看到它又把我们这个中文给它翻译成英文了，这个我们到时候再翻译过来就可以了。 风格他先定义了，然后再定义动作。女人慢慢走向镜头，热情的微笑着，用舒缓的声音说，啊，什么什么柔和的中国传统音乐，然后与鸟儿的呃声音和远处的喷泉融为一体啊，就非常的详细吧。那我们就回到这个这边来， 然后呢我们就把咱们的这个题词给它粘贴过来，只不过你把这个他翻推出来的这个拼音再改一下啊，一日不见如三秋夕， 如三秋兮。好的，现在应该没有问题了，种子值可以随机一下啊。注意，这个是我们刚才那个音化同出的工作流，这个，这个是反推的工作流啊，他俩你不要弄混了啊，先去反推出提示词来，然后再给到我们的工作流， 然后时长五秒，五秒应该可以了，就默认五秒，帧率二十五帧每秒，然后宽度一二八零乘七二零。保存设置，这里就是你保存在我们的 alt put 里面的这个文件夹里面的。这个后面的文件夹和前缀啊，我们就叫做克拉斯演示吧， 这个不是一个绝对路径，大家注意啊，现在我们刷新一下工作流没有问题就开始执行了，那执行之前的话呢，建议大家可以到我们的 comui 里面啊，你可以去清理一下这个内存，清理一下缓存， 如果你再执行多个工作流之后，你再去执行新的工作流，它的内存来不及卸载，会造成这个 comu i 的 卡顿。建议大家可以多去点一下这里，然后保证我们的这个 gpu 还有我们的内存要干净一点，现在没问题之后，我们就开始点击执行，等待它的一个视频的生成吧。 ok， 那 我们这个已经生成了，我们来看一下啊，一日不见如三秋夕， 是不是还是可以的呀？而且我们可以发现啊，咱们的这个嘴型也能对上声音也是这种比较标准的普通话，美中不足的就是有字幕，这个字幕在中文的发音下是比较通常出现的，所以我们后面的课程当中用英文就不会有这个问题了 啊。再然后的话呢，我们接下来要做的这个效果，并不是说光用这个工作流，我们还会用到其他的工作流，像瑞米克斯呀， 像这个 client 啊等等的，所以我们接下来会利用这个大的 ltx 框架，然后再加入其他的辅助模型来去制作。那这节课的话呢，大家只要把它给部署上就可以了，那么我们也可以对它进行接下来的一个放大高清叉撑的处理，我们都会详细的去讲解的， 那下一节课我们再见。拜拜。
1216数字折叠
12:46查看AI文稿AI文稿大伙好啊，这个 ltx 二点三哈，这个导演节点就是这个 ltx director 哈，呃，出了有一段时间了，那么之前没做这个视频哈，是因为我没有对应的使用场景哈， 那么最近也有小伙伴问我说这个节点怎么样哈，所以今天就说一下这个节点。先说结论哈，这个节点各位能力非常强，能让哈我们通过精修的方式哈，去调整我们这个短视频的输出啊，是精修哈，但是呢，呃， 可能也存在一些问题啊，但是这个问题可能也不赖这个节点哈，因为呢，这个节点的能力确实非常强哈，但是呢，可能受限于这个目前 l t x 二点三这个模型本身的能力哈，所以呢，输出的视频哈，目前的效果呢？呃， 可以说还行哈，然后呢，但是有的时候不能说，有时候了，可能需要抽卡哈，那么现在呢，各位大家看一下这个节点哈，如果想使用这个节点，大家呢，需要安装一个插件哈，插件的名字是这个哈，叫做 what dreams cost 啊， comfy ui 呃，这个插件安装完之后呢，大家可以在插件的目录当中找到这个工作流，当然呢，这个工作流也已经上传完了哈，大家可以直接使用 呃，这个工作流拿出来之后呢，我做了一些简单的修改哈，包括模型的更换，包括，呃，加了几个 lora 啊，这个 lora 第一个是这个 oni nft， 这个 lora 已经说过了，效果不错哈，权重啊，可以设置为二点零，然后还有一个国风的 lora， 还有一个 lora， 这个 lora 比较特殊哈，一会说这个 使用的时候强调一下，就是这个 transition， 这个 lora 大家已经不陌生了，但是和这个导演节点配合的时候，有的时候我们需要注意一下哈，然后呢，再说一下这个工作流哈，大家呢，可以在这个插件当中哈找到这个工作流，当然也可以使用我上传的那个工作流，我上传那个工作流除了改了这个模型之外哈， 在这个位置也改了，就是这个二彩的时候用的这个 sigma 啊，用的是我们之前 comu i 提供的这个 lti 二点三，二彩的这个 sigma 就是 开始是零点八五啊， 用的是这个。那么用这个 sigma 之后呢，有没有提升呢？有，画面有些许注意啊各位，画面有些许的提升，然后呢这个配音的音质有了一些提升啊，呃，别的呢？特大幅度的提升，其实我没发现哈，啊，是我没发现。然后呢说一下这个节点啊， 大家看啊，这个节点抻出来之后啊，就是在工作流当中，这个主节点抻出来之后有几个参数，第一个是增数啊，不多说了。第二个是持续的秒数啊，不多说了，然后再往下是帧率啊，帧率，然后宽和高。还有一个是这个啊，各位， 这个呢，你可以把它理解为就是这个图片的尺寸啊，就是重置一下图片的尺寸，比如说我们宽是一幺二八零，然后高是七三六，然后我们上传的图片如果大于或者小于这个尺寸的时候，我们需要重置一下尺寸，那么这里边有几个选项，是吧？我们选择这个，好吧，呃，限行缩放， 呃，就是拉伸哈，就是拉伸，然后呢大家往下看哈，这有一个 custom audio 哈，目前是 off 关闭的状态，如果大家把这个打开了哈，那么我们可以在下边儿上传我们自定义的音频， 好吧，然后效果一会儿再说哈，我先把它关闭，然后这里有一个设置哈 settings， 我 们打开它之后，可以在这个位置选择帧数或者秒数，如果选择秒， 大家看这个时间轴当中的选择的时间标记是秒哈啊，我默认就让他显示真数了，然后下边这个参数啊，这个参数啊，咋说呢，他目前是最小值。我设置的表示的是转场之间用硬切的方式， 好吧，就是直接切过去，如果大家想试啊，尝试这种软转场啊，也就是我们平常说的这个稍微丝滑一点的过渡，可以把它调高啊，可以把它调高，这里边有一个 按钮，点击一下，可以让它在我们的面板当中显示啊，就是这个鼠标放上去之后，大家可以看到哈，如果想设置这种丝滑的专场啊，稍微丝滑，各位大家可以把它设置为零点五或者以上，好吧，然后呢，还有啊， 这个参数呢，指的是将图片设置为啊被多少整除，那么 l t s 默认是三十二哈，然后下边是图像压缩，这个就不多说了，还有下边是 use global promote 是 吧，设置的啊，使用局的 提示词，如果大家点上之后，在上面有一个大局的提示词，可以对你整段的视频做一个描述好吗？大家一起就这几个参数啊，其实不难理解，对吧？然后呢， 大家看啊，我这里有几个使用的样例啊，就是我跑完之后的结果，大家看第一个啊，第一个呢？我在这里将这个 custom audio 是 吧自定义音频打开了，然后我只上传了一段视频，大家看好，我让这个女主角接着说，下面请男主角登场，然后我再上传一个图片 啊，图片里边写，男人说，啊，这个快开播了，很高兴，女人说，我也是，最后女人做一个鬼脸，大家能看到了吧？这个怎么添加？很简单啊，就是比如说我在上面可以点击添加 image 啊，比如说上传一个，它就过了一张图片，然后我们可以拉伸啊，这个，这段视频延长的啊，这个帧率或者秒数，对吧？我们也可以上传 啊，不是上传直接添加一段提示词描述啊，所以呢，大家看啊，呃，我上传的图片也可以点一下子在图片下方写我提示词的描述，这就有点类似于图上视频啊，当然是这一小段了，那么大家看啊，我既可以上传图片，又可以单独的去写文字，而且可以设置这个时长，我就可以，干嘛呀， 设置首尾针呢，对吧？如果我前面这个图片没有直接写一个描述，我再添加一个图片，那不就是尾针吗？对吧？各位，所以呢，他可以很灵活的让我们控制这个短视频，好吧，精细化的控制 这一点啊，各位还是挺牛的啊，这个功能确实挺牛的，能够精细化的控制这个视频的生成以及视频的内容走向，对吧？但是弊端也在这哈，就是比较耗时， 各位，比较耗时，你要说，呃，做一个四十五秒或者一分钟的短视频，可以用这个节点啊，确实能够精准控制，但是需要抽卡，各位目前的开源领域啊，这个，尤其是这个 lts 二点三，抽卡的概率其实并不低啊，其实并不低，好吧，各位有的时候需要抽卡啊， 然后呢，大家看啊，玩法很多，然后大家看这个样例，我首先上传了一段自定义音频，将这个 custom od 打开之后，大家看结果啊， 现在是旁白推文解说，大家有没有发现没有声了，就是你打开这个 custom audio 之后，是吧，我们需要为这个视频自定义上传啊，就是上传我们自定义的声音，它就不会再给我们生成系统声音了。好吧，各位，现在是，然后呢，大家也看到了哈， 这个参数我设置的是什么呢？大家看好这个参数，我设置的是这个硬转场，但是呢，我加了一个 lora， 这个 lora 是 谁呢？就是这个 transition 啊，转场 logo， 好 吧，大家注意下什么呢？就是我们这个转场 logo 加上之后，有可能啊，注意不一定是一定啊，是有可能破坏我们那个转场的设置参数，比如说是让他硬转，还让他软转。好吧，各位，他有可能破破坏这个参数啊，还有一种可能就是这个，各位 多发于哈，多发于我们上传自定义声音的时候，因为我们上传自定义声音就要通过提示词去告诉系统啊，去告诉模型，是吧，谁在什么时候说话？那么大家看好， 我这里边上传一个自定义声音，让女孩说，对吧，我播放一下，现在是旁白推文解说，然后我后边说这个女孩接着说，下面请男主角登场，然后接下来是两个图，那么大家就有可能出现这个系统识别不了这句话，后边到底谁该出场，谁应该退场， 好吧，如果提示词描述准确一些还好，但是描述不准确就很危险了，大家看这个是吧，正常旁白推文解说， 你看各位，正常是应该呃，女主接着说是吧，但是呢，他识别他没识别出来是吧，就造成了这个。现在是旁白推文解说，好吧，各位，然后呢，大家看右边这个，这个是去掉 cecil lala 之后，然后这个转场强度啊，大家看啊，转场强度稍微最低，他就有一个硬切的效果， 现在是旁白推文解说啊，硬切哈，各位，但是后边没声音了，因为我把这个 custom od 打开了哈， 好吧，如果打开这个 custom audio， 就 必须下边上传我们自定义的声音哈，然后呢，这里边有一个点是什么呢？各位，如果大家上传到自定义的语音，也不想这个语音进系统进行采样，因为采样可能会破坏啊，这个语音大家可以来到这里啊，就是视频输出的时候按采这个位置，视频音频输出的时候按住 shift， 然后将这个点 移到上边来，这样呢，他就会用我们自定义的声音去合成最后的视频啊，大家注意下这个事，然后再往下看啊。下边一个案例，这个案例呢， 首先看参数哈，把自定义的 custom audio 关掉，然后，呃，女孩先说，大家好，我是谁谁谁？然后他接着说，下面请男主角登场，然后呢，一张图片，男主角说快开播了，女孩很高兴啊啊，提着时代能看到是吧？然后呢，呃，转场的这一块设置为最低好吗？大家看效果哈， 大家好，我是莹月月，下面请男主角登场，快开播了，我也是，哈哈哈，总要我清湾。大家好， 大家看，还行吧，是吧？就这几个切场。然后呢，大家往下看啊，下边一个是什么呢？我把这个转场的强度调高啊，我设置为零点八。然后呢，大家看啊，图片的相似度，大家看，这几个图片的相似度其实不高，对吧？然后大家看结果。 大家好，我是莹月，下面请男主角登场，大家可能也发现了，是吧，就是我把这个转场的这个值强度调高之后，它也是硬切，因为什么呢？大家看哈，就是就算你把这个值强度调高，但是你图片的相似度比较低的时候，它也很难做到丝滑的转场。好吧，大家知道这么个事哈， 然后再往下看啊，就是把这个转场的参数调高，加上这个 transition lora 之后，把上边这个 lora 打开啊，大家看啊，就这个位置，把它打开之后我们再开。 大家好，下面请男主角登场，快开播了，我很兴奋，我也是女闺， 大家可以看到啊，就是这个转场已经有了一个过渡了，对吧？卡了。第一幅图和第二幅图，确实这个相似度不高啊，所以它有一个类似于弱化的一个效果，一个转场，一个叠化转场，然后，呃，第三个图和第四个图相似度比较高，所以大家看这个转场相对来说丝滑一些，对吧？ 这个是将转场的参数调高，加上 transcendent 之后哈，然后下边这个是将转场的参数调低，然后把 custom 这个 odo 关掉之后的效果，大家看 好，我是莹月，下面请男主角登场蛮轰，好，快开播了，我很兴奋，爷爷说，大家看啊，就是加上船身上捞捞之后，但是我把这个转场参数调低之后，它大概率也是一个硬切，所以它们几个是有一点点关联哈，各位，有关联的，然后 最后再往下看啊，就是我把这个自定义的这个 sigma 由原来的它，原来的这个 sigma 值啊，大家看啊， 这个是它官流里边带的 sigma 值啊，好吗？各位，它的降噪啊，是这个零点四二哈，用这个大家可以看到之前几个视频的降噪强度都是零点四二好吗？它的说话哈，各位，它的说话和配音以及画面的饱和度偏稍微低一点啊，然后加上这个， 呃，用我们这个原来 lts 二点三的这个零点八五的这个 sigma 之后，大家看这个值，大家看这个效果哈， 好，我是莹月，下面请男主角登场， bye bye 快 开播了，我很兴奋，我也是， 大家，大家能发现是吧？这个画面饱和度稍微高一点是吧？然后这个音乐和配音啊，稍微能强一点是吧？啊，因为我做的只是这些文系列的视频啊，大幅度动作的时候，这个我没测啊，因为什么呢？这个大幅度动作目前来看啊，目前来看，就是这个 之前出那期视频啊，叫做这个十 s nose 啊，这个工作流好吧，它的大幅度动作效果是最好的，然后呢，其实我也尝试了将这个十 s nose 是 吧，这个工作流和这个导演流进行结合，但是可能 因为是两个流，两个方向是吧，它的结合度并不高啊，造成的结果是吧？其实很不理想啊，就是最后就没做，但是最近也在研究啊， 然后呢，最后说一点是什么呢？这个导演流哈，它比较适合于就是比如说一分钟以内的这种短视频创作，是吧？因为它能精细化管理，就是时间比较充足的情况下可以用这个。但是如果大家做的是 l t s 二点三那种文系的漫剧推广啊，就是文系类漫剧哈， 动不动就一个多点，或者是那个几十级的这种，我其实个人不太建议用这个，因为这个节点虽然可以精细化控制，但是和效率两个字关系不是特别大，因为你一上传图片经条都是时间问题啊，他反而会拖慢你的进度。 各位，这个大家可以看情况选择一下，其实我目前最喜欢的流还是这个这个四 s note 这个流。然后呢，这个地方我最后强调一下，这个四 s note， 因为这个工作流啊，它二阶段加了一个补帧的模型啊，所以相当于你的帧数乘以二啊，二百多帧，到这个二阶段直接变到四百多帧啊，所以它很吃系统的 资源。各位，所以呢，各位大家看情况啊，这个补帧的这个模型要不要假？
40绘世玩家
12:21查看AI文稿AI文稿让这个男人还有这个女人在这个背景中相遇，然后注视。这么巧，没想到会在这里遇见你，我也没想到，一起走走吧。嗯， 这就是 ltx 二点三 msr 多图参考工作流，你可以同时上传角色图，背景图，甚至多个主体参考，让模型在生成视频的时候尽量保留人物特征和场景信息。 这期我会直接跑案例测试它的真实效果，并且把核心节点参数设置，安装方法，还有容易翻车的地方全部讲清楚，尤其是哪些图适合当参考，哪些情况容易失效，这期内容一定要看完，那话不多说，我们直接开始。 哈喽，大家好，今天我们来看一个新的工作流，或者说一种技术，是基于 l t x 二点三的多图参考啊，那么现在这个工作流当中的核心节点就是这个 ic loader loader， 那 么有了 m s r 这个 loader 模型之后呢，就能够让我们去参考原始的多张图片，去完成最终视频的生成。那我们先看一下效果哈， 这里上传了一个角色的特写吧，属于脸部的一个特写照片哈，然后又上传了一个背景图哈，在使用的过程中发现，如果你上传的原图当中带有背景的话，他有可能生成的视频并不会参考你新的背景。所以说这里呢，大家在上传原图的时候注意要纯色的背景哈， 那么看一下最终生成视频的质量啊，这是最左侧，大概十五秒左右。木宅的规矩很简单，护住这几个人活过五天，但没人告诉你，真正的鬼往往就在你心后，或者就是你身边的人。 好的，那么这里可以看到我们生成的视频跟参考人物还是比较相像的哈，那么接下来呢，就给大家讲一下我们整个工作流的大概用法，就是你身边的， 然后同时呢我们再做多几个案例的演示和测试啊，那么这个工作流相对来说比较简单，跟我们以前用过的 l t x 二点三相差不大。然后核心节点就是加了一个 m s r 多参多图参考的 l o r 模型， 同时呢因为需要接入我们原始的参考图片，所以说这个 l o r 模型训练的作者同时还写了一个插件叫做 lakeon m s r 节点，它可以将原始输入的多张图片变成引导我们模型去增强参考能力的一个训练， 然后将这个序列图呢再交给我们的后续节点去完成生成的一个控制，也就是让参考强度能够有所提升， 或者说能够参考到我们上传图片当中的角色去生成视频哈。那整个工作流当中先给大家讲一下怎么用，在最前面的位置就是加载对应的模型， 这个是 l t x 二点三整整的一套模型的配套组合哈，这里是个固定搭配，所以就不需要多讲了。那么核心节点就是一定要加载入，就是后续呢就是一定要加载对应的 m s r 绕绕模型，那么强度我们给到一点零即可。那么再往后这里是我们两个提示词的输入，一个正向，一个反向， 那提示词呢，可能有自己的一个书写方式，我们一会再演示的时候给大家再重点讲解一下哈，那上面呢就是去设置我们视频对应的参数，比如说这里它会有宽度和高度哈，那么竖屏呢，建议就是七二零乘以一二八零，横屏就是一二八零乘以七二零哈。然后这个 int constant 指的就是视频的总帧数 七百五十帧，如果按照作者提供的最优参数来设置五十帧每秒的话，大概就是十五秒左右， 好吧，那么帧数越高，你跑的时间呢？就会越久，生成的时间也会越久哈。然后接下来这个节点比较核心啊，就是 leco m s r 节点，它可以支持我们最多上传四张参考图片啊，也就是四个角色， 或者说可以有武器以及服装等单独的那种装饰品的参考。那么还有一个就是 background， 也就是整个场景的背景啊，如果你的原图当中是纯色的背景，那么这个背景图它大概率是会生效的，如果原图当中自己就带有背景，那这个背景图它可能会不生效， 好吧，所以说这里呢，大家要注意。然后这个 y 和 hat 工作流当中已经默认了，按照我们前面设置的参数去自动进行一个设置，这里有个 framecount 四十一，它大概是这样的一个原理，也就是我们上传了参考图之后，比如说我们这里上传个四张参考图， 然后 framecount 设置个四十，那么它就会每张参考图复制十份，那么四张一共就是四十份，我们可以看一下哈，在这里做个预览，现在这个情况下，因为我们把图二还有图三做了一个 by pass， 也就是不通过这两个节点不起作用，所以说在这个节点的输入当中，我们只有第一张图和 background， 也就是第一个人物的大头照特写， 也就是这个。还有一个呢，就是背景图两张图，那么这里我们设置了四十一帧的话，它就大概就是两张图各重复二十次左右哈，我们运行一下看看，大家可以看到这里会有对应的人物的训练哈， 那么关于这个模型，也就是以这种方式去完成参考图特征的一个注入的，或者说能够影响到我们生成的效果的，那么就是这样，如果说你上传了三张图，比如说我们把第二张图给他 by pass 掉，你就让他继续通过哈，通过之后我们现在就是两个参考人物加一个背景， 那么再运行可以看到这四十张图呢，他就会根据你设置的参数自动去进行尺寸的一个背景，那么每张图都会有对应的内容引入哈，这里就是一个错误的案例， 如果说你上传的参考图是横屏的，但是你设置的分辨率是竖屏的，那么大概率这个节点会把你上传图片当中的人物进行一个压缩， 压缩成这种风格的话，或者说这种不正常的比例，那生成的视频肯定也是有问题的，所以说大家一定要注意啊，不要产生拉伸的情况。那所以说这个 lucas r 核心节点，它的一个作用就是上传图片进行一个复制，复制完之后生成一个片头的序列， 片头的训练呢，经过这个 ad video i c lora guide 节点，将它引入到我们的浅空间当中，然后在 d 零的这个位置， frame index 就是 零，在最开始的整个视频的最开始的位置进行一个插入， 那么有了这个插入之后呢，再结合上我们加载的 lo 二模型，就能够把前面的这一部分拿来当成参考去完成我们视频的生成。大概是这样的，那么这个节点呢？预览节点，我们就把它保存到这里，或者说放到这里，接下来跑第二个案例的时候给大家演示一下哈， 所以说呢，在 limit m s r 节点当中，这个 frame count 参数，它有可能会影响到你最终生成视频的质量，那比如说如果你这里只有十七的话，那么每一张图片我们大概就是只有五张，五张重复，或者说五到六张的重复， 那么这个效果可能会受到影响，所以说在这里呢，建议大家可以多做一些测试哈，那么工作流默认的是给到四十一张去引导我们图片的生成，去引导我们视频的生成的 好吧，那么剩下的内容就是采用的参数设置了，后续的这部分我们基本上不需要做任何的修改，这些就按照作者默认的参数来就可以了，如果你感兴趣想要测试的话，你可以把每一个参数的组合都进行的测试哈， 那么这些参数呢，不建议修改。好吧，那么接下来呢，我们来跑一下作者给我们提供的一些案例哈，这里的图一我们来上传一个角色，那么在零一当中，我们上传图一这个多视角的人物，那么图二呢，就是这样一个多视角的女生，同时我们把背景再做一个替换，替换成一个古风的背景， 然后我们再把对应的提示词复制粘贴过来。好的，那么我先把提示词复制到下面，大家可以做一下对比啊，那么在这两段提示词当中啊，上面是我们刚才给大家看的第一个案例，下面是我给大家看到的现在我们即将要跑的这个案例， 那么在这两个案例中，他有一些共同的特征啊，最开始就是描述你上传图片的人物特征，比如说现在上传的我们有两个角色，一个是男生古装的，一个是女生古装的，对吧？所以说这里呢，他就会先把参考图一描述一下，也就是男生的风格，尽可能详细的跟你的原图要对应上的，而且要简短的把它描述出来， 把那些特征你想要保留的特征描述出来，然后参考图二呢，就是你第二张图片的特征也给他描述出来，那么对应的就是女生，然后参考图三就是我们对应的背景也可以描述一下，然后三个参考图尽可能描述的详细之后呢，就开始描述整个视频的一个发展情况， 那大概就是这样，所以说后续大家在进行其他参考的时候，也依照这种方式去进行提示词的书写，中英文都可以哈。那这里呢，我就把刚才我们第一个案例演示的提示词给他删掉，然后设置一下视频的分辨率，因为现在我们做的是横屏，所以说我就跑个一二八零 乘以七二零的分辨率，然后一共跑个七百五十帧，那么五十帧每秒呢，最终大概就是七百五除以五十，也就是十五秒左右哈，那可以看一下我们的帧率设置呢，在这个地方 ltv 条件节点有一个帧率的设置是五十，然后在这个 ltv 空音频前空间当中有一个帧率的设置给的也是五十，然后在创建视频节点有一个帧率的设置，我们给的也是五十。 好的，那么基本上我们整个工作流当中有这三个地方是帧率的设置，那么记得他一定要一致，如果你后续想测试二十四帧每秒，那么这三个位置你也要同时进行一个更改哈，那现在呢，我们就点击运行好的， 可以看到将我们上传的参考图做了一个复制，复制完之后就是大概这样的情况，然后将复制完的信息呢传到了这个 id video 节点当中，然后把这个 image 做了一个参数的引入，同时因为我们加载了 m s r 的 l r 模型，还有对应的提示词，所以说现在在生成的过程就可以有参考的能力出现了。 那么接下来呢，在生成的过程当中，我们去作者的项目主页来看一下给我们提供的一些呃建议。 那么在哈根 face 当中呢，我们搜索这个 m s r 或者说 multi subject reference， 就 可以找到 作者对应的仓库地址哈，那么在仓库地址中往下看啊，有一些重点在这里使用技巧当中。首先提示词描述，我们需要对参考图像进行简洁而准确的描述，那么这句话也就是对你上传的多张参考图进行一个一个的描述， 描述不足或者说描述过度都会导致一致性下降，所以说这里还需要大家自己去进行控制或者说测试。那么第二个高速运动的场景， 也就是画面当中的角色，或者说人物的动作比较激烈的时候，建议呢是以五十 fps 也就是高帧率的形式去完成视频的生成，这样的话会避免一部分的模糊的情况， 然后生成可能性指的就是通常你需要多少次抽卡能获得你比较满意的一次结果，那么这里说需要两到三次，那么大家就可以自行测试了哈。除此之外呢，作者还给我们提供了很多的案例啊，那么我们来看一下，我已经把案例下载到本地了，同时在网盘里面也有给大家提供，所以说大家可以自己下载哈。 然后呢是这个 validation v 一 哈一共给我们提供了八个案例文件，那么第一个案例就是我们现在正在跑的这两个古风角色，然后第二个案例呢，还是古风角色，但是提示词有修改，人物的动作呢也有修改。第三个案例就是刚开始的时候给大家演示的这样一个男生，那么第四个案例是这样的， 两个人物以及一个背景。然后第五个案例，这里是一辆汽车，卡通汽车的三式图，再加上一个跑道，然后这是最终生成的视频，那么这些内容在网盘里面都有提供，大家下去可以自己一个一个做尝试和测试哈，那这里呢，我们就等待它生成完毕哈。 好的，那么这里呢，我们已经完成了视频的生成，大家可以来看一下我们最终的效果哈。 这么巧，没想到会在这里遇见你，我也没想到，一起走走吧。 好的，那么这里就是我们最终生成的视频效果啊，而且这个相对来说也是比较不错的一个结果啊。 那么但是呢，人物的脸部还是在整个视频的占比封面当中，如果比较少的话，那人物的脸部大概率是会毁掉的。好吧，那么就算提高分辨率，这种情况的缓解也并不是特别的大， 我跑过一千六乘以九百的分辨率哈，但是呢，如果是人物的特写，那么效果还是不错的，而且相似程度也是挺高的，具体还是大家拿到工作流之后自己多做测试，看看是否能满足现在的工作需要哈。
953啦啦啦的小黄瓜
06:54查看AI文稿AI文稿现在让我给大家介绍一下 l t x 二。 l t x 二是业界首个高校的音视频联合基础模型，关键是它还是开源的，支持文声影音以及涂声影音。 几天前 ltx 二点三已经发布，相较于 ltx 二有全面提升。从 drawthings 的 开发进度可以看出， ltx 二点三正在紧锣密鼓的支持当中。 ltx 二已经正式支持有一周多的时间，这也是 drawthings 软件上首个支持音频生成的模型。 ltx 二 the first model on drawthings that supports audio generation。 在 drawthings 里，要怎么正确地使用 ltx 二呢？ 那么今天的视频主要是给大家分享我在 drawthings 当前的部署下所探索出来的一些经验以及参数，分享给大家。所有的实践所得大部分都是在 m 五芯片 ipad pro 下本地运行的结果，也有少数是云计算上的经验。 第一部分 ltx 二运行建议 ltx 二分为 dev 版和 distyle 的 蒸馏版，那么在普通消费级硬件上，大家还是老老实实的跑八步的。蒸馏版跑八步的方法我个人习惯直接用 distyle 的 底膜下载的文件大小构成，大家参考一下。 也有人使用 dev 版加 distilled lora 的 组合，它们的区别在哪里？我这里给大家展示一个对比， now let me introduce ltx two to you now， let me introduce ltx two to you。 可以 得出结论，后者组合的效果还是要好一些，尤其是文字渲染的准确度。 dev 版的模型以及 distilled 加速 lora 的 大小约为十八 g 和八 g， 与 one 二点二等视频模型一样，我仍然强烈推荐大家使用 draw things 的 云计算服务来生成。当然，如果用量过多，社区云计算会遇到排队等问题， draw things 家相对有更好的服务。 必须要说明的是， ltx 二比 one 二点二更适合本地跑，尽管 distil 版需要八步生成，经实际测试也要远快于 one 二点二的四步生成。在 m 五 ipad 上跑十六比九，小尺寸七百零四乘以三百八十四，一百二十一针，约五秒钟，只需要二百二十秒左右，也就是三到四分钟就完成了。 下面这张表有一些不同尺寸不同帧数的参考的生成时间，云计算如果不排队，会极快的完成。 第二部分， ltx 二运行参数和对应样例 ltx 二官方说的最高支持二十秒的长视频生成， 在 draw things 里面，单次最高帧数的取值是二百五十七帧，也就是十秒钟。 ltx 二在 draw things 里面的默认帧率是二十四 fps。 我 们最常用的生成的帧数一般是一百二十一帧，或者是一百六十一帧，也就是五至七秒钟。 ltx 二八步蒸馏版本所需要关注到的一些参数是，步数设为八步， c f g 设置为一。唯一要特别给大家分享一下的是，对于 dt 里面 shift 值到底应该是多少？ 在这里，我通过摸索 ltx 二的源代码以及 drop in shift 值的实现， 我发现官方的八步蒸馏工作流用到了九个手动固定的 sigma 值，而通过 drop in shift 值与 sigma 之间的公式关系，通过 ai 辅助，我算出了三个最佳的 shift 值，可以最为接近 ltx 官方的 distilled manual sigma 部署， 以下推荐仅为我的个人建议，不代表 draw things 官方。当 shift 为五的时候，八步生成，这也是 draw things 的 默认推荐设置，也是一个相对稳定的参数。其优缺点如下，对应的生成案例如下， how do i get to the nearest chinese restaurant？ wow， how did this happen it's so amazing i am definitely going to break my previous record this time do you know ltx 2 3 is coming to draw things our research into ltx 2 shows unparalleled stability， but how does it handle high frequency textures in long d rations？ 当 shift 为六的时候，九部生成对应的案例如下， this temple has been hidden for centuries， it's been raining for a solid week when will it finally stop i am waiting for someone， but perhaps she won't come。 而当 shift 为七点八二时，追求稳定的结构和前期轮廓的生成对应的案例如下， fast is easy， winning is hard， i am right here i wanna fly oh my god that's a long way to go i'm lulu i am showing you ltx 2 on draw things in the kingdom of the blind the one eyed man is king that is the funniest story i've heard all week i told you it was a day to remember。 需要说明的是，在 laura 列表里也有一些 ltx 二的 laura 可以 使用，大家可以自行测试。我这里给大家演示一个镜头稳定性的 laura life is boring let's coding life is boring let's coding。 加载了这个 laura， 可以 看到生成的画面除了主体动之外，背景基本上是非常稳定的。 在本期视频发布的时候， ltx 二点三在 drawthings 里面已经内部测试部署完成，并即将公开发布。 ltx 二点三拥有更为丰富的细节，更好的画面，更出色的运镜，更好的肖像，以及原声支持的空间放大。我将会在后面的视频里为大家介绍，我很享受做一个 vip code， 谢谢这个伟大的时代。本期视频所有的参数我都将分享出来，欢迎大家持续关注，工具狂的后速跟进，我们下期再见！
01:44
01:56查看AI文稿AI文稿and then i'm going to go， ahead and 优雅始于相信自己， 优雅始于相信自己。
346DobeAI
