和田古德（GDK）AOI程序制作的教程

深圳市和田谷德自动化设备有限公司研发生产的全自动在线型机板外观检查机，采用多重软件分析法，多种应用模式，高精度运动系统，一台维修工作站确认多台在线机的检测数据，支持 smt 炉前、炉后以及 deep 工位的检测。 c、 a、 d 数据导入，自动链接原件库，自动抽色密斯的数据对接，支持多线体集中管理与远程服务。高清彩色全局曝光，数字相机速度有效提升百分之三十。 高景深远心镜头，可测高原件侧面焊点，支持零二零幺封装的原件检测，双轨检测，有效节省时间，提高检测效率。

今天呢，给大家介绍一个新的利用姿势生成视频的模型，叫做 skill， 那 这个模型最大的特点呢，就是引入了一种新的姿势表示的方式，叫做 n l f pulse， 那 和传统的 open pulse 和 dw open pulse 不 一样， 那这个姿势呢，是一个三维的姿势，所以说呢，它能够完成非常多的功能，那我设计了九个测试场景，让大家充分的了解这个模型它的优势。那首先呢，和传统的姿势生成视频的模型一样，我们给定一个图片，给定一个驱动视频，那它可以生成一个非常棒的视频， 而且呢在人物的面部一致性上表现的是非常到位的，那同样呢，他还有姿势对齐的这个效果，那也就是如果我们给定的驱动视频 和我们的参考图片，他的姿势呢是不太一样的，那这个时候呢，我们的姿势会自动对齐到我们的参考图片上，那生成的视频呢，依然是无可挑剔的。 那由于 n l f 这个姿势格式呢，它是包含面部信息的，所以说从一定程度上，它可以驱动面部的一些变化，那我们在生成的视频当中呢，也可以看到关于面部的一些一致性的表现，那除此之外呢，它还可以生成超长视频， 比方说我这生成一百六十一帧，你会发现生成的这个效果，不管从姿势的一致性，色彩的表现，整体的构图，那都是非常棒的，而且呢中间是没有闪烁的。另外针对我们在视频生成领域非常棘手的一个难题，也就是 旋转的这种视频，那你会发现它的表现呢也依然非常的到位，那到这还没完，那它不光可以进行姿势的迁移，那同时呢也可以控制镜头的运动，那比方大家看一下我们的参考视频， 那在一开始呢，它有一个镜头旋转的动画，那我们利用 skill 这个模型的话呢，可以非常完美的将这个镜头旋转的动画给它表现出来，而这个是其他的模型呢，几乎是没有办法达到的。 所以说可以毫不夸张地讲， skill 这个模型是我们在知识迁移整个的领域当中表现最棒的一个模型。那大家现在看到的就是 skill 在 github 上的页面，那我们可以看到目前呢， k 神的 yy 六的扩展已经支持了这个模型，而且由于 n l f 这个姿势的重要性啊，所以说 k 神专门研发了一个扩展来提取和渲染 n l f 格式的这个姿势。 那如果大家想使用这个模型的话呢，只需要将 one y 六的扩展更新到最新版，然后我们可以在市力工作流里边找到 skill 的 这个工作流，大家把它拖拽到你的 confui 里边就可以了。那关于模型的下载的话呢， k 神依然提供了两种格式，那第一个呢就是 b f 幺六的， 那第二个呢就是 f p 八的，大家可以根据自己的算力情况来选择不同的模型。我把工作流呢也构建到了 running hub 上，大家可以通过 running hub 点森来访问这个平台。在 comfy 领域， running hub 是 一个非常棒的在线工作台，因为只要有新的扩展和新的技术出现，它都会第一时间跟进， 大家可以通过我视频描述区的邀请链接来注册 runnyhab， 这样可以获赠一千点的免费点数，另外你每天登录 runnyhab 也会有一百点的赠送，这样你就可以尝试你自己的工作流了。下面呢我们将会用九个工作流来详细的给大家介绍这个模型。那首先看一下这个模型的一个最基本的用法， 由于这个是一个姿势参考生成模型，所以说呢，我们这需要有一个驱动视频，一个参考图片，那在参考图片的选择上呢，我现在尽量的让它和驱动视频保持对齐。下面呢我们就需要提取整体的这个姿势， 但是你要注意啊，这个格式呢是 n l f 的， 那这个时候呢，我们就需要安装 k 神的另外一个扩展啊，大家看一下，这个扩展呢叫做 confui skill pose， 然后呢你才能够获取我们现在所用到的这些节点， 大家看一下，这些节点其实用起来是比较简单的啊，首先呢是一个姿势的提取，那这个姿势提取的话呢，非常有意思，它其实呢是将 v i t 方式给它转化成 dw 纹 pose， 所以说呢，它这儿加载了一个模型，这个节点呢由于在当 loft 功能，所以说如果这个模型不存在的话，它会自动把它下载下来，然后呢会用到我们的 v i tpos， 然后这儿用到优路威十模型。 那这个组合方式我们其实在 k 神的一些姿势提取的节点当中呢，已经见到过了，那同样利用这些模型的话呢，我们可以将视频以及参考图片的姿势呢全部给它提取出来，但是大家注意啊，提取出来的姿势呢是 dw pos， 而且呢它的输出呢是一个 json 数据，那这个时候我们用到的一个节点叫做 render n i l f post， 那 这个节点的作用呢，就比较多了，第一个呢，它可以做姿势的对齐，因为我们在这儿需要输入的内容呢，第一个就是手抠的这个姿势，那我们是用 n i l f predict 来检测一下第一针的姿势，当然这个姿势就是一个 n l f 格式的。那我们视频里边的这个姿势呢，是连到了 dw post， 而我们的参考图片的姿势呢，是连到了 reference dw post。 经过这样三个节点，我们可以将 我们提取出来的驱动视频的姿势，让它对齐到我们的参考图片里边。这是这个节点的第一个功能。那第二个功能呢，是将姿势的格式呢做一个转化， 因为呢，大家看一下，这儿输入的两个都是 dwpos， 而我们最终需要的是一个 n l f 的 姿势，所以说呢，它会将 dwpos 给它转化成 n l f 格式。那另外呢，就是渲染功能啊，它可以把这个 jason 格式的数据给它渲染成图片 展示出来给我们大家看到。那下面呢，我们看一下主模型的加载，这儿呢，我们加载了 skill fp 八的模型，然后呢， 使用了 light x 二 v 的 加速模型，开启了块儿交换，块儿交换的数量呢，设置成了二十五万二点儿一的 ve 以及我们的视觉模型。那这个呢，是我们的文本提示词的部分，那这个提示词我写的非常的简单，就是一个跳舞的美女，那下边呢，是整个的工作流当中比较重要的一个内容啊，因为我们最终是要生成一个图片的嵌入式项链， 那这个插入向量是怎么来的？首先我们要用视觉模型对参考图片做一个编码，然后我们来生成一个空的 图片的插入式向量，当然你也可以解释成生成一个空的浅空间。然后呢，我会用到两个节点，那这两个节点的用法其实和 steady dancer 是 一样的。首先呢，我们会把参考图片 给它加入到我们的 latent 当中，然后呢再把提取的姿势加到我们的浅空间当中，那后续我们采样的时候会用到。然后是采样的部分，关于采样的节点呢， case 又专门研发了一个，他现在把它命名成叫 v 二，那这里边其实做了一些优化啊，他把我们采样必须要用到的一些输入 放到这个节点里边儿，然后其他的内容呢，它放到了额外的参数这个输入项里边儿。首先是我们的调度器，这个我们使用六步踩样， shift 值呢，设置成了七点儿零。然后在额外的属性选项里边儿，我们开启了 context option， 说白了它具有滑动窗口的这种特性， 可以生成超长的视频。然后呢我们进行采样啊，就可以得到最终的这个效果。我们的分辨率呢，并没有用四八零乘以八十二，因为你详细去看 skill 这个模型，它的分辨率是五幺二 p， 而不是四八零 p。 大家要注意，我们最终生成的这个分辨率一定要能被三十二整除， 而我们像传统的外模型呢，一般是被十六整出就可以了，那这是我们最终生成的效果啊。首先呢我们来看一下姿势的迁移是没有问题的，对参考图片的对齐呢，也没有问题，而且人物一致性非常的强， 我们可以对比一下生成视频里的人物和参考图片的人物呢，是非常像的，那这就是 skill 最简单的一个工作流，那第二个工作流呢，其实跟第一个是一样的啊，呃，我们只是来验证一下这个滑动窗口的这个机制是不是有效果。 那大家看一下我这个视频的长度呢，是非常长的，那我现在提取了里边的一百六十一帧，也就是将近十秒的视频，那我们看下最终生成的效果， 这个是非常棒的，当然你可以将生成视频的长度呢，再给它调大，然后去检测一下它到底能生成多长的视频。下面呢，我们来看一下姿势的对齐， 因为我们在选取驱动视频和参考图片的时候呢，不敢保证这两个的视角是完全一致的，那比方说呢，我现在的视频是一个全身的，而我的参考图片呢是一个半身的，那这个时候呢，就需要进行姿势的对齐， 那我们给大家看到的这个工作流，它是自带姿势对齐功能的，我们最终生成出来的这个姿势已经对齐到了这个参考图片，它是一个半身的，和参考图片是一样的，那我们来看生成的效果，这个效果非常的漂亮，人物的一致性也非常的好，动作的迁移呢也非常的棒， 而且呢进行了姿势的对齐，所以说相比于 study dancer 或者是 one to all animation 来讲呢，它整体的效果的确要好很多。那这个工作流呢，我们是来测试一下 它对表情的这种控制怎么样，因为我们都知道 n l f 这个格式呢，它是自带面部数据的，所以说呢，我的驱动视频采取了一个比较近距离的视角，然后参考图片的视角呢，依然选择的比较近， 然后我们来看最终生成的效果啊，整体的动作迁移是非常完美的，面部的表情呢，不能说没有完全迁移啊，但是呢， 的确做的也不是那么细致，因为你详细去看这个姿势的话呢，面部的动作虽然有啊，但是并不是特别的清楚。那由于 n l f pos 呢是一个三 d 格式的姿势啊，所以说呢， 我们来测试一下它在旋转方面是不是可以完美的去生成一个视频。驱动视频呢，是一个美女站在无人机上 在做三百六十度的旋转，那参考图片呢，我选择了一个站在水中的女孩，首先我们看提取的姿势，那这个是没有问题的。 然后呢，我们看一下生成的视频，那大家可以非常惊喜的发现，这个模型能够把这种旋转的这种动作给它完美的表示出来，那我们之前讲到的其他模型好像几乎都不能完成这个功能，而且你要注意啊，我们从生成的这个效果上来看，它好像也支持镜头的一些运动， 不管是在最终的这个视频上面，还是在我们得到的这个姿势的视频上面，我们都可以看到镜头移动的一个效果，那下面呢，我们就来看一下他是不是可以控制镜头的移动，这也是我们之前用到的一个驱动视频，这个视频在一开始呢有一个镜头旋转的动画，那参考图片呢？这个我们之前也用过， 那我们来看生成的效果，大家看一下啊，重点呢还是人物在转，是吧？这个镜头是没有转的，我原本以为到这呢肯定就测试完了，后来不死心，我又给他加了一个 u n c 的 节点，大家看一下，我们把刚才的驱动视频 给它编码到我们的潜空间当中去，然后呢利用 uni 三 c 提取它的镜头的动作，给它连接到我们的 uni 三 c in bad 这个输入里边儿，等到这个时候你就会发现我们将镜头旋转的问题 完美的给它解决了。那通过这么多的工作流以及实力测试，你有没有发现 skill 这个模型好像是一个全能模型，啥都能干，不过也的确是这个样子，所以说呢，建议大家充分的关注我，做一个懂爱的人。