话里面呢有个叫 tax invention 的文字反中文名字叫文字反转的这样的一个技术,我昨天也是初初的讲讲了一下,然后今天细致跟大家再介绍一下 第二代最新的研究发现,你只要给 ai 喂养一些三到五张的图片, ai 就能从这个图片当中它能够抽象出图片里面的物体或者是风格, 他又可以根据出来的这种物体和风格,然后他可以生成个性化的新的图片,他可以跟你的那个模型再度融合,他等于是这样。那那这个技术的话呢,叫叫 tax essential, 这个技术也是那个英伟达他们把这个技术开开源出来的。他他有个猫,他有个 陶瓷猫的这样的一个照片,他放了三张照片,他可以把这个陶瓷猫可以让他把这个陶瓷猫跟你这个具体的你的这个名称能够有一个叫名字可以对应,对应上了之后在那个 stay 背包 diffusion 里面把这个名字能够跟你的这个编码能够对应起来的话,那么他这个陶瓷猫可以出现在各种各样的图图当中了。他有可能说这个陶瓷猫在这个船上面,他也可能也可以说这个陶瓷猫是是一个背包,他等于是包括这个陶瓷猫,他是一个, 它是一个油画,包括这个陶瓷猫可以在电电视机里面它它它都可以通过不同的描述把这个物体能够抽象到不同的这个对应到不同的这个照片上去。这里面的话还有一些例子,还有有一些艺术雕像啊什么的 艺术,我们他也可以抽象出来,他可以把他的这个样子,或者把他这个风格,把他给抽象出来,包括还有些什么铠甲,小人,他都是可以用。他。这里面还举了一些例子,包括有一些碗,特殊的一些碗,然后呢,他可以把碗呢图片里面把它给抽象出来。抽象出来之后呢,然后跟场景和新的文字,新的图片进行合成啊,成新的风格的图片啊。 这个是挺有意思的。这个技术的话是就是那个叫 texture invention incher, 它等于是这样等字法的话,它本本质上的话呢,它也是用 stable diffusion 的这个预处理的这样的一个模型,然后加上你的几几张个性化的图片,生成一个新的模型,然后把 stable diffusion 跟 text invention 的这个模型, 它能够结合,然后生成出你个性化的这些图片。它的它除了有这种功能之外,它也可以在也是讲过的这样。这个这图片当中某一个区域,我们叫 in panting 啊,它可以跟一些非常著名的一些画能够结合 在这个图片当中的某个区域,把它给涂抹掉,重新生成一个新的东西。他在这里面举了一个例子,乔布什他拿了一个 iphone 四的手机,然后就把那个 iphone 四的手机把这个东西把这个区域涂抹掉,再经过 in panting 这个动作,然后他就可以 把他那个这个这这这个前面讲的那个卡通的那个猫,他能够显示在乔布斯的手上面,他等于是这样他他可以有很多的那种创意。这个的话做一些电商我觉得还是有点意思的,如果你的商品比较特殊的,你通过这种方式可以 去做一些很有创意的一些东西。好,我们就把那个 tax invention 的这个就跟大家再来讲一下,就是它呢,实际上它就是用一个很好的这样的一个文本和图片的一个模型, 然后再个描述的概念的一个小的那个像的一个集。一般的话呢,只要三到五张照片,你嵌入一个单词去描述这样一个 小图集的这样的一个照片。他会他会在 ai 里面,你可以利用这个单词跟你的产生你需要的这样的一个个性化的图片,他等于是这样。这个技术就是叫 in texture, in texture invention, 他等于是这样。好,我给大家演示一下这个 东西。我选择了一个一个美国的一个明星,一个男明星的话呢,他的训练,他主要是拿了这个男明星的一些脸,他的一个人物的照片,但是你可以通过这个人物的照片换成你需要的这种,就是他可以穿这个 doctor 的 穿一身的服装,穿的这个军装,他是变成一个牧师,因为他本身就是个明星,他长得也是比较帅。那这样的话呢,他可以穿各种各样的服饰,在各种各样的场景上,你可以说他在海边,他在教室里面,他等于是这样。我给大家演示一下这个是怎么实现的,我们可以看一下这个,这个叫他有一个叫 text in venture 的这样的一个东西。 好,我去找一对话,这个是他一个 doctor 的这样的一张照片,我们可以去复制一下,看看他怎么能把它做出来。这个是他的负负的一些数,就是他不要什么一些描述哦。如果你要用那个 text texture, 因安讯,你要有一个特殊的一个名词去指定你这个人物,或者指定你这个动作。他等于是这样。我们在这个里面的话呢,叫 john johnson, 他是一个模特的名称,他是一个名称叫 johnson, 那作为一个 doctor, 他等于是这样。我们看看生成一下,他要生成一段时间还是比较快的。像这种 text invention 的话呢,它比较适合做人物或者物体。他这个是比较合适的,已经基本上已经出来了这个人。因为我们清楚就如果就你自己生成这个 doctor 的照片,他有可能是随机的在 stable diffusion 里面生成一个张人脸,这张人脸不一定是你要的。这个时候你可以通过这样的一个一个三五张照片,训练出一个 text eventual 的这样的一个 embedding 的这样的一个预处理模型。在文字里面去 用这个预处理的这个模型这个单词,它就可以生存出你需要的这个 doctor 的这样一张脸的这个照片。这个还是非常有效, 他就已经差不多深圳出来了。还有六秒钟,我们看一下他已经跑出来了。对,我们再来看一个,如果是一个军装的,我看看是个收集的,我们再跑一下他。这种应用场景非常适合于这种模特。模特模特的话呢,你的代言人, 你把它呃几张照片,你可以把它训练出一个模特的名称,跟你的这个模型可以对应上。如果你再要用这个模特,你可以把它这个名字跟你的这个要深层的这样的一个文字,再输入在这个文字里面,你就可以产生各种各样你代言人,模特的这样的这些图片。他等于是这样, 基本上他已经产生了,用起来还是非常方便的,用起来还是非常方便的。他这个他已经产生了,对我这个图片会比较方,所以他有点遮掉头,我们可以也可以让他把这个图片变得长一点,生成的是也是可以的。其实我们看一下这张木 师,这个是 soldier 牧师也是可以的。他其实这个描述是非常简单的,主要是你要把他就说是一张高清的一张照片,这张照片是谁的,这个谁就是你前面 tax invading 的这样的一个人名,这样教我们。我这里面他这个模型里面用的叫 johnson。 作为一个牧师,你可以去 可以穿什么黑色的袍子啊,领带啊,什么样的场景啊,这个你都可以定义。定义完了之后呢,就可以产生一张这种类似于这个江森的这样的一个照片,看上去的话就是他的本人。 是这样。我们再等一下他这个里面还会有一些倒数,就是一些就是要他不要什么,就是说不要他有一些比较胖啊,就是黑色皮肤啊,他已经产生了。 就这样一个人,他应该是一个动作明星,我看应该是这样子。好的好,我们再来讲一下,就是这个 stable diffusion 里面我们讲过的那种 四种模型对吧?我们昨天也是讲过的,就是 taxi venture, 然后 cybo 这个这个 network 就是超参数,还有一个 dreamboss 和 laura 这个四个模型, dreamboss 跟 rora 会比较接近,这个 rora 它相对来讲就是 dreambose 的升级版,它训练所需要的时间更少, 需要的那个 gpu 消耗都会比较小,产生的模型也会比较小,它不像那个 dreamboss, 它的产生的模型会比较大。所以呢, verra 这个模型目前用的还是比较多的,这几个 技术他都是可以应用在我前面讲的。你可以给他四五四五张照片,然后成你需要的个性化的模型。这个个性化的模型在跟你的跟你的文字的描述进行对应,生成出来的 这个主题的人物或者里面的物体是你需要的,他等于是这样。好,这个就就跟大家就好吧。嗯,如果大家有话也可以给我留言。嗯。
粉丝4.6万获赞35.7万

怎么做出这种效果?这就是用 deform 的插件来实现的。 deform 扩展是一种动画插件,可以让您继续使用。提示描述构建的关键真声成引人入胜的二 d 和三 d 动画。您可以在 google、 clip 和本地计算机上安装它。 他有五个选项卡,分别是运行设置、关键、真设置、关键词设置、初始化设置和视频导出设置。想知道更多的 stable diffusion 小知识,加个关注喽!

最新的 cbd 优质外部 ui 迎来了全新的一点六版本,在这个版本里面进行了大量的升级,首先最明显的是在主页面当中把生成的这些参数和这些模型都放在了同一个导航栏里, 这样查看的时候就会非常的方便。当然如果你想改这个模型的大小,你可以来到设置页面,然后在下面找到有一个扩展模型,在这里可以填写卡牌的宽度 和一个高度,你把长宽调整好之后,记得点击保存设置,然后点击重载就可以设置完成。除此之外,它最大的一个优化的点就是对于 sd 叉 l 这个模型,像我使用 sd 叉 l 这个模型生成图片的话,只需要五点八秒, 这个地方还可以直接的使用瑞翻的模型,因为之前的版本我们在文生图里面用贝斯生成图片之后,还得把图片放到 图上,图里面再用瑞帆的模型再跑一遍,那么现在的话就可以能够形成完整的一个工作流,贝斯和瑞帆的这两个模型加起来 一起生成图片的话,也只是需要十六秒。然后在瑞帆的模型的这里有一个 switch it 这个参数,这个参数决定了瑞帆的模型生成的图片和贝斯魔镜生成的图片的差异程度。就比如说这张是我只用 sd 叉 l 贝斯模型生成的图片, 现在我固定一下它的的种子值,然后打开 refine 这个 switch it 就保留一个比较高的数,然后再生成一张。 可以看到右边这张图片是由贝色加上瑞翻脑生成的,右边呢只是由贝色模型生成的两张图片从构图到元素上其实相差不多,那么回 到外部 ui, 我把参数给他调低,然后再生成一张,当然这一次生成的话,种子依然是固定的,可以看到他生成的就是一张变化幅度非常大的图片。所以我建议大家如果要使用 refine 的话, 那么这个 switchite 要把他的数给他开大。然后还有一个地方是他这里增加了非常多的采样方法,这些采样方法大家都可以去尝试一下,然后他还把高分辨率修复放到了这里。我们想要使用最新的版本的话,一定要在这里把版本切换到最新的一周, 然后再次打开才能够正常的使用。新版本对于 sd 叉 l 的模型以及各种操作都做了很大的优化,真的非常推荐大家来试试。

好,嗯,今天的话跟大家来介绍一个开源的呃,中英文的这样一个 invading 的这样一个模型啊,叫文本嵌入模型啊,那么这个模型它基本上是填补了这个中文像量文本检索领域的一个空白啊, 这个模型还是非常有价值的,我先跟大家介绍一下我们在本地知识库啊,跟 l l m 大模型结合的时候,我们经常会 把本地知识库变成有一个操作,叫向量化的这样一个操作,然后存储到适量数据库,包括你要问用户要问问题的时候,他也要进行一个限量化的操作。这个限量化操作,他的本质就是把一些中文的一些文字进行分词,分词完了之后,他词和词, 句子和句子之间进行在向量空间之间做一些比较啊,它的核心就是做这样一个事的。那这个功能呢,之前大家一般都会用那个 open chat 里面有一个叫 text embedding elda 零零二的这个模型 啊,这个模型的话,因为它的性能会比较好啊,广泛使用的是这样的一个模型啊,那么现在的话呢,就是有一个团队啊,摩卡的这个团队,他们就开发了一种叫 m 三一的这样一个模型啊,这个模型的话呢,它的表现,它主要是在中英文上面的向量的这些 表现啊,分类啊,检索的这个表现,他要比 oppo ai 的这个 text invading the ada 零零二的这个模型要更好。这个是他们公布的一些数据啊,他目前的话呢,是公布了两个模型,一个是 small 啊,他的参数比较小啊,大概是在两千四百,呃, million 的这样的一个参数啊, 二二十四迷恋的这样一个参数啊,这个准确度是零点五八啊,那么他也已经好于这个跟 oba ai 的这个 ld 这个模型差一点点,然后他有一个基本模型啊,叫类似模型的话,他就已经超过了这个 l 打的这个 oba ai 的这个模型啊,那么目前呢,他还在做一个垃圾的模型,目前还没公布出来啊,那我们估计他这个垃圾垃圾模型公布出来,他肯定要强于这个 oba ai 的这样的一个模型的啊。那么这个模型的用途我前面已经跟大家讲了一下,他也已经把这个模型已经啊公布在那个哈根 face 上面啊, 这个模型呢,他呢是用了两千两百万的那个中文组织队啊,然后进行训练的,他是能够支持中英文双语的这样的一个相似度的比较啊,这个对中对我们中国人来讲是比较友好啊,他是会比较友好,因为这个 inbeding 这个操作他还是蛮重要的,因为我们 呃在我前面讲的就是大模型跟史亮数据库叫外部知识库结合的时候,他最重也是一个比较重要的这样一个操作啊,这个操作如果他 invading, 他也会做一个检索的这样一个动作,如果 检索的越准啊,那么他出来的这个相关性越多,那么他给大模型提示模板里面的这个 background 这个资料或者 context 的这个内容就会越精准,那么他出来回答消费者的这些问题的话,也就会越准啊,所以这个 模型还是非常重要的,他也是一个深度学习的这样一个模型。呃,他这个是他公布的一些数据,我们前面已经讲过了,他在他这个怎么用,他也是比较简单,我们可以看一下,他也是基于这个这个模型 来进行开发的啊,他在这个模型上进行微调啊,进行训练,重新训练,训练完了之后他就变成这个 n 三 ebase 这样一个模型,然后当然这个模型要预预下载下来,然后他把这个就 通过一个 incode 的这样一个操作变成 invading 的这样一个项链,这个项链的话呢是七百多位。嗯,我看了一下前面,前面他这个里面介绍了一下七百六十八个维度,他等于是这样,那么他这个模型是在哈根费上的 话呢?他的原代码在 k 叉不上面啊,也已经公布出来了,前两天他是零点三点零这个版本刚刚发布出来啊,零点三点零这个模型他也是可以进行微调的,微调的, 就是你可以用。呃,因为这个模型有可能是用你的这个数据集你公布出来的,当然他这个会比较准啊,但是可能用你自己数据集的时候呢,可能不太准。那么这个时候呢,你要经过微调啊,这个是他文本分类的这样的一个准确度。目前他公布出来的是这个贝斯, 这个是欧奔 ai 的准确度还可以的。他这个然后的话呢,这个是 base, 这个是检索,这个就是,呃,我们这个本地知识库结合 l l 大模型用的非常多的一个检索排序的这样一个模型 啊。 map 十,它这个它要比这个 oppo ai 的要精确一点啊,它等于是这样啊,要更好一些啊。好,大概是我们再来看看它到底是怎么微调的啊?稍微给大家看 看一下啊,这个也是比较好的啊,他微调的话呢,他还是比较简单的啊,他主要第一步的话呢,就是要加载这个 数据集,他通过 five turn 的这个论就可以了。那么他这个数据集呢,他主要是字型啊,一种类型呢,叫句子。对啊,啊,就是就是这种啊,就是比较相似的啊,肾结石如何治疗和如何治疗肾结石两个是比较相似的,你要告诉他这两个句子是比较相似的啊, 还有一种那个数据方式呢,他叫三元组,你要告诉他是哪些是相似的,嗯,哪些是不相似的啊?就说胆结石跟肾结石他其实是两个东西,你要告诉他这个是不相关的,这个是相关的。还有一种呢就是打分,打分就是你要告诉他哪些是相关的, 肾结石是相关的,胆结石是零,他是最不相关的,他等于是这样,你可以做这个相关和不相关的打分的,这种数据你进过微调之后,他这个就会比较准啊,他等于是这样。好的,所以这个项目就跟大家简单的介绍一下啊。好,今天的话就跟大家就聊到这。

stable diffusion web u i 全面升级, nice 终于迎来了全新的一点六版本,在这个版本里进行了大量升级。最新的一点六版本不仅原声支持 s、 d、 x、 l refiner, 并且 laura 终于有了它固定的位置了。而取代曾经小红点位置的是我很期待的小铅笔。 我们可以用它来记录我们的通用提示词,这样在我们日后生图的过程中就可以省去了复制粘贴这一繁琐任务。另外,官方重做并且新增了几个采用方法,让他们可以支持 xl 的版本。接下来也会对这些采用方法做出对比,让我们一起期待一下吧。

你肯定想象不到 sd 也可以电图了。 control net 的这项新能力简直让 stable diffusion 的实用性再上一个台阶,这个新能力就是一点一点。四、新版本发布,预处理器 ip adapter 这些更新将彻底改变 sd 的使用流程。 ipadapter 这个新的功能,简单来说,他可以识别参考图的艺术风格和内容,然后生成相似的作品,并且还可以搭配其他控制器使用。可以说, sd 已经学会临摹大师的绘画,并且运用到自己的作品上了。 接下来,我将通过两个小案例向你展示 ipadapter 如何使用。无论你是艺术家、设计师,还是只是对 ai 技术感兴趣,这个教程都将带你深入了解如何利用 ipadapter 将你的创造力发挥到极致。这条视频讲的非常详细,建议你先点赞收藏。 首先,我们打开 y b o i 界面,在 control net 选择 ip adapter, 选择一张参考图,我专门选了一张风格比较明显的女生。然后我们调整与处理器和图 图片尺寸。最后点击生成按钮,可以看到生成的人物不仅头发颜色、动作姿势类似,而且服装也有比较好的还原。接着,我们再添加一张新图片到 ctrl net 中,选择 kine 作为控制方式,并推荐把控制参数调低一些,大约零点七。最后点击生成按钮, 生成的人物图片姿势符合参考图片,而且画风还能保持统一。然后我们再换一张图片,选择 soft age 模式进行生成,结果同样令人满意。 接下来我们演示一下如何制作室内效果图。首先,我们选择一张室内效果图,并将其放入 control net 中。接着选择 ipadapter 进行适配,然后调整图片参数和更换大模型。最后直接点击生成按钮,可以看到生成的效果图风格非常接近原图,当然这个拿来直接使用还有一定的距离, 所以我再添加一个图作为构图参考,选择 dept 深度图模型,点击生成 风格也是完美的迁移到了我们想要的构图上。虽然现在看起来生成的图片有些模糊,是因为我使用的是 sd 一点五的模型,并且还没有输入任何的提示词。最后我们再添加一个常用的质量提示词骑手式,然后通过使用 tail 插件提高生成图片的分辨率, 最终达到一千零八十分辨率。这就是 control net 插件 v 一点一点四版本的最新更新 ip adapter 功能,我相信将为 ai 绘画带来新的可能性。如果这个视频对你有帮助,请不要忘记点赞收藏, 你的支持对我制作下一期教程非常重要。如果你有任何想学的内容,请随时在评论中告诉我们。感谢你的观看。我是设计师,学 ai 教你实操,圣于虚言。我们下期再见。

seven 结 few 上可以训练自己的稳定扩散模型,这是一种令人兴奋的机器学习模型,它能够根据文本描述生成惊人逼真的图像。您可以采用不同的方法来训练自己的模型, 其中包括使用额外的数据对现有模型进行微调,或使用一些像 double 这样的技术。微调是一种广泛使用的机器学习技术, 他通过让语线训练好的模型在特定数据集上继续训练来提高其性能。例如,您可以使用更多的图像数据来微调您的稳定扩散模型,以使其更倾向于生成与您的数据及类似的图像, 同时仍然保持其多功能性。另一种令人兴奋的技术是 during booth, 它可以帮助您将新的风格或主题引入您的稳定扩散模型。使用 during booth, 您可以使用至少三到 五张自定义图像来向模型教授新的概念和风格。这是一个非常有趣的方式,可以帮助您创建出与众不同的图像。下期揭晓具体怎么做,加个关注了。

近年来,人类在追求智能机器的道路上取得了巨大的进步。大型语言模型 im 的出现就是一个明显的调。这种基于模拟人类大脑工作方式的研究的技术 开创了一个名为生成是菜的心。生成是恋爱,能够编写富有深度和复杂性的文本、创作图片和计算机代码,其表现堪比人类。 要让 l l m s 生成文字,首先得让他们懂单词。 单词首先会被拆分为 tokens, 一种能够被编码的基础单元。 token 词源常常只代表单词的一部分。这里简化处理,把一个完整单词当成一个 token。 要理解 work 这个词, lms 需要在大量的训练数据中观察他是如何使用的,看看他周围的单词都有哪些。 经过这样的训练,我们获得了一个巨大的单词,里面有与 word 一同出现的单词,还有哪些没在 word 附近出现的。 处理这些单词时,模型会生成一个饱含多个值的项量,并根据每个单词与窝在训练数据中的距离调整这些值。 此嵌入里有好几百个值,每个值都代表了单词意义的不同方面。由于我们无法准确知道每个值代表什么,但那些意思相近的单词,他们的项量往往很像,比如 c 和 o 式。通过项量,我们能量化这种相。 如果我们只用两个指来表示词像量,就能更直观的看到单词之间的相似度。这样我们就能发现一些词群,比如代词群、交通工具群。而能量化单词正是让模型成功生成文本的第一步。 transformer 架构的关键在于一种叫做自注意力的概念,它是 l, l, m, s, 能理解单词之间的关系。 自注意力机制会分析文本的每一个 top, 并判断哪些部分,对理解其整体含义更为重要。在 transformer 出现之前,星际的 ai 翻译主要依赖于循环神情网络,他们会如此处理句。然而, transformer 通过四注意力机制可以同时处理句子中的所有词。在这个例子中, transformer 能够立刻理解 intros 作为名词,用来描述个人对政治的看法。如果稍微改一下,模型也能理解 intros。 这次适用在金融方面。 而当我们把这些句子结合起来,模型仍能准确理解每个词的意思。这都得益于自注意力机制的强大作用。 这种功能对于创建高质量的文本非常关键。没有这个功能,某些词可能会在不适合的情境下被驱刑。 比如,这个机制确保在你谈论利率时,你不会毋用词语,如用连车词代替引资险。 他不仅对于多一词录音确实有效,在某个句子中,他可以判断这些更可能指的是道理。但是,如果我们稍作修好,把哈姆瑞换成的泪水,系统会重新判断,认为更可能是梦。 这种自我关注机制越大规模应用,对语言处理的益处越明显。怕是 lm 能够跨距在理解上下文更精准的判断词语的使用。 在输入数据经过切割和编码后,我们获得了一串计算机可以理解的数据,包含了词意位置和词语间的关系。 简单来说,这些模型的主要任务是预测文本序列中的下一个单词,并一直重复这个过程,直到生成一段完整的文本。每个单词或 top 都有一个概率分数,代表他出现在序列中的可能性。模型会持续这个过程, 直到铲除一段令其满意的文字。然而,这个贪婪搜索的方法也有其问题。有时候,即使每个单词看似合适,整个句子却可能偏离主题。为了解决这个问题, transformers 采取了不同的方法来提高他们输出文本的质量。比如使用 bing search 技术。通过 bing search 这种方式,模型可以探索多种可能性,并选择最好的一种。

你现在看到的是 staybody folin 二点零的效果,作为一个非常著名的开元的人工智能模型, debo 第夫人呢,可以利用文本来生成逼真的图像,他从一点四版本开始名声大噪,那二点零版本又会带给我们什么不一样的体验呢?我们一起来感受一下。首先相对于之前的版本呢,他能够生成高分辨率的图像,这样会使生成的图像的细节呢更多, 而且更重要的是,他不单单可以自己生成高分辨率的图像,也可以使其他的图像呢拥有更高的分辨率。当然这个功能呢,并不是二点零里边新增的, 在之前的版本当中呢,也有同样的功能,但是相比之下,二点零版本里边的超分功能呢,他的效果更加的惊人。那你注意,在下边的图像当中,左侧呢是 之前版本的超分图像的效果,而右侧呢则是新版本的超分图像的效果,相比较之下谁更胜一筹就很明显了。那他第二个非常重要的功能就是利用景山信息和提示文本来生成图像。 那你现在看到的这种类似于黑白照片的图像呢,就代表着一张图片的谨慎信息,他通常提供两种非常重要的图片信息, 一个是图片的轮廓,第二个就是图像当中每一个部分距离镜头的远近。在这个黑白图像当中,那亮度越亮,就代表着这一部分离着镜头呢越近。那利用图像的紧身信息又有什么作用呢? 那你来看下边这些图片,那最左边的三 d 小人呢,大家一定都不陌生,可能很多人在做 ppt 的时候呢,都用过他,那如果我们提取他的 谨慎信息,并且增加一些文本提示,就可以生成一些类似的图像,就像你现在在右侧看到的这些,虽然不同,但是呢非常的相似。同样下边的这些图片呢,也是通过谨慎信息来生成的, 虽然人物胳膊相同,但是他们都带着一副充满着科技感的眼睛在 staybody 奉上。二点零里边呢,图片的修复变得更加的容易, 比如在下边的这个图像当中,我们可以利用图像的修复功能,可以让这个动物嘴巴下边的部分呢保持不变,而嘴巴上面的部分呢,在不断的发生变化。而思维波迪夫人第四个非常重要的功能就是能够生成非常逼真的反射与折射的效果,就像下边这些美丽的人眼, 在水面上的玻璃体,以及在这个水下游泳的马,人工智能将他们对光的反射 和折射呢都表现的淋漓尽致。最后一个我们需要强调的功能就是照片级的人物生成,那不得不说相对于一点四或者是一点五版本来讲,二点零版本的人物生成呢,已经有了一个质的飞跃,这样可以帮助我们生成很多逼真的虚拟角色。 那如果你不太喜欢写诗风格呢,也没有关系,因为它生成的虚拟人物的效果呢,同样让人眼前一亮,比如下边这个赛博朋克风格的人物,当然新版的 staybook 的分任呢,他的特点呢还有很多, 比方说可以生成效果经验的装修效果图,以及生成很多超现实主义的图像,那如果你有兴趣的话呢,可以通过下面的链接自己来试一下,关注我,让知识变得更有意思。

不会吧,既然还有人不知道怎么制作纯文字翻转视频,悄悄告诉你快影就可以哦!详细制作教程, 点击豌豆配音, 点击更多发音人,选择自己喜欢的主播试听,满意后保存作品 选择 m p 四下载格式,打开快手,点击百宝箱,点文字视频,选择视频提取声音 点样式竟然还有人不知道怎么制作纯文字翻转视频,悄悄告诉你,快影就可以哦!

一个语言模型可以完成所有语言的翻译吗?而且是文本和语音都可以。来看一下 facebook 的母公司迈特 ai 研发的最新多模态语言模型 similes m 四 t。 我们之所以叫它多模态,是因为它既可以处理文本,也可以处理语音。 而且他能够完成自然语言翻译的所有任务,包括自动的语音识别、语音和文本之间的任何形式的双向翻译。 从他的官方主页上,我们可以看到这样一组关键数据。在语音方面呢,他支持一百零一种语言的输入,以及三十五种语言的输出。而在文本方面呢,他支持九十六种语言的输入与输出。 那从这个数量级我们也能看出来,一个模型能支持这么多语言,而且是既有语音也有文本。这个呢,是一个很了不起的模型了。目前的这个项目已经开源,你可以在 get up 上下载它的原码,在 本地部署试一下。同时, similis 呢,也提供了两种在线的交互式呆帽,一个是他官方自带的,另外一个则是运行在包包脸上的。下面呢,我们进入他的官方呆帽,点击 start 的呆帽,我们可以录制一段文本,任何语言都可以。我们先来试一下英文的。 上面有一个友好的提示,他会告诉你,如果你不知道说什么,你可以说 my favorite animal is the elephant。 也就是我喜欢的动物是大象。下面呢,我们点击开始录制。 录制完成之后呢,你需要选择将这个语言翻译成什么语言。这呢,我们选择简体中文,经过模型的处理,它能够自动识别出来。你使用的语言呢是英文。然后呢,就是对目标语言的翻译。 我们可以看到他中文文本的翻译结果。我最喜欢的动物是大象,我最喜欢的动物是大象。 下面呢,我们来看一下中文到英文的翻译。我录制的语音呢是日照香炉生紫烟。首先语音的识别呢,非常的准。然后我们可以看到英文的翻译结果 the sun is shining on the chimney。 那我们再来看一下语音的效果。 the sun is shining on the chimney。 最后呢,我们来试一下中文到多语言的翻译。这次我录制的语音是麻烦不找你,你别自找麻烦。 而目标语言呢,我们选择了两个,一个是日文,一个是英文。首先呢,我们可以看到文本的翻译结果。这个结果呢,我很难评判他是好是坏啊,但是看起来好像是那么回事。下面呢,我们再来看一下他语音翻译的一个效果。 don't bother looking for yourself niamira kimio or sasanite kimira miso kara niamio or sasanite 不管怎么讲,一个简单的语音模型融合了这么多种语言,然后既可以处理文本,也可以处理语音。这个本身呢,就是一个了不起的事情了。关注我,让知识变得更有意思!

大家好,这一期教大家七种文本使用小技巧。第一种,文字弯曲。首先剪映,添加背景素材,工具栏,点击文字新建文本,输入文字,文字框延长至背景一样的长度, 时间轴返回到最前面,工具栏,点击编辑,点击花字,给文字添加合适的花字,再点击样式,字号适当的调大一些, 然后在色块上面一排子工具栏里面找到弯曲,点击字母,弯曲模型下面就会出现一个弯曲弧度,调节线 向左移动,调节线中间圆点,文字就会朝上弯曲,最大可以调到三百六十度,圆点上右移,文字就会朝下弯曲,最大同样可以调到三百六十度, 原点推回中间零度位置,文字就保持直线状态。下面我们点击菱形符号,在文字的最开始处打一个关键针, 然后将时间轴移到两秒的位置,调节线中间圆点往左推一定的度数, 文字就会朝上弯曲,然后再将时间轴推到五秒,位置,调节线圆点往右移至三百六十度, 使文字弯曲成圆形。接下来再将时间轴往后移动两秒,调节线圆点再往回拉一些,使文字成弧形, 点击对勾返回,然后滑动工具栏,点击动画,给文字添加一个入场动画,往上滑,在后面找到拖尾 动画,时长拉满,点击对勾返回,放大播放,看一下效果。 第二种,做简约开场,首先剪映,添加白底素材, 点亮素材框,将它延长至八秒的长度,将时间轴推回到最前面,返回主工具栏,点击文字点新建文本, 点击符号,添加实心元符号,因为系统默认文本颜色是白色,我们添加的符号会看不见,下面我们先点击样式,先给文本设计一个颜色,我们滑动色块,选择一个容易抠图的绿色, 然后再添加三个实心元符号。 接下来再点开样式,点击排列,将 符号调大一些,再将字间距调成负值,点击对勾返回,将文字框延长至主视频素材一样的长度。 时间轴推回到前面,滑动工具栏,点击动画,添加。入场动画,旋转飞入时常设为一点五秒左右, 然后再点击循环动画,添加循环动画里面的随机弹跳, 将动画速度调成最慢,点击对勾返回,将时间轴往 前推到视频三秒的位置, 点击菱形符号,给文字框打上一个关键针, 然后将时间轴推至文字框的末尾。双指将圆形符号扩大,一直扩大到绿色,覆盖整个屏幕,然后点击上面导出键,将它导出备用。 再次开始创作剪映,添加一段视频,工具栏,点画中画,新增画中画,导入刚刚导出的视频, 将画中画扩满全屏。时间轴往后移到出现绿色的部分。滑动工具栏,点 击抠像点色度,抠图取色器中间圆点对准绿色,点击强度,拉一点强度,抠出绿色,点击对勾返回,点击放大播放看效果。 第三种,编辑样式工具栏,点击文字,点新建文本,添加文字, 长按其中一个文字,也可以拉动光标,选择两个或多个文字,点击编辑样式,将字 号调大,被选中文字就可以扩大,还可以给他选择不同的颜色, 这是文字单独设计样式的一个小技巧。第四种,文字变色工具栏,点击文字新建文本,添加文字, 将文字框延长,时间轴返回到视频最前面工具栏,点击编辑,点击样式,点击菱形符号,文字开头处打一个关键针, 时间轴往后一到三秒位置给文字换一个颜色,时间轴一到六秒位置 将文字换成另外一个颜色,再将时间轴往后移动一些距离,再给文字换一个颜色, 点击对勾返回时间轴推回到视频最前面,点击放大播放看一下, 这样文字就有了一个渐渐变色的效果。 第五种,闪色 工具栏,点击文字新建文本,添加文字,将文字框延长,然后时间轴返回 回到视频最前面工具栏,点击复制,将文字复制一份,然后在工具栏点击编辑,复制的文字换成另外一个颜色, 然后再点击动画,点循环动画复制的文字,添加循环动画里面的故障闪动,点击对勾返回 放大看效果, 这样文字就有了显色的效果。 第六种,频闪 工具栏,点击文字,点击新建文本,点击符号,添加实心元符号, 点击样式,将符号改为黑色,然后双指将符号扩大铺满整个屏幕。 接下来再将符号的透明度调成三十五左右, 然后再点击动画,点循环动画,给文字符号添加循环动画故障闪动, 动画速度调到最快,点击对勾看效果,简单两步就做出了平闪的效果, 还可以将动画换成闪烁屏闪速度就会更快。 第七种,扫墓首先剪映,添加黑底素材工具栏,点击文字,点击新建文本,添加文字, 添加好文字,再返回主工具栏,点击画中画,点新增画中画,再添加黑底素材, 把它扩满全屏,然后滑动工具栏,点击层级, 点开全部轨道,将画中画黑底素材调至文字轨道上层,点击对勾返回。接下来滑动工具栏,点击蒙版, 选择线性蒙版,点击反转,再将蒙版反时针方向旋转一下, 拉一点点羽化,然后将蒙版移到屏幕左上角,将文字完全遮挡。在编辑栏,点击菱形符号,在文字开始处添加一个关键针, 然后再将时间轴往后移动两秒,再将蒙版移到屏幕的右下角,露出全部文字,点击返回键返回。放大预览一下, 一个扫墓文字就做好了,今天的内容就分享到这里,我们下一期再见!

今天呢,给大家分享一个网站,本身上这个网站也是收费的,就是看到这个东西觉得很有意思,跟大家分享一下。 ai 能够通过文本生成图片视频,现在可以生成三 d 模型了,是不很酷,对于游戏建模或电影特效等是一大里程碑。 那昨天呢,有一家三 d 厂商叫 tarfe, 他发布了一个可以通过文本直接生成三 d 角色模型的押平台。 咖啡的官方消息称是通过二十多年积累了五百多万件可编辑的三 d 模型,再加上他自己独家的这个 ai 生成引擎, 可以在很短的时间内就完成这个所有的模型的训练。这也是全球首个高质量的生成是三 d 模型平台。如果采用传统的方式来训练这个 ai 模型呢,大概需要七万五千年才能达到这种高精度高质量的标准。用户可以通过文本就能够快速的去创建三 d 模型。即使你没有任何三 d 设计的经验,你也可以使用这个平台,你只需要提供你的创意想法即可。而且呢,从视频 中可以看到,还可以生成的这个三 d 模型,效果还是相当逼真的,据说可以跟玛雅、 csd 这些专业的三 d 软件制作的产作品呢相媲美。它生成的模型可以直接的导入到虚幻 mil unit 端的三 d max、 玛雅和 csd 这样专业的开发平台中。 这个 cafe 还支持了实时的可视化来创建,编辑和删除等等,可以提升这个模型的精准度。 cafe 的网站上呢还分享了一个案例,就是 是通过这个平台生成的三 d 模型,可以直接在虚幻的引擎中使用,那在这个引擎中生成的各种角色的肤色、体型、五官、动作等等,全部都是独一无二的,没有重复的一个模型。 并且呢,这个整个的设计时间仅仅用了几分钟就完成了,如果是要采用传统的开发模式,最快可能也要几天的时间。目前这个平台还处于申请测试阶段,有兴趣的同学 可以去申请试用一下。欢迎大家订阅 ar 数据频道,更多精彩资讯一手掌握。

自回归模型在许多领域都能在预测下一个观察任务上获得高自然性,但这并不一定符合自回归生成高质量序列的下游用力。最近,一种名为 sequence match 的方法解决了这个错误问题,它可以在不需要对抗训练或架构更改的情况下实现。 通过引入回推动作到生成过程中进一步缓解了累积错误问题,允许模型在序列片离分布时撤销采样的 token。 实验结果表明, sequence match 训练可以在文本生成中改善最大自然性。

关键真的高级玩法,看完视频你会有不一样的收获,记得点赞收藏!第五种,文字颜色渐变效果, 导入黑底素材,输入文本字幕,在文字开头处添加关键针,向后移动一点时间线,找到编辑,在样式里换一种颜色,继续向后移动时间线,同样操作,再换另一种颜色,后面想换几种颜色都是相同操作。文字颜色渐变效果完成。 第六种,画面眨眼效果,导入素材后,添加一个圆形蒙版,将蒙版拉成椭圆形,拉一点点羽化, 然后再缩成一条线,在开头处添加关键针,时间线向后移动一秒,打开圆形蒙版,并放大关键针,自动生成时间线,继续向后移动一秒,把蒙版缩回一条线,继续向后移动一秒,把蒙版再次打开,后面重复操作,移动到最后一个关键针的位置,把蒙版全部打开,露出整个画面, 这样画面眨眼效果就完成了。 第七 种文字扫光效果,输入白色文字,导出备用。再次选中文字,找到编辑,选择样式,换成灰色,导出备用。新建项目,导入灰色文字,画中画,添加白色文字,在开始处添加关键针,选择镜面蒙版, 并把蒙版线拖动到左上角,结尾处把蒙版拖动到右下角,扫光效果完成。还可以添加一些合适的特效。想要学习更多剪辑技巧,我们下期再见!

加利福尼亚大学圣迭戈分校和英伟达等最新发布了一项研究,已被选为 cvpr 二零二三 highlight 论文。本项工作的主要贡献如下 一、他们提出了一种开放词汇的基于扩散的全景分割。他将预训练的文本图像扩散模型和判别模型结合起来。 二、他们建议利用这两种模型的冻结表示来执行野外任何类别的全景分割。三、该方法在开放词汇全景分割和羽翼分割任务上都显著优于先前的最新技术水平。好了,今天就先介绍到这里, 相关链接放在简介下方,感兴趣的快去康康呀! 为了方便大家更好地学习,还准备了超权的动态 slam 论文,共计三十余篇,感兴趣的快来找我领取哦!

你们好,小伙伴们,欢迎来到这个视频。今天我心情超激动,因为在这段视频里,我将会示范如何使用马尔克夫恋来生成福尔摩斯探案故事。 更精确点说,我将教你们如何利用马尔克夫恋构建一个可以生成和给定数据及类似文本的语言模型。我会逐行解析代码。所以你们一定要看完整个视频哦! 我希望你们和我一样都非常兴奋。如果你想看我以后的视频,请记得订阅我的频道,我会定期发布有关机器学习和数据科学的视频。好了,废话不多说,我们开始吧。 首先,你需要有一些马尔克夫恋和自然语言处理的知识储备。因此,我建议你去看看我关于马尔克夫恋和 n l p 系列的视频。好的,我们的目标就是生成一些看起来像福尔摩斯探案故事的文本。这个问题有很 多种解决方式,但我们将选择用马尔克夫恋来解决。那么该怎么做呢?要构建马尔克夫恋,我们需要两样东西,一是一组状态,二是状态之间的转移概率。你能猜到在我们的问题中会是什么状态吗?没错,我们可以把单词当做状态。 假设有两个单词啊合卷,要找出从状态挨到状态句的转移概率。我们只需便利我们的文本计算当前单词为挨时,下一个单词为句的概率有多大。 如果在我们的文本中没有据紧接在之后的情况,那么转移概率就是零。理解这个技术的最好方式就是直接在一小段文本上应用。 让我们来看看柯南道尔的蓝宝石鹦鹉中的福尔摩斯名言。我叫福尔摩斯,知道别人不知道的事是我的职责。我们列出所有的独特单词。现在我会示范所 所有的转换。每个箭头上的数字表示一个词在前一个词之后出现的次数。因为这是一段短文本。你可以看到每次转换只发生一次。要把这些技术转化为概率。我只需要把技术处以从一个状态出去的总技术。 你可能会注意到有些词比其他词有更多的转换。如果我们有一大段文本,那么有些转换将比其他转换更常见。你可以把这些想象成给定文本数据的统计特性, 这些特性使得每一段文本都是独一无二的。我们的马尔克夫恋模型将根据这些统计特性来生成新的文本。这就是输出会看起来与原始数据相似的原因。挺神奇的,对吧? 好了,那我们如何从这个马尔克夫练声成新的文本呢?其实非常简单,你能猜到吗?我们可以从我们选择的一个状态开始进行 随机漫步模拟。换句话说,我们将根据转移概率从第一状态跳到第二状态。然后我们会重复这个过程,直到我们想要停止为止。这就是我们生成福尔摩斯探案故事的方法。现在我们转向代码部分。 欢迎来到编程部分。首先,我会向你们展示我在这个项目中使用的所有库,所以你要运行这段代码,所有需要的库都在这,明白了吗?接下来的重头戏就是数据了, 明显的我并为自己去收集数据。我是从开口上获取的,你可能从路径就能猜到。在视频描述里,我会放上我的开口笔记的链接,你到那去就能找到原始数据来源,明白了吗? 现在这些数据显然都是福尔摩斯探案故事。实际上,这个数据包含了所有的福尔摩斯 探案故事和小说。为了读取数据,我在这写了一个自定义函数,名叫 redo stories。 这个函数接收一个数据路径,他会读取数据中的每一个文本文件,并且把文本文件的每一行都添加到这个叫 text 的大列表里。 顺便提一句,这个数据集包含了六十多个文本文件。不用担心这两行代码,你可以选择使用,也可以选择不用。我只是用他们来剔除一些原数据。对我们的模型来说,那些东西没有任何帮助,明白了吗? 所以,为了读取所有的型,我在这里调用了函数。如果我打印出大列表的长度,结果会超过二十万行。好的,现在我们已经读取了数据,但我们刚刚读取的数据还未进行清洗。如果你看过我的 nlp 系列,你应该知道,对于 nlp 来说,清洗数据是必须的。 如果你想了解更多关于文本清洗的知识,请点击屏幕上现在出现的视频链接。好的,所以我在这里写了一个简单的函数,主要就是用来清洗数据。这个函数叫 clean test。 你可以看到这个函数会返回一个大列表。首先,我把所有内容都转换成小写,然后移除所有的标点符号。接着我对这段文本进行了分词。 分词是非常重要的,因为在理论部分,我告诉过你,我们会把单词试做状态来处理。分词其实就是把句子分割成单词,所以这是必要的。 在最后一行,他会排除所有不是英文字母的内容。好的,在这个函数里,我把所有的单词都添加到一个列表里,所以我在这里调用了函数来获取所有的单词。如果我打印出单词的数量,你会注意到数据集包含了超过二百万个单词。这是个大项目,他提供 丰富的余料库。好的,现在我要来到我们模型的关键部分,也就是说,我们现在需要创建马尔克夫模型。为了实现这个,我写了一个自定义函数,叫做 marker model。 这个函数需要两个参数。 首先我们得需要一份单词列表,然后再来个 in gram。 我在理论部分已经讲过,我们会把每个单词当成一个独立的状态,但在实际操作中,我会把两个单词当成一个整体的状态。这么做的原因是,我希望我的模型能获得一些上下文的信息。 想象一下,如果我们只有一个单词,那我就没法给模型提供任何上下文信息。但如果我提供了超过一个单词作为一个整体的状态,那我就能提供更多的上下文。结果就是我模型生成的文本会更有意义。实际上,你可以增加 的数量看看是否能生成更好的文本。好了,现在我们来深入理解这个功能。马尔克夫恋其实就是图,是吧?要实现图,字典绝对是首选。所以我们的马尔克夫模型就会是一个字典,实际上这会是一个嵌套的字典。为什么要是嵌套的字典呢? 因为我们不仅需要存储一个状态到另一个状态的转换,我们还需要存储这种转换对应的概率。字典的外层会把状态作为键存储起来,但在内层,我们会存储转换概率。如果你仔细看这张图,就会明白为什么了。如果你需要一些时间来理解,就暂停视频吧。 好,要实现这一点,我们需要便利我们数据集中的每个二元组,对吧?首先,我只是初始化当前状态和下一个状态为空字符串,然后我给他们附上正 确的值。我们需要这个内循环来真正制作 and grams。 最后的空字符串只是做个装饰。你运行这段代码后就会明白为什么需要他们。懂了吗?这段代码其实挺简单的,我就不浪费时间给你解释了。 好,一旦我们得到了我们的当前状态和下一个状态,我们需要将他们包含在我们的字典中。为了避免状态重复,首先我们需要检查当前状态是否已经存在于字典中。如果不存在,那我们就需要把这个状态作为键插入。当然,我们需要把计数器初始化为一。 另一方面,如果当前状态已经存在于字典中,那我们需要检查下一个状态是否也存在。如果他也存在,那我们只需将计数器加一。但如果下一个状态不存在,那你就需要插入下一个状态,并将计数器初始化为一,明白了吗? 好,现在我们需要从技术中计算转换概率。就像我在概念部分讲的那样,这个过程非常简单,你只需要将其除以总数。好,现在我将调用这个函数来创建我们的马尔克夫模型。 如果我仅仅打印出马尔克夫模型中的状态数量,你会发现他超过了两万,所以这个模型非常庞大,希望他能运行的很好。 现在,为了确保我们的模型真的有效,我们在制作模型的过程中没有出错。我将打印出从状态的 game 开始的所有可能的转换。 如果你是个福尔摩斯的粉丝,那么你应该知道的 game 后面跟的单词是 afford。 你看,我这里写的是 afford, 这里写的是 what's a fort。 这是过去式,所以我们的模型确实有效。我在制作这个模型的过程中没有犯任何错误。好啊,现在来到 最好的部分。现在我们要生成福尔摩斯的故事了。为此,我又在这里写了一个自定义函数,叫生成故事。这个函数需要马尔克夫模型,你可以设定他生成的状态数量。当然还需要初始状态, 因为根据初始状态,模型会生成一个全新的故事,所以我不打算解释这个函数。这个函数非常简单。如果你想看看这个函数里发生了什么,就在这里暂停, 我将直接进入结果。好吧,这里我生成了二十个句子,每个句子都以相同的起始状态开始,即 dear house。 我选择的限制为八,他将产生九个状态。好吧,既然我每个状态有两个单词,所以他会产生十八个单词。这些都是我的模型生成的句子。如果你逐句阅读,你会发现大部分句子虽然没有 意义,但语法结构却很正确。这是因为这个模型遵循了原始文本的统计特性。如果你仔细观察,你会发现一些句子的部分内容完全有意义。例如,如果你看这个 dear holmes, yes always answer me like this, 这完全是一个通顺的句子,对吧? 或者至少是句子的一部分。如果你想知道为什么有那么多句子中包含 ejaculating, 那是因为在那个时代, ejaculated 是 exclaim 的同义词。 好,我们再来看一组二十个句子,这次他们都以 my dear 开始。我们都知道 my dear 后面应该跟的是什么,是 washing 对吧?你会发现有很多句子都以 my dear washing 开始, 所以这个模型是有效的。再来一组二十个句子都以 i will 开始。我不打算读他们,你只需要看一遍,你会发现其中一些句子真的很有趣。好, 我将以这个结束这个视频。这里我将状态数量限制在一百个起始状态是 the case。 如果你只读第一行,那你会发现他有些意义。 请记住,这个项目中没有涉及高级自然语言处理。他完全是一个统计模型,他完全依赖马尔克夫性质。 七、你可以仅使用当前状态预测未来,你不需要看过去。我想这种简单模型能得到这种结果真是太神奇了。 那么这就是这个视频的所有内容。我希望你真的喜欢这个视频,请分享这个视频并订阅我的频道。如果你想建议一个新的主题,请在下面留言,感谢观看。

invok ai 三点零发布七月二十一日,基于 stable diffusion 的开源文本转图像工具 invok 推出了最新的三点零版本。 invok ai 三点零不但支持 linux mac 系统,对显卡要求也很低, a m d m 一 m r nvidia 芯片均可运行。最重要的是新增了对 s d x l 模型 control net lara 的支持。 目前 invok ai 三点零已经开放下载,点击视频下方链接进入 invoke 的 gap up 下载安装文件到本地,双击 install bet 即可完成自动安装。如果你没有安装拍放,则需要按照步骤完成环境的配置。完成安装后,复制网址到浏览 暖气就可以正常启动了。 invoke 的操作界面和 stable diffusion 高度类似,左上方可以输入提示词设置参数,下方可以开启 laura 和 control net 功能。 在此我使用了 s d 一点五基础模型进行了测试,无论在图像的生成速度、质量、操作便捷性方面都不属于 stable diffusion, 感兴趣的同学可以自行安装。