有什么可以生成巨量文本的AI

阿里刚刚发布了千万亿美指的二点零，但是呢目前还没有开源，就这一点来说很符合阿里的性格，但是呢有一个可以不限量在线使用的网站，等一下给大家进行介绍。 首先呢说一下它升级了哪一些部分，什么画质的提升啊，美学提升啊，这些老生常谈的问题咱们就不说了啊，说一下主要的内容，首先第一个就是一 k 透肯指令支持，也就是说他能读懂长达一千透肯的超长描述，这样更详细的题词描述，甚至多格漫画的生成就变得更加可控， 所以说它可以直接生成 ppt 海报或者同款图啊这些内容。第二就是二 k 的 分辨率支持，它是可以支持二 k 的 指出。第三个是生图编辑二合一前位一位指一直是有两个分置，大家可以在这看到 一个是纹身图的纤维仪妹纸，一个是编辑能力的纤维仪妹纸 edit。 那 么这次的升级呢，是把两个分子合二为一，也就是说一个模型既可以生图也可以编辑，这个呢和 z 一 妹纸还有 flex two client 模型就是一样的了。 再一个就是它的升图的速度，里面是二 k 的 图像，十到十五秒就可以出四张，也就是说大概三到四秒一个， 这个速度对于千威妹纸二五幺二来说快太多了。那么这一点来说，它是得寓意它使用了一个七 b 级别的轻量化架构，这一点就是它的文字生成能力， 这个升级是很明显的，不仅能生成文字，而且它的字数和排版都是非常厉害的，这个和它支持一 k 头啃也是有很大的关系的， 咱们可以看一下这上面它的一个模型性能，这是一个排行榜，咱们就不看了啊。然后这给了一些失利的提示词，还有一些模板，这是生成一些效果， 这是文字也是很多的，这是一首诗，都是带一些文字的。 这个是一张海报，咱们就不拿他的提示词来做测试了啊，因为他自己给出的这个提示词肯定是没问题的，所以说咱们自己准备了一些提示词， 那么在哪进行使用呢？那么虽然他没有开源，但是按理有一个自己的 ai 平台，就是这个叫做物理 ai， 而且在上面直接跑二点零，它是不消耗这个积分，也就是说在这上面二点零是可以不限量的使用的， 直接在这改成千维一麦是二点零就可以了，在这可以直接修改的它的图片比例还有分辨率，在这输入提示词生成就可以了，而且它的生成速度也是很快的。那么咱们看一下，这是我写了一个提示词， 一个海报，那么出来的效果，大家可以看一下在这个猪眼这个位置，他是少了一个括号的，可以看一下第二张啊，这个就加上了是没有问题的， 而且他的字也是很多的，就是生成了四张照片，可以看一下最后一张也是没有这个括号了，就说他是有一定的概率的啊，并不是说每次都能完美的生成，这是一个另一个提示词，可以看到上面的一些字， 这里面也呢也是有一个错误啊，晨光文具还有这个地方都是有一些问题的，然后这个位置也是有一些问题，来这个地方并不说每一个图片都很完美，但是呢，对比之前的秋韵位置还是有很大的进步的。 这是一首诗，这首诗是没什么问题的啊，因为咱们在提示词里面都把它的整首诗都写出来了，这是一共出来的四张图片，这几首诗啊，都没有问题，是一个竖版的。但是呢，咱们可以看一下这一组提示词， 他就有些问题，因为咱们在这写着出来，并没有给他整首诗，而是告诉他是岳飞的满江红整首诗词，而且是从怒发冲冠到朝天阙，一字不漏，但是呢，可以看一下出来效果，怒发冲冠后面就都是乱码了。然后呢，到最后朝天阙是没有问题的， 就说告诉他是整首词，而且告诉他是从头到尾也没有完整的理解。这是第二个图片，也是怒发冲冠，可以，到最后就不行了，这个也是怒发冲冠，然后最后的朝天去没问题。 这个呢，也是怒发冲冠，后面都不行了，这就是他出来的一个问题，也就说如果你想让他写文字的话，你需要把所有的文字都给它写入进去啊，那你们再看一下啊，这是可以生成一个故事的九宫格。 现在呢，这些文字也都是没问题的啊，是一个插画性质的，出来的四张图都没问题。然后呢，就是这个题的词里面也是都写了 曹操的观沧海全诗，然后把所有的诗都写出来了，这样的话是没有问题的，可以看一下啊，一共是四首诗，都没问题，但是呢，同样咱们把它题的词改一下， 告诉他是观沧海全失，然后呢从东临碣石开始，一直到割以永志结束，可以看一下他出来效果。 东临碣石没问题，割以永志也没问题，但是中间都是乱的，这是第二个图片，也是中间都乱了，只有东临碣石还有割以永志这个呢，也是东临碣石割以永志。第四个也是东临碣石后面全乱了， 所以说如果是要他写文字的话，最好把所有的文字内容都给他，这是一个食谱的菜单， 那他也是有很多的错的地方的，包括这个位置，然后呢这些位置这个出错就少了一些，但是也是有啊，比如说在这里，这里，这都是有一些出错的，然后呢第三个图这个也是有的出错的，然后呢第三个图这个也是错误了， 这也是价格出来了，还有这个位置， 这个位置也是有一些。 然后第四个也是有很多出错的啊，包括这一些，这一些，这一些就是这个图片的问题， 这是他的一个文字，可以看到有些文字也是出错的啊，所以说如果让他生成文字的话，他是有这个能力的，而且比之前的版本也好，但是并不是说每次都能生成成功， 这就是它的一个效果。那么关于美学的一些效果还是还有这些内容啊，大家可以自己再测试一下啊，在这个网站直接使用就可以了，它并不会消耗积分，永久使用，到时候我会把这个注册链接还有邀请码给大家发到介绍区。好，这期视频就给大家介绍到这里。

这个网站居然号称可以免费无限量生成视频，并且同时支持图像转视频和文本转视频，最关键的是不用登录就能用。我刚刚拿一段文字尝试了一下，发现效果真的还不错，缺点就是只能生成五秒四百八十 p 的 视频，还有就是不登录的话，你退出视频就直接没了。 登录后的话视频只能保存二十四小时，所以有满意的效果一定要立刻下载保存。但说实话，对于普通玩家来说就已经完全够用了。 如果你是 a i j c 创作者，拿它来快速测试创意和镜头，效果也是不错的。它使用的模型呢是 y 二点二。其实这个模型在通用万象的官网也是可以免费使用的， 但是我测试了一下，通用官网生成的速度明显慢很多，所以我强烈建议所有的创作者可以先用它把创意跑通，确定脚本与镜头后，再切换到更高质量、更强可控的模型，完成最终成片。

警告，本教程一共一百八十九小时，一线专家大佬授课，今天学习生成模型与语言模型，学 ai 大 模型必看，零基础转行就业做项目等技术人的大模型，稍走十年弯路， ok， 呃，那行，我们今天呢来讲一讲基于 transform 的 这个文本生成，或者是，呃因为文本生成我们本质上都可以给它这个跟文本生成也好啊，还是说做 summer 也好，还是说做这个 translation 也好啊？它都是属于同一种类型的问题啊？ 啊对，然后呢，在呃以这个比较好的代码技术知识呃这个之前呢，给大家先简单的过一下这个关于，呃这个本身这个技术方案是什么？给大家过一下。 ok， 这个呢其实是一篇呃算是比较好的刊里面的一个工作吧。应该是啊，没有记错的话， ok， 呃然后简单的过一下这这工作是关于什么的？然后完了以后我们我们再来看一下它的实际的代码， ok， 好 吧，首先呢它的任务呢是来做这个 commit message 的 generation。 commit message generation 啊，完了以后呢？呃那通过什么方式？通过学习这个代码的表示，学习代码的语义，然后再 然后在下游的任务上面作为一个 community message generation， 就 我学习到这个代码的语义了，我呢现在要做这个代码的文本的描述的生成，对吧？呃这个任务呢是这样子，那给大家展示一个视例， 嗯就是这么一个事例。这个这个问题呢，其实我们在之前给大家有探讨过，给大家举一个实际的例子啊，然后我们这节课是实战课程， 就在 github 里面呢，就是我们可以看到这个地方有很多个 commits， 大家能看到吧，很多个 commit， 但这一 commit 呢，又又存在于这个，有些啊是存在于 push request， 有 些是项目开发者他自己。呃提交的这个 commits。 ok， 然后我们看一看这个，呃，这个 is open is modded， 我 们查一查这个是，呃已经被接收到的 pull request， 就是 提交申请，然后我们看一看这个 pull request， 这个太少了，我们看多一点的， 你看一个 pull request， 它可能包含两百五十个 commit， 对 吧？ 每一个 commit 我 们点一下它，呃，每个 commit 呢？它有自己的这个下值啊，这个下值我们待会给大家看一看一下。首先呢 它这个地方呢，我们看一下它加了一个就多了一行，在原有的代码基础上多了一行就是加 i two s， e 这一行的代码，是吧？完了以后呢，我们给它的描述呢是 a 的， 这这个就是它的 commit message， 就是我们刚才说的这个 commit message， 就是 根据这个代码变化，完了以后我们自动给它标注变化了哪些信息啊？这个呢，就是这篇工作讲的内容。 ok， 那 它需要做的就设置一个框架，然后来对于这个文本信息作表达，完了以后在下个任务当中，呃，去去去做一个远程的任务， ok， 这呢关于 port request 和 commit message 呢 啊，我给大家就简单的介绍到这里，嗯啊，在这里面其实有很多研究可以做的啊，很多研究可以做的。 ok， 那 我们在这里面呢，就是这里面也给大家举了一个例子，就是通过这可密的，你可以溯源他的原文件呢，比如说这个就是他的原文件是可以直接下载下来的。 呃，然后呢？呃，这个是我们的 commit， 也就是 code change， 因为它有加加减减嘛，把这一行给删掉了，又加了这新的一行，所以这句话呢表达的是什么意思呢？它标注在这里了， okay catch a more generic fire system exception in lamb piper socket okay， 这个呢是一个 example， 下面就 code change， 整个叫 commit， 说实话整个叫 commit 啊 code change 和啊 commit message 啊这两个事情，那我们的输入呢就是 code change， 我 们的输出呢就是 commit message。 那 通过什么方式呢？ 我们来讲一下。所以这这这个框架呢，是将这个 code commit， 然后拆分成这个 这这个这个这个这个。呃，我们我们说的是 code change prediction 和 mask code 就 拆分成两个任务，第一个任务呢是，呃，第第第二个任务，我们先说一下吧，就是第二任务就做上下文的预训，上下文的这个 mask 机制的预训练的就是我把有些这个 code 的， 有些 code 的， 就里面的一些词啊给它呃掩盖掉，然后通过上下文来预测它这个有 mask 机制。 呃，第二个呢就是关于，呃 code change， 就是 说来我我们待待会直接看代码吧，这部分它的写的在这个图里面看的不是特别清楚，然后我们可以来看一看它的整个架构。呃，放入的是 commit， 那 这个架构呢？我们昨天其实也讲过，讲过了，它其实就是一个 transform 的 架构，对吧？这就是一个 transform 的 架构。 ok， 然后右手边呢就是我们利用这个架构了，因为我们今天讲的就是讲 transform， 我 们架构它的这个，这个这个从就讲讲 transform 架构是如何去做我我们生产的这个圆满哈， 然后训，训练的过程中就采用了两种训练模式，第一种呢是这个，我们就说的是 predict code after change， 三啊 sequence。 第二种呢是 呃来做这个这个上下文的预测，那这个呢？其实呃就是来预测它修改过后的这个 sequence， 这个，呃序列文本 ok， 呃这个前面呢就是我们比如说在这个任务当中呢，输入呢就是 code before 嵌，也就是说，呃，我们刚才看的这里面的简号，简号就是老版本嘛，对吧？就是老版本，就是在 打这个补丁之前的版本，然后我们作为这个输入，然后经过这个 transform， 经过呃它的计算，然后输出呢就是 predicted code of change， 就 输出呢是 加号这个版本的，就预测它这个变化的，预测它这个变化。比如我给一个文本，一个代码给他，他就会来判断我可能会做哪些调整，把调整后的代码给他啊，就这么一个意思， 就是这么一个意思。所以说这一个部分呢？呃呃，这第一个任务是第二个部分呢，就是我们说的这个 mask 机制了， 他随机呢把一些这个里面的一些信息给它 mask 掉，我们可以看一看啊，把中间这部分都给它 mask 完了以后呢来去用 transformer 来预测它，呃这是什么部分？比如说我们 grade 后边，那这这些这些呢就是被它预测出来的。通过这两种训练呢，来使得这个 transformer 这个架构能够对于当前的这个 我输入的这个任务中的这个 code 部分啊，能够对它的语义进行充分的理解啊。那我们记得当时 bot 最早期的 bot 任务训练是有两个任务的，第一种呢，就是 mask 机制，对吧？第二个任务呢，就是做上下句的预测， 就我拿这个文本，然后这两个句子拼在一块，让他来判断一下这两个句子是不是，是不是上下文，是不是上下句，然后我再随机把这个句子 跟他拼在一块，判断一下他是不是上下距，通过这种方式来训练这个模型，他的这个感知能力，说实话他的感知能力， 呃，但是在这篇论文当中呢，稍微有一点点不一样，他做了另外一种方式的，就是通过不同的任务来，也也是通过两个任务来训练 transform。 但是这两个任务呢，除了保留 mask 机制的这个任务以外呢，呃，他做了一个新的任务，就是关于，呃，就是 代码修改的行为的预测的这个任务。我们待会呢讲代码呢，就会讲到它，当预测完了以后，我是不是可以拿这个 in code 和底 code 的 框架，我给他一个 这个可面卖，就说说明。我呢通过这两个任务可以对这个 code commit 做一个很好的表示，比如说从这个 in bind 呢，可以代表这个 code commit 的 这个向量了，是吧？ ok， 所以呢，呃，在这个工作当中的第一阶段呢，是做这个，呃，这个上下文的表示的，就代码的上下文的表示的，通过哪几种方式来训练它上下文的表示能力呢？第一种方式就是 code changes prediction 的 方式， 呃，第二种方式呢，就是通过这个 mask code 的 fragment prediction， 就是 通过它被被掩码掩盖掉的这些文本，对这些文本的预测，这种方式来预测，再再来预测这个这个被遮掩住的这个地方，它实际的指的是什么？这是第一个阶段啊。 第二个阶段呢，就是说下一个任务，既然我已经训练完了， ok， 相当于我这个地方是 pre train， 对 吧？我们现在讲的这一部分都是 pre train 部分， 可以转就预训练嘛，对吧？那他跟具体的任务没有关系的。那我训练完了以后，我要调下游的任务，对不对？调下游的任务？什么呢？我要给一个 commit， 我 要生成这个 commit message， 啊， 对不对？那我们就讲讲这个，就是这，就把这个数据喂进去，做一些 free， 呃，就反馈嘛，做一些微调嘛，啊，就 ok 了。所以呢，这个是第二阶段，我们呢待会来看一看这个这个具体的代码是怎么回事，然后讲一讲这个实验的评价指标。 ok， 因为这篇论文呢，呃，不是特别老。二一年左右，二一年，二一年吧？对， ok， 呃。首先，呃数据集呢？是用了一个公开的数据集啊， ok， 大 约呢有两百万，对这个 commit 和这个 commit message， 呃，其实还比较大的。然后评价指标呢，由于它是文本生成的，所以文本生成的评价指标呢，通常会包含这个 blue below， 也有一二三四，这个入式，也有这个一和这个二和 l， 对， 还有一个 metal， 呃，这这几个评价指标来判断它生成这个文本跟实际的文本之间的分数啊，差多少分打多少分？ 如果，呃呃，就这个指标呢？我呢，这也可能不不打算介绍啊，大家可以稍后可以了解一下，但是我可以跟大家讲一个直观的， 就比如说我们生成的是，我们光出自就是这句话，但我们生成的时候呢，有可能句子不是这么写的，但可能语义比较接近，那这种情况下用这些指标呢，就属于不是特别合适的。 我们更多的考虑，比如说，呃，我们生成这个单词的重合率大概是多少？比如说我们这里原来是一百个单词，哎，我后来生成的这句话里面呢，其中八十个单词来自于原来的，而且顺序是对，然后我们会给他打一个这个分数，对吧？等等之类的， ok， 以及这 也就是他的呃，就字符上的匹配程度等等之类的，就这些呢，就基本上是基于这样的逻辑规则来这样走。实际上呢，其实应该呃又更宽泛一点。比如说我们有些句子呢，他其实表达的这个文本就文本表达的语义是对的，但他可能呢，表达逻辑不是这样子， 那这种情况下，我们说呃，他是预测对的呢？还是预测错的？那当然是预测对的。但是呢，哦，目前呢，其实这样的评价指标呢，会比较， 就是它的可解释性稍微差一点，所以我我们没有用这样的。这在这篇论文当中没有用其他的评价指标，那就是用了四个，四种，三种评价指标， below、 root 和这个 metal， ok， 那 其他呢？是关于这个工作的这个呃 implement setting 呢，就是说实现过程中应该怎么去呃设，呃，对硬件软件进行设置啊等等之类的， 呃，这个地方呢就是百分之五十，呃，做 mark， 呃，就是 the mask rate 是 零点五， 呃，然后这个 import dimension 就是 输入的向量，我们设置为五百一十二，然后 vocabulary 大 小呢是五五五万五千七百三十二个 token 啊，还是比较大。然后对比呢，是普通的 r n 架构的 encode architecture， 然后跟 i n again 也做对比， i n again 是 一个 retribal 的， 就是一个解锁的一个一个一个一个一个任务， 一个解锁一个任务， ok， 然后我们可以看一看这个最终的结果啊，它其实，呃结果还还行吧，但是也不是特别好，因为生成这个任务也就比较评价指标比较难啊，所以大约是在二十分到三十分左右，呃，这个指标， 呃已经不错了，嗯，但是实际上大部分如果你这个不漏值能达到百分之四五十的话，说明他的很制冷啊，生产东西很制冷，很可用。 ok， 然后其他的是实验分析啊，这个待会呢，我们会就是回过头来来看一下这篇这篇论文，来讲一讲他的这个实现的部分。二、这个这个分析的部分，然后在这之前我们给大家来看一看这个代码， 嗯，我呢直接跳到这个代码里面去了， 那把这个， 嗯，来看一看啊，首先呢第一步呢，我们可以看一看这个 environment 的 这个配置文件，这稍后呢，这个代码呢也会给大家发过来配置文件， 呃，然后这个文件我们起的名字叫 call 圈，然后需要 pi torch 和这个 comd 的 环境和环境和安装包都在这里面。 ok， 然后执行的话是这样子， ok， 呃，我们呢，来看一看 mini 康达 这个地方给它改掉。 ok， 那 我们就来执行一下，就是 call john， 当然了，这个命名呢，你你可以自己随意命名。说实话啊，有可能在这之前我已经创建过了，因为这个之前是我跑的一个 best man 之一，那如果创建过的话，我们可能名字得改一改， 嗯，稍微有点慢。 conda， 呃， list 看看有没有，历史上有没有这个， 哎，历史上没有。 ok， 正在执行。呃，我们呢，这边很快就能就能搞定了。这个第一步呢，就是这个配置这个环境，然后第二步呢，就是激活这个虚拟环境， ok， 那现在呢，它正在一步一步走，一步一步走，然后我们这个地方呢，可以看到的话，它，呃，如果跑这个代码的话，直接执行 run all， 然后 let you 这个我们昨天跟大家讲过了，就是关于这个 transform， 你 想要多少层？ let you lamb 呢？就是关于 multi， 就是 multi head， 这个 multi 你 到底有多少个？要四个？五个？还是六个？呃，这个呢，我们在这里面有有有写啊。 呃， layer 的 默认呢是一，然后 head 默认是二。呃， stage 一 呢，就是第一轮子呢，它的 background 默认是三十二。第二个第二轮的。这个第二个阶段的话，直接是对 command message 进行预测的。这个微调 function 阶段的话， 它的 batch size 是 等于六十四。第一轮呢，这个 stage 呢，它的 apple 等于三十。第二个阶段呢，它的 apple 等于六十，然后 mask red 等于。呃，百分之五十。呃，这个文本的长度最大是五五百一十二，超过它呢就会被解掉，我们待会， ok， 现在呢已经已经成了，所以我们这个地方呢就 啊上一个，我不太懂什么什么原因啊？我们再启动一次， ok 啊，我们稍等片刻，很快这边就搞定。 ok， 哎，直接装吧，他可能是这个包一个包太多了， 嗯，证明 ok 了 啊，如果大家遇到这种问题呢，就是没关系，它就是这个安装包里面有一些包啊，已经过期了，或者是怎么回事导致它，呃，安装整体的这个 environment 点 ymi 文件的失败，所以这样子的话呢，就推荐大家直接把它拆开来安装就好了， 拆封安装，先装环境，然后再装这个康达的依赖包，再装一些 p r p 的 一些文件啊，就复制过来就好了。 ok， 那 这个安装包呢，我们基本上搞定了，所以执行路径的时候呢，我们刚才说了就是，呃，直接跑这个对吧？然后我们做一个测试， python， ok， 哦， ok 啊，这样子吧，就是我呢就带回去让它自己装，装的同时呢我们就来直接看一看这个原码就好 啊，这个时间是有点费时间。 ok， 呃， ok， 我 们呢就进入这几个阶段，在进入第一阶段和第二阶段之前呢，我们肯定是有一个数据处理的，这个我们之前跟大家说过了，数据处理呢，呃，这一阶段数据处理主主要是为了让他能够符合我们训练的训练的这个数据的格式， 比如说，呃，这个阶段的训练呢，就是为了方使得我们这个数据对齐的跟 stage one 这个这个阶段对齐。呃，这第一阶段呢，我们刚才讲的是是干嘛的啊？第一阶段呢有两个任务， 第一个任务呢是做这个，这个 co change prediction， 所以呢，我们显然是要把这个 commit 要拆成在变化之前和变化之后的两个版本，对吧？ 这个数据处理肯定要做这一部分。对，第二个呢就是对，第二个任务呢，就是对当前的这个数，呃，这个 mask 就 当当前的这个扣的要进行 mask， 是 吧？ 呃，对，我不太清楚，其实我之前安装过一次。对，但是我待会先看一看吧，因为我现在人在家，人在家，没有在，没有在单位。 ok， 所以呢，我们可以来看一看它是怎么做的，直接进这个这个代码呢，其实我是跑过很多遍的，就是肯定能运运行的，所以在我直接可能稍稍微修复一下就可以了啊。 python preprocess， 我 们可以看一看，它这里面有一个 transsource， 可以 看它的原代码大约长什么样子。 呃， date data 数据呢？在这里。 ok， 这个呢是他的这个数据啊，我们我们说的这是他的数据。 数据讲什么样子？我们之前给大家呃看过一次，其实当时我们讲的是基于 g r u 的 版本，对吧？ g r u 版本也就是矩阵模型的版本， 没有用，这个就就是循环神经网络的版本，没有用 transform。 ok， 然后呢就是这个地方大家可以看到，我呢随机可以摘一个，嗯，我看一看啊，比如说我们摘一个 java 类的吧。啊，比如第十条吧，摘一下， 摘过来以后呢，可以看到，凡是遇到 n 杠一的，你都可以给它空行，对吧？空行， 我们把这个 n n l 呢去掉，它其实就是空格，就是换一行的意思。 ok， 这个呢就是 call， 就是 call me 的， 或者 call chan 就 长什么样子，所以这个版本呢，我们显然是可以变成两个的，对吧？呃，这个前一个版本呢就是这它， 对，呃，第二个版本呢，就是这个， 对吧？就这个就把它改成 close， 这个是这个，我们就说的叫，它在说的叫 before code change， 是 吧？这个呢是 after code change， 是 吧？ ok， 这这这两个版本行。呃，这个呢是第十条，以后呢，我们可以看一看它的第十条是什么呐？这是它的 commit message 哦， cool， 就是 ok， call close instead of deactivate， 应哒哒哒哒哒，对吧？这个是来描述他这个行为的吧，从这个改变变成这个他的什么意思？在这里面，这个其实在大家工程应用里面还比较常见的，就是其实对于行为的 个分析嘛，对吧？行为的分析， ok 啊，然后我们来呃，紧接着继续来看一看关于他的 这个数据处理部分，还是先呃这个 s h 文件在哪里？对， 所以这一部分呢，就是我们可以看一下它调用的是这个 training data， 是 吧？因为我们是要去这一部分是做预训练的嘛。 ok， training data 完了以后，这个川，呃它的目标呢是， 呃这个 train r r c 啊，就是表示参数，然后输入的话是 training data 点 def， 也就是我们刚才说的这个输入的 code change， 然后它的目标呢是这个串点 m s m s m s t， 也就是，呃这个文本文本输出，然后呢这个 validation 呢？一样的，哎， validation 呢是这个匿代，地府匿代。呃，匿代点 m s e， 然后 safe data 呢，是要保存在哪里？就说我最终执行了以后这个握匣这个整个字典要保存在哪里？ ok， 它保存在 safe 点 pass 里面， safe 点 pass 里面。 ok， 这 safe 点 pass 呢？ 啊？在这里面 e x p， e x p， 哎，就是这个里面，这里面，然后保存在这个 vocab 里面， ok， 呃，完了以后我们可以看，再看看这个参数，然后最大长度呢？是刚才说了五百一十二， 然后 minimum word count 大 约是多少？然后是不是 shell 这个 vocabulary？ 这个什么叫 shell vocabulary 呢？那么我们说了啊，这个， 呃，这个输入输出就就是这个输，比如说这个是输入，对吧？这个这个 code change 是 输入这个这个 message 输出，它是 input 和 output 两个不同的， 呃，这个数据源，所以我们希不希望说我们在调用这个 vocabulary 的 时候呢？就是说让这两个 input 和 output 的 这个 vocabulary 是 这个字典重合在一块，就只弄一个字典，不想搞 input 和 output 的 字典，是这么个意思啊？ ok， 那 我们来看一看它这个 pre process 这个地方怎么处理？因为我们看它处理完了以后，它直接是 pre trend 这个地方，哈，啊，我们来看看它是怎么处理的，首先呢，找到这个 pre process， 找到这个 pre process 我 们看一看它是怎么处理的？首先第一步呢，就是先看一看它的这个参数递递进来的参数啊，呃，这个是训练测试，呃，这个训练验证的数据集， 对吧？这是我们刚才的这个输入进来参数， ok， 然后这个地方为什么 max token since nine 会加两个呢？因为它会多一些终止符啊，就是 s 和杠，这个 s start， sentence and sentence， 对 吧？完了以后我们说，呃，哎， 可以，可以看一下这个，这个对于川林川林，呃，带 set 它是怎么执行的？首先我们可以看一看，我们现在读取了这个串点啊， opt 呢？是这个传餐进来的，这个 opt 啊， opt 一 点啊，这个串 我给他大一点。 rsa 呢，就是它的原数据，也就是它的 command message， 这个是最大长度是五百一十四， 是不是需要保持小写？我们可以看一看这个 read 的， 呃， instance from file， 它是长什么样子？好吧，也是在 preprocess 里面，那它包含的这个文件以及最大程度是不是要小写，对吧？那我们基本上就来读一下， ok， 先把这个文件打开，然后扫描里面的每一行，相当于就 ok， 先打开一下这个文件，然后扫描里面的每一行，如果遇到这种大写的呢？ 遇到这种大写的呢？ ok， 我 们再继续来看。然后每一行，每一行里面的 word 呢，是要分开的，分开成一个 token 的。 这个 split 呢？大家可能，呃，如果不熟悉的呢，我们就随机举一个例子，比如说就这个吧，然后， 然后呢我 ex 点 split 会变成什么呢？就变成这样的，你可以看到它其实就是将这句话呢，变成一个个 token， 对 吧？ 一个 token 完了以后，它会来判断这句话的，这句话 token 有 没有大于这个长度？五百一十四，哎，如果没有了，我们就加一，呃，然后这个我们来计数吧，这个 maximum 计数，然后会统将这个信息呢会，呃，我们看，我们继续来看一看这个 what instant ok， what instant 是 一个 list， 如果它的长度大于最大的长度，我们呢，这个 try m count 就 会，呃，给它加一，然后把这个 word instant 的 这个字典， 把这个加到它字典里面。 word， 这，这个稍微等我一下啊， ok， ok， 就是 相当于我把原来的这个，这个，这个句子，因为它是大于最大长度了嘛，所以我又给它截掉嘛，对吧？ 看到了吧，这个是只取前五百一十二个，其他的多余的我就不要了，多余我不要了。然后呢，这是 word instance， 然后我们来把这个，这个 b o s 和 and o s 的 word 给它加进去，然后这个呢？这个，这个加进去，我来给大家看一看它是在哪里啊？ constant 这个地方， 呃， b o s， e o s。 他 都是字典化，他已经给他缩影，就是他的缩影号都已经确定了啊，就在你无论这个字典长什么样子，我们都会把这个加入到字典当中的。 pad 是 零， unk 是 一， b o s 是 二， e o s 是 三， m s k 是 四， 这个都是确认，这个都是确认。好的， ok， 那 你看，我们这个时候文件跳的已经比较多了啊，然后我们再跳回到 pre process 这个地方， ok， 然后呢，我们会，呃，我们来判断一下 keep case 啊，这个地方呢，我们来说一下，就是说这，我当我读取这个字，这个这个句子的时候呢，我会来判断这个是 true or false， 这如果我是希望它小写的话， u n k 啊， u n k， 我 写一下 u n k 就是 on unlearn words， 什么意思呢？就是就算我们这个 token 嘛，就字典里面字典再复杂，但有可能这个 token 你 也是有可能。我来一个新的句子，特别是代码，你知道代码的命名方式千奇百怪，有的人他的命名方式比较科学一点，他就按图风命名法，对吧？ 他有的人瞎写呢，就是比如说我命名的时候，我们就按刚才这个 ex 吧，对吧？然后我现在下边呢想表达另外版本的 ex， 那 我怎么写呢 啊？ ex 一 二三，然后再写的时候呢？就 ex 一 二四二五六什么之类的，但这些东西呢，他在我们字典当中有可能是不会出现的，就从来就没有过， 没有过了怎么办呢？我们就把它统一表，就，就认为是没见过的单词，就会把它替换成它来去计算，让这个程序继续下去。 ok， 这个呢是 read instance from file， 就是 它怎么做，做什么事情呢？它其实就是把这个句子给它，就是对齐嘛，说白了，对吧？就对到五百一十四嘛。 ok， 紧接着呢是关于 build build 这个 vocab id 了，就是我们可以来看一看，因为代维这个程序也是在 preprocess 调用的，这也是我们之前在整个课程的时候，第一节课当中和中间的讲关于构建词典的时候，就翻译了篇，那那一个代码的当中，我们给大家讲到的， ok， 那 我的 word to index 就是 no， 这个是怎么回事呢？就说我，我给一个单词，他又返回他的锁引号，这个里面大家已经看到了啊，我给一个单词，比如去 pad pad word 就是 就是 blank， 好 吧，他要给我一个锁引号，就是零啊， unk 我， 我给的是这个词，他给我锁引号就是一，反之亦然。 index to to to word 也一样的， index to word 也一样，我给一个标签， 他就说，所以以后他就给我返回词，这个呢就是字典了，构建字典的过程啊？啊，对， ok， 这个是构建字典的过程，就关于如何构建字典，如果构建字典的话，我们早期给大家发过这个一个关于京东的商品的评价，里面有啊，里面有咱们就构建这个字典的， okay convert instance to a idx sequence， 然后 word instance okay， 这个地方呢，就是把，呃，都是，比如说现在，我，我现在的我，我生成东西出来了，我生成最后呢？就是就是一， 比如说就这样，对吧？那我这个句子跟它不是一个我们能读得懂的句子，那怎么办？ 那我就去找这个 word index 里面去找这这些词了，我，我要把这个这些啊， ok， sorry， 这个呢？是我把一个完整的句子把它转换成这个 index 啊， sorry， 这个是把一个完整句，就是我现在有有有有这些， 有这些东西，我也把它 token 换了，我也有字典呢，我是不是把它变成一个一个的字，这个数值，对吧？然后因为我，呃，神经网络计算的时候肯定是数值计算嘛，它不可能是符号计算嘛，对吧？ ok， 就是 这么个回事。 呃，就假如呢？比如说原来呢是这个 list 呢？是什么呢？ this is good， 那 我呢就最后有给它计数，就是换算成这个了，根据这个根据谁呢？根据我 cap， 然后换算成这个，对吧？ ok， 然后这个呢，我们就讲讲，就是数据处理呢，就开始顺一下它的流程啊，首先把 training data 放过来， ok， 然后 training 的 这个 target 也放过来， 然后来判断一下我们这个数据集是不是对的。怎么判断呢？来判断一下这个 test diff， 或者说这个 trans message 它多长呢？ 呃，两万两千一百一十二，对吧？我们来看一看它的这个 diff 有 多长呢？ 两万两千一百一十二， ok， 它俩判断了，呃，如果不相等的话就就就完了，如果相等的话呢，就往下继续， ok， 说明什么？这个就相当于我判断一下这个数据有没有问题，就别错乱了。呃，我输入是两百条，输出是两百一十五条不等，那他就说明这个数据有问题， ok， 他 把这个空的这个数据又给他剔除掉，同样的呢，就是对于 relation 的 数据呢，也是这么样提取， 对吧？也这样提取，提取完了以后呢，他就开始构建这个 vocabulary 了，我们刚才说的怎么去构建呢？ 然后关于原文件的这个 what to index 的 这个这个这个这个 vocabulary 呢？也构建完了，对吧？我们刚才说了，呃，然后它 get 呢，这个也就是我们目标的也就是这个 message， 它的这个字典 也构建完毕，是吧？然后我们紧接着说说这里要不要共享这个 vocabulary 啊？如果共享的话，哎，我们就把它两个合并，如果不共享的话，哎，我们就怎么样啊？就是就是就是单独的去构建它的这个字典，对吧？ 啊？这个我们刚才讲的怎么去构成字典的，对不对？一句话一句话读一个 token， 一个 token 的 读，有相同的 token 呢，就往下就就就就继续走，不同的 token 呢？就是字典就加一对吧，这个就相当于入站的啊，我想想 这也没有对或者站说法吧。啊？对，就安利微呢，会读到这个文件当中，因为它是字典嘛。 ok， 紧接着我们是有把所有的单词呢，就所有的句子呢，会把它转换成 index， 对 吧？所以这个地方大家可以看到掉了这个过过程，然后呢用到了什么？我有把这个输入的句子， 呃，输输入的这个圆的句子变成 index， 所以 我要调用这个 word to index 的 这个字典，对吧？然后我把这个输入的文件都是扣的文件转换成这个这个 index， 就 我们刚才跟大家说了，这个， 这个把这些呢全部变成数值，全部数值化，对吧？ ok， 呃，当然了，这些，呃，执行完了以后啊， validation 呢，也一样的， validation 也一样的。 ok， 完了以后呢，我们的数据呢？ data 呢？这时候用字典保留下来，这个 data 呢会传递到这个训练当中， ok， 这个时候我们就会有， 呃，这个训练级啊，这这这个是有关于字典啊，有有这个，这个字典里面当然包含了 vocabulary 字典库了， 就是输入的原数据的字典和这个输出的 message 这个字典，然后 training data 的 输入和输出， validation data 的 验证的输入输出都有，然后呢紧接着就保存了这个数据，所以 preprocess 呢，这个地方就完成了它保存的数据，对吧？ o p d 点 safe data， 我 们可以看一看。 o p d 点 safe data， 哎，稍等，呃，带，呃，我们呢这个时候呢，稍微等我一下，休息一下，我们大概十分钟后讲。 ok， 这些弄完了以后呢，我们就把数据保存，然后呢我们刚才说的这个 run， 这个第一部分 pre process 呢就弄完了，相当于我们对于数据处理就完成了，紧接着会来执行一下 pre train 里面的这个，这个部分我们待会会来给大家讲， 然后我们简单休息呃五到十分钟，然后大家有什么疑问，就在呃这个聊天框里面直接剖出来，然后这个地方大家可以看到这个 transform 这个地方啊，里面有这个编搜，是吧？编搜我们昨天讲到的是吧？ 然后这个 constance 就是 关于这个，这个啥呢 layer 了，就是不同的 layer 了，然后 models 这个怎么构建的？就这个呢？是关于 position 的， 昨天我不是跟大家讲的是关于 sank， sank 的 那个 position 吗？这种方式吗？对吧？也可以通过另外一种方式直接出式化，对吧？ 然后 models 这个地方我们会涉及到这个 scale， dot， product tension， 对 吧？就点成，那就可以多讲一些内容。那我们 pre process 这个地方讲完了以后，直接就跳到下一步了， 也就是这地方的 pre- pre trim 部分，我们来看一下它的 pre trim 部分访问的是哪些数据。 ok， 我 们可以看到呢，它访问的是一个呃 clean 的 呃 trend 的 域，域域，然后哒哒哒哒之类的，是吧？我们看一看啊，这个地方呢，它其实我想提前说一下 prechange 这一部分的数据呢？它是将，呃，这它其实也是一个数据处理啊，它只是它，你看这个地方它被划分到了 pre processing 里面，它也是数据处理，数据处理的部分呢，它这地方做什么呢？这一步呢？是做将我将这个扣的拆成一个，一个扣的拆成两个扣的， 也就是我们刚才说的这个，呃，将一个 commit 拆成两个 code 啊，在这地方产生的，我们直接到这个 prchain 里面。呃，这个 prchain 里面来看一看它是怎么做的啊？ 在这里它仍然呢？我们要先呃，呃，等一下啊，快速的过一下它这个地方， ok， 这是他拿到的这两个数据，对吧？ training data set 和这个 evaluation， 也就是训练球和验证镜 mark the red， 它已经给了零点五，默认是零点三，最长是五百一十二，加上两个，一个是 start of sentence 和 end of sentence， 两个字母是五百一十四， ok， 默认啊。 keep case 是 保持是真的，也就说都是错小写。 ok， 这地方呢，是加上了一个 s， 这个地方跟 pre process 这里面很接近啊，其实里面大量代码都是重复的， 我们还是来过一遍。 ok， 这个地方呢，就是 read， instance from file， 还是按照刚才的逻辑走的，对吧？ 呃，然后 ok， 来判断一下它俩是不是相等，然后去除一些空的句子，对吧？ valuation 呢？做同样的操作，去除一些空的句子，然后构建这个 vocabulary， 对 吧？然后有这个，呃，这个 source 的 字典和 target 的 字典，也就源码的字典和 target 的 字典，然后将所有的这个句子变成这个 index， 然后得到这个， 这个 date， ok， 嗯，稍等一下，这两个 ok， 它呢？在哪里执行了这一个操作呢？就是把一个 code 变成改变前和改变后的呢？就是在这个 pre process for pre train 里面，我们看一看它在这个地方哪里调用了它啊？ 在 read instance from file 这里面调用了它，是吧？我们读取，读取每一行，这个这个 code 里面的每一行读完了以后呢？ sau， 呃， sauce list 和 target list， 它这里面的 sauce list 和 target list 跟刚才的 commit message 不 一样，它的 target 指的就是之，就是改变后的代码，它的 target 呢？就是 这个代码啊，之前的那一个 sauce， 呃，之前那个不一样，之前呢是这个是 sauce， 这个呢是 target， 也就说 message 是 他给的，然后现在这里面，因为是第一阶段嘛，他是把改变后代码作为他的预测代码， ok， 也就这里，呃，他给的。 list 完了以后呢，打包， zip， 打包，然后，呃，然后对它进行这个划分，判断它是不是大于这个长度， 然后构建它的这个，这个就截掉它长度满足五百一十二，对吧？然后把这个 b o s o u s 加进去，这地方呢跟 pre process 里面就很接近了啊， 咳咳，跟 pre process 里面非常接近，只不过呢，这地方呢，就多了一个，因为它要对 code 进行这个输入，输出的限制嘛，就这个长度的限制。 ok， 这个地方呢，我们基本上就知道了，呃，在 pre 这里面呢，它就它的作用呢，就是将句子就将这个 code 分 成改变前和改变后的。 ok， 紧接着我们来看一看这个，这个这个第一阶段的训练，第一阶段的训练我们说它有两个部分，第一个部分呢，是来预测改变后的代码是什么样子的。第二部分呢，是 mask 机制是吧？ mask 机制呢，是可以放在训练过程当中去训的，所以我们可以看一看这个 trend， 嗯，一定，这个 trend 在 哪里？这个 trend 我 们点它，然后它执行的是 safe， 握握持，握持，握持。 report 和 cap 是 哪里的呢？是这个 report， 也就是说在这个地方他把字典，把这个预测改变后代码的字典放在这里了，对吧？这个任务代码放在这里了，然后 report layer 多少层啊？然后遇多 mask 是 怎么样子的？ ok， 然后以及这个 embedshare， 呃， label smith 多少个 batch size， 多少个 apple， 多少个 head， 多少个 layer， 都在这里面呢？ ok， 那 我们直接来看一看这里面的内容， 然后这个地方呢，我们先讲流程，再讲细节，流程呢就是不涉及到 transform 基础具体的东西，呃，细节我们待会待会讲，然后会拿这个 transform 跟我们的结构图去对应一下，它是怎么回事？ 首先这个地方呢，就是参数呢比较多，然后我们有加载所有参数所需要训练的数据啊，就是 self data 嘛，对吧？第二个呢，是有多少人？ batch size 是 多少？然后这个 demodore 选这 model 选的这个，这个 dimension， 这个选的多少？五百一十二维，然后 kqv， ok， 完了以后多少个 high， 多少个 layer 等等，种子数多少，招怕了多少等等等等之类的。这个参数进来，进来以后呢，我这个地方就开始加载数据集了，哦， o p d 点 data， 这个我们刚才说了，这个 o p d 点 data 是， 呃，在哪里？哈？就这个 第一个就是五 cap， ok， ok， 完了以后呢，就是因为我们原来的这些处已经处理好的这些数据啊，都放在哪里了呢？都放在这个 data 里面，对吧？然后它存下来了，对吧？所以它加载的时候呢，它又能加载这个字典，加载这个训练级和验证级都可以一次性加载 啊，这个，这个 o p t data 就 这个地方， ok， o p t 的 model is nontransforming， ok， 下面就开始调用这个 transform 的 这个抽象化了，这个呢就是 model 的 抽象化，它要告诉这个 model 它的向量的这个五 cap 的 维度，输出的维度，呃，然后最大的扩展的长度等等之类都有告诉他，包括多少层，多少个 layer 都有告诉他。 ok， 然后紧接着这个 checkpoint 点 touch， 点 load 呢，这地方是来呃加载一下模型的参数的，呃，因为我们的这个模型呢，就因为它传输 map 架构，它有可能是从 boat 的 这个传输 map 架构里把它的域训练的模型这个参数加载过来的，对吧？ 或者说你训练好的，你想二次训练的时候，你也可以加载之前训练的这个东西，就如果呢是，呃没有的话，那就抽象它，如果以这个就如果这个 model 呢，就是本身有参数的，没有参数的话就抽象它，有参数的话呢，那我们就查一下它的 checkpoints， 然后把这个 checkpoint 加载进来，然后赋值给这个 transform 框架里面，我们可以看一看这个 load state checkpoint model， 对 吧？就加载这个里面的各种的字典，各种的这个参数，就是呃权重的值。 ok， 完了以后， optimize 这个地方呢，就是，呃，我们之前说的就是关于它的优化， 我们用的就是 adam， 对 吧？ adam， adam 的 话之前给大家讲过，讲这个关于呃模型的优化， adam， 呃，还有 rms， prop 等等之类的优化方案，以及它们区别。之前有给大家讲过， adam 的 话是是综合型的一个方案。 ok， 完了以后，我们紧接着就开始训练了 trend transformer， 我 们来看一看这个 trend 是 怎么回事？怎么训练的啊？ 嗯，简单，我们加载这个数据，我得再选这个数据进来，呃，进来以后呢？然后我们，呃构建两个 log 日记，是吧？构建两个 log 日记，我们可以看看直接到这个 app 里面， 呃，这个 app 是 我们自己设计多少个就多少个，然后计算它的这个开始的时间，是吧？然后算川 app， 这个呢是具体到每一个 app 里面，就这这个 app 是 外围的循环嘛？你看这地方不是特别大啊，所以每执行具体这个 app 呢，那我们就到这里面来， 然后我们要告诉他模型，这个模型呢是要么就初设好的转换模块架构，要么呢就是这个加载好参数的转换模块架构，然后川林大夫在这边 optimizer， 就是 就是就就是我们说的这个优化器优化算法， 这个就是是否是用 gpu， gpu， ok， 我 们把所有的东西归零，就是批量归入的，对吧？我们刚才说的第一阶段是三十二， 第二阶段是六十四，嗯，应该是吧。啊？第一阶段三十二，第二阶段是六十四， ok， 完了以后 lama 这个地方呢就是将，呃，我们之之前说的就是它将这个匹配，就是这个是输入 x， 这个是 y， 对 吧？ 对吧？然后对谁进行这样的操作，对败就进行这样操作，对吧？所以我们家所有的数据呢，就是 sequence 啊， position， sequence， position 啊，全部放到这个，呃， gpu 上面，全部放到这个 gpu 上面， 那关于这个 position 待会我们会跳回去再看一看，跳回去再看一看这个 position 它是怎么来的，嗯，也就是这里面的 trending data 嘛， 现在咱就跳回去 存储列表，在这个地方，你看我们都是一层一层地跳过来的，它原始数据是一个 date， 我 们就来看一看这个 prepare， prepare 这个 date load 是 怎么搞的？ 首先呢，就是我们之前说的这个，你这这数据呢？都是 data 里面的数据，对吧？都是 data 里面的数据， data distinct as a data 完了以后，我们要构建一个 data load 的 数据集，对吧？这个之前给大家讲 data load 的 数据集怎么构建的时候跟大家说过，对不对？然后 ok， batch size 是 多少等等呢之类， ok， 就是 这个呢，就是构建那个 data load， ok， 紧接着我们就说，既然我们这个数据已经加载过来了，那我们就是来这个，呃，就利用这个 model 来生成这个数据的结果，对吧？就利用这个数据把这个数据位入进去，生成一个结果，我们这个结果呢叫， 呃， p i e d 这个 model 呢，我们待会会来看一看它是怎么一个回事。好吧，这个 p i e d 以后呢，我们有跟我们的 ground truth， 跟我们的 ground truth， 这 ground truth 就是 target sequence， 然后去做一个这个 loss function， loss function 计算它们这样的差值，会反向求导，然后更新这个，然后我们呃把这个呃反向求导，就反向求导完了以后呢会来更新这个 optimize， 就 更新这些 permits 的 权重，是吧？ ok， 然后把这个 loss 呢，然后加载到这个 total loss 里面，我们最终会去对 total loss 做一个，做一个这个这个取钱计算这个地方呢，我们还有一个，就 这个 loss function 呢，就在这里面定义了，就如如如何去计算这个 loss function， ok， 在 就是在这个这个 creation performance 这里面来定义。 ok， 然后仅这一些呢，只是来判断一下它的有哪些词，就是正确的数量是多少而已。就是我生成的 predict 和这个 god， 它之间 呃一个是这个 loss function， 就是 说呃 cos entropy 这个交叉信息商的损失。第二个的话呢，就是它两的之间有哪些是不匹配的地方，就是这个数字我们有知道的，对吧？或者说匹配的数字是有知道的，我们可以看到它 呃这个地方就 pre 的 点 e 口等于 go， 就是 来判断它的字母写的，就是字母写的对比就是 abc， 那 下面就是 abc， abc， a b d 这个这样的对比的话，就是三个里面有两个是对的，就是这样子。然后这个出来以后呢， i n a q r 这出来以后呢，就是比如说它出来结果呢，就是比如说它出来结果呢，就是 这个一零一，呃零一，就是不不重合就不一样。 ok， 这个是这个 performance， 然后呢计算 pre 和 go， 呃 go 的 这个计算的 lost function 呢，就在这里面呢，就在这个这个 k o lost function 这里面呢， 我们看一看它最终呢是用的这个 cross entropy 啊，用的是 cross entropy， ok， 然后忽视的这个，呃这个字母呢？因为这个 pad 呢，是说 当我们刚才说的是一个句子是五百一十二的长度，对吧？他没有到五百一十二，我们是要给他补齐的，但补齐这个句子呢不在我们口令范围内，所以呢我们再去做计算的交叉信息商的时候呢，要把他忽视掉，要把他忽视掉。 对，也就是它生成的数，数数生成的这个东西当中有可能会有这个 pad， 但这个 pad 呢？我们不把它当成计算单元之一，所以就直接这个抛掉就好了。 ok， 这个呢是我们，呃，我们到这个地方计算它的 loss function， 完了以后， ok。

大家好，今天给大家隆重介绍科恩一米二点零，首先就是逆天无比的文字还原能力和理解能力，支持的描述文字突破一千五百字，甚至是九宫格的图片描述文字排版都非常优秀， 支持二 k 尺寸直出，还可以生成科普插画，生成 logo， 生成各种图片。 不仅如此，它还是个编辑模型，可以直接更改图片中的文字，也可以参考图片中的文字生成类似的字体， 还可以直接删除原本 logo， 完美替换新的 logo， 可以 描述想要的 ip 形象，并贴合到指定的物品上，对颜色也尤为敏感，不仅可以按照参考图换色，还可以用文本描述换色、换材质，指定色号， 还自带图片融合能力，编辑各种天气和光照，除了可以切换摄像机角度，甚至可以控制单独一个人的动作位置。虽然编辑能力和文字能力出众，但是图像生成的真实度还是不太够。 不过我后面会开源细节增强的 lora 来弥补这个问题，今天的内容就到这里，谢谢大家。

如何用 ai 快 速生产千川土豆素材？我们呢在土豆过程中经常会遇到一个情况，就是呢我们看到不错的素材，但是自己去拍，一来拍的成本大，二来呢模特会比较适合的， 三来呢场景搭建也需要时间，那么现在呢，借助 ai 就 可以很轻松的实现之前的素材，我们以这个七天投放等播放量呢一百四十九万的视频为例，我们呢先看视频素材， i see the bus， a bus can go， i can see the car， a car can go。 那 么建筑 ai 怎么去实现呢？我们先剪取 其中的一个画面，然后打开这个 ai 提示词反推工作流，把刚刚这个图片我们上传到这里，然后点击运行，运行完成之后呢，我们可以在这里看到提示词已经生成完成了， 然后呢我们把提示词复制，复制好之后呢，我们打开这个纹身图工作流，然后在这里输入参考这张图的人物动作和拍摄角度，帮我生成一张照片， 然后再把刚刚这个提示词我们直接粘贴进去，粘贴好之后呢，再把里面一些不要的，我们可以把删除， 例如这些文字，这个文字我们不要删除，其他的没问题。然后呢我们点击运行，运行完之后呢，这里就得到了我们想要的图片， 得到我们想要图片之后呢，我们现在再打开这个动作模仿工作流，也就是在这里上传这个小女孩的这个动作，在这里上传我们刚刚这个纹身图 生成的这个图片，接着我们点击运行，运行完成之后呢，我们就可以看到这里已经成功了，我们来看一下效果， i see the bus， a bus can go， i can see the car a car can。 就 这样我们呢通过 ai 快 速的生成了我们想要的视频了，那么这个工作流的相关参数呢？我给大家也都已经调好了，大家呢可以直接拿去用 这个视频，如果是以前我们自己去拍，再加上剪辑，最快也要两三天时间了，现在呢， u a i。 只需要几分钟就可以完成为我们亲人投入呢，真正做到了降本增效。

如何用 ai 快 速生产千川土豆素材？我们呢在土豆过程中经常会遇到一个情况，就是呢我们看到不错的素材，但是自己去拍，一来拍的成本大，二来呢模特会比较适合的， 三来呢场景搭建也需要时间，那么现在呢进入 ai 就 可以很轻松的实现之前的素材，我们以这个七天投放等播放量呢一百四十九万的视频为例，我们呢先看视频素材， i see the bus， a bus can go， i can see the car， a car can go。 那 么建筑 ai 怎么去实现呢？我们先剪取 其中的一个画面，然后打开这个 ai 提示词反推工作流，把刚刚这个图片我们上传到这里，然后点击运行，运行完成之后呢，我们可以在这里看到提示词已经生成完成了， 然后呢我们把提示词复制，复制好之后呢，我们打开这个纹身图工作流，然后在这里输入参考这张图的人物动作和拍摄角度，帮我生成一张照片， 然后再把刚刚这个提示词我们直接粘贴进去，粘贴好之后呢，再把里面一些不要的，我们可以把删除， 例如这些文字，这个文字我们不要删除，其他的没问题。然后呢我们点击运行，运行完之后呢，这里就得到了我们想要的图片， 得到我们想要图片之后呢，我们现在再打开这个动作模仿工作流，也就是在这里上传这个小女孩的这个动作，在这里上传我们刚刚这个纹身图 生成的这个图片，接着我们点击运行，运行完成之后呢，我们就可以看到这里已经成功了，我们来看一下效果， i see the bus， a bus can go， i can see the car a car can。 就 这样我们呢通过 ai 快 速的生成了我们想要的视频了，那么这个工作流的相关参数呢？我给大家也都已经调好了，大家呢可以直接拿去用 这个视频，如果是以前我们自己去拍，再加上剪辑，最快也要两三天时间了，现在呢， u a i。 只需要几分钟就可以完成为我们亲人投入呢，真正做到了降本增效。

这个视频刚刚获得了两百零七万观看，就因为他用了一个好玩的特效，而我正好知道有一个网站可以一键生成这个效果。等一下，这可不是广子啊，需要网址的朋友看完问我要吧，这里就不放了。网站很简单，点击这个按钮就进入到制作窗口，在文本框里输入你想制 作的文字，然后点这里就开始生成了，新用户每天能免费升三次英文的也可以，还能生成这种这种在文章里找字的这种效果，或者这种小贴纸的效果挺酷的，去试试吧。

你一不小心打开 get， 手滑点到搜索框，输入这个项目名字，一不留神点到这个，你忍不住好奇心往下滑，你发现这是一个擅长生成多人对话和长文本的开源 ai 语言合成项目，能够连续生成长时间的对话， 并保持音色稳定，甚至还支持各种地方方言，就非常实用。好啊，欢迎收听咱这一期的瞎聊白。就这么说，我是您的老朋友燕子。

快看，这是我用 ai 生成的凤梨汁广告大片 cinematic 光影，电影级分镜，高级质感，你想知道怎么做的吗？今天三步教会你，新手小白也能轻松搞定！ 步骤拆解第一步，打开你的文本生成 ai 工具，如豆包、小梦、 check gpt。 输入这段万能提示词，请扮演顶尖广告创意总监，为你的产品类型策划一只时尚高级的广告片，时长三十秒， 要求画面宏大，细节丰富，具备电影感光影，并给出分镜描述与动效提示词，一键生成高质量脚本，加分镜参考。 第二步，打开你的图像生成 ai 工具，如小梦、 m j 香蕉。先上传一张产品实拍图作为风格参考，确保每个镜头里产品保持一致，然后根据脚本描述依次生成每一镜的静态画面。注意可以多生成几次，选最满意的那张。 第三步，打开你的动效生成 ai 工具，如小海、 ai、 小 梦、豆包。上传前后帧图片，粘贴脚本里的动态提示词，选择高清格式生成动态片段，重复操作直到所有分镜完成。 最后导入剪映或任何剪辑软件，用曲线变速、转场特效和背景音乐把片段串联成一支节奏感十足的广告大片， 结尾展示与互动音乐推向高潮，快速展示成品，精彩片段搞定。从文案到成片，全程 ai 辅助，零基础也能做出影视感广告。记得关注一口凤梨，鲜清爽润舌尖！

现在呢想要快速的复制出一个优质带货短视频，只需要呢用 jm 的 反推提示词，然后呢这个素材二生成就可以了，我给大家演示一下，我们呢先从网上找一个优质带货短视频， 例如呢以这个点赞量六十万短视频为例，我们呢把这个视频给下过来，完成之后呢我们把它丢在这个视频反推各种流这里， 然后呢点击运行，运行完成之后就可以呢得到一个这样的一个提示词，比如说零到五秒什么样子，五到十二秒什么样子，十二到十三秒什么样子， 他会把我们刚刚的这个视频内容整体给概括出来，然后呢我们得到这个提示词，接着我们就进入到这个 sorry 这里，在这里上传我们的产品，然后呢在这里把我们的刚刚这个提示词我们粘进去完之后呢我们就得到了这样一个视频，我们来看下效果， 这样我们以后呢出视频分镜就不需要去实拍了，真的呢是非常方便。

最近是不是总觉得周围人都在用 ai 做视频、写文案？自己也想试试，但一打开就看到几十个工具，完全不知道从哪里开始？别担心，今天我带你从零开始，系统了解国内主流的 ai 创作工具，保证听完你就能找到适合自己的那一款， 轻松开启 ai 创作之路。第一部分，认识 ai 创作工具 ai 工具到底是什么？想象一下，你有一个不知疲倦的助手，你说帮我写一篇小红书文案，他十秒就能给你三个版本。你想把一篇公众号文章变成视频，他自动生成画面、配音和字幕，这就是 ai 创作工具。为什么要现在学？ 原来需要一天的视频剪辑，现在可能只需要一小时，降低门槛。不会画画也能做海报，不会编程也能做动画。 未来三年， ai 辅助创作会成为像用手机拍照一样的基础技能。今天我们不只讲有哪些工具，更会讲清楚每个工具到底能帮你做什么。作为小白，第一步应该点哪里？学生、职场人、创作者该怎么选？ 文本 ai， 你 的智能写作大脑什么是文本大模型？简单理解，一个读过海量书籍、文章资料的超级大脑，能跟你对话，帮你写作、整理资料。 deepseek 论文大纲、读书笔记整理长篇文章写作，特别适合学生党、文字工作者，需要处理长文档的人上手难度，三点五星，界面简洁，目前免费，对新人友好。注意，纯文本工具不能生成图片。 心妍特别适合经常用百度搜索，需要查资料并整合的人。上手难度，四星。可以上传图片让他分析内容，试试用语音输入说话，就能让他写稿。 通一千问电商文案、工作周报、 excel 公式解释。特别适合淘宝店主、上班族、阿里巴巴生态用户。上手难度，三点五星和钉钉打通。 工作中直接调用腾讯混元多格式文档，生成 ppt 大 纲、图像描述转文字，特别适合需要做汇报、制作多媒体内容的人。上手难度，四星。 功能多，但有一定学习成本。豆包短视频脚本、热门文案模仿。特别适合内容创作者、社交媒体运营。上手难度，三，新产品矩阵丰富，使用建议，试试它的创作灵感，功能，给方向就能出内容。 盘古大模型，特别适合技术爱好者、项目经理、企业用户。上手难度，四点五星。偏专业，更适合有明确专业需求的用户使用。三步法，明确指令，不要说写点东西，先要大纲，再要具体内容，最后优化人工润色， ai 给出草稿，你加入个人风格和真实感受。如果这个视频对你有帮助，请点赞收藏，也分享给可能需要他的朋友。下一期我们讲八大视频平台深度解析，我们下期见！

哈喽，大家好，我是轩轩轩。在现实生活中你们肯定也用过一些 ai 大 模型，比如说豆包啊、 deepsea 啊这种的，他们最主要的就是文本生成，但是我今天讲的这个和他们完全都不一样，这个东西可能会关乎到我， 我目前这道赛道的未来，也可能会关乎到屏幕前的。你就是先进入正题， 我们最近看到了，就是最近他字节跳动又发了个新模型，叫做 disco 二，他们 disco 二这个模型呢？这个生成的视频我就这么说吧。 嗯，你们如果说看过你是追风那期视频的话，你们也肯定也知道他这个视频真的他生成的就跟真实拍摄的基本上没有什么的差别。就是说当时你是追风他们那边的 team， 他们往这个 amc 上面传了一张自己的照片，然后他这个模型 直接用 tim 的 声音说话了。这是，呃，他们当时视频也说了，就是说没有给他传任何的视频和音频文件，只传了一张照片。 这是我说的这个案例，你们应该可以能知道在未来如果说一个人他的所有信息都在， 都是都在 ai 公司的数据库里面，会有多恐怖？就比如说，就比如说别人，别人，哎呀哎呀哎，我喝个咖啡啊，然后有人拍了我张照片，咔嚓一下，哎，拍了张照片 啊，然后我把这张照片，然后我是那个拍照的人，我把这张照片，我把它传到 a 大 模型上面去，然后生成一段视频，然后这个视频生成模型就会自动用你的声音，就会自动用你的声音 讲话，然后他这个就会出现那种特别就是说特别恐怖的事情，就比如说， 呃，就就比如说前段时间出现那种诈骗什么的吧？就是用 ai 视频生成就是，嗯，我就我这种时候，现在他们这些就是现在这些 ai 生成的视频， 不光是他们老人分辨不出来了，现在我们都无能为力，我们现在都就是说我们现在都基本上都没有办法分辨出来他到底哪个视频是 ai， 哪个是真的， 这他如果说的，他说我说没有水印的话，根本就分辨不出来，就是说他就是说这个就是我的意思就是说你要是说不去看那细节，就看大体上 他就跟真实拍摄的视频几乎一模一样，你基本上你都找不出来那种什么什么比较离谱那种事情。就是在 ai 模型出现之初， 你们应该知道他有个叫做史蒂森吃面那个视频，就当时我看了就就这个东西怎么可能会统治地球啊，是吧？什么怎怎么，怎么能统治我们这些内容创作领域的这些人呢？然后结果他真的就来了，就是怎么说呢？当时史蒂森吃面他的视频是这个样子的， 这个是很久很久以前的视频生成模型了，但是在今天它 ai 生成的视频已经就是怎么说呢？它是看起来还是会有点怪怪的，但是你已经找不出来它有什么瑕疵了。 就是还有就是说它之前 ai 视频的生成它还有一个很大的通感，就是说它的运镜 啊，就是说对，你们听到这是运境，就比如说，就就比如说，哎呀，我现在，我把，我现在，我把这个摄像机，哎，我给他竖过来，你肯定不知道我要干什么，对吧？就是 ai， 这就是 ai， 它基本上它也是这个样，就比如说，就比如说，哎呦，我现在我希望把视频我给他翻转三百六十度 啊，然后就是拍着拍着突然咔一下，给我就，就拍着拍着就突然就像刚刚那个样子，然后直接翻转个三百六十度，你根本就看不懂他到底在运个什么，就好像是为了运镜而运镜的一样，你知道吗？这是， 但是现在这 ai 生成模型，他们的运镜很真实，我跟你们说他的他的运镜很真实，就感觉就是像是有真的有一个人类导演去去拍摄了这样的视频一样。而且就说， 呃，我先，我现在我先说一下，这条视频绝对绝对不是广告，他没有给我钱，他没有给我钱的，没有钱 啊，就是他这个视频生成模型呢？我就想就一句话，就是说他，嗯，可能就代表着我的未来吧，这就像我们这些做视频的，可能以后可能会被 ai 给干掉，真的真，真的不是为 ai 所用，真的 可能在后续的一两年吧，可能就在明天。 但是我只能这么说，他还是有一点，他有一种很重要的人物，他是模仿不出来的，就即使说你看他现在他 ai 生成这些视频，他现在就是说，比如说之前国外的生成模型 sos 二， 他们的视频生成模型，他们的音频就显得特别特别假，现在他的音频也变真的，他的视频也变得更真了，我真的，我真的，我是没有想到， 就因为他带，就是因为他太真了，但是他看着就有点怪怪的，你知道吗？你有没有听说过效应？觉得恐怖股效应，真的，他这个恐怖股效应， 呃，好像就可以用在这种视频上，你知道吧？就是说看翻你会感觉很害怕，但是，但是不知道为什么感，哎呀，感觉这个视频好像挺真的呀，对吧？这个视频，呃，这感觉挺真的，好吧。 呃，我可以，就是我接下来我可以给我自己先拍张照片，然后传到，哎，不对不对，然后传到那个，然后传到他的服务器上，我们看他可以生成一段什么样的视频啊 这是？嗯，就说实话，录段素材的时候还没有去生成，你可以直接去看这边这个视频。大家好呀，我是 ai 生成的虚拟形象哦， vlog 形象哦， 以后请多多指教啦。就是说，就说实话吧，就现在他这个 ai 生成模型，他这个净化速度真的真的能说就是能称之为是恐怖了，你知道吗？他这个视频生成模型，真的， 他这个视频模型生成的速度可比我们录一录一条视频加剪辑的时间要快的多了， 你知道吗？就像我录一期这样的视频，我平均我的素材要录差不多两到三个小时左右，而且我剪辑我可能会整，我可能会剪整整一天，但是他一段就是可能在未来一夜生成的视频，同样质量的 可能他只需要十分钟，甚至就说一分钟就可以拿出来同样的样品，但是你们人，你们人可能需要一百个小时， 这是这算是个挺恐怖的一个事情吧。再一个就是说 就现在他 ai 生成模型，他发展什么快，我最大的一个顾虑就是说他可能会被那些就可能会被那些人给利用，就是说比如说去搞诈骗啊什么的，真的他这个他这个搞诈骗。 呃，就是怎么讲呢？现在，现在你也能看到他们有一些那种芯片，就是比如说啊，他给你微信，给你打个视频电话啊，然后问你借钱，哎呀，就是说什么万一家里出事了什么的，然后借个几万块钱，你说是吧？ 就他这种我只能我只有一句话，还是提防着点吧，就是说如果说有人找你借钱的话，你请务必给他开个二次验证，你知道吗？什么叫做二次验证呢？就是说就是说你问他一些问题，你看他能不能答的上来，他答不上来，他要是说答不上来的话， 呃，就说问一些比较亲密间的那种问题啊，然后他如果说他答不上来的话，那肯定就不是本人不着急 啊。那说到这呢，其实这期视频也差不多应该结束了，对吧？嗯，但是怎么说呢，我还想是在最后再给你再放一段 ai 生成的一些视频，你们可以自己看完之后 自己再看一眼现现在的 ai 和以前的 ai 是 什么样的，还有一段对比片，好烫，但真香啊。 嗯，绝了，老板再来一碗。好嘞，那么最后一段 ai 视频样本看完之后， 我相信你应该会对现在它 ai 的 发展这个程度可能会有一些可能会有一些比较详细的认知。如果说你想要了解到更多信息的话，你会去看一下影视巨峰的一期视频，那我们下次见，拜拜。

ai 的 发展特别猛啊，就是我们预测的话，未来 ai 这一波影响是特别巨大的。呃，第一个呢，就是设计、美工这些一定会被很大的影响，尤其是基础的设计啊，就基础的设计，基础的美工基本上会被很大的影响，因为我们现在看，比如说社投网啊， 然后包括像什么搞定设计啊，这些它的很多的模板啊，很多东西全是靠 ai 去出了，它不需要人工了，就是人工去做设计，这是第一个， 第二的话，大家有没有去看现最近聚念这边也针对 ai 的 素材做了非常大的提升，就是你在打广告计划的时候，他不让你用 ai 的 素材吗？ 然后大家如果去用的话，会发现其实 ai 调整的素材来说也非常不错，他会把卖家的卖点也好啊，然后产品的特点也好啊，优势啊这些，然后再加上素材的画面内容这些也弄得特别好，也就是说未来的拍摄剪辑也是有很大影响的， 尤其是比如说你看现在的产品的拍摄和剪辑，他基本上现在都用工厂嘛，对吧？他基本就不用了，就不用拍摄和剪辑，所以这一部分也会影响。然后下部分呢，就是比如说像什么文案啊，策划啊这种，基本上还是影响很大的 啊，当然就是 ai 即使发展特别迅猛啊，但我觉得就是只要咱们是中性的这种人才，或者说你在持续的每天都在去学习了解 ai 这些，然后去应用 ai， 对 吧？ 那你还是能够不会被这种 ai 所淘汰的，因为我觉得 ai 淘汰的是哪一类呢？ ai 淘汰的就是那种基础的，但是， 呃，我不知道大家看那个马斯克的那个采访没有？马斯克最近和印度的有一个大咖采访的时候就说嘛，就是未来它是会呈现两极分化的，就是越就是基础的人，它可能就真的就会被替代的概率会很大，因为还有这个聚生机器人这些也在发展。 但是就是如果你是越高阶的，你就越会整合和运用 ai 的 话，你就会发现 ai 就是 你的工具，然后你就会把它应用得特别好，所以我觉得就是呈脸级的这种分化。

豆包什么最强？写爆款短视频文案？ deepsea 什么最强？深度思考输出长文本吉梦什么最强？做设计，一句话就能出几十张图可灵什么最强？ 做视频？一句话自动生成闪剪什么最强？数字人 ai 再也不用你出镜苏 no 什么最强？做音乐，一句话生成一段超牛逼的音乐。

大家好，我是阿奇，最近很多朋友都在问我那个漫剧怎么去聚量刑投流，今天就简单给大家录一个小视频，看看大家我是怎么投流的。首先你得需要有一个这个投流账户，这个账户是需要有三证的，一个是网络文化经营许可证，一个是呃增值业务许可证， 还有一个就是广播电视许可证。你只有有这个三证的账户，你才可以来投流投流那个漫剧也可以是有三证的主账户，授权的纸账户，也可以像我这边新建的一个投流计划， 首先你得建一个那个项目单元项目我给你看看一下我这边是怎么建的，我是通投项目，然后是内容营销，然后我投的是那个短视频加图文营销产品商品，这里是我要投的剧，这里直接可以把那个剧放到那个商品库里面，你就可以在你选择你要投的剧了。 投放载体是抖音号，然后我投的是点击量，首选媒体还是抖音平台，这里定向这些用户，定向这边就不用不用去管了，直接按它系统自带就行，每天投这个看你自己啊，看你自己的预算去投啊，长期投放 稳定，成本不限。然后点击付费 cpc， 这里添加关键词，我这里关键词添加的都是慢剧。这个是新建的项目，然后可可以给你们看一下单元， 这个项目下面的单元一个是你投的抖音号，发布的抖音号，然后这里是我投的一部那个素材，素材就选了一集，选了一集视频，你也可以做点其他素材也可以， 这里就算自己随便。这个其实头扭很简单，没什么那么复杂的，要头头 g 把它选上去就行了。

推荐一个 ai 效率工具平台，免费且免登录可用。不仅包含了通过 ai 生成 gmail 等图标流程图，还有计算图片、 pdf、 各种加解密等在线工具。现在我们使用 ai gmail 做一个流程图， 给 ai 发送一个需求，使用中文帮忙做一个 h 五端用户微信公众号授权登录的流程图，加速生成中 深沉的结果也是可以再编辑的。 ai 二妹的功能，可以让 ai 帮你生成流程图，持续图、干特图等， 只需要在这里输入需求发送给 ai 就 行。深沉的代码可以直接编辑并实时预览。 ai x 功能，可以通过 ai 深沉折线图、柱状图、饼图等等，在右边可以预览并设置样式和下载 对结果，可以在线编辑并预览效果，可以保存，方便下次使用。 ai html， 可以 在线生成 html 页面并预览效果。 ai markdown， 可以 通过 ai 生成 markdown 格式的文案，右边可以设置不同颜色和样式，以及字体大小、图片长宽，设置完成后就可以导出了。 这里还有 ai 一 键美化功能，可以选择预设的样式或者自定义描述。 ai 叫对，可以对文本内容检查，发现错误和提出优化，粘贴内容进来点击开始叫对就行了。右边会显示 ai 分 析的结果，有错误提示和优化，可以直接应用 对比模式，可以查看修改前后的变化。我使用比较多的是算法工具，可以格式化修复错误， 还可以比对其他功能。二维码深沉图片工具，支持 ocr 识别，压缩滤镜等。 pdf 工具展示，视频工具展示， 支持在线录屏本地处理，保证数据安全。语音工具，支持在线文本转语音，转换后可以下载一些加密解密工具展示，欢迎提优化建议和 bug。