孙燕姿唱好汉歌,王心凌唱萨日朗, ai 明星歌曲越来越离谱的出现在各大视频网站上,所有的这些歌曲都是来自同一个 ai 软件 sovietsvc, sovietsvc 是一种高表现力的语音合成模型, 通过该模型输入对应训练人物的纯音频数据后,经过 gpu 的计算得到对应的模型,这个过程就是炼丹。比如用孙燕姿演唱陶喆的 melody 歌曲, 其主要步骤就是导入孙燕姿的语音数据,这种语音数据叫做 音频素材数据,只包含人物语音。通过 nvidia 的显卡计算后,得到对应的孙燕姿的语音模型文件,推理 melody 歌曲。先把陶喆的 melody 歌曲背景音乐和人生分离,把陶喆的人生导入到已经装在了孙燕姿模型的推理软件中, 显卡会根据孙燕姿的人声声文直接替换陶喆的声文,这时候就推理得到了孙燕姿版的 melody 人声音频文件。通过音频合成软件吧孙燕姿版的 melody 人声音频文件同步到之前分离的 melody 背景音乐中,这样一首通过 ai 替换的歌曲就做好了。
粉丝1484获赞9974

你们听过派盟翻唱吗?我们的爱就像是流行落沙,哈哈哈,本派盟能够唱歌还是要归功于这个级数。做 vc, 做 vc 我相信你一定或多或少听说过。他实际上是一个简写,他的全称是这样的,我就不读了, 不妨从其中的谓词开始讲起。同样的,规则也是一个简称,我们可以把它理解成采用了对抗学习、念分推断等级数的文本转语音模型,它属于一种声超式模型,真诚式模型是个什么东西呀?我们知道图像、文本、 语音等数据都是对已经存在的复杂分布进行采样的到的,采样的方式不同,所得到的样本质量也有所不同。就比如说一个照相机,用全画幅和中画幅相机所拍到的照片,他们的相片质量并不相同而生成。我们 可以直观的理解,会通过某种手段直接生成为我们要得到的样本。跳过了对复杂分布进行采样的过程,我们可以通过这个图式来理解。简单的正态分布进行随机采样后得到了的维度的香料,他可以通过矩阵的形式来表示,而这个香料经过剑南瑞特的作用之后, 变成了一个高维度的下量。这个高维度的下量可以理解为复杂分布进行随机采药后的样本,也就是常见的二字 角色的声音,就比如哭泣猫的声音。以上就是生长式模型的简单原理,目前主流的生长式模型有三种,分别是尬 vi、 符录这三种,而我们所提到的位置的主题结构就是一颗 一模型,我们可以叫他变分子、变马七,他的大着思维框架,我们可以用这个图来表示,我们知道一段语音和一张 图像,我们都可以从中提取可观测的信息,并通过编码器停列为隐形变量,然后通过解码器输出可见信息。那么如果我们能够针对文本和语音分别构造词编码器,让他们通过引编量建立等项关系,然后交换他们的解码器, 那就可以实现文版导语音的转化了。这就是 vc 这个模型的大致原理。说完了 vc 这个模型,我们来看看 sowitssy, 实际上 sowissyswissi 是在 wiss 的基础上进行的, 他将最终的解码器转换为了害发干,并且利用造福特威塞内容编码器提取人声信息,确保在转换的时候保留原音频的音乐内容,并将其转换为目标歌手的声音特征。简单的来说,搜 作为此, svc 就是将原歌曲的音色转换为目标歌手的音色,转换出的歌曲的细节部分还是要原歌手唱出。怎样啊?你是不是对这个模型有所了解了呢?相关的模型文件我会在粉丝群分享出来。

哈喽,大家好,现在这一段声音是大家平时听到我原本的声音,这一段声音呢,是我用朋友的声音炼制的声音模型,接下来这一段呢,是我家楼下大爷的音色,接下来这一段呢,是我用自己的声音推理出来的歌曲。 没错,今天我们来分享一个关于训练声音模型的技术。其实训练声音的模型很早就已经接触了,但是一直没有准备做教程来分享,因为呃声音的训练和推理就像是这个二维码一样,都是比较敏感,容易在很多诈骗的场景被使用我所以我基本一直是自己来自娱 自乐一下。但是呢,前几天做了一件事,让我感觉这项技术其实可以拿来做很多非常有意义的事,比如说把家里人的声音训练成声音模型,或者是把照片训练成 sd 的模型。在一些非常遗憾,人力不可抗拒的情况下,这样的赛博飞升其实真的是非常有意义的。所以今天准备跟大家分享这个呃 有趣的技术吧。我们接下来进入正题,开始训练之前呢,首先要跟大家讲一下,这个软件其实还是利用 gpu 来训练的,所以对显卡有一定的要求,经过我的测试,应该是二零系的显卡基本都没问题了。 当然我们的显存尽量要大一点,最低最低最低应该是要六 g 甚至六 g, 我估计可能是训练不了模型,但是你可以用已有的模型来推理,保险一点的配置应该是八 g 的显存。首先呢,我们需要下载这个软件,软件的名字叫做 rvc, 这也是一个大佬基于这个技术原理来集成的一个这种 ui 界面,类似于 s d 的 y, 大家如果想去了解更多的这个使用知识,可以去 b 站去关注一下这位大佬,这个软件呢我也放在了链接当中,大家可以自行去下载, 下载完之后呢,我们把它解压出来,解压了之后我们打开下面这个 r v c, 在里面呢,我们找到有一个勾 v 点 b a t, 我们双击打开这个,这样的话我们就到了 ui 界面,这个 ui 界面里面呢,我们其实只要用 其中的两个功能。首先第一部分先教大家如何来训练我们的声音模型。首先需要准备素材,这个素材集呢,根据我的经验,我们需要准备至少 十到十五分钟的纯人生的素材,这个声音的质量是越高越好,而且不要有杂音,不要有混响。如果你没有专业的录制设备,其实我们现在的手机录音在一个安静的环境下就可以做得到。然后素材量呢,理论上是越多越好,但是一定是要在保证质量的前提下,呃,然后素材要注意的第二个点就是,如果我们训练出来的模型是想让他更多的用语说 话,那这个时候我们尽量就录制正常来说话沟通的这个声音。如果我们是想用来推理歌曲,想用来唱歌,那我们尽量素材就是我自己清唱的声音,不用担心唱的不好或者跑调,因为他最终训练的是我们的音色,但是尽量的要覆盖到高中低音,如果你的唱歌的声音里面全部都是低音, 或者你用纯说话的声音推理歌曲,他就会产生一些这种电子音或者是一些哑音的情况。当我们准备好了这个素材之后,接下来我们进入到这个 web ui 的训练界面里面。首先第一个部分,我们要给这个训练的模型起一个名字,然后呢这里的目标采样率我建议大家就保持默认,然后呢模型是否带有高音指导, 我们也是让他默认保持打开的状态。然后接下来版本,这里啊建议大家都是选择 v 一,因为 v 二目前不是特别稳定。然后最后这里呢就是除了在使用 gpu 处理的情况下, cpu 也可以辅助我们完成这个数据的处理,这个地方我们尽量给他拉满了,相对处理的会更快一些。第二步 这里我们要选择训练的文件夹路径,也就是说我们要把准备训练的声音素材,这个素材可以是一整段的,也可以是多段的,我们把它放到一个文件夹,然后呢复制这个文件夹的路径,然后粘贴到这里。然后第二步的其他所有的部分全部都是保持默认。接下来呢直接进入到第三个步骤,来填写一下他的训练设置。 首先我们先看一下总轮数吧,根据我的测试状态,如果你是有十五到三十分钟的素材,那么我建议这里的训练轮数是二百轮或者到三百轮,总轮数是二百轮。如果我们是五轮保存一次的话,那最后就会得到四十个模型, 其实没有必要的,所以这里建议我们改成每二十轮保存一次,这样最终我们就会得到十个模型来从中挑选。然后呢这里相当于一个并行处理的数量,这个越高的话处理的就会越快,但是越迟,我们的显存这里的话,它会自动根据我们的显卡来确定,我们保持默认就好。然后这里呢是说我们是否保存最新的一节是一般空间,也就说无论你这里填了多少, 如果你把这个勾选的话,他最后只给你保存最新的这个模型,我们当然是要选择否了,这个部分我们也可以给他选择否,然后最后这里是否在每次保存的时间点将最终小模型保存至这个文件夹。我们这里要选择是因为最终训练完的模型,我们要在这里找到他,接下来其他地方全部保持默认,然后我们点击 一键训练,这个时候我们就看到后台这里已经在处理,包括前台他正在处理数据,这里我们需要耐心做一个等待,做演示,我这里就不训练完了。训练结束之后,我们会看到一个英文单词 successful 的字样,就代表成功了,然后最后在结尾的时候,他会有一个二三三三三三这样结尾。当他整体训练完了之后,我们进入到这个 rvc 的这个根目录下面,然后我们在这个为此这个文件夹当中就可以找到我们训练完的,比如说这个是之前我训练过的,他就会显示,呃每一轮保留的一个模型,这些就都是我们训练好的模型。训练完之后,再当我们打开模型推理的时候,我们在下拉菜单 中就可以找到刚才训练的模型,到这一步我们的训练就结束了,那如果我们正常自己使用,其实在下拉菜单中找到进行下一步的推理就可以了。那如果我们想把训练好的音色分享给别人来使用,在 哪里找的?首先第一个我们需要把这个位词当中这个模型给他复制出来。然后第二个我们还要在这个 logs 里面找到我们刚才训练的这个音色,在这里面呢我们会看到非常多的文件,我们要找到其中的两个,一个是以 n p y 结尾的这个文件,另外一个就是上方的这个音 desk 结尾的这个文件,这三个文件组成了我们完整的模型文件。那第二步我们如何来进行声音的推理呢?首先我们需要把模型放到我们文件夹当中的位置里面, 然后在推理音色这里我们就可以找到刚才放进去的模型。我给大家展示一下,如果我们用这一首歌来做推理的话,首先第一个我们一般下载的歌曲都是带伴奏的,这个时候呢我们就要把伴奏跟人声 进行一个分离,这里呢推荐一个简单的工具,这个软件呢我也会把它放到链接中,他的使用其实非常简单,打开之后呢,我们直接选择他的输出路径,确认输出路径之后呢,我们就把这个想要分离的这个音乐给他 进来,处理完之后,在这个输出目录他就会生成一个文件夹,这个文件夹当中呢 ocas 就是我们的人声,然后上面一长串就是分离出来的伴奏,我们所需要用到的是这个人声,然后这个变调这个部分, 如果我们是男生转男声,或者女生转女生,音调是差不多高的,我们就默认保持为零。那如果原音是男生转为女生模型的音色,相当于他做了一个声调,那这里呢,我们就要填写十二。然后呢,如果是原音是女生,我们要转成男生的音色,那又给他填写负十二。我们这里呢,因为这个原音 是一个男生,我的这个声音也是男生,所以就不用给他做变调。然后这个地方的路径呢,就是我们之前保存那个 indesk, 如果这个模型是别人复制给你的,那我们 就是要把它放到 logs 里面,我们给它新建一个文件夹,然后把这个 indesk 给它放进来。如果是我们自己练的就不需要了,它自动已经就在这里了。然后其他的地方我们都不用去管它,直接点击转换, ok, 这样的话最终在剪辑软件里面把伴奏跟人声合在一起就完成了,学会的话就赶紧去尝试一下吧。

我用 ai 克隆了自己的声音,能说话,还能唱歌,今天就手把手教你制作全网爆火的 ai 孙燕姿,软件已经打包,可以到粉丝群领取。你现在听到的歌声就是大法师分身演唱的。 这期视频呢,一方面是让大家能够体验和使用 ai, 另一方面呢,也希望大家能够了解现在的科技发展程度,在以后的生活中提高个人防范意识,尤其是家里有老人的,一定要给他们约定一个暗号,防止上当受骗。 本期视频的所有内容仅供学习交流,首先我们要准备两小时干升的 wav 文件,唱歌的或者说话的都可以, 如果你使用的是唱歌素材,需要先使用 uvr 五提取人声,大家可以截图按照这个操作。接下来打开奥迪 sizer 来进行音频分割。点击左上角的添加文件参数,保持默认,点 gpros 设置输出目录,右下角 start 运行后,把输出目录下的文件全部复制到这个文件夹里, 注意文件夹名称不要有中文。这里建议把所有的素材再听一遍,删除有干扰音的文件。然后打开 vits, 点击启动外部 ui, 加载成功后会在浏览器打开页面选择训练,点击识别数据级,这里会显示你的数据级名称。训练分支选择第二个,点击数据易处理。 这个过程大概三到五分钟,完成后根据你的显存修改批量大小,如果训练过程中有爆显存的情况,就把这个数值调小, 点击写入配置文件,成功后点击从头开始训练,一般情况下,训练到三万步左右的效果就比较好了,我这里为了节省时间训练了一万多步。训练完成后回到外部, ui 选择推理,点击 模型选择,这里会保留你最后的十个模型,选择数字最大的配置文件,选择第二个,点击加载模型成功后上传你要模仿的音频或歌曲,完成后就可以直接下载了。

good at sock knit ya ask us all our mommy。 我们离也是每年你路边想来麻油都给油来麻油锅边油来麻油昨夜捡来的琐事 我们的夜色迷恋你路边上啊妈呀路边呀妈呀古怪呀妈哟 小小兔子 我的眼神迷眼眼流鼻血慢慢用,努力用慢慢用,固本用慢用 思密达你路边线河马有路边有马马有古味有马,马有我 啊啊啊 sucks at what's it looking more grim yeah you wanted me soon。 下个月会接着你。 more than so it yeah just cause i'm a she was told with me。

我们今天要用的第一个工具是 ai 歌声合成软件 ac studio。 ac studio 内置数十个美妙歌声的 ai 歌手,且大部分都免授权, 你只需要简单的拖放就能一键应用。目前公厕免费,大家及时行乐。我默认你是像我一样完全不懂音律音阶的小白。在使用这个工具完成 ai 翻唱之前,你需要了解一个音乐名词, midi 文件。 midi 就像现实中的乐谱,只不过乐谱给人看的, midi 则是给电子类乐器看的,属于音乐界的程序语言。 使用 ac studio 翻唱的第一步就是获得 midi 文件,也可以说是巴普,因为每个 i 歌手都需要阅读 midi 才能发出对应曲调的歌声,专业歌手通过耳朵听就 能把一首曲子的谱子记录下来。而小白可以通过三种方式完成这个过程,一是直接在网站下载 mid 文件,比如 mid show 点 com, 缺点就是不一定能找到你要的曲子,或者找到的曲子并不适合在 ac studio 上使用。 二是通过 ai 工具把 mp 三曲子转成 midi 文件,比如 midi 瘦的在线 ai 工具返普 ai 的音乐转谱,还有很多开源的 ai 八谱项目,比如 mp 三。 三是通过 ac studio 特有的杆声转换,这个工具很强大,相当于你清唱几句就能转化成对应的曲谱。 midi 精测试 ai 八谱的识别率都不是很完美。在使用 ac studio 翻唱的前提下,建议使用杆声转换或者网上下载 midi 文件。 如果使用干声转换获得干声,一般有两种方法,自己唱或者直接用歌手的干声,五音不全的 同学可以不用考虑。如果使用歌手的杆声,我们需要从音乐中分离出人声。当然我们也可以用 ai 来实现。 local remover audio strip moises 是我最常使用的三个工具。首先是翻唱,我们以罗刹海式为例来进行接下来的创作。 将分离的人声拖到 ace studio 面板试听一下。 然后我们进行杆声转换,获得 mid 轨道。接下来我们把美声歌手 burber 应用到上面。 当然你可以选择可爱甜美的女生, 广东两万或者温柔古风的女生。 如果你稍微学一点后期混音和剪辑,一首美声版罗刹海是 mv 就出来了。然后是填词,我们以大风车为例来进行接下来的创作。 在 ac studio 界面,你可以很简单的对歌词进行改编,选中 mid 轨道,在一个音符中连续输入多个歌词,按下回车后,这些歌词将会自动被计算并分配到后续的音符上。你也可以选中所有音符进行歌词编辑。我们这里把罗刹海诗的歌词直接用到大风车上来听听效果。 歌曲有些调子可能没对上,因为我不会混音,会的同学可以教教我。

今天呢,我发现了一款牛逼的软件,我可以模仿你的神兽进行唱歌, 这里就来召唤一下歌手,然后不要说现在的农民设备准备好了,理论上我已经决定了出局,被我打的时候我准备好了后果,一段时间等待就可以, 牙齿呢?训练室需要时间呢,我们等他一下就好。

![训练了一个霉霉的AI歌手模型,没想到和黄老板的适配度这么高,推理出来的结果把我都吓一跳。
Cover/原唱: [Ed Sheeran]
音声来源:[Taylor Swift]
免责声明:本作品仅作为娱乐目的发布,可能造成的后果与使用的音声转换项目的作者、贡献者无关。#泰勒斯威夫特 #英文翻唱 #ai歌手 #黄老板 #霉霉](https://p3-pc-sign.douyinpic.com/tos-cn-p-0015/9c5ed2cff78c4c0a8b8d94d4d0fbcb07_1685798035~tplv-dy-resize-origshort-autoq-75:330.jpeg?lk3s=138a59ce&x-expires=2110485600&x-signature=zXU10P8AREXgYaJIV4pRGPQOI5U%3D&from=327834062&s=PackSourceEnum_AWEME_DETAIL&se=false&sc=cover&biz_tag=pcweb_cover&l=20261120063858E4BF4A775573900ECD7B)
just fly a desk with my pretty little us in the room as that sort of recallable titty service tour i offer dancing the candy scene to and that i was holding my hooked on and she told me his life finishing doing fell in an irish band but she fell in love with an englishman and that's cool butter as a baby it just wanna 妈妈妈妈呀。


看看 ai 怎么从普通到高级,像人一样去解决复杂问题。这是谷歌和普林斯伦大学去年十一月合作的论文 react 问 ai 七堂简单物理课的作者是哪一年开始在法国工作的? 你看,最普通的 ai, 他不会思考,直接靠概率算出一九八六年。当然这是错的。学会思考的 ai, 那他知道一步一步的来。他先按概率推出,这是卡罗罗威力写的,再按照概率算出。卡罗罗威力是一九九零年起再发过。 只是很遗憾,这个冷门的知识并没有很好的存在大模型的参数中。所以说这个关于时间的概率计算是错的。另外一种 ai, 他有行动能力,可以从环境当中去获取信息,比如搜索互联网或者查询数据 库。你看,他先搜索到这本书的作者是卡罗罗威力。但是但是第二步,他选择了去查找卡罗罗威力的信息, 可惜没有查到。正确的给出了一九八三年的错误答案。也就是说,这种 ai, 他虽然具有行动能力,就是 x 型,但是他没有上一个 ai 那样复杂的抽象推理能力。 采取行动的理由很简单,有时可能就不合理,而且他也没有长期记忆能力。 现在来看一下真正高级的 ai, 他把推理能力和行动能力结合在了一起。他首先会思考说我要找到七堂简单物理课的作者,再找到作者从法国开始工作的时间。按照这个思考,他决定还是先去搜索,这样知道了作者是卡罗罗威力。 现在他进行了第二步思考,决定要去搜索卡罗罗威力,并找到工作时间,然后根据搜索结果发现了作者两千年起在法国工作。那最后是最简单的第三步思考就是决定答案,就是两千年。这就是高级 ai 的工作模式。他距 既具有大语言模型按思维链进行复杂推理的能力,又能够和外部环境进行交互,采取行动获得结果。

大家也许都知道全民 k 歌的 i 修音非常阴间,但你们知道吗?他现在升级了,看看 app 主唱的吧,先是毫无感情的不修音版本, 很有夏天的感觉, 然后是深度修音之后的版本, 很有夏天的感觉。少做 狼来了快快,我有几行。

祝你生 无穷的美好智商,穿越古驰,向我警方牵一刀!悲伤却不全是一面。 一直走,江湖万家 我已还在。


朋友们,出大事了!音乐界即将翻天覆地啊! ai 音乐迎来 iphone 时刻,非常激动!我给大家听一段这完全是由 ai 创作并且唱出来的音乐,一定听到最后! 怎么样?有没有被震撼到?这个 ai 音乐不仅可以帮你自动谱曲,自动唱出来,甚至还支持五十多个国家的语言,你还可以在里面增加伴奏,增加旋律,从今以后再结合上 tired g b t 去生成歌词。 我的妈呀,整个音乐行业都要翻天覆地了!朋友们,如果你也想试试,我把这个项目的名字放在评论区了!回复六个六,一起来玩玩看吧!关注大壮,一起学习 ai 思维,带你成为超级个体!

gpd chat 就是为什么他会有那个推理的这个能力,跟大家一起来交交流一下。因为我最近看到就是老外有一篇艾伦人工智能学院,他们共同完成了一篇文章。那么这篇文章的话里面详细的去 拆解了那个 chat gpt 的那个前世今生,现在为什么所有的这些大的公司,大大小小这些公司,他为什么不能完全复制出这个欧奔 ai 的这个 chat gpt 呢?就是这个也是大家就是一直在探索的这样一个东西,还是这个。这这这篇文章我看完,我觉得 不是表面的这样, oba ai 的这样的一个技术,他只需要算力,他就能够去解决人工智能智能推理的这样的一个问题的,他不是这么简单的。否则的话,你想在中国的像百度啊,阿里,他其实并不缺钱,他们肯定有大量的 gpu 和算力。那么为什么 中国人就没有办法去复制出这个 oppo ai chat gpt 的这种比较有人工智能的这样的一个推推理的能力?这个这个其实里面也还是有很多的可以研究的一些东西。它的开篇呢,主要就是讲是 chat gpt 是怎么变得这么强,它的各种强大的功能到底是从何而来的。 他是带了这样的一个问题来讲。这篇文章中他试图去这个 chat g p t, 他这个凸啊,他这个凸显的能力呢,别人就有点像中国,中国文化里面有一种叫顿悟的能力。 要追溯这种能力的来源,他希望能够给出一个全面的技术路线图来说明这个 chat g p t 三点五这个模型,以及相关的大型语言的模型是如何一步一步的进化形成目前强大的这个形态的啊?他这篇文章主要是讲了这个东西。首先他就先介绍了这个二零二零年初就是 g p t 三 于大规模预训练的这个模型,之前这些初代的 g p d 三,它主要展现了一个重要的能力,能力呢,就是语言的生成,以根据那个提示词股权提示词的句子。 这个就是目前我们中国目前不管是百度的那个文星一言,包括其他大的公司推出来的这些,相当于这个 g p t 杠三的这样的一个能力, 就是初代 gpd 三的这种能力。第二种能力它也是介绍了就是上下文学习的能力,它这个能力它也是在 gpd 三初代就已经有了。那么 gpd 三还有一个能力呢,它有一些叫世界的知识,它能够 在这个模型当中就是提炼出这个事实的知识和一些常识,他具有这方面的能力。那么这些能力从何而来呢?那么他他们的讲法呢是就是通过因为这个三种能力都是来自于大规模的预训练 的大规模的粤语训练的模型,因为他有在三千亿个单词的语料上,预训练模型具有这个一千七百五十亿参数的这样的一个模型。这个语料他百分之六十是来自于我之前介绍过的叫 c 四模型, c 四的这样的一个数据集。百分之二十二的话呢,它是来自于网络的这个爬虫叫 web text, 还有百分之十六呢,来自于书本,百分之三呢,来自于 构成了这个 g p t 三的这样的一个数据啊,它的语言能力的话呢,就是来大量的这个三千一个单词的,这个的沉淀,它等于是这样啊,目前这一部分它阿里是已经是比较确着了。但是呢,这个上下文的这个学习能力来自于哪里?因为它这个可以根据上下文的来源,可以进行一些 泛化。这个能力他目前还是比较难以追溯的。从直觉上来讲,可能是来自于同一任务的这个数据点,在训练 时,他的这个排序在同一个半区中,他们这样来推测的,很少有人有人在研究,就是为了这个语言模型能够促使上下文学习,以及为什么上下文的这个行为与微调如此的不同的话,他的这个能力就是下文学习泛化的能力,目前还是比较难追溯的。目前的这个理论界还在找根本的原因到底是什么。 那么原来还有一种观点是讲,就是 g p g 三,因为它从量变到质变,因为它这个模型非常大,大到一定程度的时候,量变到质变了,它有各种各样的泛化能力。哎,这个也是一种观点,所以现在将这个 a g i 的这个通用智智智能,他们就是越训练,这个模型就越越大啊,因为他们有这方面的假设,所以他这个模型就会变得越来越大。但是等于是这样的,他在 g p t 三的这个初代模型的话呢,他在有些任务上,他可能还远远不如 一些小模型。这个是一个讲啊,就是什么呢?他们的解释是那个 g p 三呢,虽然沉淀了大量的这些数据,大量的应该说他有很多底层的这个能力,只是说还没有被开发出来,所以的话,可能还不是太了解。所以他 他那个 g p 三初代的时候呢,他的其实有些在处理有些任务上,他是不如一些小模型经过微调的。他等于是这样一有人就看上去就是这个 g p 三的初代模型也不咋地。就是因为是二零二零年,他虽然推出来了, 但是可能大家对他的那个重视程度也是不够的。对,是这样。他们的后来这个 g p d 三表面上看上去是很弱,但是后来实验证明,初代的 g p d d 三有着非常大的潜力。这些潜力呢,被这个代码训练 程序的代码训练和指令微调。我之前是介绍过的 instruction 这个 和这个人类反馈的强化学习,就是 r、 l、 h、 f 把它的这个能力给解锁了。所以它就后面 g p d 三点五。 g p d 四当中就体现出它极为强大的这个突变的能力。它这个能力是一下子产生的。 这个是非常奇怪的。这是初代二零二零年前啊。第二阶段的话呢,是从二零二零年到二零二二年, 就是从 g p t 三到 g p 恰的 g p t。 这个这个两年当中,它其实真正到恰的 g p t 三。呃,恰的 g p t 三点五的话呢,它其实也发展了将近两年。从初代的 g p t 三,它有两个分支,两个分支,一个分支呢,它就是 是纯训练 instruction。 tony 就是直接训练这个文本,它有这样的一个分支叫 instruct g p g, 这篇论文我们原来也是讲过的,然后它就是把它命名成就是 instruct 达芬奇的 beta 版 版本,就是 text 达芬奇零零一这个版本另外一个分支。因为这个我原来没看过。他这篇文章的时候,我也不知道。他另外一个分支,他是是 training, 用 程序代码去训练,他叫 codex 初代,他是一个 g p g 三。他的初代的话呢,他经过了两个分支,一个分支继续用这个文本进行微调,是 instructor 的这个提示的文本去微调。另外一个他去为了他一些程序的代码。他这个这个就两条分支就产生了 那么两条分支产生它还是属于 g p d 三的这样的一个模型,还是属于这个 g p d 三的这样一个模型。在二零二一年的话,它七月份它们发布了一个,就是 g p d 三, 经过这个喂养了很多的这个抠就是代码,就是程序的代码,它出来发布了一个论文,称之为 g p d 三的一个变种的一个微调。那么 这个版本的话呢,他是变成了一百二十亿的这样一个参数。那么这个参据说,当然他们没有公开据说为了的代码的这个模型,他有非常强大的逻辑推理推理的能力。他突然之间有了 这样猜测的。当然那个欧本,因为他目前没有证实他到底为了什么东西让他具有逻辑推理的能力。但目前别人是认为他是不可能在文本微调方面去继续为大量的这个文本能够让他突变的,这是不可能的,他肯定是为了不同的东西。好在这个之后的话呢,他们 gpt 两个分支,一个是喂养了这个文本,一个是喂养了代码。然后的话呢,他用就是把那个文和代码的这个合成一个版本,然后在版本上面再进行微调,扣扣起零零二啊微调。 呃它这个微调完了之后的话,再用原来的那个 instruct g g p t, 就我们原来也是介绍过的,就是指令,就是提示学习的这种方式,就 p 特令的这种方式,它就进行了这个微调,它就变成了又净化了另外一个版本叫 text 达芬奇零零二,这个版本非常接近于 chat g p t 了。 那么达芬奇零零二的话呢,那么就又通过了剧场化学习之后,就变成了 chat gpt 这样的一个版本 啊。所以的话呢, chat g p t 叉。在这个两年当中,它其实是经历了蛮多代的,蛮多代的。 只是他这些论文没有公开对吧?定的话呢,就是文的。这样的一个人工智能的一个研究院就把这篇文章给公开出来了,因为他们把整个一个 g 三到恰特 gp 七,怎么会突现他的这个突变?他有这种超级的这种能力,就是有逻辑 推理的能力。是为什么这个问题一直是困扰着他们,所以从他们目前掌握的这些东西来讲,他们认为就是解锁和激发这个能力的关键。他认为有几点。第一点,他认为那个人强化学习,就是让这个原来的模型能够跟的能力,能够让人能够 已经对齐耳朵,虽然损失了一些参数呃性能,但是他可可以换来这个下文的这个学习能力。这个能力是基于 r l h m 就是我原来讲过的,就是人类反馈强化学习这个能力得到的。 这个是一个结论,而且基本上他们都被证实了。另外一个能力的,他们一直目前还是搞不清楚的。他能够幻化到各种没有见过的任务。这个能力他认为是就是推理能力,包括叫思想链进行复杂的推推理的能力。这个能力的话呢,到目前为止, 没有人能够目前能够把它给真正的,能够把它给研究清楚到底什么是导致它具有复杂的思想链的这样的一个推理的能力。这种能力是在哪个版本里面出现的?在偷的达芬奇零零二这个版本和 text 达芬奇零零二这个版本里面出现的是什么呢?是他们喂养了这个, 他们为了一些代码之后,他这个能力就出现了。这个是个很神奇的一个东西,原来在记第三的时候,他们分别是喂养了文本和代码,他是分两条分支做起来的, 但是不知道出于什么样的原因,他们又把这个两个分支给合并了,就变成了 code 达芬奇零零二和 text 达芬奇零零二。他把这个两个合并起来之后很奇怪,他这个模型就有了一些很奇怪的能力。他有一个推理的能力,原来这个任务他从来没有见过,但是他也能够把他给一步一步的推理出来,把他给解答出来。这个能力 对目前叉的 g p t 里面来讲,是一个非常关键的能力。目前你看到我们国内推出来的这些都不具备这种能力的。 原来我还看了一个笑话,他们说蓝牙耳机坏了,去找牙科医生,还是去找什么什么去看什么病。国内的这些类似的这种大模型,根本就不具备他能够解决这么复杂的这个问题的这个能力。他他得出的结论是很搞笑的。 但是你看那个掐的 gpt 和 gpt 四,他出来的这个答案就非常强,就很好的去告诉你,他没有把你引导到怎么去看医生啊什么的,他马上就是告诉你他这个是一个电子元器件,你应该去找那个去修理他。等于是这样, 所以他这个能力就是非常强的。所以反而的明。目前国内训练出来的这种大模型,他其实本质上是不具备这种复杂推理推理推理的能力。 它这个模型当中如果没有原来的这些问题的话,它是不知道怎么去解答的。它的 g p d 这个强大的能力是在于它根本就没有在这个模型当中有这样的问题和这样的一个输入,但是它能够泛化出来,它能够通过这种复杂的推理能够解答出来, 这个能力就是非常强了。他跟人就有点像,所以他们就是称之为叫 a g i 通用的这个人类的智能,他就具备了这样一个功能,这个是非常可怕的。好,我们继续看啊。当然他们也去做了一些反正法,就是反正法, 他们的就是就是用了一些小模型,也是喂养了一些代码的训练,他发现好像也是一个神奇的副产物,怎么好像也有一些推理能力。所以的话呢,他们现在就是怀疑,甚至是基本上是确信他的 gp 机里面呢,他的这个逻辑推理能力是因为他训练了带有这个程序代码的这一部分东西,他们的论文 翻出来,他们就去把那个 oba 老的论文给翻出来,他们发现就是说 oba 里面他们这个喂养的代码大概是多少呢?是一百五十九个 gb 的这样的一个代码量,数据量是这样,他大概是占了整个 gpt 初初代 gpt 训练数据的百分之二十八。他是这样的。 所以他们认为一个是代码的这个能力,再加上这个语言的能力,这两部分结合,可能让大模型就得到了思想链的这样的一个能力。 他们是这么来思考的。他这个解释是这样来解释的。他说因为现在的这些加法代码也好,拍摄代码也好,他都是面向过程的。他有两种。因为人代码的话,他有两种呢,叫面向过程的代码, 他会跟人解决问题有点类似,他会把这个步骤一步一步的拆出来,把总结,然后条件,他说这是一种。另外一种,他那个像家 这种编程,他是面向对象的,所以他是比较接近于这个人类的语言的。所以说面向对象的这个编程,一旦他掌握这个能力,他就有可能把这个复杂的任务拆解成几个简单的任务, 再把几个简单的任务,通过这个面相过程的这个编程的方式,可以像人一样逐步的把它解决掉。他在这个文本里面,他是学到了一些世界的知识,一些语言和语法, 一些基本的能力,真正的国际的推理啊,逻辑的问题,复杂问题的这个拆解,包括从来没有看到过的这个新问题到底是怎么来解决,这些能力他都是通过, 然后他代码的这个能力和这个问题的,这个 g 他是在底层掌握出来,他们现在假设是这样啊。啊,那么如果是这样么,其实对中对中文来讲是很好了,因为你知道所有的 编程基本上都是编程的,那么中文他中文他只有一个语言的训练,他没有代码的训练,那么中文不可能是写代码呀,对吧?怎么能所有的我看啊,这个大型的,这个中文的模型啊,都有, 他没有那个掐着 gpt 的这种能力啊。是不是说因为我们现在的编程基本上都是用英文写的,因为我本身也是正式出生,我们写的一些函数也好,写的一些变量也好,要经过这个编辑编也好,都是英文写的, 大部分都是英文单词。我们有面向过程的,有很多方法,有面向对象的,对象的继承接口实现。 如果是这样的话,我估计有点麻烦了。如果是这个是真,我估计啊,随便你再怎么样中文,我估计在中文上面要训练出恰的 gpt 的这个能力是有点难的,估计还真不行。所以的话呢,就是有可能。当然 这个也只是假设,这个假设未来肯定也是要留给这些研究人员去检验的,他这个东西去检验的,基于这个假设,如果是这种是假设,按照一般道理来讲,基于这种假设,其实啊,那个 google 我觉得他应该也能够做的出来这个类似于叉的 gpt 的这种功能。但是我们发现他们训练出来的这个智商啊,也不高,他也没有这种 对这种很复杂的问题能够去拆解,能去帮你解答从来没有看到过的问题,他能够帮你去去解释。 他这他没这个能力。感觉有一方面这方面的能力,但这个能力好像始终没有 oppo ai 这么强。所以导致就是大家一直在猜说这个 oppo ai 到底他为了什么东西,他这个里里面这个配方到底是什么? 就是他到底多了喂了什么样的代码,喂了多少,他是怎么喂的,他和他就像那个调味品是一个那个配方一样,真的有点搞不清楚了。当然绝 元素节一直在拆,而且一直想把呃 chat gpd 的能力给复制出来,但是目前看啊,就是差的哈的还是很远好。呃。最后的话呢,它就 总结了呃 g p d 三整个一个进化的路径啊。从前面对 g p d 三初始版本,它拥有的这个语言的深沉,加上自然的知识,加上上下文的这个学习,这个是个基本能力。目前我看大部分模型都会有这种能力的。 随着你的规模越大,你这方面的上下文学习的能力会更强,你获得的这个世界知识,你掌握的知识就越越强。所以他们这个模型就带越大,要把各种各样的数据都喂给他, 他就是这么来的。这是第一代。到了三点五之后,他们就开始。因为这个模型,他虽然里面存储了大量的知识,但是他这个能力人听不懂,他反馈的这个东西都是人听不懂的。所以都要进行人类指令的一些优化,叫 instruct ppt 就开始了,就是指令微调,我们经常 指令微调,我讲了很多次,但是只通过指令微调,他也不可能让这个 g p t 三或者恰个 g p t 具备有逻辑推理的能力。这个是板上钉钉的这个问题。所以的话呢,我们现在开源的里面都在进行指令的微调, 我觉得这个方向是有点问题的。当然指定微调是要的。微调了之后的话,对那个上下文的学习,对世界知识能够反馈给人类,人类更加看得懂。你问他答,他会交互的更好,这是对的。但是他应对的这个新的问题,他还没有幻化到。没有看见过的任务他也能做,他做不到。 你光靠这个指定微调做不到这件事情,这是个谜。现在他们这帮人就开始猜他这个复杂的推理思想练的这个能力为什么会有,是不是为了这个 java 的代码,为了这个大量的机器的这个代码之后,他不是文本,他是那个程序,就喂养了大量的程序之后就突然之间用, 因为他们解释说这个代码里面有面相过程,对吧?他可以把任务分解,面向这个对象,他能够理解这个人类的这个语言语境,然后把这个复杂的任务进行拆解。是不是为了这个东西之后,让这个卡的 gpg 突然之间拥有了这样的一个能力?当然他们说的非常大,可能性非常大, 但是到目前为止,还没有一家公司真正的能够把欧奔 ai 的这个 chat g p t 和 g p t 四的这个能力给真正的百分百的复制出来,这个是没有的。那最后的话呢?它呃在在呃,这个 chat g p t 三点五,它又经过了简化呃,人类反馈强化学习这一部分,这部分我们也讲过的。 那么这部分的话呢,就能让这个 chat g b g 啊,能够更加适应这个人类的需要,能够产生更多的细节,能够把不良的东西能够排除掉,能够零样本的去生成很多的 东西,然后能够遵循人类的这个价值观。这个是通过人类反馈强化学习是可以得到的。他等于是这样的相信的啊。这我我我,我们也实实践过,至少我之前的在一些开源项目里面,我们也做过,就尽可能让他能够产生一些正面的评论。他其实就是通过那个人类反馈强化学习, 让他不断的去嗯,如果给积极评论的话,就不断的加分,对吧?如果呃有一些出现一些不好的评论的话,就把这个行为给他减分,那么慢慢就会往高的分数上走,慢慢的他就会变得越来越往积极的方向去走了。他等于是这样啊。这篇文章看完的话,我看了一下,嗯,是很非常有价值的。他这篇文章讲的 他现在呢,就像那些学术界呢,解锁了大量的这个叉的 g p g 的一些问题,但是还有一些呢,还是没有解锁出来。最大没有解锁出来的,为什么就还有这个复杂的逻辑推理能力,目前他还是搞不懂也,现在也只能 拆拆了。他们这些人也为了大他大量的代码,是会有一些这个逻辑推理方面的能力,但是好像也不是很强,这个是个谜。最后的话呢,他们又讲了一下,那个其实掐的 gpd 或者目前 gpd 四,他也有些短板,他也里面也讲了一下, 它里面有有一些短板,他认为就是说一些世界的知识,他把这些知识沉淀到他的整个网络里面去了之后,你会发现他有可能他这个沉淀的知识是错的,但是你要让他改,你要让他这个模型彻底改掉,很难改,他有点顽固。他这个里面 很奇怪的,这个跟人的个性好像也有点关系,他沉淀的是一个错误的知识,你要立刻让他马上改掉,改不掉你你为了大量的东西,他还是 而过了一阵子,他还会出现那个错误,他原来固有的那些东西,所以这他们也是在研究。所以的话呢,他们认为就是呃 g p t 他其实里面有两种能力,一种呢叫 知识,一种呢叫推理。核心能力的话呢,最好 g p t 只只有推理能力,一个人脑把一些知识能够放到外部的系统里面实施检索出来,如果是这个两个能力结合起来的,那这个就无敌了。 他们这个结论是这样的,他们是非常希望这篇文章可以作为开源社区去复现 gpd 三点五的一个技术路线。他是等于是这样,他就说了山就在那里,就看你这个路怎么走,但这个路其实还是挺难走的,你看上去就山就在那,但是你要达到那个山峰,其实还是有很长的路要走。 他这个掐着 gbt 或者 oba ai, 他目前达到的这个能力能够复制出来的话,百分之百复制出来的话还是有难度的。我们只能看到山要到登顶的话,他这条路到底怎么走,那还是要摸索的,没那么简单。好吧,大概是这样的。所以的话,我今天的话呢,就跟大家就交流这样的一篇文章。 这篇文章我觉得对我后面的这个学习也有很大的帮助的。因为我发现文本的训练和代码的训练可能要结合的不是那么简单的。目前我看开元社区里面绝大部分的是没有把这个代码加进来的, 那么绝大部分就是代码还是归代码在训练。大型的语料库,文本还是归文本在训练,他没有把这个两个能力合合在一起的。这个大模型没有,我目前没有看到。 你不管是羊驼也好,还是 tat g l g l m 也好,或者其他的一些模型也好,我看好像他们的技术路线是有点问题的。好吧,行。嗯。今天的话呢,就是我就跟大家就聊到这,因为我看最近这个各种各样的类似于叉的 g p t 的这种模型也非常多,基本上是可以说是看花眼了。 每个人都能说是可以复制它的一部分的能力,但是真正能复制的基本上属于 g p d 三初期的这个版本。嗯,它 他只能沉淀一些知识,可以给你一些反馈,你原来有的知识,或者简单的问题,他可以答复你,但是复杂的那些问题,新的问题,能力。所以的话呢,这个路可以要还是要走的。
