粉丝3902获赞1.4万

这个技术真的是太牛了,不仅能克隆你的声音,还能用你的声音自动翻译成其他语言,随便上传一段自己的声音音频或者视频都行,然后选择要翻译的语言,稍等几秒,就立刻能生成一段和你音色完全一样的翻译版本。来听一下原版素材和翻译后的声音对比。 荣威最近内测的 ai 画笔太不可思议了,随便一张图片,你想让哪里动,哪里就可以动起来。 runway recently tested the ai brush is incredible just a picture you want to make wherever you want to move where you can move first go to the official website of runway to choose the second generation of the model to use the next you just need to enter the text to generate a picture you like or directly upload it to your local picture and then click on the motorization for example, i casually painted on the top of the cloud and then we will be able to see the ai 叠的速度太快了,我们唯一能做的就是学会使用,让 ai 为我们打工,关注我,让 ai 触手可及!

哈喽大家好,欢迎来到 ai 探索语发现,今天跟大家分享 gpt sorry 字使用时的一些细节,包括如何控制语速、语气以及模型训练的注意事项。先请大家看个短片, 我不敢苟同。我个人认为这个意大利面就应该办四十二号混凝土,因为这个螺丝钉的长度,他很容易会直接影响到挖掘机的扭距。你往里砸的时候,一瞬间他就会产生大量的高能蛋白, 俗称 ufo, 会严重影响经济的发展。照你这么说,炸机宽要用九十二号汽油,毕竟我们无法用光学透镜探测苏格拉底。 如果二两划清持续侵蚀这个机床组件,那么我们早晚要在翡波内器曲线上安装一个胶原蛋白,否则我们将无法改变蜜雪冰城与阿尔别克的叠加状态。 因为众所周知爱吃鸡,某人在捕昆的时候往往需要用轻的投喂素当做诱饵,但是原子弹的新鲜程度又会直接影响到我国东南部的季风和洋流。所以说,在西伯利亚地区开设农学院显然是不合理的。 我知道你一定会反驳我,告诉我农业的底层思维是什么?这是破化肥、农药和种子,还包括生命之源氮气。施展完分子直接转化成能够捕获放射性元素释放的贝塔射线的单质,并且使钢瓦射线在常温下就能用老虎钳折关成七十八度。 否则在用望远镜观察细胞结构时呢,根本发现不了时空重叠时到底的底层才能使潼关肉夹馍更酥脆的原因。这段语音是用 gpt sovic 极速版合成的,其中 sovic 模型只训练了二十轮, gpt 模型训练 练了五十轮。之所以在网上找这段文本来测试,主要是它的内容有点像大语言模型产生幻觉时的胡言乱语,这样能降低跟训练内容撞衫的概率,更能客观的评价模型在语速、语气上的泛化能力。 现在简单介绍下极速版的下载和使用,这个版本除了推你速度快以外,其他功能跟最近发布的整合包没什么区别。不过它只适用于 windows 系统,并且需要 n 卡,显卡不少于六 g 内存,最好八 g 以上。国内网可以到百度网盘下载这个文件, 外网可以在谷歌网盘下载,分享链接都在本期视频下方的说明里。解压好以后,建议先做三项设置,首先点这里的查看,把这个文件扩展明选项勾上,然后调整显卡设置。 在桌面,点击鼠标右键,选择英伟达控制面板,切换到第二个程序设置,然后点击添加弹窗里,点击浏览按钮地址栏,这里定位到整合包的解压目录, 再进入 run time 文件夹,选择这个 passion 文件。添加好以后,在这个下拉列表里选择高性能英伟达处理器下面列表区域,再点击这一行,把这个值改为偏号,无系统内存回退, 最后点下面的应用按钮,这样就设置好了,如果你的内存少于十六 g, 还需要确认一下虚拟内存是否为自动管理。在桌面上右键此电脑,选择属性窗口右侧,点击高级系统 设置,再点击设置按钮,把这个选项勾上,这样会降低训练推理时内存溢出的错误。注意勾选以后需要重启电脑才能生效。 如果你之前用过其他版本,并且有训练好的模型,可以直接拿到这个版本里使用到原来版本的解压目录下,复制这两个文件夹,粘贴到加速版的解压目录里, 然后运行 go web u i 点 b a t 启动程序,切换到推理页面,点击刷新按钮,这两个模型列表里就能看到复制过来的模型了。 如果想在这个版本里继续训练原来的模型,可以再复制原来版本里这两个文件夹,粘贴到加速版解压目录就可以了。 在模型既定的情况下,合成后的语速语气跟两个因素有非常大的关系,一是这里的参考语音,二是合成内容的切分。现在看参考语音如何影响,我先用这个一号参考音频来合成, 这里填上参考音频的对应文本,生成了八秒的语音,来填一下令狐冲,心想就算酒中有毒,令狐冲早就命不久长,给他毒死便毒死,何必输这口气。当即端起酒杯又连饮两杯, 现在更换参考音再来合成。 这次生成的语音有九秒。令狐冲心想,就算酒中有毒,令狐冲早就命不久 给他毒死变毒色,何必输这口气?当即端起酒杯又连饮两杯,可以感觉到语速稍慢了一点,语气也有细微的变化,特别是何必输这口气这一句。所以挑选合适的参考音频是非常关键的。语速快的参考音必然生成快速的朗读 具有明显语气特征的参考音,合成的语音也会带上语气。关于参考音频的挑选,有个更简单的办法,可以切换到第一个标签页,先在这里指定标注文件, 打开这里的标注工具,一般找五秒左右的音频试听,尽量是完整的语句,你不干,没有你有这么高速音准的机械进入。 我记住我给出的原理,小的时候挑好以后点击这里的下载,然后把文件改个名,编上号,这样选择参考音频就不需要到音频切割的输出目录里挨个找了。 我就是面壁者罗杰,化名直见人,我不亲命李史强,你不你不你不宰你吗?我的心脏运转就是为了完成广播的事。银河系一带全都在坐标, 你以为我跟你闹着玩啊?你天天损我们科技,你,你干什么工作的?你这军情我分析的没有物理学的。你们 这段合成的效果不是太好,可以明显的听出声音很沙哑,因为训练素材的背景噪音太大了,去除不了。下面来看影响语速与 语气的第二个因素,断句和标点符号。这几种切分方式合成后的语速从快到慢,大致的顺序是不切的。语速最快,其次是五十字一切最慢的是按标点符号切, 这是不切的效果。音频千万不能有杂音,要口齿清晰,响度统一,没有混响,每句话尽量完等全部手动校对。标注三十分钟内有明显提升,不建议再增加数据及长度, 这是默认的凑四句。一切音频千万不能有杂音,要口齿清晰,响度统一,没有混响, 每句话尽量完整,全部手动交币。标注三十分钟内有明显提升,不建议再增加数据及长度,再添下。按标点符号切 音频千万不能有杂音,要口齿清晰,响度统一,没有混响,每句话尽量完整,全部手动交对标注,三十分钟内有明显提升,不建议再增加数据及长度。 这里值得注意的是,这几种切分方式对显存的占用也是不一样的,不切占用的显存最大,特别是几百字的长文本,不切可能会爆显存。 对于短文本,比如十个字以内可以不切,通过手动加标点符号来进行语速控制,这是不加标点的效果。老公,我想要买个包, 这是加上省略号的效果。老公,我想要买个包。对于一个字的文本,像 n、 r、 o 这些语 器词,添加标点符号一样也起作用。 如果再调高这个 top k 参数,合成效果就更加多样化。 总的来说,标点符号更实用于短文本的语速语气控制。一百字以上的长文本,推荐按句子或标点符号切分,超过五百字以上最好先在这里切分,以后再合成。 切分和标点符号只能改变局部文本的语速和语气,每个字的发音速度以及合成后的整体语气,还是参考音频的影响更大。参考音频还有个比较有趣的用法是声音融合。先来听一下这一段, 维特根斯坦说,这个世界上有语言能说的要说清楚,这个世界上也有超出语言说不明白的。维特根斯坦直接用了两次 dj 没法说吗?所以才有了如来。什么烟花、家业、微笑, 这是周处除伤害你的那位尊者的声音合成。现在把参考音频换成星爷的配音来合成一下听一下效果。 维特根斯坦说,这个世界上有语言能说的,要说清楚, 这个世界上也有超出语言说不明白的,维特根斯坦直接用了两字,闭嘴,没法说嘛。所以才有了如来什么拈花家业 微笑。当使用的模型和参考音频不是同一个人的时候,合成后会把各自的音色和语气融合在一起,类似于 ai 换脸里的多张人脸融合。 不过这种用法对模型的要求比较高,如果训练模型用的声音不纯净,那融合后的声音就会很沙哑。在声音合成时,可能大家也遇到过声音泄漏的问题,就是合成结果里有时会出现提示音频的内容,或者合成后漏读复读的某句话,甚至胡言乱语。 如果这些情况是在多次合成后产生的,建议首先关闭推理页面,取消这里的勾选,再勾选重新打开推理页面进行合成。如果这种方法解决不了,那就依次尝试拆分合成内容,更换参考音频。最后是更换低轮次的模型。 一般低轮次的模型合成的结果会更加准确,但是语气会差一些。高轮次的模型在复刻语气上表现的更好,但也容易出现声音泄露。 我们可以在训练时改变保存频率来获得更多轮次的模型。关于模型训练的完整流程,在这一期视频里有非常详细的演示和介绍,今天把几个需要注意的地方再补充一下。第一个是在指定音频切分这个参数时,容易漏掉文件的扩展名。 第二个注意点是音频切割好以后,要到输出目录里检查一下,把显示时长打开,然后排序,如果你的显存小于十六 g, 就把超过十秒的片段全部删掉,这样可以降低训练时报显存的几率。批量 a、 s、 r 的时候,中文语音 就用达摩,非中文就用 whisper, whisper 模型整合包里是没有的,第一次使用时会自动下载,中国大陆需要开魔法。第五个注意点,训练模型起名不要用汉字。 最后是模型训练,这里需要注意的是,收费词和 gpt 训练不能同时进行,除非你有两张显卡 训练收费词模型。首先要根据自己的显存来调整,这个 batch size 参数小于六 g, 显存保险一点就设为一八 g 以上的显存可以设置为显存的一半。 如果训练素材十分钟以内,剩下的参数建议全部默认。如果是三十分钟到一小时的素材,而且声音处理很干净,可以调整这里的训练轮数。五十、一百甚至二百都是可以的, 不过界面上最高只能设置到二十五,需要修改这里的代码。 学习率这个参数十分钟以内的素材就用默认的零点四,三十分钟以上可以调到零点三。 训练过程中可以切换到命令窗口查看详细进度,这些数字代表当前正在第几轮训练。 可以按 ctrl 加 shift、 加 esc, 打开任务管理器,把第一个图表这里切换成显示扩大的使用情况。 可以看到 gpt 设备词的模型训练对 cpu、 内存、显卡都有占用,特别是内存的使用还是很高的,所以这个 ai 还是比较吃硬件配置的。 训练完成后,在这个目录下可以看到保存的模型,因为只训练了八轮,四轮已保存,总共 是两个文件。如果想继续训练,可以再增加训练总人数,比如调到十二程序,只会从第九轮开始进行增量训练。 gpt 模型同样也可以进行分布增量训练。先设置十轮,把这里的保存频率改为二 g b t 模型,训练的速度要快很多,所以多训练几轮也不费时。训练完成在这个目录里可以看到,保存了五个模型,再把总人数增加到五十,保存频率改回五。现在从第十一轮开始继续训练,四十轮 训练完成,这样又产生了八个模型。点一下这里的刷新,可以看到, gpd 模型总共有十三个, service 模型有三个, 我们在推理时,一般 soviet 模型就挑最后一个。 gpd 模型的挑选有一些规律,先挑第十五轮的尝试, 如果合成的朗读准确,但语气不够,可以再往高轮次挑选。如果出现复读、漏读等声音泄漏的情况,再往低轮次挑选,可以换成四轮、六轮的进行尝试。 一般对于一百字以内的短文本,没有特别强的语气要求,使用第十五轮的效果就比较好。如果想把训练好的模型分享给别人使用,只需要复制这两个文件夹里对应的模型文件, 然后再带上几段提示音频就可以了。最后再次提醒,关闭推理页面,重新打开,是解决声音泄露的非常有效的办法。好,今天的分享就到这里,感谢观看,咱们下期见!