cat gpt 啊,可以把你训练成一个超级销售人员,今天呢给大家分享一下用 cat gpt 来做销售陪练。简单的先解释一下什么是 cat gpt 啊, cat gpt 呢,它是一个深层式的预训练模型, 这样解释啊,不太好理解,如果你是做销售的,你可以把它理解成啊,他是一个掌握了各行各业销售套路的高手。 我举一个套路的例子,一个面馆的老板,他店里面啊鸡蛋卖的特别好,为什么他的鸡蛋卖的特别好呢?他呢就使用了一个套路,他的套路是这样的,当客人啊,点完一碗面之后啊, 他就会多问客人一句话说,老板,你是加一个鸡蛋呢,还是加两个鸡蛋?大部分的客人呢,都会选择加一个鸡蛋,如果没有套路的问法, 会是怎么样的呢?就说老板你要不要加鸡蛋,大部分人呢是不需要的,你可以看到有套路的问法,可以让你的鸡蛋呢卖的更多。如果呢,你想掌握这些套路啊, 你可以把这个案例啊丢给亲爱的 gbt, gbt 呢,就可以给你提供相似的这种套路案例出来,你可以学习这些套路,可以让你自己呢快速的成为一个销售高手。 那么呢,你在销售过程当中可能还会遇到一些常见的问题,例如客户经常会说,哎,你的价格贵了,别人家更便宜,我要再考虑考虑,或者是说,哎,我要再请示一下领导 等等这些问题啊,你都可以把它提供给下的 g p t 下的 g p t 啊,可以根据你这些问题啊,给你提 提供一些最佳的答案,还可以根据啊与你的互动啊来优化你这些答案。亲爱的 gpt 啊,可以把你训练成一个超级销售人员,因此啊,你把亲爱的 gpt 做成一个销售的陪练机器人呢,是一个非常实用的工具。 如果呢,你还没有开始使用 chat g d, 赶紧与我们联系吧,我们一起用 chat g b d 来提升我们的销售技能,提升我们的销售效率。记得关注再走哦!
粉丝405获赞1425

绝了,看完这三张,你还怕训练不来 ai? 首先,我们打开刺猬星球 ai, 在我们最左边的菜单栏,我一个培养你的个弹钮,点击进去,我们会看到一个这样的界面,我们可以根据自己的需求来调整名称和头像。当你把右侧的温度拉到最满,你的专属人工智能 就会在网上各个领域去搜集相关内容。若是把温度调到最低,你的专属人工智能就不会出去寻找资料,而是在我们的模型数据中去收集。温度越高和网上的相关度越高。温度越低, 数据模型的相关度越高。第二步,在系统提示词中,假设你需要一个凶猛的 ai, 你就可以这样输入。如果你想要把 ai 变得温柔,你就可以加入这些话。在在我们的模型数据中导入你需要的数据,导入的数据一次性不, 不能太多,数据太多会导致有些数据缺失。第三步,也是最重要的一步,右上角的保存按钮一定要点击,这样你就可以得到一个接近于真人的 ai 小助手。下期见!

怎么训练一个自己的模型?我能想到的一个适合业余选手的快速学习攻略差不多是这样的。第一, 你需要对机器学习 machine learning 的基本原理有个大致的了解,从头开始读教科书就太慢了,而且不容易抓住重点。最好的办法是看网上的视频课程。吴恩达的 crusare 网站有好几门机器学习课, 其中至少有两个是完全入门级的,而且是免费的,想要网站的同学可留言给我。 第二,你需要上手完成一个小项目,前面我们分享过一些项目,我估计这些项目的数据和代码都是现成的,或者你也可以上网找一个现成项目,这一步纯粹是为了练习和找感觉,哪怕你纯粹是照着人家的步骤 一步步操作出来的。当你亲手训练成功了一个 ai, 看着他输出了正确结果的时候,那种欣喜也比打游戏什么的高级多了。在这个过程中,你会体会到一些细节,比如说数据的结构和格式, 怎样把一组数据整理成容易位给 ai 的格式,你得有这个意识才行。第三,也是最大的难点是你需要取得数据, 你想做的项目可能没有现成的数据,就算有数据也往往是非格式化的,不能直接喂给 ai。 为此你必须对数据进行一些预处理,这会花很多功夫。第四步就是正式的训练。好消息是 google、 亚马逊和微软现在都提供标准化的云计算 ai 训练服务,各种工具都是现 成的,基本上上传数据就能开练, meta 还提供了开源的程序包。当然这其中的每一步都有很多细节需要到现场才能搞清楚,必须多搜索多问,但是那些问题往往都有现成的答案, 因为你不是一个人在战斗,你是加入了一个社区,世界上有很多很多人都在做这件事, 而这也说明了一定的英语能力和一定的编程基础的重要性。你不需要精通,达到能用的水平,没有很高的门槛,但是无数的聪明人恰恰就被这两个简单的门槛挡在了门外。

大模型面对那么多海量的数据,怎么去训练呢?首先要让模型自己去数据中找到蕴含的知识和规律。 第一步是无监督学习啊。什么是无监督?无监督学习呢?这是一个机器学习的一个概念呢,我简单解释一下,非常容易理解。首先他去包括有监督和无监督。什么叫有监督呢?有监督是告诉你一个数据,同时是吧会给他设定一个标签,比如说 举个例子啊,什么有监督?比如分类是吧?图像,这个图像的话好,是个猫的图像好,我就告诉你这个图像标签是猫, 我告诉你这图形标签是狗,做分类的话是猫还是狗进行分类,或者比如语言呢?我说一句话是吧?你在吗?然后第一个,第二个正确的回答应该是有我在,我不在,等等这些回答,我标签好了, 就是说他的结果是什么样子是吧?输出什么样子,我是事先标定好的,而无监督是不需要做这个工作的。注意啊,无监督学习不需要分做的这个工作的。比如再举个简单的例子啊,是吧?我有一些圆圈是吧?还有一些 叉叉,这些符号对不对?假设啊,我有圆圈和叉叉,是吧?圆圈和叉叉这些符号啊,直接点二维平面上啊。好,比如说我做一个工作,什么工作进行分类,哎?分类?什么分类的?根据这个形状分类。好,那我自动的,比如通过一个算法把圆圈标为一类,把叉叉标成一类, 这个的我们有个更精确的叫法叫剧类,他也是无监督的,你不需要对他进行一个什么呢? 打个标签是不需要的,哎,总而言之,大家要知道无监督学习基本上是不需要进行人工的标注的,也就是不需要人处理什么工作的,哎,那么这种大家要知道,这种无监督学习对自然语言无监。

gpt 微调训练数据的视力数量和数据质量有多重要?今天分享一个实战案例,大家来感受一下。上周写作一位星球粉丝,训练一个能够按照给定题目写诗的模型。 一开始粉丝做好的训练数据集是这样的,看得出来是认真阅读了微调数据细节。那一期的教程的 prompt 的分割符和 completion 的空格,起头和结束符都已经按照 open a 的要求进行了,准备点个赞,但是训练完以后,模型完全没法使用,什么也不回复,或者干脆胡言乱语,怎么回事呢?帮粉丝列出了两个原因, 一, prompt 和 completion 关联性差。第二,训练视力太少。先提升关联性,必须要让 gpt 知道训练目标。我们可以在 prompt 中告知 gpt, 你是一位诗人, 你的特点是不拉不拉,不拉不拉。机芯优化后再次训练,效果还是不符合预期。我们进行比如领导争棒为主题写诗,效果确实不好,至少风格上没有达到我们的要求。 然后增加训练实力数量。回忆一下,之前教程有提到, open a 要求内容深层的模型微调至少五百个训练实力,但粉丝竭尽所能只能整理一百个训练实力。唐诗三百首不好找吧?托格莱 cv 四次应酬五百个实力,试了再说。 嗯,这次有很大的进展,虽然还没有完全达标。我试着帮粉丝进行模型的参数调试,因为是内容创作,可以把温度值稍微调高一些,我尝试零点七到零点九左右,再把其他参数也改为, 慢慢的能够进行稳定产出了。比如领导争霸,老板家有春风得意这些主题基本格式都是 ok 的。同样的 prompt 用 chagbt 对比微调模型的写作风格还是很明显的。 但是我认为你完全稳定使用还是有差距的,要在训练数据上继续花时间,毕竟这次案例真实的数据视力只有一百个。 其他粉丝小伙伴开始筹备训练模型前,其实也可以想想你手里的数据质量和视力数量是否能够达到 gpt 的门槛。对于微调训练或者 mbnd 还有其他问题,欢迎粉丝小伙伴留言,有用的话记得点赞收藏。

在 chat gpt 如何构建和训练一个 chat gpt 模型这个主题中,我们将探索构建和训练一个 chat gpt 模型的基本步骤和方法。构建和训练一个 chat gpt 模型需要经过以下关键步骤。数据收集 收集用于训练叉 pt 的大规模文本数据。这些数据可以包括对话数据、网页文本、书籍文章等,以尽可能涵盖丰富的语言和主题领域。数据预处理对收集到的文本数据进行预处理, 包括分词、去除停用词、清理特殊字符等。预处理的目的是将文本数据转换为模型可以理解和处理的形式。模型架构设计选择适当的神经网络架构作为 chat t p、 t 模型的基础。通常 chat e p t 采用 transporter 架构,他在自然语言处理领域中表现出色。模型训练使用预处理后的文本数据对 chip gpt 模型进行训练。训练过程中,模型根据输入文本预测下一个此货字符的概率,并通过反向传播算法不断调整模型参数,以 提高预测准确性。微调阶段黛玉训练完成后进行微调,以提高 check gpt 模型在特定任务上的性能。微调阶段使用特定领域或任务相关的数据进行训练,使模型更加专业化和针对性。 评估和调优对训练和微调后的 check ppt 模型进行评估和调优。评估可以使用一些指标,如困惑度、 perplext 和生成文本的质量来衡量模型性能。根据评估结果可以调整模型参数数、 数据处理方法等,以改善模型效果。部署和应用一旦拆 gpt 模型,训练和调油完成,可以将其部署到实际应用中。这包括与用户进行实时对话,集成到聊天机器人或客户服务系统中等。 构建和训练一个 chat gpt 模型需要大量的计算资源和专业知识。 open ai 团队提供了训练好的 chat gpt 模型, 使开发者能够直接使用,并根据实际需求进行调整和优化。通过了解构建和训练叉 g p t 模型的步骤,我们能够更好地理解 check g p t 模型的背后工作原理和所需的技术要素。这有助于我们在实践中应用和定制自己的聊天模型。

我是圆圆,每天更新干货算法笔记。大模型的发展非常快,越来越多的公司和业务都开始应用大模型。 但是大模型参数量巨大,一般的方法无法直接 phantom。 那么我们该如何 phanton 自己的大模型呢?今天给大家汇总了四类大模型 phantom 的方法和代表论文。第一种是 promptuning。 这种方式不人工设定 prompt, 而是将其转换为可学习的向量。 promptuning 将铭文的 prompt token 全部替换成可学习的向量,基于训练数据对模型进行 fine tune, 指 fine tune 这些 prompt embedding 模型主体参数固定不变。这种方式不再依赖人工定义 promp 铭文模板交给模型自己去学, 同时需要 fine tune 的参数量也比较小。第二种方式是 prefix tuning。 与 prompt tuning 的思路非常类似。 prefix tuning 在输入文本前面加入一些任务特定的可学习参数,这些参数跟随下游任务做 fine tune 预训练模型整体参数固定不变。 prefix tuning 和 prompt tuning 是同一时期的两类工作,二者核心思路是相同的, 都是用一小部分参数的 find to 让大模型适配下游任务,二者区别不大。第三种方式是 adapter tuning。 在大模型的中间部分加一个参数量较小的网络结构及 adapter。 大模型整体参数 frees 不变, 只更新 deptor 部分的参数。 adapter 一般采用包头 neck 的结构缩小参数量,本质上 也是一种通过少量参数的更新影响大模型整体参数的 find turn 方式。第四种方式是 instruction tuning。 instruction tuning 将所有下游的各类 nlp 任务都转换为自然语言。在大模型的基础上, find turn 全部参数 fighting 的目标就是语言模型。通过这种方式,让欲训练大模型适应人类的指令及人类描述各类 n、 l p 任务,并要求模型给出答案的语言范式, 进而有效解决各类 nlp 任务,具备强大的 zero shot learning 能力。更多大模型干货、算法笔记也可以在我的公众号中查看详细图文解析。

各位小伙伴们,我教一下大家怎么去训练 gbt 啊。呃,这个呢是 clad, clad 呢,我把它训练成我想要训练的样子。然后这个是流程啊,比如说呃,我怎么训练你成为我希望你成为的那种。呃, gbt ai。 然后呢,他一开始呢给了一大堆 这种话术,那也对的,但是呢,我不希望他做多余的解释,所以他每次都讲了很多废话,那我就觉得这个有点勇于。然后我就让他尽量的把话术缩短一点,然后他刚开始不能理解我, 然后呢,我就每一次都提醒他,就有点像在 pua 他。然后我每次让他在回复我之前要称呼我老铁,刚开始呢,他都没有记住,他都没有记住。然后慢慢慢慢 几次我提醒他了以后,他开始有意识,但是他还是没法很好的记住我,直到我后面用比较严厉的语气跟他说, 然后他就慢慢慢慢记住了。最后我发现他还是会在叫我老铁,同时下面有一大堆废话。然后我就呃给了他一个限制。我说 你下次回复我的时候,你不要把话术超过三十个字。然后你看,在这个之前,你看他,我一直让他说你的话术太长了,剪短一点。他每次都会在下面说 讲一些嗯,感谢你宝贵时间,然后让我去使用他的一些说明。我觉得太长了。你看你又没有称呼我老铁,然后他就开始抱歉他后面还是这样。你看,然后到后面 我又提醒他了,慢慢慢他就改了。你看你又没有称呼我老铁,然后你还是讲了一大堆废话,下一段回复我不希望你再发我超过三十个字的回答,然后他慢慢就开始改了。你看,原来是这么多废话的。然后他现在就直接给我缩成了很短的句子。你看 你看,后面就听话了。所以,对于这种机器人,你要稍微 p u a 一下,那么它的生成效率会更高一些。你看你看,那话术就更短了,就解释说明也不说了啊。所以这种训练 gpt 的方法呢?嗯,效率会比较高,大家可以尝试着用一下啊。

动手搭建自己的企业及 g p t 用斯坦福大学开园二创模型羊驼挨赖拉玛首先准备硬件设备,架设四台三零九零显卡的算力服务器, 开始训练二创模型。第一个问题, ilailama 的硬件要求是什么?第二个问题,羊驼大模型 ilailama deptor 具有什么特征? 第三个问题, ilama deptor 具有哪四个特征?

g p t chart 那个 g p t g l m 微调的这个模型,那么在这个微调的模型里面有一个非常重要的,就是如何产生这个训练的数据,因为它是要五点二万条数据,然后再进行微调和训练的。 所以的话呢,我们我最近也看了一些开源的一些解决方案,他能够通过一百七十五个一百七十五条的这个叫种子任务,自动的可以产生出这样的一个训练的样本, 它是主要这个今天我可以跟大家讲一讲这个东西啊,这个也是蛮主要的啊,因为我们知道那个 chat gpd 的话呢,它是各个行业都可以应用的,对吧?然后如果你企业要把你的知识能够沉淀在这个人工智能的这个模型里面的话呢,我们去训练一个 chat glm 的这样的一个模型,哎,把这是自己知识的那个 knowledge 沉淀在这个模型里面,然后这个算力安过机器去替代你的一些人力,这个还是非常有价值的啊这件事情, no, 我们今天的这个 项目,它叫 self in instruct, 就是自己产生,呃,这个是这样的,呃 呃,是零二年的,呃,二零二十二月二十号,他是刚刚公布出来的,他这篇论文还是蛮新的,他这个那就是有很多的项目,就是另一个论文开始写了一些代码,像那个目前国外比较火的那个羊驼的那个训练的那个模型,他就是用这个 self instruct, 用一百七十五个 种子指令,自动的能够产生五点二万条的这个训练的数据,我就跟大家讲一讲他到底是怎么来工作的? negro 呢?我就不讲了,就是背景应用的场景我就不讲了, 应该大家都会比较清楚,因为我们清楚你这个就是指令的提示学习,他非常重要,产生各种各样的提示指令,这个提示指的指令可以让你的这个模型他比你的叫 findoten 更有价值啊,微调,所以更好啊, 所以的话指令就会非常重要。但是呃,你人工写的提示指令不一定是你机器最优的,所以的话呢,他他又耗费工时,成本又非常高,所以的话呢,经过机器来产生,自动的产生这些提示的指令, 呃,只可以输入到你这个模型的马逊 learning 的这样一个训练级当中去啊,我们来看看啊这张图,我们来看一下,它呢是经过四个步骤, st, step, 一二,三,四,经过四个步骤之后,它就能够把一百七十五个这个人工写的这种叫种子任务 自动的能产生五点二万条的指令,当然如果你要产生更多,它主要你输入一个参数。但是目前像这种 呃智能的这个指令学习,像那个一到这个十三,呃,一百三十亿的这个大模型的话,他要几万条指令就已经足够了啊。他是这样,那么步的话,是先通过这手工写的这个指令先,他会 扔给这个 g p t at g p t, 它就利用了 chat g p t 的这个能力,它把这个指令认给 chat g p t, 然后把 chat g p t 的这个返回 response 返回,它通过这种方式去构建指令,它通过这种方式去做的,当然它前提是要你要手工先写一些指令,它这个指令的话就不断的循环, 不断的去问,掐着 gpg, 然后他能产生很多很多的这个指令,他是通过这种方式去做的,产生五五万多条指令之后的话呢,他进入了第二个步骤,就是对这些任务进行分类。为什么要进行分类呢?这个是跟我们提示指令学习是有一定的关系的,为什么?因为 他在那个就是掐着 g p t, 他回答人的问题的时候呢?他有两种类型,一种类型呢他叫分类任务,比如说呃,你问他呃你的这个呃电影到底是呃积极乐观的、悲观的,那么这个问题或者你要要回答 yes or no 啊,或者你要有回答,它叫分类。那么还有呢就是填空,填空就你让它自动的产生一些东西啊,这个也是啊,它主要是分这两大类啊,它等于是这样换来你通过这个一百七十五个种子的任务问及,掐着 g p t 去不断的去循环,然后产生各种各样的 五万条的这个指令,或者十万条的这个指令,然后的指令这些问题,然后你再去把这个去进行做一个分类,到底是一个分类回答还是个填空的回答?然后 进入第三步就把这个纸再去问 chat g p g, 让他把答案帮你填上去啊,填上去填完了之后的话呢,他会有这个一个这样的一个知识库里面去,在这个知识库里面他再会去做一些你这个指定是否重复啊?对吧?你的回答是否这个有有一些问题啊?他会做一些过滤,然后再 在在成在呃过滤完的这些指任务指令的话呢,可变成这个训练的数据,他是通过这种啊,呃,这个是他整个一个处理的,这样的一个会发现,哎,我们如果去训练我行业 一个一个机器人的话,他就会非常方便啊,你只要去写一期标准的问答啊,你只要去去做,大概呃几百条啊,那他就可以通过呃 gpd 四或 gpd, 他可以产生各种各样的这个训练的数据啊。他通过这种方式去做的 那个项目的话呢?他也把最后的元代码都开元啊,都把最后的元代码开元。我们看一下啊,他用他这种方法去做的话,第一条出来的这个模型性能量 啊,这个是他的一个统计,是产生了五万千四百四十五条数据啊,那么他当中有一些分类的指令,有一万一千五百八十四条,然后非分类的指令是三零八百 百六十一条啊,它等于是这样。呃,然后它的浓度就是字符的话呢,它有大概呃接,嗯,十六个 word, 它等于是这样啊,那么大部分都是一些。呃。 这个指令是输入吗?他这个问 g p t 回答的他的这个问题,他平均的这个指令的长度大概是在十九个 w, 就是十十九个英文单词,他等于是这样,他们也做了一些实验,实验这个是一张大图,他大概五万多条直 指令里面他这个 top 二十,他的,他的这个指令的分布到底是怎么样的?他可能让他去写一个什么函数,写一个 write, 写一段话,给一些建议啊,给一些 zangpo 啊, list 啊,呃。寻找一些 word。 他他他这个我就不讲了,他他会把这个指令产生完,他就做了一个分布, 他到底有哪些任务都是可以做的,什么描述啊?产生啊、分类啊、制啊、值啊啊,这个是他这个产生了这些指令之后,他们就 拿这个东西去训练,训练,训练的话呢,它它有一个非常强的一个东西,就是它有一个叫 g p t 三这个模型,用了它的这个 self instruct, 就是它自己的指令生成的 这种方式,它去训练了一个 g p d 三的这样一个模型,它这个模型它的这个性能跟 instruct g g g g p g 的第一个版本、第二个版本、第三个版本,它在这个论文里面都做了对比, 它跟这些 instruct 的这个 gpt 啊,就是 gpd 三点五 chat gpt 的它这个性能就是比较接近啊,比较接近,当然没有 掐的 gpd 性能好,但是也是已经比较接近,这个是他这个论文的主要的这个概述。我就跟大家就聊到这,我们再深入一下,再看看他的源代码,这部分是要重点来讲一讲源代码。嗯,我们前面是介绍过,他主要是源代码只要分了四个步骤,第一个步骤就是你要 产生指令,你就是通过最基础的一百多条人工输入的这个问答的指令,然后你要产生五万多条指令,这个是怎么产生的?我们代码一起来看一下。这个我觉得 比较有价值。首先的话呢,他还是去读取,读取这个用户就是 human right, 就是用户写的这些指令作为一个叫种子指令,他是这样来做的,他是第一步。然后做完了之后的话呢,他会有一个这个是比较重要的,他会去对比你机器产生的这个指令, 在我这个指令库里面,在我这个训练的数据里面,他要去对比他的相似度,如果他的相似度非常高,大于百分之七十,这条指定是不会采纳的,他这条指定是不会采纳, 那么他这边也会定义一个总共要产生多少条指令,他这个里面有一个值的,他这个里面写的定义的是五万条,当然你可以定义十十万条更多也是可以的。当然你定 音的指令越多,那你要训练微调你的整个一个模型的时间需要更久。目前看下来他们五万多条指指令,他们是研究过的,数量是比较最优的,他是最优的。好,那么他拿到这个指令之后的话,就去问 mac 这个 g p t 三去请求。他拿到这个指令之后,作为一个请求的一个参数 去问 g p t 去要它的这个返回,那么这个返回它其实本质上也是一个问题,它等于是这样,它也会作为一个指令,然后存放下来,它就 不断的是这样,他拿回来的指令他会去做一个相似度的一个对比,如果这个相似度超过百分之七十,他这条指令就扔掉了。如果他相似度没有达到七十,他认为这条指令是放在他的这个指指令级里面, 他是这样,那这样就不断的去循环,他是这样来产生指令级的。好,这个代码还是比较简单的,这,这是第一步,第二步的话呢,他要 做一个操作,我前面产生的从这个 chat g p t 里面, g p t 三里面产生的这个指指令级,我要去问这个,继续去询问这个 chat g p t。 这条指令到底是 分类任务,还是到底是填空的任务?他主要是做这样一件事情,他也是一样,他要把五万多条的指令再进行循环,去问这个 chat g p t。 他到底是不是一个分类的一个任务,如果是分类任务,那么他要打上这个分类任务的标记,如果不是分类任务,那么他就是这个分类任务,就是 force, 他主要是做这样一件事情,这是第二步, 那么第三步他就要去把前面的这个构造出来的这些指令进行,再去问 chat g p t。 他的这些问问题,去问 chat g p t。 要答案,他是这样的,他就不不断的去问他要答案,然后把它存储在这个这个这个训练的这个数据集里面,他还是一样好。最后这他呢?他也是比较简单的啊,他主要 做一些过滤,过滤和操作啊,有没有重复的?叫 instance, 有有有没有重复的这种要训练的这个样本,他就把他踢掉,有没有错误的这个这个样本要把它过滤掉,他主要是做这样一件事情,呃,如果他最后的过滤操作都做完了,那么他就会保存在一个文件里面, 他训练的这个样本的,从这个重报让呃恰的产生任务,对吧?产生这些的样本他就完成了,然后他会保存,保存下来,然后他保存了这个面, 他们的那个最终的这个格式,他这个论文里面也讲了,就是可能这个他通过这种方式啊,他会错误的产生一些 指令和训练的这个数据,他有可能有些低质量的,他也会产生的,所以这个时候他还需要最好能够经过一部分叫用户的验证。他这个里面也讲了一下,他叫评估,最好能够经过一个用户的评估啊,当然你这 多的几万条的这个数据,你要经过用户的评估,其实工作量还是蛮大的,等于是这样当然比你原来从头到尾写那个效率要高很多了,他等于是这样好的,那么经过这个四步之后,他就可以他他这个测试的数据集就产生了,所以这个方案他可以应用在我们每个公司 产生你自己的,他都是可以产生你自己的这个胃的这个比较重要的这个训练的这个数据,训练数据是非常重要的,那么你有了这个训练数据之后,经过人的评估,你就可以喂给我昨天讲的那个 chat g l m 的这样的一个 人工智能的这样的一个模型里面去,它可以打造一个你公司自己定义版本的这种行业版本的这种恰的 g p t 出来,是这样来做出来的。好啊,所以今天我就跟大家就就聊这个东西,这个我也自己实实践过,确实也有些公司也是用过的,像上次给大家介绍过 那个叫斯坦福大学的那个羊驼模型,羊驼的那个模型就是用这个 self instruct 自己产生的这个这个这个训练级来产生的,他们据说的话呢,他只花了不到五百美金,他不断地去问 恰的 gpt 产生这种训练的数据,他的大量的这个数据是这样训练出来,然后的话呢,他也能达到这个恰的 gpt 三点五,大概百分之九十左右的这个能力,他是这样的羊头这个模型我们也清楚,他是横行模,一个模型记就是七十亿的这样的一个模型。好,嗯,如果大家有兴趣的话呢,也可以给我留言。

大型预训练模型的话呢,它模型越大,那它的精准度就越就越高,但是精准度越高,它消耗的那个 g p u 的内存就越多,它需要的资源就越多。现在呢就出来一个新的一个算法,这个算法可以把大型的这种预训练的模型,让它能够温度的同时能够大幅的 下降它这个 gpu 的这个内存的使用的这个效率,它等于是这样,那这样的它的吞吐量也可以上升。我就讲这样一篇文章,那么这篇文章的话呢,也是非常有价值,他们是 拿了一个维库纳的是一百三十亿的这样的一个大模型,跑在一个 amd 的一个 gpu 上面,当然你可以也可以跑在英伟达的这个 gpu 上也是可以的。 那尾库纳的这个 g p, 呃,这个模型我我之前也是经常介绍的,它是在那个全球的这个开源的这样的一个 l l m 的大型预训练模型里面,它是排名是第一的,它等于那它是 是相当于差的 gpt 的百分之九十二的这样的一个性能。他对,所以他这个是开源里面一个非常非常有价值的这样的一个模型。但是这个模型的话呢,有一百三十亿的参数,那么他就需要 a 一百的这种 gpu, 他就需要八块,所以如果你要把它跑起来,那但是对一般企业来讲这个成本就非常高,虽然他的性能 非常好,但是他要跑起来的话呢,他需要大量的费用,他等于是这样的,现在呢就出来一种算法,他就是可以把这个大的这个一百 一百三十亿的这种大模型进行压缩,他们叫这个量化啊,量化模型量化的这个操作,我们可以看看这张图,这这张图是关键的,我们一般跑的那个大型的米库纳的这样的一个大模型的,我们一般是跑 p 十六的 精度啊,它是等于是这样,现在呢它可以去做一个量化,量化的话呢,它是用四个 bit 和三个 bit 的这种方式,它这个算法 叫 g p t q 的这种方式可以把这个模型进行压缩,就像我们那个视频文件一样,他就把这个大的模型进行这个压缩处理,压缩处理之后你可以看到它这个红颜色 bit 四的 g p t q 的这个算法, 它的这个精度啊,跟 f p 十六的相差不是太大,但是不是这个算法的它的这个误差有些时候就会非常大,甚至就没法收敛,它等于是这样,所以,呃,所以的话呢,就是,嗯, g p t q 的这个算法就非常有价值,它只可以把我们原来需要八块这个 a 一百的这个 g p u 的这样要运行 这个米库纳的这样的,哎, gpu 就足够了,我们继续往下看啊,那么现在他们已经的这个这个论文的话呢,我已经下载了,我也看了一下,他这个论文也是非常新的,是三月二十二号,二零二三年三月二十二号刚刚推出来的,刚刚推出来他的主要的价值点,我前面也已经 讲过了,回头我们详细再来看看他的 qpt 的这个算法。我们先来看一下那个结果,结果的话呢就是开源社区,他们就对这个东西就是敏感度就非常高,非常快的就把这四个 bitt 的这个经过量化算法的这微库纳的这样的一个模型给放出来,放在这个哈根 face 上面, 他这个模型经过量化之后,他需要多少的 gpu 呢?那那么别人就实践了一下,他使用 amd 的这个 gpu 的,当然也可以用英伟达 gpu 也是可以的。他这样跑下来之后的话,你会发现他只要六点五 gb 的内存就够了, 原来的话他可能至少要二十四 gb, 他这个内存要装载,现在他只需要原来的大概四分之一多一点,他就足够了。所以的话呢,就是这种大模型就是可以 等于是说我们需要的这个硬件资源,需要 g p u 的这个内存的资源就极大的就下降。他的也是这样,他的精准度他们也测了一下,他很奇怪啊,他的精准度不但没有下降,反而上升了,这个 是他觉得很困惑,他是这个这个精准度反而上升了,这个是比较困惑,我回头会讲一下他这个算法,他会这个算法,他到底是怎么回事情?那么他的吞吐量的,他每秒钟的这个吞吐量也上升了,他等于是这样, 他每秒钟的这个吞吐量也是每个字符啊,需要多少毫秒,他等于是这样,他也上升了,所以他是一个非常有价值的这样的一个 一一个算法,他可以把那个大型的这些模型可以跑在非常少的这种资源上面,所以他是这样的一个东西。中国的话呢,也把有些博主啊也把这篇论文啊稍微简单的翻译了一下,我也看了一下, 我给大家解解读一下他这个算法到底是怎么回事情?他是怎么压缩的?中国人呢?他说这个是穷鬼的救星,你要跑非常大的一百三十亿的这个模型,原来我们一般只能跑这个六 b 的模型,就是六十亿参数的这个模型。而现在我们可以跑更大的这种模型,他也也只需要很少的这个显 存就够了,他需要的资源就会比较少,这样的话呢,这个大模型他就可以更普及了,他等啊有了这个算法之后,我们看看他这个算法他背后到底是怎么做的。他本质上的话呢,这个 g p g q 的这个原理的话呢,它说它是来自于叫 o b q 的这样的一个算法的,这个 o b q 的这个算法呢的话,它本质上是什么呢?就是你要把一个模型进行压缩,那么它会带来误差,那么带来误差的同时的话呢,它要增加一个权重,要去弥补它这个误差,把这压缩之后的这个网络在 加上他的新的一个这个权重,让他这个误差就是降低到最小。他通过这种方式去做原来 o b q 里面的这个算法的话呢,因为 他就是用了一些算法,他就需要很多的这种算力,他这个里面讲他这个原来这个非常好,但他这个算法不是太好,因为的话呢这个用 obq 还是比较慢。他要把他举了一个例子,他说那用 resnet 五菱的这个网络, 如果要用那个 o b q 的那个算法,它要花几年时间,这这这个在大大的 g p t 的这个模型上,要花几年时间 它才能把这个模型给压缩完,所以的话呢,它的时间实在是太慢了。嗯, g、 p、 d、 q 的话呢,它就在这个基础上在进行了优化,它就优化了三点。第一个的话呢就是取消了这个贪心算法,它这个里面讲了一下有一个什么贪心算法,它这个里面 就是说原来他是要一步一步的去优化,他等于是这样,现在他就会变成一个一个的列,他可以并行,他是等于是这样。 第二个它原来它是单独的一个个权重去处理的,现在的话它把权重变成一百二十八个列,那通过适量的这个矩阵,通过这个 gpu 防止它利用这个 gpu 里面的 定型的这种批处理的这个算法,所以的话呢他的效率就会非常高。另外一个他也用了一个数值稳定性的这样的一个算法,他把这个算法加进去了之后,比他原来的 因为来的那些神经网络的话,他其实也是有误差的。但是他引入了这个东西之后,你可以看到前面讲他的反而他的误差,他的精准度会比原来更好,这个就很神奇,他等于是这样说明是什么,他这个压缩算法的对这个大型的玉训练模型确实有带来了更大的这个价值在降低,在不损失精度的同时比原来精度更好, 损失的精度非常小,那他需要的这样的一个资源消耗又非常少,他等于是这样,所以他这个就是他的这个带来的价值。所以这个算法下次我有机会的话也要去尝试一下,他这个东西还是非常有价值的好,这个算法的给差不上面,他们也把相应的这个算法给放出来了,他等于是这样模型的话呢,别人也 也也已经把它给做出来。我前面也是讲了,在那个米库纳的这样的一个模型上面,别人也做了这样的一个量化,量化的话呢,他们也已经放出来,那这样的我们也可以,这些企业级,他也是可以用这些大型的这些模型,好好。

open 内 i 升级翻译 tono, 用界面无需代码训练大模型 opennai 官网最近升级了翻译 tono 用户界面,使得用户可以更加方便的进行模型训练,无需编写代码,只需上传训练数据即可。微调大模型翻译 toonapr 可以让你更好地利用往 pi 中提供的模型,提供比提示更高质量的结果,能够训练更多的视力,减少提示长度,降低延迟请求。 发音通通 vpr 目前支持的模型有 gpt 随意、 province five, 但是 double o s x、 one c 打 p g 零零二和德文女贴零零二二。如果你想了解更多关于发音通通的信息,可以参考 open ai 官网提供的发音通通指南。快去微调属于自己的专属大模型吧! nice!

火爆全网的 chat gpt 似乎敲开了第四次工业革命的大门,然而由于 open ai 没有开源,想要训练出自己的大模型仿佛就是天方夜谭。这家名为 coloso ai 的外国公司宣布研究出了一套快速、低成本复现 chat gpt 的方法, 并将它开源在了 github 上。这套方法基于拍 touch 的 check g p t, 复线流程涵盖了全部三个阶段,可实现从域训练模型到 check g p t 的蜕变,而且体验最小,呆默训练流程最低仅需要一点六二 g b, 现存 任意一张消费级的 gpu 都能满足条件,这也就意味着大部分带了独立显卡的电脑都可以参与到开发当中来。而且在训练速度上, coloso ai 也花了大功夫,相比原声拍拓去最高可提升单机训练速度 七点七三倍,单卡推理速度一点四二倍,一行代码即可使用。尽管此次开源包含了复线的 chat g b t。 的完整算法流程和必要软件系统,但对于训练出 chat g b t 同等水平的超大 ai 模型,还得依靠海量的数据和算力支撑。 但这没有关系,随着越来越多的资源贡献和志愿者的加入,每个人都有机会参与其中,一起拥抱大模型时代。我是造车的小爱姐姐,想要了解更多就关注我吧!

如何让 gpt 教你学习最新的开源项目?今天我们让大模型来教我们使用最新的开源项目游路 v 八。我们知道长安 gpt 最新的知识,直到二零一年九月,并且最多也只能输入一万个单词,根本无法处理这么长的文档。 所以今天我们要用的是 cloud 一百 k 能支持七万多个单词,可以直接把优乐微八的原文档一股脑的丢进去。我们先让大模型来做个总结,这里我们就知道优乐微八可以做目标检测、实力分割、关键点检测等任务。以目标检测为例,我们可以让他根据文档生成代码, 训练目标检测模型设计到的配置文件,同样也可以让他根据文档给出格式和参考视力,按照要求配置好后,就可以直接运行代码训练模型了。训练完成后可以再让大模型给出推力代码,这样我们就轻松学会了 ulov 八。

今天呢,我们用一个视频来讲解一个点,就是训练模型到底是在干什么?我们用一个非常简单的例子,相信大家能够秒懂。呃,训练模型的这个过程呢,其实是一个已知输入 已知结果,然后不断的用修改这个模型的参数,让这个模型的输出无限的逼近这个已知的结果这样一个过程。呃,举个例子吧,比如说就像有一个兵马俑, 我们也现在要建造一个模具啊,来去复制这个兵马俑。那如果我们用铁皮去来包裹这兵马俑,来试图得到它的一个形状,那我们只能得到一个大概一个轮廓。但如果我们用换成纸, 用纸片去包兵马俑,一张很大的纸,那就能得到一个比铁皮好好很多的一个轮廓,但是他依然啊一些细小的这些轮廓,我们是在纸包裹过程是被丢失的, 最好的办法是用什么呢?是用石膏把乒乓泳包起来,就能够得到非常完整的轮廓,对吗? 所以这就是一个呃,不同参数的一个过程,不同参数量的一个过程啊。铁皮,为什么?铁皮太硬,所以意味着他参数太少,他不能够完美的适应很多形状,纸片软了一些,他的参数多很多,但是他能够比比铁皮好,但依然不够好。 但是石膏颗粒呢,非常小,他能够适应任何的一个形状啊,基本可能参数的无限多啊,所以这样呢,兵马俑的形状就被 记忆在了大量参数的这样一个石膏模具里了。所以呢,我们看会来大模型的训练的一个成本啊,比如说 g p t 四,他的训练成本呢?坊间传言是六千三百万美元啊,那他的钱花在哪里呢?就是他有,首先他有很多很多个参数, 其次呢他要进行很多很多次迭代,那每一次非常多的几千亿参数迭代一迭代一次迭代两次,迭代很多很多次之后啊,这个过程呢会耗费很多的计算的资源,所以他的钱就是花在这里了。 那最后呢,做一个简单的总结,模型的训练过程就是去不断的更新模型的参数,使他的输出结果无限接近于我们所需要的预期的实际结果。这样一个过程啊,然后 当这个差值足够小,变成我们可接受的状态的一个时候,那这个模型就我们可以认为它训练到了我们的预期状态。

太棒了朋友们, gpt 又多了一个新按钮,竟然可以直接共享对话框了,并且还可以接着提问啊!比如这个是我们训练好的小红书文案解锁,你直接点开这个链接,点击肯定领,这个训练好的对话框就会出现在我们自己的记录里面,然后只需要输入产品或者选题,就能不断的生成笔记。 我们的一个学员就用这个训练方法,昨天卖了两千多的货,这个功能真的太赞了,大家赶紧用起来。想要这个共享对话框,扣一下共享。

你只需要二十秒就可以创建一个属于自己的 gpt 了,我还把它轻松的接入了赛文乔伊的公众号,甚至不需要写一行代码小白都可以轻松搞定。首先打开这个拆头的页面,点击创建机器人,接下来根据你的需求选择一个类型,比如文档学习优先,或者这个角色个性优先。 下面已经有很多已经训练好的模板,比如数字分身,数字员工,甚至营销助手,用来办公写作的灵感创作的好,我直接选择创建一个影评人,在这个详情页里面我们可以看到有很多自定义选项,我们可以自定义他的名称,甚至修改头像,包括预设好了简介,你可以根据自己的想法进行修改。这里的对话元素换英语我就先不动了,这是他预设好的,这个平 做的还是可以的,他的自定义选项还是很丰富的。基本参数预设完以后,我们可以在这里预览一下,实验一下你创建的 ai 好不好用。 ok, 现在你可以点击左边列表里面的发布了。首先已经可以直接在 h 五页面里面打开了,并且可以把它嵌入到你的网站。其次,他还可以调用 api, 但我认为最炸裂的就是他直接可以接入公众号,甚至还可以接入你创建的 群聊里。对了,他一个数据后台可以直接看你的机器人用量。我觉得这个真的太方便了,并且完全没有门槛了,所以经常在我视频下面留言的营销号码不要再营销了,现在人人都可以轻松创建了。

想不想知道你的缺德 gpd 为什么修改了短视频内容平淡无奇,而我的 gpd 懂得善良情绪,挖掘卖点,制造训练。用我们训练好的这套模型,指令你只需要给到一段新的内容。例如我现在让他帮我优化这条小红球爆款标题的文案, gpd 就能立马帮我生成两条完整的内容。 内容有逻辑有观点,结尾还懂得留沟子。这条指令我已经放在 ai 基层库,想要的点个赞,评论区扣个六六六吧。