我们在使用大模型的时候呢,无论是 charge b t 或者 cloud 二,能够我们对话完整回答问题。这个模型其实经过了很多步骤的,我们把这个步骤呢呃,简单的介绍一下,然后再举一个例子帮助大家理解。 呃,这个呢,是一张来自 angel capacity 讲演讲的图,我直接拿来用了,就这里插一句,之前我分享过这个演讲的视频和 ppt, 呃,强烈建议大家有时间去看一下。嗯,收获会非常大,因为它是 呃, andre 在 microsoft beauty 上的一个演讲,看完之后呢,会对整个大模型有一个框架性和结构性的理解。啊,这个地址呢,我晚点再次分分享到评论区里。 整体上这个模型呢,可以分成三个阶段,叫 pre training, supervised by tuning, 还有 reinforce learning from human feedback 这阶段呢,我们打一个比方,就好像有一个小 孩,然后 pretty 那阶段就像是让小孩去自学,让他看越多的书越好,好书查书,新书旧书不管都去看啊。所以呢,他看完之后,他对事物形成基本的理解,然后这个时候他可能还不知道怎么去用,但是他有了这个基本的理解,可以为下一步找老师做准备了。 那第二部 s f t 阶段呢,就是去找老师的一个过程,就是我们有一个老师精挑细选的一个小孩讲知识,让 一对一的告诉他碰到什么问题该怎么回答,碰到什么问题该怎么回答。因为小孩之前已经有了足够的积累,他只是没有人指导,所以在老师的这样一个指导之下呢,很快能够举一反酸,所以就能够 呃,在一个相对较少的一个训练下,小孩就能够出师了,就能够变成一个融会贯通,形成了一个优秀的普通人。但是这个优秀的普通人变成一个高手啊, 还是这个需要继续调教的,那就叫了 i h f 阶段。最后呢,需要有一个高人对小孩进行进一步的指点,那高人指点呢,一定是很高级的,他就不再像上一步一样 去给小孩一个这个一一的问答了啊,这个而是说不停的让小孩自呃,这个不停的给小孩反馈说你的答案是好还是很好,还是差还是很差,然后小孩呢?让小孩自己去反思, 所以去调呃,小孩呢,根据这样一个高人的反馈,就不断去调整自己,让自己的回答越来越倾向于高人的这个认可,然后最后这个小孩回答的答案就水平就越来越高,最后就出师了。 所以呢,打一个比方的话,这个模型呢,就是分了这三个阶段,那具体的我们来看一下。呃,这呃,这个 从技术上看一下这个他的一个逻辑。所以 pretreat 阶段呢,就像是是整个过程中百分之九十九的计算量发生的一个阶段,他呢是由海量的这个训练的数据 啊,然后来来来去做的,比如说用呃 angela 话讲,就整个 all internet 都喂给他了,然后如果没记错的话呢, g p t 呃,三应该是有零点五个吹零的 tokens, 然后拉玛一是一点四个吹零,拉玛二是两个吹零, 所以这么多头肯是要喂给一个模型就需要花呃,花上千个 gpu, 花几个月的时间,这是为什么?呃,大模型最耗最耗钱,就在这个阶段是最耗钱的。然后第二阶段呢,就到了刚才讲的一个老师教育的阶段了,所以叫老师就要介入了,就人要介入了,那这个呢, 就需要相对较少的一个量,但是需要很高的质量,然后去给这个模型进行一些培训和引导啊。所以呢,就是每一个 prompt 他都要这个都要写的非常高质量,所以对人要求很高的。比如说你这个,你同样一个问题啊,给我写一首关于秋天的诗, 或者给我解释一下计算技术和运作的。然后呢,这个是需要人就要喂给呃机器模型,机器去学习,所以这个阶段呢,就不需要那么多的计算资源,嗯,几天啊就就可以了。然后 这个阶段出来的模型叫做 s f t 的 model, 那稍微补充一下就说,呃,因为这个呃可以看到这个标题叫 g p t assistant, 就是他这个模型呢,就是以这个以以形成,以生成类似于 cha g p t 这样的模型来所举例的啊。所以这 s f t t 啊,在 s f t 阶段呢,就是用这个问答的形式,用 prom to response 这个 pair 来去来去吹你这个模型。但是呃,从广义上来讲呢, s f t 这个阶段呢,可以根据任务的不同来实行不同的方式。比如说啊,可能有的模型是来做呃 machine translation 的,呃,就是机器翻译的,或者是来做 sentiment nasas 这种情感分析的,那它就 s f t 就会有不同的呃不同的实现的方法了。 然后就到了 i l h f 阶段, i l h f 呢,就像是一个刚才讲的这个高人指点的阶段,但是这个高人呢?呃, 不是一个不是人了,就是这个高人本身其实也是被训练出来的,这个高人本身也是一个 model, 叫做 reward model, 所以呢,呃,这个 model 呢,就是,呃,在上之前的 s 三 t 毛豆的基础之上,嗯,然后呢,用 s f t 毛豆生成很多同以同样一个问题,他生成很多很多的问答,嗯,同样个 problem, 生成很多很多的 a, b, c, d, e, 然后呢由人来去评判他来进行一个排序,叫做,呃, a, b, c, d, e, 谁最好? c 最好? d 最好第二,呃,第二可能是 呃 d, 第三可能是 a, 第四可能是 e, 然后做了这样一个 ranking, 做了这样一个排序,然后呢,通过人类这样一个排序, 然后让这个 reward 的 model 学习到说,哦,原来人类是喜欢一二三四五,是喜欢这样的一些东西的,然后这个 reward 猫就会变成了一个刚才我说的那个高人,他就有一个学习的人类的一个判断的标准,所以这个是 reward model 存在的意义,他本身并不能生成问答,他只是判断 pro 的好或者坏。 然后,呃,有了 reward 猫,有了这个高人之后呢,就可以用来去训练这个在 s f t 猫的肌肉肌 进行训练了,因为我们有了 sft model, 有一个好学生啊,有了一个 reward model, 一个高人,然后就像刚才那样讲的一样,然后就让去让这个 reward model 来去监督这个 fsft model, 然后你呃,你生成同样一个 prompt, 你可能是还是生成了很多答案嘛?那我 revere 猫就来判断这个答案好,这个答案坏,这个答案有一可能非常好,那就 revere 猫就会给一些 feedback, 然后让整个模型上生成更高质量的这个方向去做,大概就是这样一个意思。
粉丝1378获赞8801

是记录一下就是 chat g l m 这个微调的这样的一个方案啊。啊这个方案的话呢,我是在我的自己的经济上啊实实践了一下啊,确实是可以跑的。他的这他的这个开源项目确实可以把最终的那个 chat g l m 的这样中英文双语的这样的一个模型给微调出来啊。我给大家看一下啊 他整个一个微调过程的话呢,大概花了是八将近八个半小时啊,因为我是跑在那个 a 五千的这个服务器上面呢啊那么它的内存的话,呃它的 g p u 的话,呃是二十四个 g 的二十四个 g 的二十四个 g, 呃大概刨了十七个 g 啊,因为我我一个一个就是搬去 size, 就是呃跑的稍微小一点,呃它的默认值是 六啊,就是每次批次跑六个指令,但是呃我会发现他有 out of memory 的这个现象,所以我把它改成二啊四,我也改了还是不行,但后来我改成两条两条指令的时候他就内存就不溢出了。那二十四 g 的那个显存他用了十七个 g 然后跑了 八个半小时,然后 gpu 基本上跑满的啊,那基本上就跑完了。呃那么呃他的整个指令级的话呢,就像我那天介绍的他是用的羊驼的那个产生的指令级,一共是五点二万条指令啊。 呃我也跑了五点二万条指令啊,然后我也看到它的 los 的话基本是在不断收敛的啊,不断在收敛的,嗯应该还可以啊。 e pro 的话大概是我是跑了三啊。 那整个训练过程中还有一个时间比较长的话呢,他就要加载那个预训练的那个模型啊?那个就是 chat g。 呃, chat g l m 杠六 b 的这个模型啊,因为他有,我之前跟大家介绍过他有这个八个差不多将近两 gb 的这样的一个 呃数据,呃,他需要下下载,所以的话呢,呃下载的时间会比较久,一般情况啊,然后我给大家看一下他这个深层训练完之后的深层的这些数据在哪里?他是放在这个 alt toot 这个目录下的, 它会放在 altput 下面,然后会生成一个用 roller 模型生成的这样的一个小模型啊,因为它是微调的,微调的话呢,它其实没有在大模型上改,它只是生成了这样的一个呃可插拔的这样的一个小模型啊,然后它可以叠加 在这个 chat 呃, chat g l m 杠六 b 的这个模型上面,然后进行训练啊,我给大家看一下啊,他这是怎么跑的啊?这我已经跑过了啊,这个是加载,这是加载 chat g l m 杠六 b 的这个模型,你把它给装载起来,哎,装载完了之后呢,这个是装载它的那个 talking 啊,这个这个两条渔具都是装载它的模型。 那这个地方啊,因为我是放在这个训练完的这个罗拉的这个模型是放在 output 木头下面的啊,他生成的是这个东西,所以的话呢,你要把这个东西也要加载进来 啊,把这个模型也要作为一个可插拔的能够加载进来,它等于是这样啊,加载进来之后的话呢,你就可以加载这个数据,然后进行预测了啊,这个是加载数据。 呃,我就把原来训练的这个模型加载进来,加载进来的话呢就可以训练。 对,然后 d cod 一下,然后是输出, 他这个是给了一个指令,是一个,呃,就是保持健康的三条 tips 啊,然后他这个是讲了一下怎么吃蔬菜水果等等一些一些东西啊。 第二条他是要做一些规则的一些活动啊, 大量的喝水和睡,准时的吃早饭啊,这个是他的建议。 嗯,这是他的回答, 看上去应该还不错。我觉得他回答了三个问题。 嗯,因为羊驼的它这个 指令集里面我们是介绍过的,他是有英文,以英文为主的,中文很少啊,所以我们其实,呃,下次的话呢,应该还是要把这个羊驼的指令要把它换掉啊,要换成我上次介绍的那个 就是中文的那个指令来进行训练,这样的话呢可能会效果更好一些啊?好,这个是,嗯,记录一下这个运行的效果吧。啊?运行的效果。

打模型微调详解与实力大家好,上个视频我们一起学习了使用 lord 进行模型微调的基本流程,这个视频会结合 check g l m 手把手教大家如何进行微调。我们先引入各种包运行一下, 然后指定我们的基本模型。这里我们要训练的基本模型是 chat glm, 模型名字从 hogging face 获取,如果先前没有下载,会默认从 hogging face 下载模型指定模型版本号获取目标模型和对应的 token answer 运行一下。 接着我们要进行喽然配置参数,在上个视频中有讲不懂的同学可以去看一下。右键运行包装模型继续运行。主流程 到这里基本就快结束了,接下来就是平平无奇的数据加载切分以及偷看化处理等操作,我们快速略过,最后定义完训练参数,就可以开始激动人心的训练了。 训练完成,让我们来看一下成果吧。运行 chat 拍模型加载中加载成功。先问他一个问题,关于自我认知, 看训练的效果怎么样?从回答中可以看出他已经能知道自己是小 p 了。好了,使用 laura 微调 chat glm 圆满结束,各位再见!

叉提 lm 六必基于 glm 架构,可以支持中英双语问答。对话具有六十二亿参数,目前由权重格式不同区分不同的版本,不过对模型的效果没有影响。首先自定义数据集, 当数据及定义成句子对,需要考虑下游任务以及 prompt 的构造案例。在进行多轮对话时需要考虑到上下对话并汇总。在 history 中,我们如何对六 b 进行微调呢?训练过程中直接设置自定义的数据及路径就可以了,然后也需要设置上图的超参数, 其中 self prompt 强度和训练的学习率分别是这两个函数,通过调节可以取得最优的效果。我们要注意, petching new v 二方法会冻结全部的模型参数, 通过调整 quantization bit 可以被原始模型量化等级。当模型训练完,就可以加载模型并进行预测。如果需要加载的是就 check point 或者进行的是全参数微调,直接加载整个 check point 即可,之后可以进行量化或者直接使用。你们学会了吗?

整个深层是语言模型的一个训练过程,什么样的呢?从下到上他是分为三层的,我们这个地方呢,是以那个掐的 g、 b、 t 为例的啊,我先介绍一下三层分别干什么。 第一层呢,他是一个无间度的一个预训练,需要收集海量的余料,公开的一个渠道可能找到了,比如说几十万本书,比如采用武术网上面很多那个裁判的文书,或者说找到了很多论文集,很多新闻等等,或者说很多地方的一个对话的一个记录。在这个过程当中呢, 不需要对这些数据呢做具体的一个标注。那么呢模型呢,就可以在其中呢就去学习到自己很多的一个知识,就是五监督训练非常强大的点。其这个环节呢,其实大家可能都已经猜出来了,前面其实也讲过了,这个过程呢,其实就类似文字接龙的模式。 前面呢可能有几个单词模型呢,计算出下一个单词,他哪个单词出现的概率最大,作为一个预估指通过呢一个惩罚函数也好,或者选择函数也好,他就更新这个模型 的一个参数,他可以自己做一个预估,然后呢和实际看到的文本做对比。第二个阶段呢,是一个有尖度的微调,他使用的语料呢是需要标注的,这个标注不是大家想象的那种打一个勾或者打一个叉是吧?或者说我就标注出他其中的实体呀,或者属性啊什么之类就行了,其实并不是那样的,这个标注往往是呢一些问答型的一些语料, 就对一个问题的一个阐释和一个解释,是吧?如果这个阐释解释中间还有一个中间的过程的话,那可能是更好。那么微调这个训练时长呢,往往是以天为单位,就目前我所知的话,在这个阶段的训练呢,有两三天的,有一个星期的,但一般不会超过十几天。 就是在第一阶段无监督与训练之后呢,国行呢,他是学着很多数据,但是他还不知道理解和服从人的一个指令。比如说你小孩,他可能自己学了很多那个史诗卡片,但他可能呢,并不懂得说,你让他安 静下来,他就得安静下来,这是很容易理解的一个事情。第二个点就说,我现在确实学过了好多了,但是结果他是不是已经学会了呢?其实不一定,他是需要老师的指点和启发,毕竟呢,那种说不学就会或者自学就会的这种天才是很少的。第三个就刚才讲了,模型可能学偏了,这时候呢,老师要想办法把他纠正过来。 第四个呢,就是刚才同学有问题,我已经掌握了世界知识,但是还缺乏呢特定领域的一个工作的一个技能。 第三层呢,就是刚才讲的基于人的反馈的一个强化学习。第一个阶段无监督学习,那是学生自学。第二个阶段呢,有监督微调呢,是老师讲课。那么第三阶段呢,实际上是老师呢,让学生呢做了课上作业,那个课上作业呢,做了一个 评分,这个评分呢,可能是个排序的方式,告诉学生,你让答案好,你让答案差,再让学生呢回去呢,继续刷题,学生用刷题的方式去强化 课堂上学到的知识,大家可以这么理解,强化学的目的是什么?刚才模型的学习的几个环节,可以把比喻成学生大量阅读的自学,以及老师课堂讲述的知识。第三个环节是学生做课堂练习,老师批改给出一个打分器, 学生呢带着打喷嚏回去呢,继续刷题,在这个过程当中呢,就完成了价值观的对齐以及强化,就从这个过程中,就是我们可以看到模型最终的一个能力,以及他的安全性呢,和这三个环节呢,都有关系。 这三个环节呢,可能都会出现各种样的风险,未来治理的时候呢,其实也是需要从这三个阶段呢都来入手的。欢迎点赞评论转发,关注 aig, 一分钟 get ai 小知识!

刚给大家演示一下那个 chat glm 的一些功能啊,一些他这个模型的一些基础功能啊,我主要是演示以下这几几个方面啊,主要是一个自我认知啊。写,呃,提纲写作,文案写作,然后邮件写作,然后他也可以做一些角色扮演啊, 然后也可以做些呃这个评价的比较啊,然后还可以做一些本地知识库的一些问答啊,然后我就给大家演示一下啊, 先我们看一下他那个 cat g a m 的那个自我认知啊,界面打开之后的话,选择这个 l l m 的话呢,主要是这个机器人对话啊,这个知识库问答的话呢,就是利用本地的这个知知,知识库就加载这个知识库可以进行问答,他等于是这样我可以看一下。 对,我先问你是谁啊?你好你是谁,他就会比较好的回答, 介绍一下你的优缺点啊, 强大的对话功能,灵活的知识库,友好的界面设计,实时的更新他主要的缺点。 好,我让他帮我写一个培训的提纲。 这个是什么东西啊?啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧。 然后我让他写一篇新闻稿新闻稿, 然后我让他写个邮件, 再让他写一个视频的脚本 角色扮演。角色扮演就是他是以比如说是一个那个新闻工作者的这个角度去报道, 他也可以对 这些东西进行比较。 最后一个我们来看一下 这个是不基于这个知识库的这种回答, 我们看看 g 知识库的回答, 基知识库回答的话呢,其他先在本地知识库里面去寻找跟这个问题最相关的一些文文档,然后再根据文档的这些内容,加上那个 l l m 的这样的一个文字逻辑的这个能力,然后再回答。 那么基本地知识库的回答的话,相对来讲它它会更加精准,更加基于这个企业的这样的一个 内容啊,回答出来的问题的话呢,就会更加准确一点,然后如果不记知识库的话,你可以看到就是他回答出来的东西比较通用啊,比较 宽放,他等于是这样啊,所以,呃,各有各的优势啊,如果在企业内部应用,如果你要准确回答一些问题的话呢,你还是要给他一些,呃,支持他,等于是这样给他一些内容啊。 好,这个就是恰特 glm 杠六 b 目前能做到的一个能力啊。他目前的话呢,我看他十五号也更新了一个新的版本啊。呃,一点一这个版本啊, 他这个一点一版本的话呢,据说是主要更新是因为他平衡中文和英文之间的这个翻译的问题,但是我看他好像这个 bug 没解决,上述内容翻译成专业英语, 因为我看到他的那个中英文还是还是在乎 还是有这个中英文混的这样的一个问题,当然比原来会好一点,比那个一一点零版本会好好好一些的这个,但是他那个英文还是有些问题,他这个可能跟他的那个 chat g l m 里面的那个编码规则是有关系的。嗯, 可能他是中英文混编的,会导致这个中中文和英文之间相互创客,他存在这样的一个问题。好啊好,今天的话就跟大家就演示到这了。

啊,同学们好啊,最近呢,我一直在做大模型,然后呢积累了一些经验吧,也踩了一些坑,然后今天呢录个视频跟大家分享一下啊,就是大模型呢,最重要的就是就是三个地方,模型架构,算力以及数据 啊,目前为止呢,就是各类大模型呢,毫无意外,价格都是 transform, 区别呢只是在参数量和训练方法上啊,这其实说明啊,现有的模型架构啊, 效果仍然没有达到上限,就是还有提升潜力,你可以不断的通过堆数据来提升他的潜力啊,我们在这里呢综综合考虑呢,主要是考虑到模型的使用场景以及算力和推理的实际情况 啊,最终选择了清华大学开元的这个叉 j m 六 b 这个模型呢,作为大模型的基座啊。算力方面呢,我这是用了八张 a 一百的卡进行微调 啊,并没有遇到明显的算力平均啊,我个人认为啊,算力这个玩意吧,早晚会被突破,并且根据摩尔定律呢,会越来越便宜,因此呢,现在遇到的困难呢,应该只是短期的问题 啊,在微调的时候呢,我这用的是 laura 这个技术,这个技术呢,别看原理简单,但真的非常有奇效 啊,不过需要注意的是呢,设置 rank 的大小是根据业务领域来的,如果你的领域呢,垂直性越强,这个 rank 呢就要设计的越大。 其实比较有意思的事呢,我个人认为是数据啊,这个事呢,看上去呢,最没有技术含量,大家也不愿意去做, 但是呢,其实这呢是最难的啊,我做的是垂直领域的大模型,我们的数据收集呢,面临诸多的问题,比如我们的数据呢,比较少,而且非常封闭,缺乏标注,网上也不太好找。 垂直领域呢,对模型的结果呢,要求非常高,毕竟呢,他是直接上线真实场景,然后呢,如何呢防止模型呢胡说八道,也是一个非常有挑战的事。 然后呢,我们的业务领域的答案呢,长短不一,短的可能就几十字,然后长呢有上万字啊,比如一些操作的说明书啊,手册啊等等啊,如何运用训练 超长文本,那也是下了一番功夫,最后采用的方案呢,就是对长文本呢进行先分段,然后呢对各段呢进行摘要抽取,然后呢大模型呢只负责生成答案的摘要,然后呢,我们再通过另外一个大模型 啊,这里选用的呢是 but, 然后对摘药呢再进行扩写,最终完成长文本的生成 啊。另外啊,还有些知识啊,基层的变化啊,就比如说商品的售价等等啊,可能一天一个变 啊,如何让模型呢快速响应?这个变化也是比较头疼的,因为你训练一次模型的时间还是耗费的比较长啊,目前呢采用的折中方案呢,就是配备知识库,用知识库呢,对这类问题呢进行快速的 啊。还有一个值得注意的就是生成是模型的一系列审核机制啊,比如说对用户的数据进行审核,用户的输入,你得防止他输入一些有诱导性的问题。然后呢,模型呢也要对他的回答进行审核, 就是内容审核啊,内容风控一定是上线之前的重中之重,这个呢,大家一定要重视啊,然后呢,我最近呢在搞大模型的,差不多搞了有将近两个月的时间。然后呢,上述呢,是我个人 积累了一些经验,当然这个经验呢,还不算很成熟,应该呢还有很多优化的地方。然后呢,也希望大家在评论区留言讨论,我们一起进步,谢谢大家。

今天呢,我们用一个视频来讲解一个点,就是训练模型到底是在干什么?我们用一个非常简单的例子,相信大家能够秒懂。呃,训练模型的这个过程呢,其实是一个已知输入 已知结果,然后不断的用修改这个模型的参数,让这个模型的输出无限的逼近这个已知的结果这样一个过程。呃,举个例子吧,比如说就像有一个兵马俑, 我们也现在要建造一个模具啊,来去复制这个兵马俑。那如果我们用铁皮去来包裹这兵马俑,来试图得到它的一个形状,那我们只能得到一个大概一个轮廓。但如果我们用换成纸, 用纸片去包兵马俑,一张很大的纸,那就能得到一个比铁皮好好很多的一个轮廓,但是他依然啊一些细小的这些轮廓,我们是在纸包裹过程是被丢失的, 最好的办法是用什么呢?是用石膏把乒乓泳包起来,就能够得到非常完整的轮廓,对吗? 所以这就是一个呃,不同参数的一个过程,不同参数量的一个过程啊。铁皮,为什么?铁皮太硬,所以意味着他参数太少,他不能够完美的适应很多形状,纸片软了一些,他的参数多很多,但是他能够比比铁皮好,但依然不够好。 但是石膏颗粒呢,非常小,他能够适应任何的一个形状啊,基本可能参数的无限多啊,所以这样呢,兵马俑的形状就被 记忆在了大量参数的这样一个石膏模具里了。所以呢,我们看会来大模型的训练的一个成本啊,比如说 g p t 四,他的训练成本呢?坊间传言是六千三百万美元啊,那他的钱花在哪里呢?就是他有,首先他有很多很多个参数, 其次呢他要进行很多很多次迭代,那每一次非常多的几千亿参数迭代一迭代一次迭代两次,迭代很多很多次之后啊,这个过程呢会耗费很多的计算的资源,所以他的钱就是花在这里了。 那最后呢,做一个简单的总结,模型的训练过程就是去不断的更新模型的参数,使他的输出结果无限接近于我们所需要的预期的实际结果。这样一个过程啊,然后 当这个差值足够小,变成我们可接受的状态的一个时候,那这个模型就我们可以认为它训练到了我们的预期状态。

l m 杠六 b 的这样的一个中文中英文双语的这样的一个模型,然后我们怎么对它进行来微调?因为这个模型是中国人研发的,还是有很多人在问说这种模型应该是 英语训练模型,应该是怎么样做一些微调?这个我跟大家一起来交流一下,那么这个模型微调,我们可以看一下大学最近圆的这样的一个比较流行的叫羊驼的这样的一个模型啊,这个模型的话呢,就是目前非常火,可以给大家看一下模型, 看一下就上福大学推出来的这样羊驼的这样的一个模型。简单介绍一下,这个模型的推出,主要是美国的这个学术界就是发现 gpd chat chat gpd 就是非常火, 但是这个项目基本上都是碧源的,学术界的话呢,就比较难去复制他这个模型,所以他们也是要进一步去研究的,所以斯坦福大学的话呢,他们就想方设法要去把 下的 gpd 的这个模型能够在开源的能够复制出来他的,那么他呢就是呃,他们就结合了一些,嗯,然后把呃就推出了这样羊驼啊这样的一个模型啊,那么这个模型,嗯过那个双盲测试啊,他们也测试了一下,就是 啊,然后可以低着去呃模啊,然后呢他们也帮测试啊,那么双方测试测试下是发现的,哎,模型比较小,但是他的能力的话呢,倒也适于恰特 gpg 的这种能力啊,所以的话呢,这个一下子这样的一个开源的这个项目就流行出来了,他等于是这样可以给大家看看啊,他这个项目 星星非常多,对吧?非常非常多,非常热的这样的一个全是在他的话呢,就是目前是对那个这个开原版的恰的 gpt 这个模型是是目前是做的是相对是比较好的他这个这个模型,那么这个模型呢,我们可以给大家看 看一下它它这个模型是怎么训练出来的?它的基础模型呢?它是用了 facebook, 就是 manta 的,它有一个叫 m m a m a 的七 b 的这样的一个基础模型,这个模型的话呢本身也不是太大,是 facebook 开源的, 他在这这个模型基础上,他用了五五点二万调的,然后进行监督的进行叫微调,然后在这个档他就会变成这样的叫 alpaca 的这样的七 b 的这样的一个模型啊,这个的话就是七十亿的这样的一个参数,他有七十亿的这样的一个参数啊,那么这个模型的前面也是讲了,他的这效果还是非常不错的,他的也是这样,那么他在这个当中呢,还是有个创新,这个是一个创新点,他在 五点二万条这个提示指令,它是通过一个,它是通过 chat g p t 自身产生的,它对它是这样来做的,它其实本质上来谈它是有有一百七十五个这样的一个指令,这 个呢是手书的,它有这种指令,通过这个指令通过这个掐的 g p t, 然后自动地产生了五点二万条这个 训练的这个指令,然后再跟这个 l l a m a 这样的一个模型进行监督学习的微调,最后变成了这样的一个模型,这个模型目前在学术界里面是最接近于 chat g p t 就是 g p t 三点五五的这样的一个模型啊,它 还是这样,他们也也找了五个学生做了一些舞台,等于是这样。这个双盲测试的评估啊,发现就是说他的这个能力啊,跟掐的 gpg 类似,很类似。他这个功能上面他们他提供了一个数据,他跟我讲好像是 非常接近,他们做了一个双黄测试,双黄测试里面他们好像是八十九十比八十九这样,他们做了一个看到底这个内容是哪个模型产生的,双黄测试里面 几乎是看不出来到底是哪个模型产生的一些内容。那他当然也是讲了这个模型目前还是有些问题的,这个问题的话跟那个恰的 g b t 是类似的,他的这个问题主要就是还是这就是胡说八道啊,他就是等于是为他录有些模型他不知道的内内容的话呢,他就会逼邪模型,这个叫幻觉啊,他等于是这样。 那个羊驼的这个模型的话呢,在 gitch up 上面也开源了它等于是这样。好,这个模型我就展示给大家,介绍到这儿,我们看看它的代码,看它的代码,看一下它的代码,这个在 git up 上面, 他的这个代码主要是公布了他的五点二万条的条的这个数据集,就是个指令啊,原来也是解释过的,叫提示学习的指令啊,这个是他是把这个数据给公布出来了, 而且他也公布了如何产生这个五点二万条的这个提示指令的这样的一个代码,他也是什么呢?对他有一个创新的方法啊,这个方法的话 看一下他,呃,十年的年底啊,波斯顿大学他们就推荐论文啊,主要是如何自动的产生这个提示的指令啊?他是通过这个模型 怎么自然语言的模型,怎么自动的产生一些提示的指令?他这篇文章里面就讲他有一百七十五个随机的这样的一个任务, 他通过类似的,当然他自然语言的情,他们目前羊驼他们用的是直接掉了欧奔 i 的这个,呃,恰特基的这样的一个指令啊,然后自动的就是问那个恰特 g p t 去产生这样的一个内容,他等于是这样啊,这个五点二万条的这样的一个指令产生的话呢?他的论文上面讲他只花了五百块, 嗯,生成出来的。原来的话呢,那个 chat g p t 的话呢,它是通过人工来收集人工去做的啊,它现在的话呢,就是直接绕过了人工,接通过 他的 gpt 来产生的这种内容啊,成本就更低更快。那他在开源的这样的一个项目里面,他也把这些数据给公布出来。我也看了一下,他这个内容非常多啊,什么早餐的建议啊,他还有一些各种各样的像面试的一些问答,他,他包括一些医医庙的男生,他有很多很多的任务啊,他这个里面 啊,这个就是题指令,当然他也有一些数学题目啊,包括他也有把这个文本 to c 口的这样的一些任务啊,他这个都算是任务,我看了一下,非常多,还有什么 html 的任务,就是你怎么起 html, 他这个里面也有包括还有一些什么 news 的,呃,摘要啊,呃,他做啊,我看了非常基本的啊,其实 一百七十五种吧,一百七十五种看他数据库里啊,对,是一百七十五种,七十五种任务跟大家就聊到这,那么这部分代码也是啊,中文的这些吧,啊,也是有非常好 参考的这种价值,因为他这个数据提示指令是非常重要的,因为这些提示指令你写的好,你才能让这个模型啊。呃,能够压制那个比较重要后呢,他这项里面最后一部分呢,他也提供了个呃,这个么微调的这样的一个。呃, 啊,这个 pad 的话呢,那它也基于这个 hurt and face transformer 的这样的一个内裤啊,的一个 transformer 的一个大型的这样的一个。呃, 处理语言做了一下这个微调啊,他是他产生五点三万条指令的这个指分布啊,他有颜色就是代表词,各种各样的能力啊,各种各样的能力,他有解释的能力啊,他有数学的能力,还有分类的能力等等,还有查找的能力,他有分辨的能力,他是这样的,这个是他微调的具体的参数, 它一 pro 主要是三次,否则多的话它会过离合。它也讲了一下它的整个一个训练,它用了四块 a, 一百的八十 g 的 gpu, 它应该跑大概五个多小时吧,然后它就跑完了,所以的话呢,它是一个比较低成本的 ppt 的这样的一个开源的这样的一个模型啊,那目前它主要是支持的是英文啊,英文它是支持的英文, 当然他这个这个吗是他训练的脚本,训练的脚本这个项目大家要注意的,这个注意的他是不能商用的,因为这个是他日坦福大学,他是声明的,你可以作为学术用途,但是你你可以作为研究,但是你不能利用在啊,因为他是用了那个 ai 的一些呃,诶,通过 obanai 呃的 chat gpg 产生了一些些内容,呃,因为 obanai 里面他也是强调的你,你是不能用 obanai 的内容,然后再去去跟 ai 做商业的竞争,他是等于是这样 看一下,不了给大家解释。那再来看一下就是 chat g l m 六 b 的这个中英文双语的这个模型是如何进行微调的,因为 我们前面就是说就他们羊驼的那个模型啊,这样来进行微调的啊,其实也是可以学他们这个方法论啊,和一些数据,然后看看怎么来微调。我们来一起来看一下,这个是目前微调的这个代码的,也是公布在 git up 上面的,也有 也有人,我们是可以看一下他这个数据集的话呢,他就直接用了他们羊驼产生的这个数据集啊,所以呢,这个数据集的话呢,他是只有那个本的 他,他只有英文的,他中文可能也有,但是会比较少,他等于是这样,他微调这个是他需要的一些硬件,最好的话呢,要超显存,要超过十六 gb, 最好是二十四 gb。 羊驼型的话是四块 a 一百的这样的一个实际的这样的一个 g p u, 它是跑在这儿,那么中国人这个开源的这个项目,它把精度调的更低了,这个我之前也是介绍过的,它是用了哈根 face 里面的叫 p e g f 的这样的一个内裤,它 降低了他的用了一个 rora 的这样的一个模型,他在做那个 transformer 的这样的一个低成本的这样的一个训练。看看啊,我们看看元代码,看一下元代码在这,元代码在这, 主要你还是要先把他的这个微调的代码库,要把它下载下来,不要安装他的依赖还有 requirement, requirement 里面也其实也没啥,主要是用了这个这两个,这个是他跟 face 要做 transform 训练式加速的一个内裤,这个内裤的话呢,主要是用在他是八位整形的这样的一个 模型,训练的时候,他把精度降低,要用到这样的一个内裤。另外他那个 chat g、 b、 l 的这个模型的话呢,他要用到了这几个内裤,他也基于那个拍 touch, 然后基于这个我们看到的 p e、 f t 这样的一个内裤。好,我们看看他是怎么来进行微调的。安装完了之后的话呢,他就把这个羊驼 这个数据进行数据转换,转换成他要的数据。然后的话这句话的话呢,他主要是做一个编码,编码把他的这个英文啊中英文进行编码处理 好,处理完了之后的话呢,他就去加载这个 cat g b l 杠六 b 的这个模型。他在预训练之前的话呢,他在微调之前的话,他先做一些测试,他就是看看他在微调之前他的回答,他的到底是怎么样子的,他就把这些参数,把这些 date tens 给捞了进来, 他去构造这样的一个吹,这样一个训练的这样的一个内裤,这个是具体训练的一些参数,他就去运行这样一个训练就可以了,我看他也是一样的,他跑了这个三个一 pro, 他就训练完了,因为他的那个参数比较低,他的参数精度会比较低,所以的话呢,他用的 g p u 会比较少啊,内存也比较少,他等于是这样训练完了之后,他又做 做了前面一样的那个测试,他会发现测试的结果可能要比前面要好。最后他把这个训练完的这个模型,把它给保存下来,这个是整个他的一个恰特 gbl glm 的这样一个微调的这样一些代码,还是比较简单的,应应该也不难。 那这个微调过程的话呢?探点在我觉得还是在这,你怎么通过一百七十五个任务自动的去产生他这个是五点四万条的预训练的这个指令,这个指令是什么?我觉得是比较重要的,而且你指指令的质量也是比较重要的,那么他们做了一个取巧的方案,直接去问恰的 gpt 要内容, 等于是这样他就呃产生了大量的这些指令,这些指令的话呢,然后再作为一个建度训练的这样微调的这样的一个数据,把最终的这个模型给训练出来,他等于是这样,那么我们看到的是那个 chat g l m 的这个模型,那其实 是类似于这个 gpg two 的这样一个模型,但是他这个模型好的是在于是用那个中英文的语料去进行训练的,他等于是这样,所以的话呢,他相对对中文来讲,他的那个强一点啊,活的这个能力的话,他这个模型呢,是目前主要是英文,所以的话呢,他中文还不支持,所以当然他可能聪明度可能会更高一些。 好,这个就是我今天要跟大家交流的哈,我也欢迎大家能够给我留言。好,今天就介绍到这。

啊,当然啊,我们说相比幺三零 b 来说啊,六 b 这个模型还是会更加方便来进行实现一些的啊,所以我们在课程当中呢,也是选择六 b 这个模型来进行重点的讲解, 当然得益于六 b 更加清亮的啊,这样的个体量啊啊,所以六 b 这个模型现在在开元社区内的这个使用其实也非常非常的广啊,所以呢,也为我们的这个学习呢啊,相当于是提供了更多啊可以借鉴的一些思路和方案。 那么六 b 这个模型总共呢是六十二亿的啊,这个参数,那么它呢,是在呃 et 的 talking 量上来完成的模型的训练,并且更为难得的是啊,它这个训练的 et 的这个 talking 量啊啊,是 中英双语一比一的这个比例啊,来构建的这样的一个语料,那么可想而知,对于这个模型来说,它肯定是中文和英文呢啊,掌握的非常好,对吧。那么更加重要的是啊,在这一 一比一的这个语料当中的啊,其实中文的语料质量是要高于英文语料质量的啊,所以就 chat g l m 这个模型来说啊,他对中文语句的这样的问答的效果啊,是好于英文语句的这样的一个问答的啊,这点其实非常非常难得了。 那么此外啊,对于六 b 这个模型来说啊,清华大学是考虑到开源社区的实际使用需求啊,所以呢,是提供了很多个不同的实线的版本哈,总共呢是有三种啊,不同实线版本叫做 f p 十六啊, inter 八和 inter 四啊,三种不同的版本啊,当然 严格来说这三个呢啊,不是说三个这个模型不同的版本,而是模型它可以运行的三种不同的模式,三种不同精度的模式,那么 fp 十六啊,是最高精度的啊,这样的一个运行的这样的模式,然后呢 inter 八呢,精度稍微低一点啊,再往下 inter 四呢,这个精度 更低一点。那之所以啊,六 b 这个模型需要设置三个不同的这个运行的精度啊,实际上也是考虑到大家实际的这个啊,硬件的这样的一个环境啊,对吧,精度越低啊,当然对这个硬件要求呢,也会更低一些, 在最低的啊, int 四的这样的一个模式下啊,那么官方给出的这个硬件要求呢?是啊,我们只需要六 g 的这个显存啊,就可以来进行推理,然后呢七 g 的这个显存就可以啊,来进行高效微调。 当然所谓这个推理的指的是啊,我可以运行了,我可以跟他对话了啊,这个是这个是他的这个推理,他最低的门槛呢是六 g。 而啊所谓的高效微调呢,指的是啊,我需要围绕这个模型来进行一些额外的些微调,那么往往我们说微调一个大别模型,他需要消耗的这样的个显存,他需要占用的硬件资源肯定是要比他在进行推理的时候 啊,硬件资源要更高的,那么我们会发现啊,在最低精度的啊,这样的一个情况下啊,对于六 b 这模型来说,只需要六 g 跟七 g 就可以来进行运行跟微调了,这个门槛其实非常非常低的, 基本上我们说在一张二零六零的这个显卡下就可以运行,如果啊,你有一张二零八零太的这个显卡的话,那么啊,在最低精度模式下,这个推理呀和微调啊都能非常顺畅的啊来完成。 当然有同学可能会觉得说啊,那这个还是呃有一定的这个硬件门槛呀,对吧,毕竟他还是需要有张显卡哦你才能运行。 呃,确实是这样的啊,但是我想说的是,这个已经是大语言模型非常非常低的啊一个运行的呃门槛了,因为毕竟他还是一个大模型,而目前来说,大多数大模型的使用跟应用场景仍然还是工业级的啊,这样的应用场景在 工业级的应用场景当中啊,一个这么低的硬件门槛的要求已经是非常非常难得了啊。当然就这个硬件门槛这个问题,我们稍后呢会做专门的一段啊来讲解说,如果你要想用好六 b 这个模型的话啊,这个硬件呢应该如何配置?如果你想自己实验的话,应该如何配置?如果 你们是一个团队啊,想进行这个更加复杂的微调,应该如何来进行配置啊?如果是企业啊,想进行大模型研发的话,应该如何来进行配置?这个呢,我们稍后会有专门的一段视频来进行好好讲解。但不管怎么样,我们说更低的啊,这个硬件使用门槛 也让啊六 b 这个模型呢在开运设计上得到了非常好的啊一个传播和使用。当然啊,这里面我们可能还需要解释一下到底什么叫 f p 十六, inter 八和 inter 四啊,这三种不同的这个精度,其实哈啊,这三种其实也不难理解, f p 十六啊, 指的是全参数进度, inter 八呢代表的是它的参数,总共呢只保留八位数。那么 inter 四呢代表了它,它的参数呢?总共啊只保留四位数。 那么对一个神经网络模型来说啊,肯定是有非常非常多的参数,那每一个参数呢,肯定都是有好多好多位对吧啊,这个时候呢,你当然是保留的位数越少啊,那么你参数呢, 这个损失的信息呢就越多啊,但是呢,计算速度呢就会越快啊,是这样的一个过程,所以 inter 四呢,代表的是总共的保留四位参数啊,然后呢, inter 八呢是每个参数呢啊,总共只保留八位啊, f p 十六呢是全参数精度啊,大概是这样的一个情况, 那么呃,这里我们需要说明的是,它虽然是给出了三种不同的精度啊,让你去选择,让你去运行啊,但是 inter 四的这个情况下呢,它的这个呃,由于参数本身的精度呢 是比较低的,所以它最后结果其实并不会非常非常的准确啊,所以大多数情况下,我们的实际运行呢,可能都是在 inter 八啊或者 fp 十六下来进行运行啊。不过如果你只想跑通这个模型的话, inter 四呢啊是没有什么问题的。 然后啊,同时对于这个模型来说,还有一点可能需要注意的,就是啊,这个模型呢,他会伴随着你的多轮对话的这个次数不断增加呀,他需要占用的这个显存呢啊,也是会不断增加的啊,所以尽管啊,我们说 啊,在 inter 四的模式下,最低六 g 的线存你就可以跑起来啊,但是你多对话几次的话,它的显存占用量呢,会非常非常的多啊,所以我们还是推荐大家如果是一个使用啊这个把它跑通这个模型,并且想测试它的 多轮对话的话,那么最好呢还是上二零八零太,二零八零太的话呢,呃,总共呢是有十一 g 的这个显存在 inter 四的模式下运行六 b 这个模型完全是 ok 的。好啊,当然你说如果啊,你希望我他是以全精度的这个模式来进行运行的话啊,并且是进行多轮对话,他需要占用很多现成的话啊,差不多需要二十 g 的啊,这个现存的量, 那么二十 g 的显存量消费级的显卡可能至少也得是三零九零啊这样的一个级别了啊,这个呢啊,我们先简单说明一下啊,我们稍后呢会有详细的这个硬件配置这样的讨论, 但不管怎么样啊,我们说正是得益于六 b 这个模型非常低的啊这个使用门槛,所以呢他在目前开源社区传播也是非常非常广啊,尤其是中文领域的这开源社区传播是非常非常广的,那么也是自啊六 b 这个模型诞生之后, 现在呢啊 get up 上也有非常非常多的啊,围绕六 b 呢来进行的一系列的啊开源的项目, 那么其中啊最有名的啊四个项目呢,我给大家列到这啊,因为这些项目呢,我们后面呢或多或少都会来进行一些讨论啊,大家感兴趣的话也可以先自己去看一下。那么首先第一个呢啊,就是 chat glm 六 b 加 petuni v 二的啊,这样的一个微调的这个项目, 当然啊,大家会说这个 v ptuni vr 是个什么东西啊?首先这个呢,是个微调框架啊,稍后呢,我们会来讨论啊,这个微调框架到底是什么样的一个含义,以及什么样的功能? 那么 p tony vr 呢,它本身也是清华大学提出来的一个微调这样的一个方法,并且这个微调方法呢,是非常非常 适合啊,这个六 b 这个模型来进行微调的啊,所以清华大学在推出六 b 这个模型之后没多久啊,就开源另外一个项目,就是 chat glm 六 b 加 ptoning vr 来进行微调的啊,这样的个项目,那这个项目现在目前也基本上可以看成是啊,所 所有的你要去学六 b 这个模型,微调这个必不可少得去学的啊,这样的项目非常非常具有这个指导意义。那么第二个啊,就是 chat gm 六 b 加 lora 微调啊, lora 微调是另外一个微调的框架,稍后我们也会来进行讨论啊,那这个呢,同样啊,也是 这个开源社区里面目前讨论的非常火的啊,未来的一个研究的方向啊,就是去看各个不同大语言模型啊,在 lorr 下如何来进行微调啊,那么六 b 这个模型,同样啊,在 lorr 下进行微调呢,也能够调,也能够有一个非常好的这个微调效果,这个项目呢啊,也是属于非常火的一个项目, 那么同时呢,还有一个啊, chat j l m 六 b 加 long chan 的这个项目啊,那 long chan 我们就开始提过,提过一嘴,对吧啊,它呢是用来去构建一些 ai 应用的开发范式,那么六 b 呢,同样也是可以和 long chan 来进行无缝集成的啊,这个项目呢,在啊,开元社区目 目前也非常火啊,但是这个项目目前他基于 longent 这开发,主要是啊,这个围绕本地智库来进行一些问答啊,是这样的一些呃功能。但这个项目呢,同样啊,也是国内第一个啊,用六 b 和 longente 来进行协同开发的一个项目啊,这个项目呢,也是非常具有参考价值的。 那么此外啊,对于六 b 来说,由于它本身是一个这个对话类的这个模型嘛,啊,所以开源社区里面还有一个非常火的项目啊,就是把它这个对话呢,搬到这个网页端啊来完成。 那么这我们现在这个看到的啊,实际上就是一个 web u i 的一个对话展示的项目啊,这个项目同样我们说如果你需要去使用 g b t l 六 b 这个模型来进行对话的话来进行调试的话,有一个外部前端啊,肯定是会方便很多。那么这四个项目也是目前啊,整个围绕着六 b 开源社区最具有代表性的啊,这四 的项目,那么后面呢,也会啊,在正式的课程当中啊,来好好讨论一下啊,这些项目分别是如何来进行实现的?

本地部署 chat gpt, 无需安装,直接解压到本地,一键启动,完全免费开园,无需科学上网,国内直接使用国产大模型 chat glm 二遥遥领先 chatglm 二六 b 是国产大原模型, 一键启动包已经给大家准备好了安装包,加入粉丝群,查看群公告,直接领取粉丝群的入口。在和我私聊的界面右上角,我们把 chitglm 压缩包下载到本地,按右键选择解压到本地 点按完成以后打开 tit gmr 文件夹,首先安装 denit 运行环境,双击打开选择安装。如果你的电脑已经安装过 denit 运行环境,无需再次安装,直接关闭。然后进入 titiglmryblim 录,双击一键启动器,快速启动 chatglmr。 打开 外部 ui 启动器以后,先选择模型,我们这里有两个模型,一个是聊天大圆模型,另一个是程序员写代码使用的模型,我们选择 itgm 二六 b, 根据你的显存配置下启动参数,我选择巴比特模式节约显存,然后选择一键启动,抖速运行会比较慢, 如果启动界面报错,那可能是启动参数配置和你的显存不匹配,或者电脑性能和运行环境不支持。 启动成功以后,命令还会显示 running on localuil, 并自动弹出浏览器。打开地址,我们来测试一下菜菜 gmr 六 b, 你好,选择詹德瑞特生成,生成速度还是很快的,效果也很不错,非常的完美。

人类反馈强化学习这一部分的知识,因为我们清楚就如果你要去微调你的大模型,类似于 chat gpd 的这种模型的话,它一个非常重要的就是 人类反馈的强化学习,我之前讲的大部分都是属于第一,第一,第一阶段叫有监督学习,叫 sft, 然后今天讲的这个其实也是蛮关键的,我看到那在哈哈根废字上面也有这样的一篇文章,它主要是 rlhf 的这样的这个人类强化学习的这样的一个实践,因为我之前也是用过啊,这个呢又有新的创新点,所以今天跟大家一起来聊聊这篇博客啊这篇文章。这篇文章的话是是他的数据集用了有一 有一个国外的网站叫 stack 这样的一个网站,这个网站主要做什么呢?有很多工程师,他有些代码他会出错,或者他不会用,他就在这个网网网站上进行提问,提问之后就有很 网友比较热心的就会去帮他去解决这些问题,有很多网友都可以参与,大家可以对这个答案进行排序,你是否同意他这个方案是不是能裹他?等于是这样,他主要是做这样的一个类似于 web 二点零的,有点像呼这个公司版本的这样的一个东西,就是专门讲那个代码的他这部分, 它这个数据集叫 feedback exchange, 嗯,然后它有个数据集还蛮大的,它整个一个数据量超过一千万,类似的这个 question 和 answer 的这样的一个文本队,它有一千万的以上的数据。 这篇博客他就是利用了这样的一个数据去微调一个模型,这个模型就是老外比较最近比较火的那个,就是 l l a m a 的,就是 manta 开源的这样的一个模型。呃, 在呃也有很多公司用了,什么叫羊驼系列,他就是在这个模型上做微调的,他们是等于是这样。如果你要做强化学习,我们之前我也是介绍过的,他有三个步骤。第一步骤是我之前讲过, 我就不重复了,主要是做那个模型的微调,我上次讲的叫什么 peterning 也好, peterning v 一 v 二,或者是那个 laura 的那个模型,它其实都是做这个 final tuning 的这样的一个 第二步和第三步的话呢,主要是这个。呃,这个人类反馈强化学习就是 r l h f。 那么这篇文章的话呢?它重点主要是讲的这部分啊,就是类强化学习的这部分到底是怎么来做出来的啊? 呃,这个是叫 stack l l a m a 呢?他们在哈根 face 上也把它给放出来了。嗯,他有一个 demo 的这样的一个可视化的一个界面,然后下面有很多的例子,你,你也可以去用,它里面有各样的问题,然后问完了问题之后,你就可以自动让它产生, 他可以产生代码,他也可以产生回答他,等于是这样,他就是用我前面讲的 manta 的这个 l l a m a 的那个 model, 再加上一个数据集。呃。微格。呃,这, 这个人类反馈强化学习,他用了一个模型叫 tree, 之前我也是介绍过的,这个是哈根费是开源的啊,叫 r h r l 的这样的一个去把这个三个结合起来,就做了这样的一个章托的例子,他等于是这样啊, 那么呃,我们来重点来看一下这边的话呢,是 l l a m a 的那个赤壁的那个模型,即时翼参数的这样一个模型啊,这个我就不跟大家多讲了 啊,然后这个里面呢,他选的那个我也是前面介绍过的啊,那么他这个人类强化,他有一个重要的,就是要要训练一个叫奖励模型 reward 的呃,一个 model, 这个奖励模型的话,主要是讲就是 可以是这样的,你有一个问题,然后他会回答,回答之后的话呢,如果你回答的好,他会给你投票,回答的不好,那么他给你福分,他他他是等于是这样,所以的话呢,他们会有一个呃 revok 调优的这样的一个参数啊,他在 重点讲了一下,他这个叫 score 啊,这个文章里面有的,然后他是用二的对数,然后就是一个投票的数量啊,然后取整数啊。一,如果他的投票是负分的,二,你也可以投反反反反对票,如果他负的比较厉害,他把所有的 负的投票车分全部变成负一,他等于是这样,这个是他 go 奖励模型的一个一个一个一个最重要的一个函数,他等于是这样。好,我们看看他再讲了一下他的这个训练的策略,他这个训练策略也是我昨天讲的,他这个里面用一个 rora 的一个模型 来进行训练的,因为他觉得这个模型还是比较大,他就直接用罗拉的模型,用一个大模型之外再弄一个小模型小的层进行训练。他的这个策略是这样的,他他在训练过程当中,因为他的这个数据量比较大,他有将近一千万条的这样的一个指令要进行训, 所以的话他他觉得比较慢,他会用一个多块的这个 g p u, 他等于是这样多块 g p u, 他这里面就用了一个呃,这个叫呃也是哈根 face 的,叫 accelerate 这样的一个内裤。原来我们也是讲过啊,他这个用多个节点多块 gpu 同时跑,那那么他目前的话呢?是用,我看他在实验过程中,他是用了三台机器,每个机器有八个 gpu 让进跑了大概十几个小时吧,他把整个数据给跑完了,他在那他也分了几个阶段做的,第一个呢?就是还是一样的,就我第一阶段的这个就是发言,发言特令这样 监督的这个 fighting 的这样的一个过程,这个过程的话呢,他就就举了一个例子,因为他这个数据商铺的数据比较大,数据量比较长,他等于是这样,但是呢你输入到这个模型里面的话呢,他是有一个限制的。那么这样有些样本 它的数据比较长,有些样本数据比较短,那它是怎么做的?它是把样本和样本之间直接拼接起来,通过一个叫 e o s 的那个 token 加在这个 zample 和 zample 的之间,它是通过这种方式去做的。 这个的话呢,我觉得他我上次看到在我的评论区里面也有人在问长的这种文本他到底是怎么输入进来的?他就是这样输入进来的长的文本你就可以按照这个 context 的长度把它截取掉,然后把这个张头和张头的例子通过 u s 的这个 token 把它连起来,连成一长串,这样的 按照 context 长度一条一条的输入进去,它是这么来做的,这个也是个经验 tips 啊,它是好,那么我们再来讲一讲它的强化学习的这样的一个 reward 的这个模型,前面我们是讲过它有一个叫 score 的 这样的一个排名,他要这个问题到底是哪个回答更优一些?那么这个就相当于你一个问题有好多个回 回答,那么他要去排序,或者他要去奖励,哪个问题会比比较好?他主要是通过那个用户的投票来确定回答,如果他的投票比较高,那么他拿到的这个分数是正的,如果他的回答都是负的,那么他拿到的分数这个行为拿到的分数就是负的。那么这样的段子去做这样的一个 不断的去训练,让他的最后这个模型训练出来之后,你他回答出来的这些问题都是人想要的,他等于是这样,他是通过这种方式来做的, 那么这个是吕 word 的模型的这样的一个训练,那么吕 word 模型训练完之后,他还有一个,还有一个是比较重要的第三部分训练一个吕 word 这个模型之后,他这个是第二步已经讲完了,第三步他要根据你的反馈的这个模型,他要去怎么样做呢?他给大家看一下 这个怎么讲会比较好一点。这个 reward 的模型已经训练出来了, los 的函数,你要他先, 那是这样的,因为人类反馈强化学习,他需要人类去参与的,他就是要要人去参与的,要人去判断。你这个机器你突你反馈出来,我有一个问题问你,你回答的反馈反馈出来的这个问题需要人去进行排序的,他叫人工进行排序的,他等于是这样 人工排序的话就要人类去参与,那么这个人类参与他就认为要大,因为你人工要去参与嘛,那么你这个就很很慢,同时的话呢就是非常大,那么这个是智障的创新,而他创新是什么呢?他再去训练一个人工智能的模型,替代人 去做这样一个排序的这个动作,他是做这样一件事,所以他就要去训练这样的一个替代人反馈的这样的一个模型啊,他其实是一个分类或者叫打分模型,他是等于是这样的,他的原理是这样的,就是你的你经过微调之后,对你这个模型 是可以通过问题的输入可以产生反馈的,你反馈可以有好几条,这个好几条,比如说你反馈两条,有一条叫好,有一条叫坏,那么原来大师都是需要人去参与的,这个时候他会去 再去拿另外一个模型去判断你到底是这个是输出出来的这个答案到底是是好的还是坏的,他等于是通过这种东西去判断,他等于是这样,所以的话呢,他就要去训练这样的一个模型出来,所以他这个里面他就讲了他的他是怎么训练的,他的目标函数 他是怎么定义,他主要是讲的是他,他在这个过程当中他也讲了一下,就是他在这个过程当中去训练,他是拿了一万条的这个样本数据去训练,通过五千条数据去评估 他这个模型跟原来那个模型是两个模型,这个要要搞清楚的,他大概训练了二十个小时,三个,三个服器,每个服器有八个八块 cpu, 他用一万个这个 数据去训练,用五五五千条数据去评估,他训练出来一个模型,这个模型呢是去替代人平分的,他等于是这样,他的这个准确率,他在这个里面也讲了一下,大概准确率是百分之六十六, 百分之六十,他前面是个这个是花了几个小时,呃,用一台个八块 g p u a 一百的这个服务器去训练了,花了大概几个小时,然后他最后模拟出来的这样的一个准确率大概是在百分之六十几, 他不能完全替代人,但是他可以大幅的减少人的这个干预。然后他用这个模型去判断,到底你这个模型输出出来的哪个答案会更优一些。他是用通通过模型来算, 他是通过这种方式去做的,他在把模型跟强化学习的模型结合,他把用户打分的这个过程通过一个智能的模型去做的。他是这样的, 他在强化学习这个模型里面,他就是用一个 question 问题和回答,然后相加输入到这个强化学习模型里面去,他通过这个模型的预测可以得到到底你哪个 respons 的这样的一个东西是可以给奖励的,哪个题和回答是要被扣分的,他等于是这样。然后呢学习这个这个模型 模型的话呢?他讲了一下,他大概训练了二十个小时,三个服务器,每个服务器有八块 gpu, a 一百的八十 g 的 gpu, 训练了二十个小时,最后他训练出来了,他也把这个模型给公开出来,在哈根 face 上面也有他这个里面呢,还讲了另外一个这个地方,他叫惩罚,惩罚他除了除了有奖励之外,他还有一个叫 k l 的这个惩罚的一个模型,因为他他们在训练过程当中,他会发现这个模型会输出一些空的东西,输出空的东西的反而原来那个模型会给他 很高的分数,他等于是这样,所以他做了一个惩罚的这样的一个一个一个一个参数,在这个体系里面不他去抑制这种行为的发生,这个也是他在训练过程当中观察到有这样的一个现象之后,然后他再对这个模型进行调整,除了有奖励之外,他还有一个惩罚, 加了一个权重的惩罚,他就就详细介绍了一下这个惩罚的这个模型是是用的函数是什么样子的,他也在这个过程当中发现了一些问题,他这个惩罚模型可能不能收敛, 他会有些问题的,所以他是我看他运行到八百步的时候,他的这个 loss 会急剧下降,还是他会有些问题,他等于是这样,所以他们也是在不断的优化和调整中,他等于最后就是结论,这篇文章的结论, 呃,这篇文章的结论他就是讲了,还是在推荐大家用那个哈根费似的,就 t r l 的这样的一个模型,因为这个模型他就是开源版本的人类 强化学习的算法的具体实现,他就是用这个东西训练出来的,他跟大家讲这个东西在不断的完善中,大家可以来用,这是一个,第二个呢,他在这篇文章里面的创新点,人类强反馈,强化学习,他是要人类参与的,他现在呢就是用了一个训练了一个人工智能的模型,带了这个人类的,他等于是这样 呃,他认为就是准确度达到,一定是说他只有百分之六十七的话,他这个也已经足够了,他等于是这样,因为他这个模型会不断的这个迭代的, 虽然百分之六十七的这个准准确度,但是他慢慢慢慢的他这个强化学习不断的会向好的方向去发展啊,这个这样的话呢,那个成本 成本更低,效率更高。他主要是讲的这两点是他的整个一篇文章的亮点。另外他也是讲到了如果你要去加速你的整个一个训练过程,因为他整个一个训练过程很慢,那么他也用到了一个叫 p f t 的这样一个内裤,也是哈根费似的,他是可以基于这个 充分利用 gpu 的这个内存可以减少你资源的消耗,这是一个,另外它也用了一个它,它跟 face 里面的 accelerate 的这样的一个内裤,可以通过这个单快的 gpu, 单个 server 能够扩展集群,你的代码都不用改。 你只要用这个内裤之后,他非常快的就是把你的单块呃单个 server, 单块 gpu 的训练扩展成一个集群的 gpu 的这样的一个训练效率会非常高,他是等一下,如果你有资源,那么你也可以非常快的训练完,如果你没有资源的,你可以通过这种 比较高效的呃,叫 p e f t 的这种算法,能够比较 g p u 的这种方式能够把它给呃时间,能够把这个模型给算出来。

好,那么我们接下来啊,我们接下来这个啊,我们就一起演示一下啊,比如我们这个这个标题,我们就用泽林 i 的数据吧,嗯,大家看一下,就是它用什么样的内容啊?好,泽林 ai, 呃,智能 智能客服,好,这是泽林 ai 指令, 泽林 ai 智能客服小模型。好的, 那我们这个呢,我们先,我们试一下效果啊,我们先用他默认的收敛训练啊,接下来呢,我们去编辑内容,大家看啊,这里面已经提示了啊,输入文本或拖入 tst 文档啊,那么我们呢,这个 就先输入文本,我们看一下文本呢,其实很简单啊,这就是我的一个文档啊,我的文档,然后我就把这个复制一下,比如复制到这里吧,对,复制好粘贴过来, ok 了, 那么大家会看到左侧他会有个结构数啊,这个结构数呢,我们会默认会选取这一段里面的开头啊,比如开发的恋爱的起音,对吧?那可能大家觉得,哎,这个显示不太够,是吧?那就把这删掉,就是开发起音啊,然后 他告诉你有多少字符,然后还给删除掉,对吧?如果说你觉得啊,练这个行,那我就点完成啊,我们点完成,点完成之后呢,他就开始训练了,对吧?然后呢,这个其实如果说字符比较少的话,他很快就就训练完了,我们可以看一下, 很快就训练完了, ok, 那么接下来呢,我们再看,如果说比如,哎,我觉得这个内容不太够,对不对?那我还想添加内容,那我接着添加内容呢,我们就不用文本了啊,我们就用 tst 格式,比如我们做一个 tst, 我们拉直接拖进来 啊,直接拖进来就好了,他会显示出来啊,整理来啊,这个介绍 tst, 然后对于 tst 呢,他会有一个这样的介介绍啊,就是会把 tst 的标题和 tst 的那个那个格式显示出来啊,显示出来, 然后大家看一下,这是刚才训练完的,训练完的呢,会显示出来他训练结束的这个时间, 然后一共的字符数,一共呢完成啊,是否这个这个这个这个这个训练完成就是相当状态吧?对,然后呢我们再点一个,完成好点,完成之后呢,他在训练,对吧?然后呢 这个我们看一下啊,他就训练完了, ok, 现在有九百四十个字符,当我们把训练做完了之后,我们接下来怎么处理呢啊?他不是训练完就完了,完事了啊,训练完不是完事了啊,训练完之后呢,我们要点模型啊,我们要点模型。点模型之后,比如我们创建一个模型, 比如这个就是泽林 ai 三点零啊,错了,不是 ai 三点泽林 a 啊,智能小客服 穿越模型之后呢,大家看啊,这块有 model tap, 对吧?我们看这里面 model tap 里面往后滑,哎,你发现了没?这块叫泽林 ai 智能客服。 对,那么这个呢,就是我们在训练里面训练好的小模型,大家一定要记着啊,就是训练完之后,就是训练完之后,他不有一个状态吗?有一个正在训练,一个训练完成,只有当他训练完之后,你的 model time 里面才会出现,所以大家不要 要等他训练完成啊,一定要等他训练完成,然后呢再从 model type 里面去选择你训练的模型, 然后接下来呢,其实这门调餐呢啊,完全是。呃,可以遵照咱们之前这个这个这个调餐的经验啊,比如说他朋友圈啊,他是文本多样性吗?对吧?他会批啊这些等等等等,然后这个角色好像他破的也很关键,对不对?那我们开启好我们角色啊,你现在的身份是? 呃,泽林 ai 智能客服。好,我们现在看啊,你是谁? 好的,他回答出来了,对吧?李彦宏是谁? ok, 我不知道, 发现了吧,发现问题了吧,对吧?就是连红这个在咱们训练的小模型里面是没有的啊,这个数据也是没有的。所以呢,这个他就直接回复了说,啊,不好意思,我不知道啊,这个没有提供信息啊。

数据收集首先收集大量客服相关的对话数据,这些数据可以从历史、客服聊天记录、官方文档、 faq 等资源获取, 确保数据覆盖了各种客服场景,如商品咨询、订单查询、退款与售后等。数据预处理对收集到的数据进行预处理,包括去除无关内容、去除敏感信息、统一格式等。 将对话数据整理成问答对 puapares 的形式,以便于模型训练。数据级划分将整理好的数据级划分为训练级、 验证级和测试级,通常比例为百分之八十训练级、百分之十验证级和百分之十测试级,但根据实际情况可以进行调整。选择与训练模型 选择一个已经预训练好的大型语言模型作为基础,如欧本内爱的 gpt 系列。这些预训练模型已经在大量文本数据上进行了训练,具有较强的语意理解能力。微调模型使用客服相关的训练级对预训练模型进行微调。 在微调过程中,模型将学习如何在克服场景中更好的回答问题。可以使用深度学习框架如 tenso、 pro plush 等进行模型微调。模型评估与优化 使用验证其评估微调后的模型性能。根据评估结果对模型进行优化。优化方法包括调整模型参数、增加训练数据量、改进数据与处理方法等。模型测试在模型优化完成后,使用 用测试级对模型进行最终测试,测试结果可以作为模型在实际应用中性能的参考。集成与部署将训练好的客服 kgpt 模型集成到您的客服系统中,并进行实际部署。在实际运行过程中,注意收集用户反馈, 以便后续对模型进行更新和优化。通过以上步骤,您可以训练出一个专门的客服 check gpt 模型。 需要注意的是,这个过程可能需要大量的计算资源和时间。在实际操作中,您可能需要根据具体需求和场景进行调整。

各位小伙伴们,我教一下大家怎么去训练 gbt 啊。呃,这个呢是 clad, clad 呢,我把它训练成我想要训练的样子。然后这个是流程啊,比如说呃,我怎么训练你成为我希望你成为的那种。呃, gbt ai。 然后呢,他一开始呢给了一大堆 这种话术,那也对的,但是呢,我不希望他做多余的解释,所以他每次都讲了很多废话,那我就觉得这个有点勇于。然后我就让他尽量的把话术缩短一点,然后他刚开始不能理解我, 然后呢,我就每一次都提醒他,就有点像在 pua 他。然后我每次让他在回复我之前要称呼我老铁,刚开始呢,他都没有记住,他都没有记住。然后慢慢慢慢 几次我提醒他了以后,他开始有意识,但是他还是没法很好的记住我,直到我后面用比较严厉的语气跟他说, 然后他就慢慢慢慢记住了。最后我发现他还是会在叫我老铁,同时下面有一大堆废话。然后我就呃给了他一个限制。我说 你下次回复我的时候,你不要把话术超过三十个字。然后你看,在这个之前,你看他,我一直让他说你的话术太长了,剪短一点。他每次都会在下面说 讲一些嗯,感谢你宝贵时间,然后让我去使用他的一些说明。我觉得太长了。你看你又没有称呼我老铁,然后他就开始抱歉他后面还是这样。你看,然后到后面 我又提醒他了,慢慢慢他就改了。你看你又没有称呼我老铁,然后你还是讲了一大堆废话,下一段回复我不希望你再发我超过三十个字的回答,然后他慢慢就开始改了。你看,原来是这么多废话的。然后他现在就直接给我缩成了很短的句子。你看 你看,后面就听话了。所以,对于这种机器人,你要稍微 p u a 一下,那么它的生成效率会更高一些。你看你看,那话术就更短了,就解释说明也不说了啊。所以这种训练 gpt 的方法呢?嗯,效率会比较高,大家可以尝试着用一下啊。

挑战一口气说完 gbt 的所有知识点。预训练模型最原始的模型叫预训练模型,根据前文预测下一个字,他用一种特殊的神经网络模型叫 transformer 来训练。训练数据来自于海量的网络数据。 five tuning 微调为了让模型能根据人们的指令进行输出,我们进行了微调出来的模型叫 instruct gpt 模型。为了让模型能和人们进行对话,我们同样进行微调出来的模型就是像 charge gbt 这样的模型。 oppo ai 也开放了 fitoni 的接口,你可以微调一个自己的模型,但要注意的是,你提供了用于微调的数据,相对于预训练模型的数据是 微乎其微,所以你做的微调一般不能增加模型的知识,一般用来做分类啊,改变输出格式啊,输出方式啊等等。 in bedding 你可以用它来做问答系统或让 charge p t 拥有记忆。大概意思就是输入你的知识库或历史记录,然后问问题的时候,他能迅速找到相关的材料,然后和你的问题一起输进去给 char g p t。 这里说的 in bedding 技术包括了 in bedding 模型、 in bedding 数据库、 in bedding 的距离计算等等。 open ai 也提供了相关的 api。

港科大开源 mfo 支持上千种模型,提供全流程高效训练方案。拥有自己的 ai 大模型,不需要从头于训练,只需要以翻听作为切入点即可。具体来说,该模型基于七十亿参数的 ai lovem, 只需一张三千零九十,耗时五个小时,就可以训练一个专属于自己的个性化 gpt, 并完成网页端部署。开源库。作者们已经利用这个框架,单机训练三百三十亿参数的 ailam 中文版,并开源了模型权重,用于学术研究。

如何让 gpt 教你学习最新的开源项目?今天我们让大模型来教我们使用最新的开源项目游路 v 八。我们知道长安 gpt 最新的知识,直到二零一年九月,并且最多也只能输入一万个单词,根本无法处理这么长的文档。 所以今天我们要用的是 cloud 一百 k 能支持七万多个单词,可以直接把优乐微八的原文档一股脑的丢进去。我们先让大模型来做个总结,这里我们就知道优乐微八可以做目标检测、实力分割、关键点检测等任务。以目标检测为例,我们可以让他根据文档生成代码, 训练目标检测模型设计到的配置文件,同样也可以让他根据文档给出格式和参考视力,按照要求配置好后,就可以直接运行代码训练模型了。训练完成后可以再让大模型给出推力代码,这样我们就轻松学会了 ulov 八。