吴恩达博士跟 open i 推出的课程,咱们这已经搞定了。嗯,这课程本身是免费的,然后我也做了一些汉化,把它上传到我的星球。吴恩达博士以前在百度做人工智能补习科学家,他这次直接跟 open i 合作, 干货是非常有效的。比如说像这个,大家想在这做点开发,要调用 api 的话,这就是一个很有效的例子。 这些课程我已经全部下载下来,并且加了汉化翻译。呃,上传到我的星球。很多小伙伴说我也不会开发,我就想画画图。这里边也有 mid journey s d 的创意关键词。还有很多小伙伴说我连 gpt 都没用过, 这里也有全套的手把手教你的教程,包括我自己也开发了一个免魔法可以使用的 gpt。 有需求赶紧关注我,晚上直播的时候我们可以一起交流。
粉丝9064获赞1.8万

今天我们来说一个构建在大约模型上层的应用平台,常规的 ai 兑换网站相信你们都见的比较多了,而这个平台是做了多个功能的融合啊。在这个平台里面一个服务就是一个 bot, 你可以自己选择这个 bot 底层的大模型,甚至可以选择 gpt 四,然后你可以选择设备要给这个 bot 填充知识课文档来训练它。 字库上传好之后,你还可以选择是否要给这个对话里面添加插件,兄弟们是不是感觉有点不一样啊?哎!这个 bot 配置好之后,他是可以分享的,你可以限制他的使用人数和使用次数,那么别人访问这个 bot 的时候,他就可以直接对知识库进行问答,并且可以使用你添加的插件,这不得不说还是有点意思的呀, 他的一个使用场景我都已经想到了,这个时候你们就是老板,你们可以把公司里面的一些常用的文档塞给这个机器人,然后有一些常见问题的时候,直接让员工去问这个机器人就得了。在他的 lm 这个选项卡里面可以配置大约模型的供应商, 点进去之后你可以使用自己的 open i a p i k 或者是使用 g p boss 提供的官方服务,当然了, k 用的是你的,但是机器还是用了他们的,不过相比于自己买服务器来自建整套服务的话,我觉得他们这个服务还是可以的呀。那么接下来我们来完整演示一遍整个操作流程。在 bot 管理里面点击创建 bot, 然后选择一个 bot 类型,这里我们选择智能助理,这里我们把他的名字命名为云影的小助理,后面分享出去的时候,名字就会显示在左上角。接着我们添加一句欢迎语,这个欢迎语他就是打招呼用的呀,不会对上下文产生任何的影响。 然后配置身份提示,这个身份提示非常关键啊,在这个地方通常需要指定这个机器人,他是一个什么样的角色,他对应的就是接口中的这个 system propt, 那么我给他的指令是他是一个智能助理,然后当他被问到自己是谁的时候,需要回答,我是语音小助手。可千万别小看这么一个小小的指令啊, 使用这个指令之后,你用任何形式问他自己是谁,他都会回答,我是语音小助手。对比一下切记的官网,你们就可以发现网上的某些套盒大模型,他就是这么玩的呀。改个自我介绍,轻轻松松。 接下来配置底层的模型,现在我们可以选择 gp 三点五,或者是直接用 gp 四, ai 创作力一般就直接用默认的,调太高的话很容易胡说八道。下面的这个知识库的设置一般也用默认的就可以了,最下面的这个下一步建议也可以打开。 在对话结束之后,会出现三个相关的问题,你可以直接选择进行问答,那么到这里你就已经配置好了一个 boat, 现在你就可以和这个 boat 对话,或者是把这个 boat 给分享出去。 那么我们前面也说过啊,你可以对这个 bot 添加知识库或者是添加插件。现在我们来继续增强这个 bot 的功能,点击 bot 的设置,然后点击左侧的知识文档,在这里你可以选择网址,然后让他抓取对应网页的内容,或者直接选择文 文件来进行上传,上传上来之后,稍微等一会,等这个状态变成可用之后就可以进行问答了。那么现在你就可以在分享出去的 bot 里面直接对论文进行提问。 如果你们提问的时候出现这种情况啊,就是你明明上传文档到知识库里面了,然后你提问的时候居然发现他没办法回答,他居然找不到相关的信息。 这个问题是由于项量搜索的分值低于预值导致的呀,我们可以在模型配置中把知识三观性给调低一点,比如说零点七就可以了,前一次对话式的没有过预值,而后一次是过了预值找到了。最后我们来看一看 bot 的插件能力,点击顶部的插件选项卡, 这里我们添加一下二维码插件和天气插件,然后在 boot 的设置里面点击插件管理,再把我们刚才添加的插件加入到这个 boot 中去。然后呢,我们就可以直接在对话界面里面问他武汉的天气怎么样,可以看到啊,他确实 是调用的插件获取到的当天以及后面几天的天气情况。接着我们让他依据我给定的地址来生成一张二维码, 感觉效果还可以啊。另外,如果你们对用这种流程图来创建 bot 感兴趣的话,可以使用 followbot 来创建一个最基本的流程是由 l、 l m 和输入输出构成的,这里需要给输入输出牵一下线啊。然后我们可以在输入里面简单提个问题,点击执行就可以看到效果了, 现在我们给这个流程添加上知识库问答的能力,把原有的输入的线迁到知识项量里面,然后再把两个输出结果就是有搜索结果和没有搜索结果都迁到 l m 里面去。然后在 boss 的知识文档里面上传一些文件, 点击 boat 的 flow 调试,再点击知识声量右上角的小齿轮,把知识相关性调到零点七啊,避免找不到文档。然后再选择我们刚才上传到知识库里面的文件保存一下,现在咱们 就基本配置好了。这里咱们选择 gpt 三点五的模像,他跑的速度会快一点。我们提的问题是让他介绍一下 drag again, 那么最后经过整个流程的处理呢?输出就在 output 这个卡里面显示出来了。好了,本期视频到这里也结束了,拜拜。

也是介绍过啊,阿里的这个通一千万的这个模型,他啊,他这个最大的特色呢,就是他对这个 api 的这个调用,他的这个能力啊,他要超过 gd 四的这样的一个能力 啊,它对工具的这个选择的这个能力,它要超过啊,超过一些一些主流的一些模型,你可以看到它这个 g p t 四,它的工具选择的准确性,它只有百分之九十五, 但是通一千分这个七 b 的模型的话,他准确性可以上升到百分之九十九,他大概率都是会对的啊,那而且他错误选择之不到百分之十啊,那像 gd 四的话要百分之十五啊, gg gpd 三点五的话要达到百分之七十五啊,所以这个通一千分这个模型,他对这个工具的使用 选择,让那个大模型跟其他的 a p i 结合,这个方面的能力是非常强的啊,所以我们今天来讲一下这个方面的一些功能啊,好,我们看看啊。啊,这个代码我已经已经用了 一下啊,这个也是通过他的这个,他的这个商铺的这个例子啊,啊,稍微改了一下啊,给大家看一下啊,他这个例子里面呢,他的工具的话呢,他会有四个啊,四个啊,有一个搜索啊,有一个数学方程式计算啊,数学公式计算的这样的一个工具的增强 啊,还有一个啊,查询论文的这个 api 啊,还有一个是拍审这个代码的这个自我的运行啊,他有这样四个工具啊,我主要是测一下这个啊,因为其他这个两个,这两个是要有 api 的这个支持的,就像你要有一,他是有收费的 api 的 key 啊,如果你没有的话,你可能就做不了啊,他这个事情啊, 拍摄他因为他这个环境要拍摄三点九版本啊,所以我这个也没跑起来啊,我这个是三点八的,所以我主要撤几个给大家看一下啊,他大概是怎么跑的?首先呢肯定还是要定义这个工具啊,这个定义这样一个工具,你要 告诉他这个工具是干嘛的啊?这个这个工具的名称是什么啊?他这个里面会讲啊,如果你要去,你要去回答一些,要去搜索到里面要去搜索一些 ai、 a, r x i v 的这样一个文档的话,你就可以利用这样一个工具啊,它的这个参数啊,它主要是输入一个字符串的这样一个参数啊。 啊?他的 a p i 主要是这样的啊,他会介绍一下,他的 a p i 主要是这表这个函数,他等于是这样。好,我们可以看一下是他的这个工具的模板啊,因为他用一个 reaction 的这样的一个提示的工程啊,他这个提示工程,他主要是经历这四个阶段,就是问题要去思考,要去行动,要去观察,再要去思考 啊,最后去回答这个问题啊,他要经过这几个步骤啊,他要经过这样几个步骤,要去判断这个模型目前是处于什么样的一个阶段, 然后要做一个什么样的动作,他在这个里面循环,循环完了之后,他最后去根据你这个问题去回答,他主要是做这个啊,这个主要是 beau 的这个提示工程的啊,这个里面会讲啊,你用些什么工具,对吧?你要回答一些什么问题?你要做一些什么事啊?他这个这个里面 提示工程,提示工程的话就把这个里面前面那些东西把它给录入进来,他主要做这样一件事情,他只要做一个 reaction 的这样一个提示模板,他的核心就是 构建这个提示模板这部分代码,他主要是装载啊通一千万的这样的一个七币的这样一个模型啊,因为我本地已经下载了,所以我要他要下载一下啊,啊,装载模型完了之后,这个地方的话呢,他主要是要去就要去调用啊,调用这样的一个帕拉格印的这样的一个 api 啊,然后他调用完了之后 要去分析分析这个 plug in 的那个参数到底是什么?掉哪个 plug in, 然后掉的参数是什么?它主要是做这样一件事情, 那么他会根据这个反馈这个模型反馈的这个 action 和 action input 和观察到的这个数据去调这个,调这个参数,调这个 plug in 的一些参数啊,这个地方就用这个 plug in 啊,就调用这个 a p i, 它主要是, 那么这个是主函数的话呢,它主要是把上面所有的这些东西给串起来啊,那么首先他会根据你这个问题和你选择的工具,他首先要去做一个计划啊,要做前面这个东西就做啊,问题思考、观察行动,对吧?观察最终答案,他要做这样一个 计划,计划完了之后,他会根据他的这个观察到的这个情况去做这样的一个反馈,他会把这个结论会拿到啊,他会根据这个反馈的这样的一个东西是最终去回答输出这个啊,那么我呢,就简单的,他这个问题,就是编号是这样的一个论文,他讲了些什么啊?如果你用大 模型的话,因为他是缺乏这个方面的知识的啊,他是不知道这篇论文的啊,所以的话呢,他会选择这样一个工具啊,备选的工具注视,把它注入进去啊,这个是他的反馈的情况啊,你可以看到啊,这个 answer for in question for best you, 这个就是提示工程,然后 他会把这个工具给输入进去啊,然后这个参数到底是什么,对吧?返回的是一个 jason 的格式,他会跟你讲的啊,然后 follow some, 这个是 format, 他是根据这个问题输入的这个问题,思考这个就是提示模板前面的提示模板,提示工程里面 啊,他这个问题是这个,他的反馈又来了,他思考这个模型,思考是我需要调这样的 a p i 来获取这个论文的信息,他就去调了啊,调的这个参数,他也准确的捕捉到了啊,他观察到的这个信息啊,那他的这个 publish 的时间对吧?他的这个标题 对吧?他的作者,他的 summary, 他的摘要是什么?他拿到这个信息了之后,他认为他可以去回答这样一个问题了,所以他最终的答案是啊,这篇论文是研究的是一个什么东西,对吧?他的摘要是什么?这个 还是蛮蛮好的,假设我的问题就是输入一个,你好啊,他会不会会用这个工具呢?那么这也是一样的,他这个提示工程,提示模板啊,他会看一下啊,他会告诉你 啊,这个回答概问题的帮助比较小,我将不使用这个工具直接回答,然后他的最终的回答是,你好,很高兴见到你他的事情啊,所以这个我们也可以反映出啊,他他的这个工艺千万的这样的一个模型啊,他可以通过这些工具的定义, 他可以通过工具去增强他的这个模型的这种能力啊。他,呃,如果他觉得他需要有必要用工具的时候呢,他就会去用啊,去把这个利用这个工具的这个能 把一些内容,能够能够获取到这个 contex 这个上下文里面,他根据大模型的这个上下文里面的内容去最终去回答你这个问题啊,他只是一种方式,另外一种的方式,他可能觉得,呃,回答这个问题不用这些工具也是可以的,那么他就不不会用这些工具就直接的去回答你这些问题啊 的话,这个通一千分的这个能力,我,我上次也是介绍过啊,他这个能力就会非常强,他这个模型是七 b 的一个模型,但他可以通过工具的这个使用的这个工具的赋能, 可以干更大模型的事啊。在这个 luncheon 里面,它其实也定义了啊,各种各样的工具啊,你可以把这个工具跟这个模型 集成在一起,然后去告诉他,当然你可以定制开发一些你自己的工具,用这些工具跟这个模型的结合,能够做出一个非常智能的这样的一个机器人出来啊,他不但可以回答你各种各样的问题,对吧?他也可以结合你的本地知识库啊,去做这样一些事情啊, 当然他也可以去做,就是是呃,利用你这个工具去拓宽他各种各样的能力,他等于说,呃,你这个工具他比如说是环境控制啊,你这个工具是调用一些 api, 你这个工具是那个查询数据库里面的一些结构化的一些数据啊,他其实都是可以作为一些增强的, 你这个模型跟其他的这个外部的工具能够做到一个非常好的支持啊,这样我们清楚之前恰的 g p t 它是有这方面的能力的啊,它是可以调用外部工具啊,它会可以去告诉你,你可以去调一些外部工具去增强恰的 g p t 的这个能力的。那么目前看这个独立部署的像 通一千问的这样一个模型,它也能去掉这个 a p i, 去掉外部工具去增强这方面能力啊,它也是非常强的啊,好吧,好。

能给我们简单的解释一下大语言模型的原理,嗯,大模型,大语言模型是我理解是基于呃深度学习的神经网络,然后呢?嗯,他主要是需要有很多的模型参数,然后会通过大量的 啊语料网上的一些资料去进行无监督的学习,然后去训练出一个语言模型,然后这个语言模型的话,根据下游不同的任务还可以去基于比如说企业啊,一些客户 或者是垂直行业的一些特有的铝料去做微调,然后去适配他具体的应用场景的一些能力。对,就这是大语言模型的一个基础的原理,之前了解到就是这一块,不都是他是运训练的模型吗?啊,对,那,那我们怎么给他换出距离运训练的模型?运训练的模型其实就说像 gpt 这种的话,是他已经训练好了, open ai 已经训练好了,嗯,我们给他灌数据的话,相当于是我们可能要做,要不然就做微调,嗯,要不然就是我们基于我们自己的语料,然后去做一个 去向量检索,然后再进行那个上下文提示,这样,这样可以达到一些就是特有的一个知识,可以去灌进去的一个效果。对,了解 叉的 gbt 的出现呢?其实是我可以理解为其实是 ai 发展的一个转折点。嗯,对。那么其实如果跟过去的 ai 相比的话,现在的大语言模型为什么会有这么大的进步呢?嗯, 因为因为以前这个有一点就是以前都叫 ai 嘛。嗯,现在特别强调大语言模型,嗯,其中就是在那个大上面,嗯,就是他的模型更大,参数更多,可能以前是举个例子,可能 以前是几千万或上亿,现在都是几十亿、上百亿的参数,那这个参数的话,有了这么大的模型参数之后,他模型的这个容纳知识的能力就会更强,然后基于这个能力的之后,再用大量的语料去训练之后,他就能够把很多知识的学习进去。 然后当然就说也也知道他对数据的要求是很多的,而且对计算的算力要求也很高,那这 ona 其实也是这么过来的。嗯,有句话叫大力出奇迹, 就是大模型加大数据,再加很多算力,然后最后就把这个模型就做出来了这么这么好的一个效果。所以说主要的原因还是因为他大模型大,数据大,然后算力大,就其实他的这个数据要足够的多吗?对对,是的,最开始的时候我理解,就当时我们知道下经历 出来的时候,其实我们可以说说他是智能客服结合的点,其实是最他的用场景才是最我们说最贴合的。嗯,那我们在应用的过程中会有人说我们在做这块结合的时候,嗯,他的要点或者晚点是什么, 嗯,就是说跟智能客服是吧?对对对,嗯,我觉得,呃要点的话就是说要找准,因为大语言模型他有很多能力,嗯,比如说有对话,嗯,聊天的能力, 也有翻译呀,也有做推理,做做一些,比如数学推理,还能做一些,比如说啊 文案,对吧?比如说一些文案的一些一些推导和补充。那这个时候,比如说智能客服肯定要结合自己的使用场景,嗯,比如说自己的客户案例和客户那个产品功能,对吧?嗯,以美洽为例的话,我 觉得美恰的,比如说我们典型的就有智能客服机器人这个东西是可以跟叉的 gbd 这种大于原模型的,这个 叫什么?多轮对话,这个能力是可以结合的比较好的。对,这个是,这个是说要要点就说找准自己的应用场景去用到他适当的能力。 难点的话就是说呃,多方面,就一方面就是说呃大圆模型刚我们讲的他是用训练的,用训练的话他是拿了很多通用的语料去训练的,也就说可能他 对于世界的通识来讲他是比较强。但是呢,对于具体比如说我们的一些,通常我们做智能客服肯定是要去为企业出逼,为企业提供能力,对吧?那每个企业他自己的知识是不太一样的,这样的话如果用原生的大圆模型的能力,其实用他自自由的知识其实不够的,我们需要去 把企业自身的一些特有的知识或者是垂直行业的知识给他结合起来,这个就是一个难点。我理解的难点在这 刚刚其实讲到的有一些场景呢,比如说刚刚听到的什么翻译这种场景,其实我们之前其实也有这种可以接入的这种第三方的应用啊,或者是比如说我记得阿里云啊,这种其实都是可以提供的。嗯,但比如说拆了 gdp 跟他有什么不一样的点?嗯, 如果从功能上来讲的话,其实都是翻译嘛?嗯,就是说,比如说把一种语言翻译成另外一种语言,是吧?嗯嗯,要说不一样的话,可能就是说 背后用到的语言模型不太一样,而且可能支持的语种也要看训练的数据,因为可能比如说一些三方的服务云场上,比如阿里云这种,他可能支支持的语言比较多,但那这个东西可能也要也要看他 他的抗造能力,嗯,因为特别是有些,呃,还有方言啊之类的,可能不一定他能翻译的很好,嗯,对吧?那那个是语音了,我说的是语音方面的,嗯。如果是文字的话其实都不存在,对吧?啊? 嗯,我觉得可能就是说一个是说他,嗯翻译的效果好吧,以及于总支持了多少,嗯,呃。还有就是说他的,呃。怎么说啊? 呃。单纯翻译来讲我觉得可能差不太多啊。差不太多本质上就是从一段文字翻译成另外一种语。对,那这一类型的大语言模型大家对行业来说会有什么变化吗?就是或者是带来什么更好的这种应用,这个行业是吧?其实这个,呃网上因为 gpd 很火吗?大家都在说, 我个人理解的话就是说可能有一点我是比较赞同,就是说大圆模型能够带来呃生产力的提升, 就是很多他可能不见得说马上会替换人,但是他能能能为人带来效率的巨大的提升。第二个点就是说他可能让这个传统软件也好或人机交互也好,这个界面会变得更利用 原来的人机交互界面更多是基于一些图形化的一些界面,那以后的话可能就是我们通过自然语言就可以去跟机器去交互了。比如说举个例子,就像以前那种控制电视的,什么 天猫啊,天猫精灵啊,电信的那种,对吧?你说你要看什么台?看什么台,那就可以跳,但这个现在大圆模型可能能够带来能力会更超凡的。这个。对对对, 理解的会更到位。对对对,是哎。那我们自己在线接入的是哪一个模型的?效果怎样?我们自己的话目前是接的 gbt 的。嗯,三点五的一个模型。嗯,然后 我们就是像刚刚讲的,就是我们智能客服的话,想就是说还是要跟实际的产品功能结合起来。嗯,我们目前主要是在机器人客服,机器人这个产品是用到 gpt 的能力,嗯,呃,就是用的 gpt。 三点五效果的话目前在初步测试阶段。嗯,呃, 就是跟我们以前这种算法的模型比起来,他的多轮的效果是更自然了。对,就是我们测试这个效果就是多轮效果更自然。而且就是说我们还把鞋头 的知识库能够结合进去,就是他能够回答企业特有的知识的一些问题。嗯,目前测试效果大家反馈都还不错。对,觉得这个模型有没有什么可以改善的点?因为好像我们自己也自己内测了,我们自己都试了。嗯,但是他现在是只能支持纯文字的。对,还不能支持一些图片呐,或者是一些丰富的什么 emoji 之类的, 但是我们正常的这种聊天过程中其实是希望更更丰富的。对对对,这块的话,就是目前确实我们只接了文本,我觉得就是怎么说呢?这个一方面因为我们现在用的 gpt, gpt 四其实是支持多么开的 所谓的多模态,就是说文本、图片、语音都支持这块,其实说目前是有这个能力,我们去接入 更多的话,应该还要去再尝试一下。嗯,对对对,那我们在接入的这个过程中,其实我记得好像刚刚上线我们就该看了,就这个时间也没有菜,因为他三点五开放到现在,其实时间也不是特别的。呃,长嘛。那这个在接入的过程当中有没有遇到什么困难的?想去解决这些问题的 困难的话,其实目前就会存在,因为 g b t 这块目前有一些国内和国外之间访问的 一些速度。对,还有就是说本来 g b t 因为很多人都在用,毕竟是三方厂商的一个 a p i。 嗯,这块的话会对一些 使用的访问频率啊,包括有时候如果用的多了可能会有些限制。这块的话就是目前是,就是说智能客服厂商要去接入这一类的 大圆模型,这种厂商提供 api, 我觉得都会遇到一些通用的问题。对,然后嗯,老师说哈,就国内的各大模型跟就是 gpd 相比的话有哪些差距呢?因为我们平时也用国内,对,国内,其实,呃陆续也发布了很多。嗯,对吧,百度的文, 还有阿里的什么通译,对对对,还有一些别的都都有。嗯,对,我觉得就是说目前看来其实网上也有很多测评。嗯,总的来说可能就是说 目前国内厂商去做这个大模型的时间积累,包括去训练的语料还不够,还不太够。目前跟 gpt 相比的话,呃,全方位来讲就是因为 gpt 的能力有很多。嗯,刚刚讲的有翻译,有做一些推理,对吧?还有做一些问答这一块,嗯,包括还有其他各方面的。嗯 啊,总做总结啊,做归纳啊,对吧?嗯,就是说国内大模型跟 cbd 比,也不是说全方位的都不好。嗯,在某些场景下可能会好一些。嗯,但总体来说总体得分可能会差一些。嗯,差距的话就像我刚刚讲的,一方面可能就是说 啊,起步还没有 oppo、 ni 来的早一些。嗯,然后训练的语料和时间,包括做的一些就是运训练中间的一些调优,可能还会有一些技巧,我觉得这块可能还是需要一些时间,可能技技术也有些壁垒。 另一方面的话就是还需要时间去做更多的训练,还是要沉淀吧。对,包括国内好多,我理解就是像百度纹身一言都是,主要是以中英文为主,其他语种他会比较差。像 tpt 就是很多语种都很好的效果。对,那文心的话,会不会对中文的这种 语料的这种识别会更准确一点?呃,看起来还好,他自己也是号称的中文是最强的,英文也不错,其他的语种可能就 弱一些。嗯,对对对,了解。那最后一个问题哈,就是未来的话,我们对大约模型与智能客服这一块场景的结合有没有一些规划或者是更多的期待呢? 呃,未来的话,其实刚才我们也聊到,就是我觉得一方面就是说我们现有的基于文字这种聊天机器人的,我们还有更多的调约的场景。第二个就是说我们基于文本,这个还是比较单一,未来可能图片啊, 语音啊、视频啊,有可能包括用户问的问题和输入的问题,我们可以更丰富、多模态,对吧?包括我们展现出来的回答的答案的内容也可以更丰富。但这块的话有依赖于首先大模型能力的一个更新迭代,另一方面我们也要结合大模型的能力去。 呃,看我们场景,我们的产品的场景和我们自己客户的一些诉求,嗯,可能据两方面去结合起来。嗯,期待的话,我觉得就是 目前 gpt 已经给了大家足够的惊喜了。嗯,未来一定,现在这个一定还是处于初级阶段,未来可能相信能够有 更多更好就是更强大的模型能够去赋能我们的智能客服,能够我们又能够反过来去赋能我们的客户。嗯,对啊,谢谢罗老师。

g p t。 四 a p i。 全面开放使用。哈喽,大家好,我是架构师奶爸。七月七日, open a i。 在官网宣布, g p t。 四 a p i。 全面开放使用,现所有付费 a p i。 用户都可直接访问八 k 上下文的 g p t。 四, 无需任何等待。 open ai 表示, g p t。 四是我们能力最强的型号。自三月份以来,数百万开发人员请求访问 g p t 四。 a p i。 利用 g p t。 四的创新,产品的范围每天都在增长。如今全球开发者都能使用 g p t。 四 大语言模型增强自己的应用程序,或开发全新的生成式 ai 应用。计划在本月底前向新的开发人员开放,然后根据计算可用性开始提高费率限制,现在已经正式全 全面开发。全球开发者都能使用 g p t。 四大语言模型增强自己的应用程序,或开发全新的生成式 ai 应用。 open ai 表示,他们在三月份推出了聊天补全 api, 它现在占我们 a p i g p t。 使用量的百分之九十七。最初的 completions a p i。 于二零二零年六月推出,为与语言模型交互提供了自由文本提示。从那以后了解到使用更结构化的提示界面通常可以提供更好的结果。事实证明, 基于聊天的范式非常强大,可以处理绝大多数以前的用力和新的绘画需求,同时提供更高的灵活性和特异性。特别是聊天完成 api 的结构化界面,例如系统消息函数调用和多回合对话功能,使开发人员能够 构建对话体验和广泛的完成任务。它还有助于降低及时注入攻击的风险,因为用户提供的内容可以在结构上与指令分离。 opnai 称,基于这些模型的稳定性和生产规模使用的准备程度, 还将推出了 g p t 三点五 turbo 到 e 和 whisper a p i。 他们正在为 g p t 四和 g p t 三点五 turbo 安全的启用微调,预计该功能将于今年晚些时候推出。 以上就是要分享的内容,想学习更多 java 编程知识,请关注我,架构师奶爸,共同筑基 java 架构师。

一条命令,十八个模型同时为你工作,这个工具啊,汇集了市面上几乎所有的大语言模型啊,三点五,四点零, plut 掐的 gml, 讯飞,星火必应等等, 只要你拥有相应的账户或者 apr 都可以用。甚至呢,有些模型你根本不需要拥有账户或者 apr 也能使用,而且你还可以在同一屏幕查看所有模型的输出,这样更方便的你去了解各个模型的优缺点。 你也可以呢,启用或者禁用某一个模型,还可以在一列两列三列试图之间自由切换。更重要的是,它完全免费的,也不需要你掌握任何的编程知识。作者呢,已经将其打包好了,无论你是 windows 用户呢,还是麦克用户,都能轻松安装和使用教程和资料。老规矩,我已经传到新球了,赶紧去试试吧兄弟们!

今天跟大家介绍一下的是,呃,如何用这个大模型结合本地知识库呃,做这样的一个应用啊?在这个项目里面,如果拿到代码之后的话,你可以看到我这个里面有两个文件夹在 context 下面,一个呢是中文的,还有一个呢是英文的,英文的啊, 我我先,呃,因为用的比较多的还是中文,所以我给大家介绍一下中文怎么用啊?核心的话呢,它其实是三个,这个三个文件一个是 man 点 ph, 还有一个是呃, in guest 点 ph 啊,我们先来讲还有一个是 carry 杠 data ph, 这个三个 点 py 的这样的一个拍摄的这样的一个文件啊,这个三个文件呢,分别的作用,这个的话呢,主要是把现在的这些文件把它切片放到啊下降数据库放在这儿的,它,是啊,这是这个文件的作用,是做这件事情面呢,它是一个主函数, 它主要是提供了两个接口,一个接口它会返回一个 index 的这样的一个 h t m l 的一个页面,那么这个页面的话可以操作这个页面对这个机器人进行问答。第二个呢,它提供了一个接口,就是一个 web socket 的恰特的一个接口,那么这个接口的话呢,它的主要的功能就是把你的问题 扔到那个质量数据库里面来,然后再通过大模型,然后进行问答,他把一些内容返回出来啊,这个地方就是 result, 就是他返回的东西啊,这个就是他的问题啊,他把这个返回的问题可以放在这个 history 里面啊,他主要是做这样的一个事情啊。好,我们给大家一起来, 先给大家一起来演示一下啊,这个 carry, 我 carry data。 回头我再来重点来讲一讲啊,我们先给大家来演示一下,先给大家演示的是怎么查询打这个命令,当然前提是你要安装一些东西,安装这个东西的话,在 这个是内裤,你要打这个命令啊,你要打快门回撤,这个因为我已经装过了,那他就很快就已经过了,这个是安装完环境,安装完,安装完之后就可以了,打这个命令回撤, 这个时候呢,他你可以看到他已经在起这个 server 了,他起了一个九零零零的端口,那么九零零零的端口在哪里呢?他其实也是可以改的,他在这 port 九零零零。那么一般的话呢,我们 web 的呢?端口的话呢?是八零端口啊,那么当然你这个地方可以改,这个是你的 host 的 ip 地址,你也可以改,我用的是本机, 我们可以看一下 local host。 九零啊,他已经出来了,对吧?那么出来了一个界面,我们可以让他问他一下。 sorry, 翻车了啊,对不起,这个是个 bug, 回头我再来讲一讲,这个是个 bug, 这个是他的框架的一个 bug, 我们发现了,好,好了,他在 计算了,你看啊,他已经告诉你了,哒哒哒。根据什么什么什么条款执纳金的问题应该是怎么样子的?这个问题的话呢,他就是结合了这个里面的一些问题他去解答的,比如说我们再来看一个这个, 再问一个,那他又在算,算完之后他就讲了,好,我们再看一个啊,看第三个,我不知道他答的对不对,感觉还是对,好,我们先就这样。好吧,我们先演示这个,我们来看看他是怎么来实现的,我们跟大家一起来讲一下。好,这个我们就演示到这,先把它关掉, ctrl c 把它断开, 断开之后我们可以看到我们先看这个文件,这个文件是比较重,我先把这个文件先删除掉它,它的这个这个文件的作用是什么呢?它主要的作用就是把我前面讲的这些项链,就是这些文件,它会转成那个使量数据库啊,在这上面 他要转成使量数据库呢,我们就要用到那个就是 oppo ai 类似的这种大模型啊,这个是大模型的那个环境变量啊,他的地址啊,这个地方要有一个杠。 b 一是比较重要的啊,因为我们是引用的是本地部署的这个大模型, a p i k 的话你可以随便设,我这边设了一个 empty 是空的。好,我们看这些文档第一的话呢,它就是从这个目录下面, 这个目录下面,当前目录下 context 下面的这个目录新建一个 loud 的对象,这个 loud 对象他就可以把这些裸的这个文件把它读出来,读出来之后他再经过这个文件的这个拆分,这个拆分他是每一千个字符拆分一次,他等于是这样,你可以看到这个地方他是他这个已经七百 六十,所以他这个会拆成一个。我这个里面你看的话,我大家要注意的,我这边有两个换行,他这个会拆一个,这个会拆 一个,他是这样的啊,如果核心你可以看一下他的这个 a p i, 他这个 a p i 里面会去定义的。在这你看到他有一个叫分割符,他有两个空格啊,两个回车或者一个回车的时候呢,或者有空格的时候呢,他就会自动帮他拆分了,所以这个是最优先的。 如果他达到一千个字符,他会去看是不是有这个两个东西,有,那就开始拆,如果有这个他也拆,如果有空格也拆,当然你这个地方是可以自己定义的, 这个可以自己定义的,当然你可以在中文里面,你可以把那个句号或者逗号也定义进去,也是可以的啊,这个地方 好,我们看看啊,这个是比较重要,那么这个参数是指什么呢?你指了前面,如果我有一千个,如果你这个快,如果你是,我们看一下这个啊,如果你有一千个,快一千个字符啊,比如说这个假设他超过了一千个字符,那你怎么办呢?他会猜成 两部分,所以他要拆成两部分的时候,他有一个参数,这个参数就是是不是把前面那个块的一部分的内容,把它引用到后面块里面去。比如说如果你这边是一百的话,就把前面那一块 最后的一百个字符跟后面的一千个字符混合在一起,他等于是这样,一般的情况的话呢,就不要做重叠啊。 我一我一般是这样设的好,设完之后呢,我们就把裸的这个 document 放在这个 tax sprite 这个里面,把这个 document 给拆分出来,这个时候呢他会按一千个把它给拆出来,拆的他会更多。 开出来之后呢,我这边通过了一个 inbeding 的这样一个操作,我这个操作呢是用个本地的一个 m 三一杠贝斯的一个模型,当然你也可以用我上面的这个就是 lm 的一个大模型,这个的话呢比较适合于中文,比较适合于中文,这个模型中英文其实它是可以的。呃,如果是全英文的话呢,就不要用这个, 要用我上面这个注视掉的。好。然后进去了之后呢,我就用到了一个 vs 的数据史料数据库啊,这个地方,把这个 in bedding 和这个 document 的拆分之后,存放在这个 victor store 里面,这个就是矢量数据库,然后把它保存下来,然后 close 掉,所有的代码就很少,只有这么一点,我们看一下啊,跑了,你在运行查询之前,你必须要先跑这个东西回车,它自动会帮你把这个文件读起来。好了,你看到这个地方产生了这个 victor store, 点 p k l 的这个文件的时候,说明它已经 完成了这部分。好,我们这个代码就讲完了,我们再来讲这个主函数里面,我前面已经讲过了,它的核心就是这个 carry chain, carry chain 呢,它是放在这个 carry data 这个文件里面呢,就是这个主函数啊,我们来看看这个主函数主要是做些什么事。它的核心的话呢,它是主要是做了两件事情啊。第, 第一个他创建了一个 l l m 的大模型啊,他创建了两个大模型,一个呢是 question 的大模型,一个他主要是这个做回答的这个大模型。这个模型呢? question 的这个大模型呢,他主要是做 inbiting 的这个操作,他把这个 question 作为了一次 inbiting 的操作。第二次呢, in bed 完了之后呢?他把这个 in bed 的这些结果放在这个 context 的这个环境里面,我们看看啊,他是放在哪里?他在这你可以看到 context, 他这个里面有一个 template, 有一个提示模板,提示模板里面他会把这个 context 就是我们前面矢量数据库里面查出来的文档,他会放在这个变量找, 然后他把这个快速群会放在这个上面。哦,他会告诉你你回答他的这个答案是什么,他是通过这个来做的啊,他把这个 context 和快速群把它内读变量放到这个模板里面来就可以了,这个就叫提示工程啊。 好,那么我们这个 tnt type 的类型叫 staff, staff 的之前我也是介绍过的,有四四种类型,目前郎欠他虽然说支持四种类型,但只有这一种类型目前是可以正常工作的,另外三种类型是不能正常工作的,我们可以看一下 另外还有哪三种,一个叫 map reduce, 一个叫 refine, 还有一个叫 map 叫 re rank 的四种方式。这种方式是最简单的,就把查出来的所有的文档全一股脑塞在 context, 就是前面的那个环境变量里面。 map reduce 的话呢,它就是先要做先把所有的文档放在一起,再进行一个 压缩的操作啊,压缩的操作的话就是深层摘药啊,他主要是做这样一个事情,那就怕这个文档太大,呃, define, 他把一个一个文档都让他去迭代的去回答这个问题,嗯,这个是比较有价值的,这个他会把所有的文档一个一个的加 到 contex 里面,不去回答问题,我找一个他认为回答最准的一个问题啊,这个价值其实是比较大的,但他目前是报错的,是不支持的啊。好,我们就不要动弹,就用这一个。我这个地方的这个参数要跟大家讲一下,这个它是用于了一个 conversation 的,一个 一个,呃,基于这个文档获获取的这样的一个对话的一个欠啊。参数啊, k 等于三, k 等于三是指什么呢?就从这个时量数据库去拿取文档,拿回来三个 啊,这个因为要根据你的这个文档的这个数量要去看的,如果你是非常多的话,当然你拿回来要多一点。我之前介绍过一个 论文的,这个论文里面讲五到十个是最合适的,因为我这里面的话只有六个文档,所以的话拿三个的话已经拿了百分之五十了,已经非常多了,按照道理的话他应该更少一点,因为他有可能。呃,如果你拿过来的这个文档相关性不是太大的, 可能会影响到他的啊,好啊,这个就是这个文档最核心的代码,最核心代码还有一个代码,在这要跟大家讲一下这 temperature, temperature 你是否要用到这个大模型的这样的一个创新,如果你不要用到他创新的话,你可以用零, 也是可以的。用力,我们来看一看啊,如果是这样的情况,我们再来启动一下,给大家演示一下。好,又启动起来了,根据什么四十三号晚应该对的,我好像看到过。对的,好, 这个再来解答一下。对的,他这个打的都是比较准确的,所以这个两个参数是比较重要的,这两个参数是比较重要,如果你调一调的话,他的性能会好很多 啊,所以这个调餐是比较重要啊,这个 k 和这个 temperature 好,呃,今天的话呢,这个原代码的关于 l l m 的大模型,对吧?结合这个本地的这个知识库啊,就跟大家。呃,讲到这,好,谢谢各位。

大家好,今天要讲的内容是 windows 本地部署拉玛二大模型。 在本节课中,我们将在 windows 环境不使用 gpu, 只使用 cpu 的情况下,基于拉玛点 cpp 这个库部署并运行拉玛二大模型 完成部署后会直接使用 python 接口进行文本生成。 二零二三年七月十九日, meta 发布了免费并且可商用的大语言模型拉玛二,这一举措足以让大模型领域的格 格局发生巨大的变化。 number 二系列模型有七十亿、一百三十亿和七百亿三种不同规模参数的模型, 经过评估,拉玛尔的实际效果已经超过 gpt 三,甚至已经接近 gpt 三点五。 关于拉玛尔本身,有非常多值得讨论的地方,尤其是对国内 ai 领域的深远影响,将来我会再专门出视频来讨论。 下面我们进入正题,就用手头的个人电脑来体验一下。辣妈二, 我们都知道大圆模型动辄就是上百亿的参数,本身就不是在单机环境下使用的, 即使是拉玛系列最小的七十亿参数,也需要英伟达 r t x 四零九零或 a 十来运行。 但是有位超级大神,他基于 meta 发布的拉玛模型开发出了一个运行拉玛模型的模块拉玛点 cpp。 该项目纯手工基于 c 加加打造,没有任何第三方便于依赖,使我们可以基于 c p u 条件进行大模型推理。 另外, 拉马点 c p p 不仅支持拉马二模型,还支持 alpaca、 chinese、 拉马 visor 的 l m 等等其他模型,并且还提供了 python、 go、 node、 j s 等其它语言的接口。 接下来我们来一步步搭建拉玛 cpp 的拍摄环境,实现大语言模型的单机运行。 在搭建环境前,需要提前安装 video studio 用于编译拉玛点 cpp, 我们可以直接在 vs 的官网下载 vs 二零二二 社区版进行安装。 完成 vs 的安装后,使用安娜康大创建一个新的 python 环境,其中 python 版本选择三点十, 接着打开环境,使用 pad install 拉玛 c p p python 命令安装 python 接口的拉玛 c p p。 我们可以在哈根 face 上下载量化后的拉玛二模型,具体登录哈根 face, 找到 the block 这个项目,然后再在其中找到拉玛二 七 b chat g g m l 模性这里要说明的是拉玛尔七 b 是原始的七 b 版本, chat 代表聊天微调版本,而 g g m l 代表亮化模型。 所谓模型量化,可以简单的理解为一种模型压缩的技术。 在下载列表中,我们选择下载其中的 q 四零这个版本,列表中还有很多其他版本, 简单来说, q 四零表示每四个比特一个权重, q 五零就表示每五个比特一个权重,其中的数越大,那么就代表精度越高,我们选择一个差不多的来 使用就可以了。 完成环境的搭建和模型的下载后,就可以编写 python 代码了,程序会依赖拉玛 cpu python 这个模块儿,它的接口使用方法可以在项目的文档中找到, 打开项目文档可以找到接口中的各个参数都怎么使用, 这里就不过多介绍,具体的使用效果还需要大家自行调试。下面我们就来写一个简单的样例程序。 首先导入 lama c p p 在内函数中首先创建拉玛模型,模型使用我们刚刚下好的 q 四零模型,然后对模型输入, hello, who are you? how old are you? 看一看模型的反应如何。 这里我们实现一个功能函数, generate text 函数传入模型 model 和输入信息 message 函数返回模型的输出结果。 在函数中,首先需要将 message 转换为 prompt, 然后将 prompt 输入至模型,得到输出 output。 输出结果的格式可以参考文档。我们将其中的 trialses 中的 text 字符串取出, 保存到 answer 中,并将 answer 返回 运行程序,可以得到三个测试结果。发送 hello, m 二会回复一个友善的回复。发送 who are you? m 二会自我介绍发送 how old are you? m 二也会给出合适的结果。 那么到这里, windows 本地部署拉玛尔大模型就讲完了,感谢大家的观看,我们下节课再会。

呃,今天早晨啊,我们试一下我在本地装的这个 chat g l m, 是清华大学开语院的一个本地大模型。首先呢,呃,录入 啊,让他给我生成一个员工智能开发系统啊的项目计划书啊,这个使用 macdon 格式生成这个计划书。整个这个生成过程呢,因为我这个是在本地的一台笔记本上,部署的比较慢,大概有二十多分钟。 这个生成过程还是时间比较长,我相信在这个有毒性工作站以后呢,这个速度会非常快。但是呢,这个整个生成的最终的结果啊,还是非常的。呃, 好啊,这个要求他生成一个不少于三千字的项目计划书啊,这个经过二十多分钟,他就基本上就生成了。你看这个项目背景,项目目标、项目范围、项目计划、 环境风险质量管理、项目组成员、项目预算、项目风险评估啊,非常的像模像样。而且呢,没有一个错别字。

这篇论文介绍了一个名为 models copagen 的开源语言模型 l l m 代理框架。该框架旨在帮助构建基于开源 i lams 的人工智能代理应用程序和研究。 该框架提供了一个通用且可自定义的代理系统,涵盖了灵活的系统设计、数据收集、模型训练评估和实际应用视力等方面。 通过 models copagent, 研究人员和开发者可以基于开源 alliance 构建自己的代理系统,并利用该框架提供的功能进行数据收集、模型训练和评估。 论文还展示了 model scopigent 的使用势力,包括一个基于 model scopigent 的智能助手和一个用于阿里巴巴云的应用场景。该框架还提供了一个 a gentle reno, 允许用户进行人工评估和比较代理的性能。 通过这篇论文,我们可以了解到 model scopeigen 的设计原理、功能特点和应用视力,为使用开源 alliance 构建人工智能代理系统的研究和开发提供了有价值的参考。

用大语言模型做应用才是正确的方向。今天给你们分享一个可以像搭积木一样构建 ai 应用的工具。 promot fro 是微软最新开源的一套开发工具,它大大简化了基于大语言模型端倒端开发 ai 应用程序的周期, 实现了从构思、圆形设计、测试评估到生产部署和监控一条龙服务。具体来说,你可以用 promote pro 把不同的工具和代码组合在一起,形成一个可以运行的工作流。接着利用 vsq 的将工作流可视化,方便你进行调试和修复问题。 特别是与大语言模型的交互部分,如果你对 python 比较熟悉,可以按照这个入门教程实践一下。另外,官方还提供了实用的案例,教你从零到一搭建和 pdf 聊天的 ai 应用。整体体验下来啊,我认为这个工具比我之前给你们分享的 province 好用不少, 我们最近也开始利用此类工具基于大于模型来开发 aibox。 如果刚好你也对 promtang new 感兴趣,欢迎一起学习交流。

第一步,根据个人企业搭建内部知识库,选择企业内部文件的知识库或者是个人需要的学习文件进行打包整合, 进行向量,完成后运行大语言 ai 模型, 这是大语言 ai 模型的默认回答, 调用知识库的回答,并且可以轻松找到文件, 是个人和企业支持文件管理的不二之选。

今天主要是讲第一部分,主要是这个大型语言模型的一些细节,他另外还有两部分呢,主要是讲这个模型的一些基本的一些训练和第三部分,我觉得也是比较有价值的一些微调啊。下次我们再来讲后面两部分。今天我们主要是讲这部分大型语言模型的一些细节啊。 大型模语言模型目前都是基于这个 transformer, google 开源的这样的一个 transformer 的这样一个模型来做的。那么这个模型的话呢,它是是会它的最基础的一个算法,主要是基于这个点层的探寻来做的。呃,它里面有 q、 k、 v 的这样 一些呃,叫项链吧,项链然后经过乘啊,经过 scale, 经过 mask, 经过 soft max, 然后再经过乘,它能够把这个输入 q、 k 得到和 v 这个三个得到一个最终的一个,预测出最终的一个值啊。这个是注意模型最基础的一个操 操作啊,那么他把这个基础操作这个叫单头啊,如果他把这个多个头啊,这个 v、 k q 的这个多个头指数是八个头,那么他组合起来的话,那就会变成多头的弹性的这样一个操作啊。那么多头弹性操作,就是这个方框里面的这样的一个单元,那么他再把这个多头,他有好多层,有 n 个层 啊,这个是一个编码啊,这个是个 decode, 而是一个解码啊,他把这个两个再结合起来啊,那么就会变成 这个 transformer 的这样的一个模型啊。这个是一个 transformer 最基础的一个模型的一种方式啊。那么这个网络的基础结构,它是通过之前最早的呃 built 这个模型开始的啊,慢慢他有几个分支啊, incode the decoder 的这个模式啊, decode only 的这个模式啊,它有好多的这种方式啊,慢慢的这个模型就会成长起来。那目前最主流我们看到 这 alamma 的这个模型,这个都是在这儿,包括目前的这个碧源的,呃 gpd 的、 chat gbt 的系列的这些模型都是属于这个的啊。飞音飞音模型的话,其实也是是基于 alama 的这种架构上面去做的, 不论不论是基于,我记得不错,是基也也是基于这个啊。 chat g l m 杠六 b 的这个模型是基于这个架构上去发展的啊。百川的这个模型也是基于 g b d 系列的这个 dico 的 oled 的这个模型上面去发展去出来的。那么随着这个模型的话呢, 有非常多啊,有我之前也是介绍过有几有几百种甚至上千种的这种大模型的这种结构啊,有各种各样的系列啊,大大家呢就把它分类啊,分类出这个好几种的这种模式啊。那么一种网络结构,他们也是做了一些研究啊,发现像 incode decode 这种模型的话呢,它比较适合做一些,呃,就是 是双向注意力的这种模型的话,他他他不太适合做长文本啊,但他做一些比较精确的一些 nlp 的一些分类任务,他会比较强啊。英国的抵扣的, cash 的这种模型,他他主要呃是 g p g 的,目前大部分的系列啊,都是属于这种 模型啊,这种模型目前也是主流的啊,他产生的这个长文本的这种内容会比较好,而且他训练会比较高效啊。这种模型的话, fixty 扣的这个模型的话,他至于这个两个模型之间啊,啊,他是属于这样的一种基础架构啊,训练目标啊, trustworm 的训练目标的话,它都是一样的,它主要是去根据你已有的这些信息去预测你下一个这个词啊,它主要是做这样啊,从训练效率来讲,我前面也是讲过的。呃, casual decoder 这样的一个方式是最好是效率是最高的,它比 profix decode 效率要高一些,然后它比 比这个硬扣的抵扣的效率要更高啊,它是属于这种,我们在训练之前,我们要进行这个编码啊,就是叫 inbedding 的这样一个操作。所以的话呢,它会有一个叫分词啊, togenize 啊,分词它也有三种算法, 就 e、 p、 e 对吧?啊, word peace 还有三十二 peace, 它有三种这种算法。目前主流的话呢,这个像 g p t 的这个模型啊,拉玛的这种模型大部分是用这种啊,各有各的优势啊。这个之前我们也是在百川的那个论文里面是介绍过啊,它它 took nas 的话,它主要是把那些又建立一个词表,把一些 字母或者词把它变成数字化啊,他需要有一个词表,但是词表太大会影响效率,虽然准确度会比较高,但是词表太小,他有可能会效率会比较高,但是他的精确度是不够的啊。所以的话呢,这个也是要平衡的啊。目前主流的做法大概是在十二万的左右的这样的一个词 啊,效率会比较高啊,像不论值的话,他有二十五万啊,他这种的话呢,效率会比较低啊,而且比较难训练出来啊。目前的话呢,一般是用这种六万多到十几万的,这种效率会比较高一些啊。 他这个里面也讲了,如果你词库太大,你的颗粒度会比较细,会比较碎,这也不行啊,当你颗粒度比较小,那那你可以提高这个中文编码的效率,但是有可能就是这个都是要平衡的 啊。这个位置编码啊,这个也是我们经常是讲的,就是在创世佛门里面,他把这个词的这个所在的位置啊,通过这个位置编码这个方式,把它编在这个创世佛门的这样一个深度学习的这样一个模型当中。所以他也有一些编码方式的啊,我们之前也是介绍过啊,这种方式会用的目前越来越少了啊。 目前 r o、 p e 的这种方式会比较用的比较多。呃,它呃它的精准度会比较高呃,但是它有一个问题,就是 他的算法效率会比较差一些啊,所以的话,在小模型里面用的会比较多。超过七 b 的模型,一般用这个模型会比较多,叫 a、 l i、 b i 这种模型啊, 未知编码的一个算法啊,他在大模型里面用的会比较多啊,因为他可以做一个线性的一种呃偏执啊,所以他就可以加速他的这个效率。归一层的归一啊,归一层,就是啊,他也有这种三种方式,因为经过这个腾讯之后啊, 多投注意力之后,他有一个归一层啊。归一层的话呢,主要还是为了让训练更加稳定啊,他们会选择这个叫类似的,这个叫 post, 他们这个,他们把这个这种方式叫 post l l n 就是这种方式,他加了两个这个呢,就是钳制,钳制,钳制成就把这个东西放在这个钳制。还有一个呢,就是就是像三明治一样,就是夹在这个当中。哎,他有这 三种方式,各有优势啊,各有各有优缺点。那我们可以看到那个 gps, 它就用这个 prolia 的这个,呃拉玛的话呢,也是用了这个,它也是用 prolia, 但是它的那个算法是用的那个 r m s 的这个军方根的算法 做规律化的 chat g l m 的话呢,它用它会比较它是用这个 post, 就是在后置的这种算法啊,后置算法。后置算法里面也有两种,一个叫 deep, 还有一个叫军方根。它这个里面也讲了一下 rooms 的这个,它的这个网络结构,它在 in bedding 的这个层后面又加了一层,这个层的规划啊, 他是有助于这个训练稳定性,但是他可能会带来的就是很大的性能的损失,所以他的性能不是很好。激活函数啊,我们也清楚,在神经网络里面,激活函数还是是非常非常重要的,目前主要用的是这两种激活函数。他这个里面也讲了一下,这种用的会更多一点。好在网络结构里, 你还有一个比较重要的,就是 k v 的这个昂的一个多头注意力的是否是共享啊,如果是共享的话呢,那么他这个叫就是多头的查询,他本质上就是是这样啊,他有三种方式啊,这个是最基本的, 最原来的这个方式,这个查询的这个项量,对应的每个 k, 每个 view 的这个项量都是不一样,所以他叫多投注意力的这种方式啊。但是为了这种方式的话,他虽然性能很好,但是他的效率很低。所以的话呢,别人在找效率更高的方式,把这个 k, t 和 view 能够 对所有的这些进行共享,所以的话呢,他的效率会比较高。但是如果你效率很高,但你有可能会降低这个准确性。所以他们会又做了另外一种的中折中的方式叫 group carry。 那就是把一些分组啊,就是把某些东西可以合并起来,他是等止这样,而不是合并成一个啊,减少一部分机构, 提高一部分的效率啊。那这样他的既兼顾到性能,又兼顾到效率啊。他是这样的。这个主要是,所以他这个里面也列了一下下拉玛他们的这个 head 的这个头 head 这个维度啊,这个 ff 的那个,中间的这个维度,这个就是生成网络真度网络啊,他的 这个维度啊,因为这个当中有略有差异的话,他会导致他的这个性能有些不太一样啊。千变万化,这个就是网络结构的一些差异,这个是并行的 transformer 的 block 啊,原来一般都是这样的啊。不过后面的话,他为了训练高速的话,他把这个两个层并联起来了 这个两个字,同时的话,他用一个线性的一个东西去代替这个。呃,他们这里面也讲了一些啊,什么飞鹰啊,包括 pal l m 啊,他们都是 通过这种方式去加速他的这个训练的。因为他会对模型带来轻微的一些损失啊。但是,嗯,损失量不是太大啊。他还是在调他的这个网络结构。

今天在回答一个之前视频里面被挑战最大的问题,大语言模型到底能不能装在手机和电脑上?应该可以的,你拥抱的呀?我给出一个信息员,感兴趣的可以自己去核实一下,是 facebook 的妈妈大语言模型 以及斯坦福根据 lama 用那个微调训练出来的 ipaca, 你们可以去自己去核实。第二个的话呢,是给大家看一下我们已经部署在个人电脑上的这个 lama, 也就是传说中的大约模型,它到底是一个什么样的?就是我们通过苹果的那个 me 的机器运行下来,那个 cp 嘛,就是最小的一个模型,然后我们问他问题呗,就是怎么去建造一个网站,对不对?我们开始运行吧,这时候我们去看看,他 开始加入模型,然后开始运行了,然后这就是他开始回答问题嘛,就是在我们这个机器上面运行,但他可能只能回答英文,他回答的能力蛮强的,这个是会比较慢的,你看八十八号就相当于一秒钟只能出十几个。 你稍微再给大家解释一下,他他在就是通过深度神经网络,通过大家们的训练找到里面的规律。我们看一个模型的时候都会有一个参数量斑马的,他出来有四个版本,一个是 tb, 然后另外就是三 b 和三十 b, 还有六十五 b。 刚才你说的那个我们运行的,我们大部分人都是说跑最小的 七 b, 七 b 一个参数它可以表示成比如三十二位浮脸型,还有就是比如说十六位的有一个功能把它又换的到整形的,然后把那个参数压缩吗?其实还是有有论知识的,他从三十二的位浮脸型往下面压,压缩成整形的时候,其实手势的精度并不是特别大,达到了百分之八十的精度,所以说还是够用的。这个时候我相信有人会评论你,听君 一起换,如今一起换,哈哈哈。第二点的话是就是手机上的门运行,我们自己没试,但是确实已经有人试出来了,其实跟我们电脑是一样的,这个是安卓的,他只是有六六 g 或者是更更大的内存吧,实际上你就是这个速度而已啊,只是说按比芯片可能会比这个上面的速度快一点吧,现在的 cpu 和内存情况就能推送出来,肯定可以考到最小的东西,七 b 的肯定可以的。 这件事对于个人来说其实意义没有那么大,但是对于企业来说意义非常大,我知道已经有企业开始用妈妈去做训练了,而且因为露出来之后把这个肺子部位也就是等于都要放开了吗?其实是故意的,其实是故意,而且他是让更多人来训练这个东西,他他作为一个开开远的项目,他一定会跑的,就像当年的林立克斯或者像那个 stepty fusion 一样。对,一定会爬上来的。

大型语言模型犹如叉一个不是。汉克斯已经彻底改变了自然语言处理研究,然而,他们是在昂贵训练汉部署对于透明和开放的学术研究提出了挑战。为了解决这些问题,该项目开源了中文拉 maa 和而派卡大语言模型,并强调指令微调。通过增加二十 k 个中文 token, 扩展了原始拉 ma 的中文词汇表, 增加了编码效率并提高了基本语义理解。通过将中文数据进行辅助与训练,并使用中文指令数据进行微调,可大大改善模型对指令的理解和执行能力。

这一节我们来讲一下文达部署,那在这里的话,为了方便大家快速的去使用啊,这里的话我以懒人包的一个形式来教大家,当然大家也可以自己去下载 gehab 的代码,以及安装拍摄环境和依赖, 把整个项目运行起来,对于有经验的同学可以这样操作。那这一节课呢,我们就以懒人包的一个形式来教大家进行一个部署。 那首先的话我们呃有两个地址啊,一个是百度云的,还有一个是夸客的,如果有百度云的 vip 的话,就建议用百度云对吧?啊,不然的话可以使用夸客。好,然后这个是他对应的懒人包下来地址啊,我们比如说以百度云为例,我们打开来。 好,那在咱们这里的话,我们进入之后呢,我们会看到这么几个文 键,那首先的话就是一个开发手册啊,这个开发手册的话,大家可以啊去看一看啊,也写的很好。 那接下来的话我们看一下程序下载这个文件啊,在这里的话我们要选择我们要下载的内容,首先的话我们要把环境二,环境一还有主程序我们下载下来, 然后这里的话应该是多上传了一个,所以的话大家只需要上传一个七到六组程序啊,密码为零就好了,这个是呃,同样的一个文件,所以的话我们不需要下载。好,那在这里的话我们就点击下载,接下来的话我们再进入到文达,然后呢选择依赖, 这里的话,我们有一个必须要装的呃, c u d a 的工具包,那这个的话我们也把它下载下来,下载好了之后呢,我们就可以在我们下载的目录看到当前的这四个文件。 好,那首先的话我们需要安装一下 cuda 工具包,我们把它进行一下安装,我们双击打开,然后呢点击下一步,下一步即可, 这里的话因为我已经安装好了,所以的话我就在这里就不再安装了,那接着我们就要去进行解压我们的这个文件吗?那首先的话我们就把它进行解压出来,这边的话我们输入密码为零, 接着的话我们也把这两个环境都解压出来,那我们现在话把它解压一下,解压到每个的单独文件夹,那么我们稍微耐心等候一下, 现在解压好了之后呢,我们稍微改一下名字吧,这里的话我们就叫做文达 map。 然后环境一,我们把这个文件夹的名字改一下,把这个 和后面的这个内容都删掉啊,就剩下 wp y 六四杠三幺幺零。接着的话我们再把 runner 哎给他留下。好,那现在话我们把这两个环境剪切到 这个目录下啊,剪切到我们的这个主程序文件目录下,接下来呢我们要下载大约模型到问答这个目录下面的 model 目录,现在这个目录是空的啊,那我们还是一样 返回回来到我们的程序下载,这里有一个模型放到 model 下面的文件, 这里呢就有我们需要用到的呃,各种各样的大语言模型了,然后文达也支持非常多的语言模型,我们这里的话就拿最好的我们先用起来。好吧,目前体验最好的就是 g l n r l h f 这个的话是博凡大佬基于 chat g l n 训练出来的,整体的体验下来的话,在中文的总结概括方面的话,超越了 g p t 三点五的版本,这个模型呢有超强的理解力和总结能力, 而且连续绘画呢是不受 token 的限制,支持无限轮次的智能对话,所以这是我给大家推荐的首选模型。那所以大家直接去下载这个模型就可以了,这里的其他模型大家可以根据自己的需要再进行。 然后这里的话我们还需要有一个 n 三一 bass, 这个呢是目前最强的开源中文的 onbendy 模型,用于中文向量的文本解锁,也就是后面用它来去查询我们的知识库。下载好了之后呢,我们就可以看到这两个文件了啊,一定要把它放到我们的 model 的目录下,就是我们刚才这个是主程序,主程序下面的问答,问答下面有个 model 就放在这里。好,然后呢我们接下来的话,我们把这个目录我们给他复制一下,那等会我们要用到啊。 好,我们复制了这个目录之后呢,我们现在进入到主程序的这个目录,在这个目录里我们有一个问答的启动目录。 好,那这里的话其实是有一个启动程序,我们直接双击打开,打开之后我们就可以看到文达启动器的界面了,我们首先会进入到程序管理这个界面, 这里的话前面两个按钮呢,是可以帮助我们去更新主程序和更新启动器,因为这个是我们已经最新下载下来的啊,所以的话不用去更新,我们现在只要需要做第一件事情就是 初始化配置,我们点击这个初始化配置,点击好了之后我们点击更改配置文件。好,那这个时候的话我们就可以弹出我们的文档了,那这个 tst 文档呢?就是我们的初始化配置文件了。 好,那在这里我们首先第一件事情要做的就是因为我们是使用的是 trade g l m, 那所以的话我们要把我们的大圆模型改成 trade g l m 六 b。 好,接下来的话我们就是要去设置我们的这个目录, 那我们的这个目录是什么目录呢?我们的这个目录是文达 model 下面的 r l h f。 所以的话我为什么要让你复制这个目录啊?我们就直接复制啊,当然话你也可以就是,呃使用当前的,对吧? model 下面的这个啊,那我们直接复制一下就好了,我们一定要把这个路径复制。对啊,我现在话已经复制错了,我要复制到哪里呢?我要复制到 gln 六 b 这个立地方,那是把这个 pass 我们给它修改掉路径,这里的话大家要 加上一个反斜杠啊,就是在有反斜杠的位置,我们给他加上一个反斜杠。好,那这样的话就可以了, 接下来的话我们保存一下啊,然后这个策略啊, c u d a f p 十六的话,呃,这个就看你是使用的是,呃,什么模型,那目前我们使用的是这个 char g 幺 i r l h f 的话,那就是直接 f p 十六就可以了,如果你是使用了量化之后的, 那你就针对你的是量化呃, inter 四还是 inter 八,然后呢去使用这一个,好吧,改好了之后呢就可以保存关闭了, 接下来的话我们就可以点击程序运行,然后这边的话我们直接点击运行服务 gla 六 b, 他会弹出一个这个弹框,然后呢去帮我们去检测我们的机身环境,然后我们就稍微耐心等候一下,接下来的话他就会去加载我们的模型,然后以及知识库, 那现在的话我们这个就已经顺利的启动好了。好,那现在话我们再打开网页, 这个呢就是我们打开好的网页的一个效果,那这个时候的话我们输入你好,我们来看一下。好,这就说明我们顺利的把我们的车的 gln 加载进来了。 现在的话我们来简单体验一下 ai, 比如说我们想让这个 ai 去设计一个教案。好,那这里的话提示词呢?我已经写好了啊,这个的话也是博凡的这个大圆模型,它的一个案例就是 让教案啊去生成,生成什么教案呢?生成分数认识和计算的一个教案,让他作为一个教师助理啊,按照这个需求来进行生成好,我们点击一下生成 好,我们可以看到这个 ai 的话是非常能够准确的去呃认识我们所给的需求,并且能够按照我们所需要的一个格式啊去生成,我们的内容 是不是很厉害呢?当然这仅仅只是文达和本地部署大约模型功能的冰山一角,接下来的话我会详细的给大家讲解文达的各种功能。

大语言模型的十四大应用领域啊,就像这个 o p i i 或者是温馨一言,还有盘古大模型这些大家不知道是用来做什么的啊。这次我一次总结了十四个,大家可以看一下。 第一个文本翻译。翻译大家都懂,英中翻音,英文中,对吧,可以更好的给你来一种翻译。用户可以向 a 输入文本,翻译成另种另外一种语言,然后 开始翻译成自然流畅的文本。这个没问题啊。这个简单,创造文本内容, 各种大语言模型都具备,可以按照用户想法生成博客教教,再要脚本、问卷调查等帖子的能力啊。这个也没问题。这个也简单。 代码开发生成是 ai 工具,不仅能生成自然语言,还能生成如这些 javer 啊, php 啊等编程语言的代码。可以靠这个来做这个代码编程。 四、搜索许多刚开始接触大语言模型,会首先会问一些问题,对吧?比方说呃会会有一些问题在 呃媒体上搜索不到,会去找大约模型搜索会。其实用的就是这个搜索功能 来搜索,就是比那个搜索更更符合你的一个想要的一些东西吧。怎么说?第五,对话生成大语言模型可以根据上下文和预定义的规则生成与用户交互 的自然语言对话,可以给他来回交流,像机器人一样。就是在机器人领域运用啊。这个主要是第五个客户服务。客户服务就是客服呗,对吧? 可以通过自然语言处理和机器学习技术,自动设置并回答常见问题,处理客户请求并提供支持。这个没问题是吧?比以前的那些什么 智等客户更智等一些啊,更上一层楼。其金融府大语言模型可以通过分析大量金融数据和自然语言,做出更明智的决策。这是一个数据分析啊。医疗保健 医疗保健,其实这个医生不都是通过记记单词,记每个呃病状的一些特征 来来诊断吧。其实他们这个没有什么技术含量,都是靠记靠诊来给一个诊断结果对吧?所以大约模型完全可以代替一部分啊。 大约模型可以通过分析医学文献和医疗记录,帮助医生诊断疾病,制定计划, 提供患者教育。第九、教育。呃,教育的话就是可以帮孩子来做一些英文的对话或者是数学的答题对吧? 然后可以代替这个学生家长来辅导孩子做作业这些啊,他可以一整套的来。这个来做,并不是给出一个单纯的答案,他会给你一套方案啊。 第五,社交媒体管理大预约模型可以帮助社交媒体经理分析大量数据,生成内容,与粉丝互动。这还是一个数据分析啊。呃,然后给你一个更好的一个方案。 十一、市场营销大约模型可以通过分析消费者数据和自然语言,帮助营销人员制定有效营销策略。还是一个呃数据分析,然后生成一个建议啊。 第十二,旅游大约模型可以通过分析旅游数据和自然式语言,帮助规划行程,预定酒店啊,也也是个数据分析,然后把 呃罗列,把那个信息罗列出来啊,信息的一个筛选和整理。第十三,军用领域和游戏领域。这两个是 御用的,量肯定是最超前,也是御用最大的一个啊。军用领域 就是可以通过数据分析,或者是对设备的一个操控来进行更现代化的,更智能的一个。呃,装备啊,肯定是大家都已经在用了啊。 然后游戏领域。游戏领域,因为他是可以和虚拟角色对话的对吧。他通过和虚拟角色的一些对话呃,来完成一个游戏的一个模型的搭建,通过这个来来完成 衍生,衍生出来更多的这种游戏的模式,更智能的。好。一共是这十四大领域,大家有不同看法的可以在我的评论区留言。

今天给大家讲一下深度学习模型部署的六种方式。第一种就是简单的一个带帽演示,只看这个效果,我们可以从这个咖啡 tf 开放式的框架中随便选一个,切到这个他自由的一个 tis 的模式,拿着拍摄跑一跑就好。这组写一个简单的一个 gui 来展示结果, 高级一点的话可以用这个 cps 包一层接口,然后用这个 c 家家工程去吊用,然后需求二是放到服务器上方,呃,不要求这个吞吐和食盐。然后我们可以在这个呃咖啡 tf top 十等框架中随便选一个,按照官方的呃部署教程,老老实实的用这个 c 家来附属, 比如这个排套使用性用这个 liutes, 然后在 libear 下方,然后这种还是没有脱离这个框架有很多为这个训练方面而保留的一些特性,没有去除性能的话并不是自由的。另外这个这个框架要么是 cpu, 要么是因为达到一个 gpu 对应电平台有要求,不灵活。而且还有这个就是框架是真心的大占内存,然后就是 tf 的话占前存,占私房,然后第三是发到福气上跑,要求这个吞吐和食言,重点是这个吞吐这种应用在这个互联网企业居多,一般是互联网产品的一个后端, aig 算,嗯,你比如说这个人脸验证语音服务应用了这种学习的一个智能推荐等等。 呃,一般都是一个应适用于一个大规模的部署,这时不仅仅要求考虑趁头试验,还要求考虑这个工好的成本。所以除了硬件外,除了除了一个软件之外,硬件上也会下功夫, 然后在硬件上推理的话,只是应用了一个专用的英语单位批示,含五 g 的 m, 二用一百等,这些推理卡比专专门极限卡工号低,单位文号下的他的这个 阶段效率更高,而且音乐结构更适合高吞吐量的情况。呃,在这个软件上啊,一般不会采用直接采用这个生殖器的一个框架。对英美达的产品,一般你比如说用这个特色 rt 来这个加速,英美达这个特色 rt, 呃,用用了这个酷达 sudn, 而且还有一个途优化,呃, fp 十六, ant 八量化等等一些就是方法。然后需求四是放在这个英伟达嵌入式平台上跑,他注重一个誓言,你比如说 ps, two, tstv 元等, 然后就是参考上面的话,也是稍微贵了一点点。啤酒五的话,就是放在其他的牵手式平台上跑,比如说我们的一个,呃,手机,呃,在这,他这个在这个硬件方面要根据这个模型的计算量和实验的要求,结合成本和工况要求。然后就是选择合适的一个牵手式平台,你比如说模型计算量大的,可能就是选择一个 带这个 gpu 的一个 soc, 用这个 oppo, oppo gr, 那就是还有这个 oppo 编程也可以试试这个 npo 你,不过这个 npo 现在支持的算子不多,一些自定义 op 多的一个网络可能不支持部署啊。对于小型模型或者针对要求不高的,可能用这个 cpu 就已经足够了, 不过需要做一点优化,你比如说减脂量化,就是 smd, 一个汇编等,在手机上部署智能学习模型也可以归在此行列。 呃,就是上述部署的一个和优化的一个软件工作,在一些移动的开,移动端的一些开放价就是有人做的,我们拿来使用的话就是改一改这个 参数就可以了,性能还是不错的。呃,七九六的话是如果上述部署方案都不不满足你的一个需求的话。呃,你比如说开元移动端的框架速度不够,你可以自己来写一套,你比如说像这个 上趟了旷世了,还有都有自己的一个前项传播框架,然后性能应该都比这个开源的框架比较好,只不过是自己写一套比较费时费力。嗯,然后而且如果没有经验的话,你可能 就是很费时间,费半天劲也写不好。这个就是一个深圳学习模型部署的六种方式。嗯,感兴趣的话可以关注一下,谢谢大家。

当前 gpt 系列大模型火爆,个人花了几天时间事件成功在个人电脑上部署了轻量级的 opaca lura 大语言模型。随着技术的发展,未来人手一个人工智能助理可期。 我电脑配置为 amd 二五二六零零六十四 g 内存 n 幺六五零显卡四 g windows 十六十四 b 系统。拍成三点一一。 先下载 opaca laura 原代码模型和参数,然后安装各种资源,根据单机情况修改,加入 reader 文件,然后运行它。 嫉骨如荼。