人类反馈强化学习这一部分的知识,因为我们清楚就如果你要去微调你的大模型,类似于 chat gpd 的这种模型的话,它一个非常重要的就是 人类反馈的强化学习,我之前讲的大部分都是属于第一,第一,第一阶段叫有监督学习,叫 sft, 然后今天讲的这个其实也是蛮关键的,我看到那在哈哈根废字上面也有这样的一篇文章,它主要是 rlhf 的这样的这个人类强化学习的这样的一个实践,因为我之前也是用过啊,这个呢又有新的创新点,所以今天跟大家一起来聊聊这篇博客啊这篇文章。这篇文章的话是是他的数据集用了有一 有一个国外的网站叫 stack 这样的一个网站,这个网站主要做什么呢?有很多工程师,他有些代码他会出错,或者他不会用,他就在这个网网网站上进行提问,提问之后就有很 网友比较热心的就会去帮他去解决这些问题,有很多网友都可以参与,大家可以对这个答案进行排序,你是否同意他这个方案是不是能裹他?等于是这样,他主要是做这样的一个类似于 web 二点零的,有点像呼这个公司版本的这样的一个东西,就是专门讲那个代码的他这部分, 它这个数据集叫 feedback exchange, 嗯,然后它有个数据集还蛮大的,它整个一个数据量超过一千万,类似的这个 question 和 answer 的这样的一个文本队,它有一千万的以上的数据。 这篇博客他就是利用了这样的一个数据去微调一个模型,这个模型就是老外比较最近比较火的那个,就是 l l a m a 的,就是 manta 开源的这样的一个模型。呃, 在呃也有很多公司用了,什么叫羊驼系列,他就是在这个模型上做微调的,他们是等于是这样。如果你要做强化学习,我们之前我也是介绍过的,他有三个步骤。第一步骤是我之前讲过, 我就不重复了,主要是做那个模型的微调,我上次讲的叫什么 peterning 也好, peterning v 一 v 二,或者是那个 laura 的那个模型,它其实都是做这个 final tuning 的这样的一个 第二步和第三步的话呢,主要是这个。呃,这个人类反馈强化学习就是 r l h f。 那么这篇文章的话呢?它重点主要是讲的这部分啊,就是类强化学习的这部分到底是怎么来做出来的啊? 呃,这个是叫 stack l l a m a 呢?他们在哈根 face 上也把它给放出来了。嗯,他有一个 demo 的这样的一个可视化的一个界面,然后下面有很多的例子,你,你也可以去用,它里面有各样的问题,然后问完了问题之后,你就可以自动让它产生, 他可以产生代码,他也可以产生回答他,等于是这样,他就是用我前面讲的 manta 的这个 l l a m a 的那个 model, 再加上一个数据集。呃。微格。呃,这, 这个人类反馈强化学习,他用了一个模型叫 tree, 之前我也是介绍过的,这个是哈根费是开源的啊,叫 r h r l 的这样的一个去把这个三个结合起来,就做了这样的一个章托的例子,他等于是这样啊, 那么呃,我们来重点来看一下这边的话呢,是 l l a m a 的那个赤壁的那个模型,即时翼参数的这样一个模型啊,这个我就不跟大家多讲了 啊,然后这个里面呢,他选的那个我也是前面介绍过的啊,那么他这个人类强化,他有一个重要的,就是要要训练一个叫奖励模型 reward 的呃,一个 model, 这个奖励模型的话,主要是讲就是 可以是这样的,你有一个问题,然后他会回答,回答之后的话呢,如果你回答的好,他会给你投票,回答的不好,那么他给你福分,他他他是等于是这样,所以的话呢,他们会有一个呃 revok 调优的这样的一个参数啊,他在 重点讲了一下,他这个叫 score 啊,这个文章里面有的,然后他是用二的对数,然后就是一个投票的数量啊,然后取整数啊。一,如果他的投票是负分的,二,你也可以投反反反反对票,如果他负的比较厉害,他把所有的 负的投票车分全部变成负一,他等于是这样,这个是他 go 奖励模型的一个一个一个一个最重要的一个函数,他等于是这样。好,我们看看他再讲了一下他的这个训练的策略,他这个训练策略也是我昨天讲的,他这个里面用一个 rora 的一个模型 来进行训练的,因为他觉得这个模型还是比较大,他就直接用罗拉的模型,用一个大模型之外再弄一个小模型小的层进行训练。他的这个策略是这样的,他他在训练过程当中,因为他的这个数据量比较大,他有将近一千万条的这样的一个指令要进行训, 所以的话他他觉得比较慢,他会用一个多块的这个 g p u, 他等于是这样多块 g p u, 他这里面就用了一个呃,这个叫呃也是哈根 face 的,叫 accelerate 这样的一个内裤。原来我们也是讲过啊,他这个用多个节点多块 gpu 同时跑,那那么他目前的话呢?是用,我看他在实验过程中,他是用了三台机器,每个机器有八个 gpu 让进跑了大概十几个小时吧,他把整个数据给跑完了,他在那他也分了几个阶段做的,第一个呢?就是还是一样的,就我第一阶段的这个就是发言,发言特令这样 监督的这个 fighting 的这样的一个过程,这个过程的话呢,他就就举了一个例子,因为他这个数据商铺的数据比较大,数据量比较长,他等于是这样,但是呢你输入到这个模型里面的话呢,他是有一个限制的。那么这样有些样本 它的数据比较长,有些样本数据比较短,那它是怎么做的?它是把样本和样本之间直接拼接起来,通过一个叫 e o s 的那个 token 加在这个 zample 和 zample 的之间,它是通过这种方式去做的。 这个的话呢,我觉得他我上次看到在我的评论区里面也有人在问长的这种文本他到底是怎么输入进来的?他就是这样输入进来的长的文本你就可以按照这个 context 的长度把它截取掉,然后把这个张头和张头的例子通过 u s 的这个 token 把它连起来,连成一长串,这样的 按照 context 长度一条一条的输入进去,它是这么来做的,这个也是个经验 tips 啊,它是好,那么我们再来讲一讲它的强化学习的这样的一个 reward 的这个模型,前面我们是讲过它有一个叫 score 的 这样的一个排名,他要这个问题到底是哪个回答更优一些?那么这个就相当于你一个问题有好多个回 回答,那么他要去排序,或者他要去奖励,哪个问题会比比较好?他主要是通过那个用户的投票来确定回答,如果他的投票比较高,那么他拿到的这个分数是正的,如果他的回答都是负的,那么他拿到的分数这个行为拿到的分数就是负的。那么这样的段子去做这样的一个 不断的去训练,让他的最后这个模型训练出来之后,你他回答出来的这些问题都是人想要的,他等于是这样,他是通过这种方式来做的, 那么这个是吕 word 的模型的这样的一个训练,那么吕 word 模型训练完之后,他还有一个,还有一个是比较重要的第三部分训练一个吕 word 这个模型之后,他这个是第二步已经讲完了,第三步他要根据你的反馈的这个模型,他要去怎么样做呢?他给大家看一下 这个怎么讲会比较好一点。这个 reward 的模型已经训练出来了, los 的函数,你要他先, 那是这样的,因为人类反馈强化学习,他需要人类去参与的,他就是要要人去参与的,要人去判断。你这个机器你突你反馈出来,我有一个问题问你,你回答的反馈反馈出来的这个问题需要人去进行排序的,他叫人工进行排序的,他等于是这样 人工排序的话就要人类去参与,那么这个人类参与他就认为要大,因为你人工要去参与嘛,那么你这个就很很慢,同时的话呢就是非常大,那么这个是智障的创新,而他创新是什么呢?他再去训练一个人工智能的模型,替代人 去做这样一个排序的这个动作,他是做这样一件事,所以他就要去训练这样的一个替代人反馈的这样的一个模型啊,他其实是一个分类或者叫打分模型,他是等于是这样的,他的原理是这样的,就是你的你经过微调之后,对你这个模型 是可以通过问题的输入可以产生反馈的,你反馈可以有好几条,这个好几条,比如说你反馈两条,有一条叫好,有一条叫坏,那么原来大师都是需要人去参与的,这个时候他会去 再去拿另外一个模型去判断你到底是这个是输出出来的这个答案到底是是好的还是坏的,他等于是通过这种东西去判断,他等于是这样,所以的话呢,他就要去训练这样的一个模型出来,所以他这个里面他就讲了他的他是怎么训练的,他的目标函数 他是怎么定义,他主要是讲的是他,他在这个过程当中他也讲了一下,就是他在这个过程当中去训练,他是拿了一万条的这个样本数据去训练,通过五千条数据去评估 他这个模型跟原来那个模型是两个模型,这个要要搞清楚的,他大概训练了二十个小时,三个,三个服器,每个服器有八个八块 cpu, 他用一万个这个 数据去训练,用五五五千条数据去评估,他训练出来一个模型,这个模型呢是去替代人平分的,他等于是这样,他的这个准确率,他在这个里面也讲了一下,大概准确率是百分之六十六, 百分之六十,他前面是个这个是花了几个小时,呃,用一台个八块 g p u a 一百的这个服务器去训练了,花了大概几个小时,然后他最后模拟出来的这样的一个准确率大概是在百分之六十几, 他不能完全替代人,但是他可以大幅的减少人的这个干预。然后他用这个模型去判断,到底你这个模型输出出来的哪个答案会更优一些。他是用通通过模型来算, 他是通过这种方式去做的,他在把模型跟强化学习的模型结合,他把用户打分的这个过程通过一个智能的模型去做的。他是这样的, 他在强化学习这个模型里面,他就是用一个 question 问题和回答,然后相加输入到这个强化学习模型里面去,他通过这个模型的预测可以得到到底你哪个 respons 的这样的一个东西是可以给奖励的,哪个题和回答是要被扣分的,他等于是这样。然后呢学习这个这个模型 模型的话呢?他讲了一下,他大概训练了二十个小时,三个服务器,每个服务器有八块 gpu, a 一百的八十 g 的 gpu, 训练了二十个小时,最后他训练出来了,他也把这个模型给公开出来,在哈根 face 上面也有他这个里面呢,还讲了另外一个这个地方,他叫惩罚,惩罚他除了除了有奖励之外,他还有一个叫 k l 的这个惩罚的一个模型,因为他他们在训练过程当中,他会发现这个模型会输出一些空的东西,输出空的东西的反而原来那个模型会给他 很高的分数,他等于是这样,所以他做了一个惩罚的这样的一个一个一个一个参数,在这个体系里面不他去抑制这种行为的发生,这个也是他在训练过程当中观察到有这样的一个现象之后,然后他再对这个模型进行调整,除了有奖励之外,他还有一个惩罚, 加了一个权重的惩罚,他就就详细介绍了一下这个惩罚的这个模型是是用的函数是什么样子的,他也在这个过程当中发现了一些问题,他这个惩罚模型可能不能收敛, 他会有些问题的,所以他是我看他运行到八百步的时候,他的这个 loss 会急剧下降,还是他会有些问题,他等于是这样,所以他们也是在不断的优化和调整中,他等于最后就是结论,这篇文章的结论, 呃,这篇文章的结论他就是讲了,还是在推荐大家用那个哈根费似的,就 t r l 的这样的一个模型,因为这个模型他就是开源版本的人类 强化学习的算法的具体实现,他就是用这个东西训练出来的,他跟大家讲这个东西在不断的完善中,大家可以来用,这是一个,第二个呢,他在这篇文章里面的创新点,人类强反馈,强化学习,他是要人类参与的,他现在呢就是用了一个训练了一个人工智能的模型,带了这个人类的,他等于是这样 呃,他认为就是准确度达到,一定是说他只有百分之六十七的话,他这个也已经足够了,他等于是这样,因为他这个模型会不断的这个迭代的, 虽然百分之六十七的这个准准确度,但是他慢慢慢慢的他这个强化学习不断的会向好的方向去发展啊,这个这样的话呢,那个成本 成本更低,效率更高。他主要是讲的这两点是他的整个一篇文章的亮点。另外他也是讲到了如果你要去加速你的整个一个训练过程,因为他整个一个训练过程很慢,那么他也用到了一个叫 p f t 的这样一个内裤,也是哈根费似的,他是可以基于这个 充分利用 gpu 的这个内存可以减少你资源的消耗,这是一个,另外它也用了一个它,它跟 face 里面的 accelerate 的这样的一个内裤,可以通过这个单快的 gpu, 单个 server 能够扩展集群,你的代码都不用改。 你只要用这个内裤之后,他非常快的就是把你的单块呃单个 server, 单块 gpu 的训练扩展成一个集群的 gpu 的这样的一个训练效率会非常高,他是等一下,如果你有资源,那么你也可以非常快的训练完,如果你没有资源的,你可以通过这种 比较高效的呃,叫 p e f t 的这种算法,能够比较 g p u 的这种方式能够把它给呃时间,能够把这个模型给算出来。
粉丝4.6万获赞35.7万

本地部署 chat gpt, 无需安装,直接解压到本地,一键启动,完全免费开园,无需科学上网,国内直接使用国产大模型 chat glm 二遥遥领先 chatglm 二六 b 是国产大原模型, 一键启动包已经给大家准备好了安装包,加入粉丝群,查看群公告,直接领取粉丝群的入口。在和我私聊的界面右上角,我们把 chitglm 压缩包下载到本地,按右键选择解压到本地 点按完成以后打开 tit gmr 文件夹,首先安装 denit 运行环境,双击打开选择安装。如果你的电脑已经安装过 denit 运行环境,无需再次安装,直接关闭。然后进入 titiglmryblim 录,双击一键启动器,快速启动 chatglmr。 打开 外部 ui 启动器以后,先选择模型,我们这里有两个模型,一个是聊天大圆模型,另一个是程序员写代码使用的模型,我们选择 itgm 二六 b, 根据你的显存配置下启动参数,我选择巴比特模式节约显存,然后选择一键启动,抖速运行会比较慢, 如果启动界面报错,那可能是启动参数配置和你的显存不匹配,或者电脑性能和运行环境不支持。 启动成功以后,命令还会显示 running on localuil, 并自动弹出浏览器。打开地址,我们来测试一下菜菜 gmr 六 b, 你好,选择詹德瑞特生成,生成速度还是很快的,效果也很不错,非常的完美。

今天给大家分享乐凯和 chat glm 搭建本地知识库项目,该项目是由清华大学发起并已开园,这是我配置好的整合包。先给大家演示一下效果,点击脚本启动微博语, 启动完成就能看到使用界面,页面右边可以切换对话模式,选择知识库模式,可以在这里新建知识库,也可以选择之前建立的知识库,随便选择一个之前创建好的知识库, 可以在这里随时加载保存文件,只需要把文件拖进去就可以了。 这是我下载的关于 transformer 的 pdf, 一共十七 m b 两百八十四页,拖进去保存一下, 加载完成了。然后我们问一个 pdf 里的问题,测试一下回答质量, 回答的好像还可以,并且给出了出处, 出处也是比较准确。 接下来讲解一下该项目的基本原理和流程。该项目整体使用 lancan 作为应用框架, lancan 支持自定义链式调用, 可以将自定义工具和各种模型结合起来,开发出不同应用。该本地知识库项目是将向量数据库和 chat g m m 模型结合起来。首先就是加载文档并读取文本, 然后对读取的文本进行分割处理,得到一段一段的文本数据,接着将这些文本进行商量化处理,并存入本地史量数据库中, 此时我们的文档数据都已保存在数据库里了,这些数据将会在问答过程中被楞看调用,并经过大语言模型生成生成最终回复。接下来我们一起看一下问答过程的基本流程。首先会将用户的提问信息进行向量 画,得到向量化文本。接着进行数据库查询,得到相似度最高的前几条数据。 最后将匹配出的文本作为上下文和问题一起添加到 prof 中,并提交给 l l m 生成回答。这样我们就得到想要的答案了。我们的模型可以是 track g l m, 当然也可以是 lama 或者自己训练好的。其他模型都可以 通过来看进行集成,做出各种各样的应用。本期视频到这里结束了,大家有什么问题可以在评论区留言,我都会一一解答,再见!

超越 taggbt 四点零的中文理解能力, chitgmm 二正式开源公布,这是一款由清华大学出品的 ai 大语言模型,直接部署到本地就可轻松运行,而且对配置要求在逐渐降低,增加了逻辑思维和语言理解能力。接下来大家跟老张快速的体验一下。 首先我们打开对应的一件包,在这个一件包当中呢,咱们会拿到以下这四个对应的内容。首先咱们先说安装包,安装包是本次运行必备的环境之一,必须要把它先进行安装一次, 安装成功以后,咱们接下来需要先把这个一键安装包,对应的工具就是咱们说的一键启动器,把它解压出来,解压出来在这就是对应的这样的一个效果啊,有一个快速启动咱们可以看到,然后这个解压出来之后,紧接着第二步咱们需要做的就是把 把这两个对应的模型也就解压出来,这个模型是咱们今天的主角 chin gm 二,号称可以和 chintpp 四点零掰手腕的国产 ai 模型,这一款呢是我们程序儿界啊非常好用的专门写程序的代码模型,今天老张就不做演示了,如果你需要,你可以把它给下载下来, 然后解压出这款内容。之后呢,咱们把解压出来,他是一个对应的文件夹,咱们把这个文件夹复制,然后放到咱们当前的一键包中, 找到这个 models 文件夹,把它直接粘贴过来,这样的话就可以在一键启动器上找到咱们的 check gml 二对应的这个 an 模型, 找到之后呢,咱们可以直接在这选择快速启动好,然后在这选择对应的模型,因为咱们我这呢有两个模型,咱们要的是这个,对吧?拆个 gm 二杠六 b, 然后这款模型启动完成之后呢,咱们首先先根据您 的显卡来进行选择,比方说老张是八 g 闪存的,我就选择这一项,如果您是四 g 闪存,直接选择下一项就可以了,对吧?根据您对应的内容来进行调试, 可能首次加载他的时间会非常的长,咱们可以稍作等待,如果说他出现了一些报复原因,你一定要检查是不是你电脑显存不扣导致报显存等相关问题。好的,当咱们进行重新之后,你可以看到有一个编个地址栏,可以把这个地址复制,直接就可以打开了,这个就是咱们对应的模型选择, 咱们可以在哪呢?可以在这个模型选项中进行看,对吧?这是咱们这个模型,这是没问题的。好,然后咱们这是文本驱动器,在这就可以直接进行对应的应用效果呢?如果您的电脑配置够好,效果还是非常不错的,但是如果电脑配置一般的兄弟们可能要稍微的差一点。

是记录一下就是 chat g l m 这个微调的这样的一个方案啊。啊这个方案的话呢,我是在我的自己的经济上啊实实践了一下啊,确实是可以跑的。他的这他的这个开源项目确实可以把最终的那个 chat g l m 的这样中英文双语的这样的一个模型给微调出来啊。我给大家看一下啊 他整个一个微调过程的话呢,大概花了是八将近八个半小时啊,因为我是跑在那个 a 五千的这个服务器上面呢啊那么它的内存的话,呃它的 g p u 的话,呃是二十四个 g 的二十四个 g 的二十四个 g, 呃大概刨了十七个 g 啊,因为我我一个一个就是搬去 size, 就是呃跑的稍微小一点,呃它的默认值是 六啊,就是每次批次跑六个指令,但是呃我会发现他有 out of memory 的这个现象,所以我把它改成二啊四,我也改了还是不行,但后来我改成两条两条指令的时候他就内存就不溢出了。那二十四 g 的那个显存他用了十七个 g 然后跑了 八个半小时,然后 gpu 基本上跑满的啊,那基本上就跑完了。呃那么呃他的整个指令级的话呢,就像我那天介绍的他是用的羊驼的那个产生的指令级,一共是五点二万条指令啊。 呃我也跑了五点二万条指令啊,然后我也看到它的 los 的话基本是在不断收敛的啊,不断在收敛的,嗯应该还可以啊。 e pro 的话大概是我是跑了三啊。 那整个训练过程中还有一个时间比较长的话呢,他就要加载那个预训练的那个模型啊?那个就是 chat g。 呃, chat g l m 杠六 b 的这个模型啊,因为他有,我之前跟大家介绍过他有这个八个差不多将近两 gb 的这样的一个 呃数据,呃,他需要下下载,所以的话呢,呃下载的时间会比较久,一般情况啊,然后我给大家看一下他这个深层训练完之后的深层的这些数据在哪里?他是放在这个 alt toot 这个目录下的, 它会放在 altput 下面,然后会生成一个用 roller 模型生成的这样的一个小模型啊,因为它是微调的,微调的话呢,它其实没有在大模型上改,它只是生成了这样的一个呃可插拔的这样的一个小模型啊,然后它可以叠加 在这个 chat 呃, chat g l m 杠六 b 的这个模型上面,然后进行训练啊,我给大家看一下啊,他这是怎么跑的啊?这我已经跑过了啊,这个是加载,这是加载 chat g l m 杠六 b 的这个模型,你把它给装载起来,哎,装载完了之后呢,这个是装载它的那个 talking 啊,这个这个两条渔具都是装载它的模型。 那这个地方啊,因为我是放在这个训练完的这个罗拉的这个模型是放在 output 木头下面的啊,他生成的是这个东西,所以的话呢,你要把这个东西也要加载进来 啊,把这个模型也要作为一个可插拔的能够加载进来,它等于是这样啊,加载进来之后的话呢,你就可以加载这个数据,然后进行预测了啊,这个是加载数据。 呃,我就把原来训练的这个模型加载进来,加载进来的话呢就可以训练。 对,然后 d cod 一下,然后是输出, 他这个是给了一个指令,是一个,呃,就是保持健康的三条 tips 啊,然后他这个是讲了一下怎么吃蔬菜水果等等一些一些东西啊。 第二条他是要做一些规则的一些活动啊, 大量的喝水和睡,准时的吃早饭啊,这个是他的建议。 嗯,这是他的回答, 看上去应该还不错。我觉得他回答了三个问题。 嗯,因为羊驼的它这个 指令集里面我们是介绍过的,他是有英文,以英文为主的,中文很少啊,所以我们其实,呃,下次的话呢,应该还是要把这个羊驼的指令要把它换掉啊,要换成我上次介绍的那个 就是中文的那个指令来进行训练,这样的话呢可能会效果更好一些啊?好,这个是,嗯,记录一下这个运行的效果吧。啊?运行的效果。

清华发布的 chat jm 第二代模型是否比 gpt 四还要厉害?是否可以断网运行?粉丝小伙伴一直有问到这些问题,我准备接下来换点时间,通过几期实测分享来回答这些疑问。 cat g m 六 b 是清华大学 k e g 实验室今年发布的黑本地部署大约模型,六月底推出了六 b 的第二代版本, 有着更长的上下文和更高效的推理能力。今天先分享如何不输安装 chat j m 二、六 b 模型,并用模型完成简单问答。目前在基站有完整的安装攻略,在 先安装项目仓库到电脑上,然后执行这条指令,安装相关医疗文件。执行完以后就可以下载六 b 模型了,通过手机运行调试代码就可以自动下载,比较简单。我参考官方设立写了一个六 b 模型的问答教本,其中会通过引用和调用六 b 模型来触发模型的下载动作。这里 要特别讲一个问题,所有的本地大约模型的推理对内存 g p u c p u 的要求都比较高,六 b 也是一样的道理,你的电脑配置不行, 那推理会特别慢,待会会给你们看我电脑的运行效果。小伙伴需要根据自己的电脑配置,在六倍模型加载代码进行相应的初始化设置,需要根据有没有 gpu 显存和内存的大小进行不同的初始化, 甚至因为没有独显和内存过小,我们只能用炼化后的模型。我这里根据官方的提示,整理了五种不同电脑硬件配置对应的模型加载蛋白段,大家可以暂停看看 继续运行概念码会检测是否本地已下载模型,没有则开始下载,会出现以下的进度条。溜冰模型总共会有七个变味键,因为是从 honky face 下载,可能会因为网络产生中断,比如这样重新执行交款会继续断点下载。这里还是比较人性化的 模型,下载完以后,脚板就可以进行提问了。这个是小伙伴可以打开 cpu 和内存的占用率监测,可以看到占用率基本都会百分之百拿满,反正我的电脑是这样。我先让六倍进行自我介绍,为了直观看到问答的问题间隔,我加了时间显示, 简单的问答基本都要三到四分钟。再问一个需要思考的问题,比如如何学习 ai 知识, a few moments later, 直接等了十多分钟, 哎,该换电脑。对了,官方的代码仓库提供 gradu 界面的网页版代码,执行这条视频就可以打开网页。 从简单的问答来看,因为我这个破电脑的限制,回答的速度肯定没有 gpt 是快,这也是本地模型和云端模型不同的效果,不过对于推理的准确性,我还要再仔细研究对比一下。大家可以持续关注,希望今天的安装教程对大家有帮助,有用的话记得点赞收藏。

大家好,欢迎来到悟空 ai 工具箱,悟空 ai 工具箱可以帮助您实现 ai 工具的快速一键部署。工具箱目前包括 chat glm, stable diffusion、 visual glm 和 long chain 四款强大的工具, 通过一键部署上述工具,可以让您快速便捷地在本地使用这些 ai 软件。 今天我们来介绍 long chain。 由于数字模型的知识之后,我们有时候需要建立一个本地的知识库, 那么这时候 launcher 就派上了用场,我们已经做好了 launcher 和 chat g l m 的整合包,这个工具的使用同样非常简单,下面我们来具体看一下使用方法。 首先我们打开悟空软件的官网,三 w 点五 k c r m 点 com, 然后在官网上我们点击 ai 工具箱,那么进入 ai 工具箱以后,我们点击 long chain, 这个页面就是 long chan 的介绍页面,那么这里展示了 long chan 的产品信息,特点还有安装方法。如果您有任何问题,也可以通过微信扫码进入我们的社群。 我们的 long chance 是和 chat g l m 已经做了完整的整合,那么 整合的一键部署安装包的使用方法非常简单,首先我们记录提取码,然后点击我们百度云的下载链接,这里我们已经打开了网盘的下载链接,点击提取文件, 那么就可以看到郎欠的一键部署包,我们可以将这个一键部署包的文件保存到我们的网盘当中,或者直接下载,那么这里已经有一个完整的安装包,我们将它下载到本地, 目前在本地的话,我们已经下载好了所有文件安装包,那么把 long chain chat grm 这个压缩包进行解压,解压以后,我们打开解压后的文件包, 找到文件包下面的 run 点 b a t 文件双击它, 那么同样的我们可以选择我们的显存配置,无显卡的情况下,您需要包含 三十二 g 以上的内存才可以使用。 好等待当安装完成后,我们就可以开始正式的使用他的软件了。 好,我们看到他已经安装完成了。 安装完成后,我们可以看到人工智能助手给我们提示了一个信息,让我们直接在本地 执行一个网址就可以访问到他,那么这个网址就是幺二七点零点,零点一端口号是七八六零,那么我们已经打开了这个网址。刷新后就可以 看到 long chain chat g l m 的一个界面, 由于郎欠的使用是和 cheat glm 结合的,所以啊他们的界面基本上是相似的,我们可以在这里输入提问的内容,按回车就可以回答问题了,这一部分我就不再演示了,大家可以去看一下 cheat glm 的演示视频, 那么这里我重点说一下 long chan 的本地知识库的建立,需要建立本地知识库的话,我们可以先点击这里的新建知识库,然后我们给知识库命一个名字, 然后添加至知识库选项。那么为了要建立本地知识库,我们首先需要在本地建立一个知识库的文档, 我们看一下,我们在本地新建了一个文本文件,这个文本文件里面记录了相关的知识的内容, 那么我们将这个文件拖入到我们的知识库里面,然后并且点击上传并加载到知识库,我们看到 这个本地知识库已经加载了,我们可以把刚才的问题复制过来,然后看一下是否有回答,悟空软件是做什么的? 我们可以看到目前这个回答就是我们本地知识库来提供的一个回答,那么我们可以在本地建立和我们相关的一些重要的知识库,这样的话就可以将我们需要的问题来提供给人工智能来帮 帮助我们来回答问题。当然除了使用默认的知识库问答,我们也可以选择其他的使用模式,在这里我们也可以对知识库的测试贝塔进行一些设置, 也可以对模型进行配置,欢迎大家一起来共同研究,然后并且和我们一起讨论。 那么关于 long chan 的简单部署和使用方法就介绍完了。如果您觉得悟空 ai 工具箱很有用,欢迎转发这个视频,谢谢大家。

哈喽,大家好,本期视频将和大家介绍如何在自己的笔记本电脑上部署类似于恰的 gpt 的大语言模型。首先我们看一下演示, 比如说我输入,我正在做一期关于如何部署类似 chart p ppt 的模型视频,帮我写一个视频标本, 然后它就可以帮我们,它就可以实现类似于恰的 d p t 的效果。 比如视频标题简介,如何在本地部署聊天进行模型, 这个模型直接在本地运行,不需要连, 不存在其他限制。然后比如说我们看他帮我提炼一个短标题, 有时候他就可以回复自家就能训练 chate 几步器。本地部署大语言模型。当然我们也可以继续质问,他 在响用的时候,这个响用速度是没有加速的,是它正常的速度。 当然我们也可以让他写些程序,比如说写一个标点,程序简单, 当然我们也可以对他输出的内容进行一定的修改。嗯, 比如说我不想使用 example 点 com, 请帮我修改为电音主点 com, 然后它也可以按照我们的要求进行部署,它也可以按照我们的要求进行改写视力。 那么这个本地模型用的是哪个 大模型呢?用的是兰巴醋,但是兰巴醋对于中文的知识并不是太友好,所以我们使用一个重音化过后的一个库,然后这个库呢? 他针对于蓝巴兔扩充了中文词表,然后也进行了一些预训练。他他可以在个人电脑的 cpu 或者是 gpu 上进行快速训练,即使你没有个人信卡,也可以进行训练部署。 嗯嗯嗯嗯嗯。

呃,不得不说啊,现在这个 ai 技术发展的真的是太快了,就是拆的 g p t 我还没玩明白呢,然后这两周呢,又出了一个 非常火的一个新的技术叫 auto g b t, 然后不知道大家有没有听说过啊,今天的话就给大家来分享一下这个 auto g b t 它是什么东西啊?我们怎么样去使用 auto g b t? 在分享儿童 g p t 前呢,我们先来回顾一下 chi 的 g p t 他是做什么的?我们可以把 chi 的 g p t。 当作一个 ai 问答中句,然后你向 chi 的 g p t。 提问,他就会给你对应的回答。那相信有很多同学已经用 chi 的 g p t。 去写论文,写代码,写文章等等等等。 那假设我们现在要写一篇论文,使用 china g p t 的话,我们是不是要先问他说啊,我需要写一篇论文,我需要 做哪些事?然后呢?拆了 g p t 就会告诉我们啊,你写论文需要经住以下步骤。那接下来呢,我是不是还要向拆了 g p t。 去人工的提问说啊?我要请先帮我确定一个选题,然后帮我去写一段背景,然后帮我去写一下论文的主体,然后帮我去写论文的实验总结等等等等。 就我可能要向他去多次提问,然后要自己去把这个问题给整理出来,最终得到一篇论文,对吧?就整个流程需要我们人工的大量介入,但但 auto g p t 它的强大之处在于,你只需要告诉 auto g p t 一个目标,比如说我要写一篇论文, 然后接下来 auto g b t。 就会自动执行程序,帮助你完成这个目标。那接下来给大家分享一种我个人认为最简单快速的方法,去搭建一个自己的 auto g b t 去使用它。 那首先我们进入到 ottvt 的官方仓库,然后可以看到啊,他现在已经有十万多的星星了,才短短两周。对,首先第一步我们要点击 foc, 把这个仓库复制到我们自己的账号下, 那这里大家一定要注意,要把这个 topie master branch only 给取消周选。为什么呢?因为 master 分支它的代码可能是不稳定的,没有经过大量充分的测试,等会我们要运行的是稳定版本的代码,所以这里要取消周选,然后我们创建。 其实我在网上也看了很多 auto gpt 的部署教程,但基本都是说要把这个代码下载到你自己的电脑上去安装环境,然后再运行。但其实我觉得这种方法不是特别的好, 因为 auto gpt 它是需要拍散的环境,它需要大量的依赖,那如果说你本地,如果你在本地去安装,这些依赖可能会和你之前 的环境有冲突。另外就是 autogbt 它在运行的过程中可能会读写你电脑上的文件,所以有可能会影响你电脑上的一些现有的文件,这也是有一定风险的。所以这里我选择的方式是使用 detopod 这样一个云托转平台, 就是用别人的服务器来部署这个项目,方便又高效。那怎么使用 datepod 来部署这个项目呢?其实非常简单,我们只要把这个项目的地址改成 datepod 的地址, 再加上一个井号,直接运行,然后我们就进入到了 gitpod 的界面,在这里我们选择我们要部署的 ott g p t 项目,然后创建 newwork space。 好,然后大家现在看到的界面其实就是 gitpod 为我们提供的一个云环境,我们就可以把它当做自己的电脑来使用。好,然后进入到 这个界面之后呢,我们先不用管他右下角的这一坨啊,他在自动帮助我们安装依赖。我们首先要点击左下角的这个分支,我们要把这个 master 分支切换为这个 stable 稳定版本的分支。好,大家注意看左侧,你会发现这个文件已经变了。 好,接下来我们要去修改这个 auto gpt 项目的配置文件,我们找到点 env, 点 template, 然后右键重命名, 把作者给我们提供的模板文件改成自己的配置。然后在这个配置文件中呢,我们主要关注的就是这一行,因为 auto g p t, 它底层也是基于 g p t 的,它要通过像 g p t, 像 oppo ai 去问答 来获取答案来完成任务。所以说这里我们要把它改成我们自己的 oppo ai 的 k, 那这里我就填写自己的 k 啊,估计很快就要被在座的各位小伙伴消耗完了。改完这个配置问 之后,我们进入到这个终端,按 ctrl 加 l 清屏。然后接下来我们要运行 rod s h 这样一个脚本文件,那这个脚本文件呢?会自动检查咱们这个服务器中是否缺少这个项目需要的依赖,如果缺少的话,就自动帮我们安装 好依赖。安装完成后,如果大家看到了这样的信息,他让你输入名称,那就表示现在我们的项目已经安装成功了, 怎么样,是不是很简单呢?那大家可以自己去尝试一下。好,那接下来我带大家快速体验一下这个 auto g b t。 的能力,然后试着让他帮我们完成一个目标,看看他到底是人工智能还是人工智障。 这里在实际运行前,我们先输入一个 help 参数,来查看一下这个命令它有哪些参数可以指定。那这里我给大家重点讲解几个参数。首先就是杠 c 参数开启连续 模式,开启连续模式之后, auto g b t 它的每一步操作都不需要经过我们人工确认,它就会无限的执行下去, 所以可以想象这是一个非常非常危险的操作。就比如说我们让他帮助我们去写一篇论文,那最后肯定要给我们生成一个论文文件,那在生成论文的过程中,肯定要从网上下载很多的资料,那假设我们的电脑已经没有空间了, 那这个 auto g b t 他可能和人一样,有些人为了达到目的不择手段,对吧?那这个 auto g b t 他也不择手段,他就把咱们电脑上自己的文件给删掉了,为了存放他的新生成的文件,而且还有一个风险,就是什么呢?他竟然是自动的程序,就有可能陷入一种死循环, 一旦进入了死循环,其实我们背后的那个 open ai 的额度在不断的消耗其中,可能过了一天之后 后呢,我们的任务也没有完成,钱没了,钱没了。作者为了降低这种风险,他还提供了一个额外的参数尬聊,就是我们可以指定啊,他自动运行的最大的次数, 他连续运行几条之后,他之后再去运行新的操作,那就要找我们人工去确认,对,这个是相对安全一点。好,那这个儿童 gbt 的用法介绍完了,接下来我们就来演示一下,那我们就给他一个目标, 那比如说现在我要生成一个网站来表扬鸡打篮球打得很好,那我们首先启动奥特 gbt, 好,他让我们输入名称,随便输入一个。好,接下来这部比较重要,他让我们定义这个 ai 的角色,那现在既然我们要让他帮我们去创建一个网站,我们就让他是一个前端开发者, 现在呢我们就拥有了一个前端开发员工。然后接下来呢?呃,接下来呢就要给这个员工定目标,这里也和真实世界一样的,就是作为老板,你要给员工定的目标越详细,员工才越清楚应该怎么做,才正容易 满足你的这个目标。在这里我们给他定一两个目标吧,最多可以只定五个。那我们给他定的第一个目标就是,呃,写一个网站用来表扬鸡在打篮球,然后再定一个更明确一点的目标,就是呃生成一个 文件来构建这种网站。那接下来呢,咱们的员工,咱们的前端工程师就开始干活了,我们就期待一下。好,现在 ai 已经给了我们回复,我们来看一下,首先是他的想法,他认为在做网站之前,他要先去做调研,他要去搜集一些关于鸡蛋 打篮球的信息,然后我们看一下他的计划,他打算从网上去搜索击打篮球枪中的内容,并且呢他想要浏览这些搜索结果,去收集一些信息,再往下,这个很有意思,我们可以把 ai 当成人,就是当你给他布置些任务。哎,他不理解,或者说他有些自己的想法的时候,他可能会给你反馈 啊。我们来看看这只园中说什么,他说他想要确认自己没有花费太多的时间在这里研究上,就是因为我们没有给他一个明确的时间期限,然后看一下他的下一步操作。这里是最明确的,就是他打算去搜索击打篮球的信息。 好让我们接下来可以给这个员工一些反馈啊,比如说输入外就表示认同你的下一步操作。输入外账 n 表示你要连续的去执行几条操作,接下来就不用向我确认了,然后 n 就 表示退出程序。还有最后你可以给他一些额外的建议,那这里我们就输入 y 执行,他在思考。 好,现在他给了我们下一步的计划,他下一步要执行的操作是浏览网页,然后他可能要去看一下刚刚搜出来的信息,那我们继续输入外让他浏览, 然后再看下一步操作啊。哎,这个地方系统提示说有错误,他找不到这个浏览器,因为咱们的这个服务器还没有安装浏览器,所以这个凹凸 gbt 呢,他也没有办法打开浏览器去进行网页。他下一步的计划呢?是安装一个什么代理, 使得能够浏览这些搜索结果,那我们就继续按外看他能做什么,看一下他的下一步回复啊。呃,大概的意思就是说他现在还是想要获得更多的关于击打篮球的信息,就感觉他好像陷入 入了一个迷茫或者误区,要不我们给他一个稍微明确一点的引导吧。好吧,我们就让他更多的关注于创建网站这件事情,不要再做研究了,让他立刻给我们生成网站。 我们再看一下他的下一步计划啊,就是他打算使用写文件命令来创建 html 文件了啊,这个是符合我们预期的,而且呢,他打算去使用这个文件追加的命令去给这个网页文件补充更多的内容。然后他希望他自己写的代码扯读性是比较高的, 其实已经有了一种工匠精神。是,那我们一条一条让他执行也挺麻烦的,我们这次直接偷着懒,让他连续执行五条操作,好直接外杠五。那这里我们就稍等一下。好,我们来看一下他做了些什么啊?大概就是说他往这个网页文件里面追加了一些内容, 接下来他也想打开浏览器去确认一下自己写的这种网站是否还需要更多的修改,但是呢,因为我们这里没有浏览器,所以呢,他决定去给我们安装一个浏览器。那我们再来五步来,我们看一下他做了些什么。首先他企图安装一个浏览器, 结果呢,安装失败了,然后呢,他又想去看自己生成的网站怎么样,结果呢?浏览也失败了,然后再往下,他又要去新写一个 html 网页文件,结果呢 也失败了,然后再往下呢?哎呦,这一步很有意思啊,他打算把这个刚刚写过的这个网页文件给删掉,然后呢,他也真的把这个文件给删掉了,所以说这就是刚刚提到的那种危险的操作,然后最后呢,他又打算重新写一个网页文件,那这次我们就只让他执行这一步吧, 我也不要再做这多尝试了,处处碰壁啊,可谓是。哎。他这里又报错了,然后由于文件已经被更新了,他现在决定再往之前的文件里面再去补充一些内容,我们再允许 好,他说文本添加成功,那这次估计是有戏的。那接下来我们在这个 watch space 工作空间中找到他为我们生成的文件,我们来试一下能不能运行。啊, 那这个就是 otogbt 为我们生成的网站了。嗯,其实没有图片,也没有视频,然后全是文字,然后说这个击打篮球的历史可以追寻到二十世纪中叶,然后底下就会教你怎么去训练击来打篮球。 其实我感觉好像和我们的主题有点偏,因为我感觉我没有把自己的预期描述特别清楚,我就是想让他给击打篮球这件事情写一些赞美的词词。对啊, 他好像理解错了我的意思。那其实通过我们的这次体验啊,不知道大家觉得怎么样,反正我自己的一个感受是,虽然说治疗 ottgbt 他确实能够自动化的去帮我们做一些事情,但是他生成的内容的质量的好坏 其实是很难把控的,需要对我们这个操作 ai 的人提出正着的要求。这个 ai 他肯定还会持续的发展,而且发展的速度可能远远超乎我们的预料。 那对于我们大多数人来说,我们能做到的可能就是先学会使用这些 ai 工具,让我们能够跟上时代,利用 ai 来提高自己的一些工作的效率。然后大家也可以分享一下自己用这个 autogbt 的一些玩法。

港科大开源 mfo 支持上千种模型,提供全流程高效训练方案。拥有自己的 ai 大模型,不需要从头于训练,只需要以翻听作为切入点即可。具体来说,该模型基于七十亿参数的 ai lovem, 只需一张三千零九十,耗时五个小时,就可以训练一个专属于自己的个性化 gpt, 并完成网页端部署。开源库。作者们已经利用这个框架,单机训练三百三十亿参数的 ailam 中文版,并开源了模型权重,用于学术研究。

基于 u x e 和国产大模型 check g l m 六必实现基于本地知识库的自动问答,代码开源,可离线部署,也可以在线体验,欢迎 skar。 下面介绍在摩达社区在线体验本地知识库的自动问答。 首先我们选择 combating model, 然后上传本地知识库。我们支持 markdown 格式、 word 格式和计时本格式。这里以 check glm 六 b 的 liam 蜜为例, 我们上传下面有几个参数可供选择,包括 top, p, tab, pressure 等。然后我们在输入框中输入我们的问题, 然后回车或者 点击发送,稍等返回出结果,浏览一下, 效果还是很不错滴。当然项目还有很大的优化空间,欢迎大家进入地址关注并参与。

今天在回答一个之前视频里面被挑战最大的问题,大语言模型到底能不能装在手机和电脑上?应该可以的,你拥抱的呀?我给出一个信息员,感兴趣的可以自己去核实一下,是 facebook 的妈妈大语言模型 以及斯坦福根据 lama 用那个微调训练出来的 ipaca, 你们可以去自己去核实。第二个的话呢,是给大家看一下我们已经部署在个人电脑上的这个 lama, 也就是传说中的大约模型,它到底是一个什么样的?就是我们通过苹果的那个 me 的机器运行下来,那个 cp 嘛,就是最小的一个模型,然后我们问他问题呗,就是怎么去建造一个网站,对不对?我们开始运行吧,这时候我们去看看,他 开始加入模型,然后开始运行了,然后这就是他开始回答问题嘛,就是在我们这个机器上面运行,但他可能只能回答英文,他回答的能力蛮强的,这个是会比较慢的,你看八十八号就相当于一秒钟只能出十几个。 你稍微再给大家解释一下,他他在就是通过深度神经网络,通过大家们的训练找到里面的规律。我们看一个模型的时候都会有一个参数量斑马的,他出来有四个版本,一个是 tb, 然后另外就是三 b 和三十 b, 还有六十五 b。 刚才你说的那个我们运行的,我们大部分人都是说跑最小的 七 b, 七 b 一个参数它可以表示成比如三十二位浮脸型,还有就是比如说十六位的有一个功能把它又换的到整形的,然后把那个参数压缩吗?其实还是有有论知识的,他从三十二的位浮脸型往下面压,压缩成整形的时候,其实手势的精度并不是特别大,达到了百分之八十的精度,所以说还是够用的。这个时候我相信有人会评论你,听君 一起换,如今一起换,哈哈哈。第二点的话是就是手机上的门运行,我们自己没试,但是确实已经有人试出来了,其实跟我们电脑是一样的,这个是安卓的,他只是有六六 g 或者是更更大的内存吧,实际上你就是这个速度而已啊,只是说按比芯片可能会比这个上面的速度快一点吧,现在的 cpu 和内存情况就能推送出来,肯定可以考到最小的东西,七 b 的肯定可以的。 这件事对于个人来说其实意义没有那么大,但是对于企业来说意义非常大,我知道已经有企业开始用妈妈去做训练了,而且因为露出来之后把这个肺子部位也就是等于都要放开了吗?其实是故意的,其实是故意,而且他是让更多人来训练这个东西,他他作为一个开开远的项目,他一定会跑的,就像当年的林立克斯或者像那个 stepty fusion 一样。对,一定会爬上来的。

大家好,今天要讲的内容是 windows 本地部署拉玛二大模型。 在本节课中,我们将在 windows 环境不使用 gpu, 只使用 cpu 的情况下,基于拉玛点 cpp 这个库部署并运行拉玛二大模型 完成部署后会直接使用 python 接口进行文本生成。 二零二三年七月十九日, meta 发布了免费并且可商用的大语言模型拉玛二,这一举措足以让大模型领域的格 格局发生巨大的变化。 number 二系列模型有七十亿、一百三十亿和七百亿三种不同规模参数的模型, 经过评估,拉玛尔的实际效果已经超过 gpt 三,甚至已经接近 gpt 三点五。 关于拉玛尔本身,有非常多值得讨论的地方,尤其是对国内 ai 领域的深远影响,将来我会再专门出视频来讨论。 下面我们进入正题,就用手头的个人电脑来体验一下。辣妈二, 我们都知道大圆模型动辄就是上百亿的参数,本身就不是在单机环境下使用的, 即使是拉玛系列最小的七十亿参数,也需要英伟达 r t x 四零九零或 a 十来运行。 但是有位超级大神,他基于 meta 发布的拉玛模型开发出了一个运行拉玛模型的模块拉玛点 cpp。 该项目纯手工基于 c 加加打造,没有任何第三方便于依赖,使我们可以基于 c p u 条件进行大模型推理。 另外, 拉马点 c p p 不仅支持拉马二模型,还支持 alpaca、 chinese、 拉马 visor 的 l m 等等其他模型,并且还提供了 python、 go、 node、 j s 等其它语言的接口。 接下来我们来一步步搭建拉玛 cpp 的拍摄环境,实现大语言模型的单机运行。 在搭建环境前,需要提前安装 video studio 用于编译拉玛点 cpp, 我们可以直接在 vs 的官网下载 vs 二零二二 社区版进行安装。 完成 vs 的安装后,使用安娜康大创建一个新的 python 环境,其中 python 版本选择三点十, 接着打开环境,使用 pad install 拉玛 c p p python 命令安装 python 接口的拉玛 c p p。 我们可以在哈根 face 上下载量化后的拉玛二模型,具体登录哈根 face, 找到 the block 这个项目,然后再在其中找到拉玛二 七 b chat g g m l 模性这里要说明的是拉玛尔七 b 是原始的七 b 版本, chat 代表聊天微调版本,而 g g m l 代表亮化模型。 所谓模型量化,可以简单的理解为一种模型压缩的技术。 在下载列表中,我们选择下载其中的 q 四零这个版本,列表中还有很多其他版本, 简单来说, q 四零表示每四个比特一个权重, q 五零就表示每五个比特一个权重,其中的数越大,那么就代表精度越高,我们选择一个差不多的来 使用就可以了。 完成环境的搭建和模型的下载后,就可以编写 python 代码了,程序会依赖拉玛 cpu python 这个模块儿,它的接口使用方法可以在项目的文档中找到, 打开项目文档可以找到接口中的各个参数都怎么使用, 这里就不过多介绍,具体的使用效果还需要大家自行调试。下面我们就来写一个简单的样例程序。 首先导入 lama c p p 在内函数中首先创建拉玛模型,模型使用我们刚刚下好的 q 四零模型,然后对模型输入, hello, who are you? how old are you? 看一看模型的反应如何。 这里我们实现一个功能函数, generate text 函数传入模型 model 和输入信息 message 函数返回模型的输出结果。 在函数中,首先需要将 message 转换为 prompt, 然后将 prompt 输入至模型,得到输出 output。 输出结果的格式可以参考文档。我们将其中的 trialses 中的 text 字符串取出, 保存到 answer 中,并将 answer 返回 运行程序,可以得到三个测试结果。发送 hello, m 二会回复一个友善的回复。发送 who are you? m 二会自我介绍发送 how old are you? m 二也会给出合适的结果。 那么到这里, windows 本地部署拉玛尔大模型就讲完了,感谢大家的观看,我们下节课再会。

不吃电脑配置,不花一分钱,一键轻松部署一个 ai 小助手,可直接使用 chat g m l 二、拉姆二等开源大语言模型,周末时间大家来一起部署一个属于自己的 ai。 老规矩,我们先看一个基础测试,现在呢已经被咱们成功的部署到了云端,也采用的是 chat g m m 二 对应的一款大语 ai 模型,而且这个位置还可以上传本地的知识库,可谓非常的强大,不吃你电脑,而且所有的内容呢,完全免费操作。 想要本次视频中资料的兄弟们老规矩,点赞关注评论六六六。首先我们先打开老张给大家提供的第一个链接,我们先在阿里云服务器上领取这三个月的 额度,然后认证方式呢,我们直接选择个人认证即可,注意啊,三个月是不花一分钱的。好的,打开咱们的第二个链接,把这两个数据库呢 给他领取一下,因为咱们将来如果说你想要在当前的这个内容中啊,搭建你本地的知识库,或者说上传知识库文件,你需要用数据库作为存储方式,跟之前一样,点击立即使用。 大家注意啊,这两个关联角色和服务角色一定要点击下创建。最后呢,我们再来领取五十个 g 的文件存储空间,用来放咱们将来要部署的大语言模型, 领取方式跟之前一样,咱们点击试用。好的,当咱们把以上这些内容领取完成之后呢,大家可以在这个产品位找到对应的计算选项,这有一个函数计算 fc, 咱们点击进入, 点击进入管理控制台创建默认角色,然后在左侧栏中找到应用选项,咱们可以看到他会有大量的模板,在这大家看到了有 a n 大语言的, a n 绘画的,同意千问的,那我们直接找到 你要部署的 ai 大语言模型,直接点击立即创建,点击进入以后啊如果您有 github 账号,您可以直接进行输入,如果没有的话,咱们直接部署都是一样的, 然后这个地方任何东西咱们都不用去改,然后在最下面点击创建并部署默认环境,然后他会弹出咱们刚刚是不是领取到的两个资源呢?直接点击,然后选择同意,然后选择继续部署, 这样的话他就会自动的帮咱们去创建应用,可能速度呢会稍微的慢一点,大家稍等片刻,然后大家看,如果说现在咱们显示部署成功的话,兄弟们看这他会产生一个钉的域名,咱们可以直接点击域名好,咱们就可以直接对齐进行提问了,大家来看 效果还是非常不错的,对吧?质朴公司,那么咱们看到他最最上方呢,有一 一个三十次的问答额度,那么这个问答额度咱们怎么提升呢?咱们可以切换个人数据库,个人数据库呢,就是大家在这个位置所领的这个二 ds 数据库,那么这呢很多兄弟可能会出现一个小问题啊,就是你在领领取的时候,比如说跟老张一样在这领取, 咱们这个呢,直接这个都不用去管他,咱们注意现在的主节点可用区是不是杭州可用区为 g 啊?然后咱们在这选了一个 vpc, 然后需要选一个交换机,结果咱们发现一勾中啊,发现,哎,交换机不能围空,但很多兄弟的问题就出现了,这个地方没有选项, 那咱们可以怎么样呢?大家来看啊,假设像老张这个已经配置好了,你看是不是没问题啊?那怎么配置的呢?兄弟们,先记住你当前的主节点可用区在哪,然后点击专用的网络控制, 然后在这创建一个交换机,这个标签名称呢,咱们可以任意续起,咱们把它绑定在默认的这个专用的网络下,注意你的专用的默默认网络是什么,然后在这注意交换机名称啊,你可以先随便的去叫可用需,这跟谁一样?兄弟们划重点了,是不是跟这个 主节点可用区是一样的就可以了,然后直接选择立即试用,所以大家看这个这个解决方案一定要记住,否则的话你没有这一步,你将来这个 r d s 你是没有的。好,那么有了这个 r d s 以后呢,咱们就可以让它切换至个人 个人数据库了,那个人数据库咱们就得做一个简单的配置来完成,然后接下来我们来操作一个个人的数据库,后面的难度可能要稍微大一点,大家跟上节奏啊。首先第一个呢,咱们选择阿里 刚才咱们领数据库的这个页面,这是不是有一个已试用啊?咱们点击好,然后我们打开实际列表之后呢,看到这个状态是运行的,我们直接选择管理,管理信息中选择账号管理,然后选择创建账号 数据库,账号这个地方由您自己决定,然后高权限账号密码也是由您自己决定好,高权限账号已经激活,证明咱们账号创建完成,然后选择左侧的数据库管理, 点击创建数据库,数据库名称还是您自己随便的睡觉。选择完成以后,在这点击授权账号就是刚才咱们创建的高权限账号,然后选择创建,然后再往下选择白名单与安全组,然后找到 defote, 选择修改, 修改之后咱们把它呢直接按照这个位置进行修改,请你们看一下,把这个直接复制过去,选择放到这个位置,表示全 公网开放,这样的话咱们可以直接使用测试即可,然后点击下方数据库连接,选择开通外网地址,好的,这样的话外网地址配置成功,点击复制, 然后打开咱们刚才布置好的这个内容,选择迁移个人数据库,不连接地址,直接添入,添入之后端口也是在这个位置,咱们刚才拿到的五四二三的这个外网端口,点击回来高权限账号,咱们自己注册的内容账号密码,咱们自己注册的密码, 数据库名称,咱们自己注册的数据库名称。好的,那么现在上方的限额也被咱们取消了,可以直接上传本地文件,甚至可以导入知识库的 uil, 直接进行本地访问,可谓非常的哇塞,有任何问题记得评论区给老张留言,周五了,大家抓紧去尝试。

打造你的本地私人智能助手,他提供了多种预设角色随心选择,比如这个小红书写手,随便给他一个主题,他就会给你生成一份完整的内容。 这边还预设了几十种提示词,包含了各行各业,设置里可以调整各种参数来改变回复的效果和长度等等。对于这个数据安全问题也不用担心,都是存储在本地,安装和使用就更加简单了。来到这个开源项目地址右侧,找到 releases, 点进去, 这里面就是各种不同系统的文件,比如这个 e x e 格式的就是 window 系统的,这个 d n g 格式就是 mac 系统的,我们把它下载下来,直接安装就可以了。 安装完成以后,将我们的 apik 复制到这个地方,接下来就可以聊天了,那么快去试试吧,无法下载安装包的小伙伴可以私信找我要。

ai 接入微信秒变智能客服,全程本地操作,小白也能完成,只需两分钟,轻松教会咱们先看成品效果,首先第一个咱们这个 chat jmm 二是可以直接本地运行在网页端的,直接运行在您的电脑上,可以给您进行相关的标题分析以及其他 ai 制作都是没有问题的。 除了本地运行以外,还可以直接挂早到咱们的微信上,让他直接实现微信的 ai 客服的结果,直接去发消息,然后 ai 在后台进行监听,然后直接给人进行相关的回复,是非常非常哇塞的, 还是老规矩,想领取软件的兄弟们点赞关注评论六六六。接下来老张给大家来讲解完全的教程,拿到老张给大家准备的工具,到时候会是一个压缩包,大家注意他的名称,然后双击打开,打开之后呢,首先第一个咱们需要先下载对应模型,直接双击, 然后按回车键,他下载完成以后会自动关闭窗口,大家完全不用你做任何操作。好的,下载完成之后呢,咱们会发现在同级文件目录下有一个 model 模型文件夹,这就是咱们刚刚下载好的 check glm 二的大语言模型,如果您这边想用其他语言模型,可以直接做一个相关替换,都是 ok 的好模型下载完成之后,咱们直接点击运行, 点击运行有两大版本,第一是网页版,第二是微信模式,根据您的需要进行选择,然后后面会有一个显存的比较,十二八到十二 g, 八 g 三十二 g, 去看一下您显卡的对应选存,以老张举例,我的显卡是八 g 选存,我先给大家测试网页模式, 好的,他就会给咱们进行对应的启动,大家稍等片刻,他会自动的弹出对应的网址链接,自动打开以后,咱们就可以直接进行发送了。好的, 咱们可以看到没问题,然后咱们可以直接输入您想输入的问题或一些 ai 指令进行相关的提问了,这是第一个网页版,然后接下来咱们再说微信版如何使用,首先登录一个小号微信,然后呢把刚才的终端关闭掉,双击运行,选择指定的微信版本,咱们选择六, 选择之后,他这有一个选项框,您可以根据您登录的微信让他在哪个位置中进行生效。比方说让他在某个群里担任客服,老张这个群叫 demo, 然后可以选择艾特回复,也可以选择全部回复,点击确认,这样的话他就直接可以在他这个群中担任咱们的 ai 客服了,只要有人说话,他都会进行回复,非常非常的强大,大家抓紧去体验。

ai 支付搭建,直接上传文件,让 ai 秒变你的私人小助手,还可进行 ai 智能问答。今天老张教大家如老规矩,我们先看部署后的完成效果,部署完成之后呢,我们可以用两种模式进行对话,首先第一种呢就是 咱们最原始的 ai 对话模式,它启用的是 chat g m 二的一个大语言模型,可以帮咱们进行相关的学习分析。老张在这呢让他作为文案分析师帮咱们学习的二极管标题法,然后进行了相关的分析阐述,产生十个爆款标题,效果还是非常不错的。还有就是支付相关内容, 咱们可以在这上传您对应的知识库,比方说咱们点击好的,大家可以看一下。老张这呢有一个客服快捷自动回复与大权,就是咱们对应的一个客服接待的相关手册,咱们把这个手册呢上传到 ai, 让他添加到对应的知识库中,然后重新选择对话,然后在这选择 知识库问答方式直接在这写一个你好好,然后我想看一个拍了后如何发货呢? 对,大家可以看一下是不是直接查询到三天内就可直接发货,然后自行查询之类的,是不是都是完全通过数据库进行匹配的?就是如果您需要一个本地的支持库,这个绝对是你非常好的一个选择, 咱们还可以在这上传,您不同的地方,咱们可以直接上传,然后进行导入,就可以搭建你个人的知识库了。所有的部署内容呢,老张都在这给大家都已经整理好了,所以大家需要的兄弟们点赞关注评论六六六,接下来看老张给你来如何搭建云端部署。首先我们可以在 did hop 网站上搜索 long chan 杠 chat chat, 打开对应的项目目录, 然后点击对应的目录介绍,在目录介绍中,我们可以直接往下去拉,找到凹凸 d l 镜像部署,然后咱们在这呢可以直接选择 右侧的凹凸 dl, 创建实力好,然后我们在容器实力这个位置选择按量计费,然后选择内蒙 a 区,然后这个显卡配置呢,咱们可以直接选择 a 五千 gpu 选择一个啊,然后直接点击主驾 ad, 然后选择立即创建, 创建过程中他会有一个进度条的显示,大家稍等片刻好,当我们看到状态改为运行中时,证明启动完成,然后我们直接选择快捷工具选项中的第一个。 好。启动过程之后呢,我们进入到了他的终端命令行,在终端命令行里,咱们打开刚才留存的这个部署记录,然后这有一个一键启动,咱们可以按照这三步走,把这个程序正式的跑起来,这三步分别为 移动到对应的目录文件,直接粘贴回车,大家注意前方已经改改变完成,然后在这直接创建 环境,把它再次的拿过来再回车,这也没有问题。最后咱们通过 python 启动对应的应用程序粘贴回车,这个启动过程呢可能较为缓慢,大家只需要稍等片刻即可。好了兄,当兄弟们看到这行蓝字,并且告诉咱们对应的六零六六这个地址是证明咱们启动已经成功了。 好,那么咱们可以直接的返回到上一集目录,在这有一个自定义服务选项,也是快捷工具栏中点击自定义服务,然后选择对应访问。 好的,点击启动之后呢,我们就进入到了正式这个页面了,在这呢选择您的对话模式,可以直接用 ai 对话,可以选择知识库问答,在这进行对应的知识库管理。很多兄弟说呢,学完 aa 工具之后有什么作用?你可以去五八同城上找一份 ai 相关的工作,帮你提高你的工作效率。 好,老张可以给大家来做一个简单的提示啊,表示你好,他会根据支支付帮咱们进行相关的一个匹配。好,如果您发我申请退款了,根据已知信息会为咱们进行匹配,所以说是相当哇塞的。

ai 界的安卓系统羊驼二终于支持中文了,只需两步轻松部署到你的本地来体验目前开源系统中的最强 ai, 还可免费商用,大家跟老张快速体验一下。 首先呢,咱们先来看一下效果啊,这个拉莫二啊,他现在已经完全可以支持中文了,咱们国内大神成功研发的中文微调版本,而且给咱们提供了两个模型版本供大家选择,一个是基座类的,用于仿写文章续写等,一类是咱们叫做他叫做星座类,或者叫做指定类, 就类似于咱们对应的菜的 gbt 那种感觉的,直接通过指令进行聊天的。所以说今天老张呢,跟大家来讲解一下,如何把这两个中文版的拉姆尔模型给他部署到咱们的本地 直接本地应用。如果之前了解 github 的兄弟呢,可以直接登录他的 github 来进行部署,如果不了解的往后接着跟老张走,没有软件的记得双击关 关注评论六六六。好了,接下来咱们来说一下如何部署咱们这个就是刚才老张给大家说的咱们中文微调后的两个模型,一个是基座版,一个是对话版,大家如果需要的话呢,老张都给大家同时打包起来, 对于这个 text 的真的 reset 啊,进行一个简单的部署,还是打拿到老张的这个工具之后呢,咱们直接点击开始好,开始成功以后,咱们直接在这个位置进行打开。当然如果您首次安装的时候呢,他会有一个安装指令,咱们把它安装完也可以,大家碰到任何问题都可以直接发过来。 然后那两个模型呢,咱们是放到这个 test generation 杠外边, ui 放到这个 models 这个文件夹里,直接放到这就可以了啊,大家下载其他模型也是可以放到这,这种的话方便比咱们自己搭建的要简单很多。 然后咱们直接访问这个网站,好的,咱们打开 generation 这样 test generation 这样的一个网站,然后先在这个位置 选择模型,在上方点击模型选择,然后在这模型中,您看您是想使用类似于 t b t 的对话方式,还是想使用文章仿写我的老张给大家演示一个叫 t b t 的,然后选择 load, 这样的话他会加载指定模型,就是老张这提供的是一个七 b 的模型啊,起码你的显存呢得达到八 g 以上,否则的话会爆显存的啊,大家来看一下,这是没问题了,成功看到了吗? 成功之后回到这你就可以直接进行对话了,所以大家可以看到它的效果呢,比之前的拉玛尔要强很多,他是能够读懂中文,也可以用中文来回复的,一些 gbt 的指令在这个位置都可以直接使用,而且呢全程本地部署,这个将来你用完之后呢,甚至你可以开发属于自己的模型微调来搭建你自己的知识库。 如果有想学习如何搭建知识库的兄弟们呢,可以在下方给老张评论,如果本期视频点赞超过两千以上,老张会给大家开新的内容,给大家来讲解如何使用文答系统搭建 gbt 知识库。

让人人都能用上的室友 gpt, 一个本地部署可以在 cpu 上运行的 gpt, 他不需要联网啊,录制也不会传上网。如果你不想自己公司内部的数据 进入出去,同时也想用自己的数据进行训练,就用 g b t f o 进行事业部署。 g b t f o 让人人都能用上的自由 g b t 目前项目的新兴数量已经接近五十二 k, 他开源可以商用,他不仅是做那个聊天的界面,还是一整套的系统,几乎拿着就能用。另外他们 gpd four order 自家的系列模型,本机 bug 的数据相当出色,特别是他的十三个濒临的模型,得分直追 gpd 三点五。我们看一下怎么用, 这里下载源码,最简单的方法是直接下载安装包,安装过程中会提示下载模型,这里可以看到啊,除了他自家的 模型以外,还支持包括南方图战队的各种模型,我们可以根据需要进行下载,那我下的是七个比你的小羊驼。当然了,以后想用哪个模型也可以单独下载,我们在提问的时候可以在菜单中选择模型。另外我们也可以在本地的电脑上 配置一个文件夹,放入我自己的数据,让大模型能够访问,并且在回答问题的时候,大模型可以引用这个文件夹内的内容。这样就实现了,一方面进行的是一部署,另外一方面又能确定自己的数据,怎么样,是不是很爽快,去试试吧!

大家好,自从我发布了基于本地大模型构建企业私有知识库系统的视频,很多小伙伴在后台留言让我出教程。最近一直忙着交付一些本地大模型和私有知识库的系统项目,一直腾不出时间来,现在总算有空了来安排。 首先我的视频会分为硬件和软件两个部分,教会大家从零开始部署一个基于本地大模型的私有知识库系统。首先是硬件篇, 做到硬件必不可少的就是四零九零了,现在的大模型动辄十几个 g 的最低显存要求,对于消费级硬件,这也足够了。视频最后是配置单,按照这个配置单的电脑基本上跑六 b 七 b 的模型很流畅,十三 b 的拉玛兔稍微有点卡, 传奇的过程我就直接快进了。考虑到散热,我配置了一个比较大的机箱。因为我对酷炫的灯光不太感兴趣,所以选择硬件的时候灯光效果不在我的考虑范围内。我主要从性能、稳定性、价格几个层面去考量。 这个配置的机器我已经用了三个月了,各方面我还是非常满意的。 关注小百,了解更多 ai 干货!