近日, cmu 副教授 gm lubec 对有七种聊天机器人进行了详细测评,并制作了一个实现自动比较的开源工具,最后形成了一份测评报告。在这份报告中,测评者展示了一些聊天机器人的初步评估 就结果,目的是让人们更容易的了解最近出现的所有开文模型以及基于 rpi 的模型现状。以下是评估结果汇总。测评者评估的七种语言模型,这些模型是根据他们在客户服务数据集上创建类似人类的响应的能力进行评估的, 他这个不是拔的头筹,但开源模型 vtoona 也很有竞争力。测评者发现使用具有较长上下文窗口的拆穿的模型非常重要。在对话的前几个回合框部的工程对于提升模型对话的表现非常有用,但在有更多上下文的后期回合中,效果就不那么明显了。 即使是像叉 cup 这样强大的模型,也存在很多明显的问题,比如出现幻觉、为人探求更多信息、给出重复内容等。
粉丝1.1万获赞13.3万

什么无需联网、个人笔记本就能运行性能媲美拆 gpt 的 ai 大模型来了!上期视频给大家分享了散福大学研发的羊驼模型 lpaca, 紧接着伯克利大学近期就发布了性能可以达到 gbt 四百分之九十的维库纳模型。嗯,维库纳的中文还是羊驼,那说明羊驼家族已经非常繁荣了啊!为什么说这是一个大事件?以及对于 ai 深度用户和创业者来讲意味着什么? 说四点啊,第四点最重要。首先,他是开院模型,避免了 openni 公司一家独大的局面,非常有利于 ai 创业生态的繁荣。第二,羊驼模型一次训练成本只要几百美元, 相比较拆 gbt 一次训练成本高达千万美元,这就太诱人了,意味着未来将出现更多细分领域的更好用的垂直 ai 模型。第三,无需联网,隐私性非常好。要知道,拆 gbt 前几天就因为用户数据泄露被关停了几个小时,而你和羊驼的对话呢,都是保存在本地的,非常适 多项金融、医疗等隐私敏感领域的 ai 应用开发。第四点也是最重要一点,羊头模型代表着 ai 本地化、小型化的趋势,未来呢,甚至可以运行在你的手机、音箱、电脑、汽车里面,无处不在,随时随地都能回答你的问题,这开启的想象空间可就太炸裂了啊! 在个人电脑里面去运行羊头模型,是不是对计算机的硬件要求特别高?完全不是哈,最基础的 lpac 七 b 模型,基本上普通电脑都可以流畅运行,具体安装教程可以看跟他们上的项目仓库, 也可以查看我制作的手把手懒人版教程,苹果用户直接拍左下角链接,安卓用户可以进店铺查看另外一个链接,关注我,每天分享,用 ai 提高十倍生产力。

如果你是一个技术开发者,那我给你一个建议,那就是不要一直盯着 chat gpd, chat gpd 会吃掉几乎所有的 c 端服务,但是在弊端会留下足够的市场空间。 弊端最合适的解决方案不是 tread gp t, 也不是温馨语言,而是像小羊驼 tread g l m 这样的开源语言模型, 因为他们能够本地化部署。有很多弊端或者极端的项目,因为涉及到数据安全问题,他们内部的数据库都不会连接到外网。 所以如果让亲爱的 gpd 或者文心怡这样的大模型来提供服务,数据不连接外网是做不到的。而像小羊驼这样的开源模型,他就能够实现本地化部署。虽然说和亲爱的 gpd 相比,小羊驼的参数 规模小,在世界知识和逻辑推理上面是远远不如亲爱的 gpt 的。但是对于一些 tob 或者说 tog 的交互服务类项目来说, 思域知识的重要性是远远大于公寓知识的,而小羊驼的语言交互能力配合上思域知识,在这些场景当中肯定是够用了。而且从成本上面来说, 使用小羊驼和 chat glm 因为是本地化部署,不需要持续支付云端服务费用,对于做弊端业务的项目方来说也会更加的友好。 所以如果你是一个有一定技术能力的弊端方案提供商,在这个时候开始折腾小羊驼会是一个非常不错的选择。如果你是一个有不错能力的研发者,在小羊驼上投入创业 也是个不错的选择,因为很多的弊端方案提供商只有整合技术的能力,而没有开发技术能力,这里面就会留下很大的商业机会和空间,所以加油吧,国内的开发者们。


兄弟们插播一条消息, t 七 l m 第三代六 b 模型发布,发布时间是三天前,目前已经有一千八百颗星。众所周知, t t l m 是国产开源大模型的扛把子,这次 t t l m 三带来的新能力再一次领跑国产甚至全球开源大模型。比较离谱的是 t t l m 三六 b 基础模型 是目前开源社区里实力以下模型中最强,而且他原生支持函数调用和代码解释器,在官方 demo 里就能直接体验到代码解释器的能力,同时在 demo 中还有函数调用的视力,大家也可以开发自己的函数。目前官方一共发布了三个版本的模型, 上下文最大的有三十二 k f p 一六精度运行需要十三 g 的显存,和前几代模型差不多,如果显卡不够的话可以考虑在斯比特精度下运行,效果肯定没那么好,但是 至少可以跑 cpu 部署的话需要三十二 g 的内存,速度就比显卡慢太多了。苹果部署和多卡部署这里也有解决方案,大家自行参照。第三代三十二 k 的模型相比前一代提升非常显著,兄弟们不得不说,前期 lm 真的是惊喜不断。

刚给大家演示一下那个 chat glm 的一些功能啊,一些他这个模型的一些基础功能啊,我主要是演示以下这几几个方面啊,主要是一个自我认知啊。写,呃,提纲写作,文案写作,然后邮件写作,然后他也可以做一些角色扮演啊, 然后也可以做些呃这个评价的比较啊,然后还可以做一些本地知识库的一些问答啊,然后我就给大家演示一下啊, 先我们看一下他那个 cat g a m 的那个自我认知啊,界面打开之后的话,选择这个 l l m 的话呢,主要是这个机器人对话啊,这个知识库问答的话呢,就是利用本地的这个知知,知识库就加载这个知识库可以进行问答,他等于是这样我可以看一下。 对,我先问你是谁啊?你好你是谁,他就会比较好的回答, 介绍一下你的优缺点啊, 强大的对话功能,灵活的知识库,友好的界面设计,实时的更新他主要的缺点。 好,我让他帮我写一个培训的提纲。 这个是什么东西啊?啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧。 然后我让他写一篇新闻稿新闻稿, 然后我让他写个邮件, 再让他写一个视频的脚本 角色扮演。角色扮演就是他是以比如说是一个那个新闻工作者的这个角度去报道, 他也可以对 这些东西进行比较。 最后一个我们来看一下 这个是不基于这个知识库的这种回答, 我们看看 g 知识库的回答, 基知识库回答的话呢,其他先在本地知识库里面去寻找跟这个问题最相关的一些文文档,然后再根据文档的这些内容,加上那个 l l m 的这样的一个文字逻辑的这个能力,然后再回答。 那么基本地知识库的回答的话,相对来讲它它会更加精准,更加基于这个企业的这样的一个 内容啊,回答出来的问题的话呢,就会更加准确一点,然后如果不记知识库的话,你可以看到就是他回答出来的东西比较通用啊,比较 宽放,他等于是这样啊,所以,呃,各有各的优势啊,如果在企业内部应用,如果你要准确回答一些问题的话呢,你还是要给他一些,呃,支持他,等于是这样给他一些内容啊。 好,这个就是恰特 glm 杠六 b 目前能做到的一个能力啊。他目前的话呢,我看他十五号也更新了一个新的版本啊。呃,一点一这个版本啊, 他这个一点一版本的话呢,据说是主要更新是因为他平衡中文和英文之间的这个翻译的问题,但是我看他好像这个 bug 没解决,上述内容翻译成专业英语, 因为我看到他的那个中英文还是还是在乎 还是有这个中英文混的这样的一个问题,当然比原来会好一点,比那个一一点零版本会好好好一些的这个,但是他那个英文还是有些问题,他这个可能跟他的那个 chat g l m 里面的那个编码规则是有关系的。嗯, 可能他是中英文混编的,会导致这个中中文和英文之间相互创客,他存在这样的一个问题。好啊好,今天的话就跟大家就演示到这了。

之前视频我介绍了不用联网,不用付费,家用显卡即可部署全代码开源的大语言模型 chat j r m 三。本期我们进一步介绍三代的两个全新能力,工具调用,还有代码解释器。工具调用指的是大模型遵守我们的自然语言去调用外部工具, 也就是说调用拍摄函数或者外部 api, 这样就能大幅拓展大模型的能力,并且能够接入我们的实际各种业务。代码解释器指的是我们输入自然语言 chat g l m 三就会给出对应的代码,并且自动执行输出结果。本期视频的最后,我会讲一下本地如何的 bug 调试 chat g l m 三。我们先看工具调用,这里我介绍最简单的方式,十行代码就能给 chat g l m 三添加一种工 据函数。添加完工具函数以后, chat g r m。 可以根据用户的输入来判断是否调用某个函数,并且它还可以自动的从用户输入中提取函数所需要的参数。我们先打开上次提供的 chat g r m 三的一键部署包, 这个部署包我已经上传到网盘了,需要的话可以关注私信我。我们在这个 chat g l m 三的目录下面找到这个文件 to 点 registry, 点 p y。 这里官方提供了两个函数,第一个函数是生成随机数的,第二个函数是获取天气的,我们可以仿照官方的写法写一个我们自己的函数,比如这里我写一个穿衣服建议的函数, 第一行先写这个装饰器 register two, 这个装饰器很重要,相当于声明了这个函数是大语言模型可以调用的工具,我们看到这个函 函数有一个入餐,就是气温,后面这个 annotation 是对这个入餐进行一些解释,比如说他的类型可以是整形,可以是浮点型,也可以是字符串,然后这个参数是必填的。我们再看下面这个注视,这个注视也很重要,这里神奇的地方是我们用自然语言书写就可以了。 这个大语言模型他可以看得懂的。注视用来说明这个函数是做什么用的。 chat g r m 三可以根据注视的内容自动判断什么时候应该调用这个函数。 下面就是函数题,我就随便写了一下,比如零度以下应该穿棉衣,二十度以下应该穿秋衣,三十度以下应该穿衬衣等等等等,如果抛出异常就回答,不知道就行了。好,这样就结束了,一个简单的工具,函数我们就书写完成了,我们马上来测试一下。我们进入 glm 三的 demo 页面,这里打到 toos 这一栏,然后我问他个问题,零下三度应该穿什么衣服?看到这里 get close suggestion, 这就是我刚刚写的那个函数,他直接就掉到这个函数了, 这里返回棉衣,这样就成功了。我们再看下一大块功能,代码解释器,代码解释器指的是我们输入自然语言,然后模型给出对应的代码, 并且能够自动执行出代码的结果。使用代码解释器需要安装如下三个命令,首先我们在电脑上安装 python, 然后执行下面三个命令, 前两行是安装 ipython, ipython 简单来说就是 python 的一种命令行环境。第三句是新建一个 ipython 内核, chat jrm 的代码就是运行在这个内核上面的,这里这个名字很重要,就不要改,还是叫 chat jr m 三 demo 这个内核的名字。执行完三个命令以后,我们还是运行我们的一键部署脚本,进到这个 demo 页面,找到第三个代码解释器,我们给他一个命令,用 pass 去计算一到五十的阶程,看看他会不会做。 我们再看一个复杂一点的例子,编写一个程序,找到两千至三千二之内的所有数字,可以被七整除,但是不能被五整除的,得到的数字按照逗号分格, 这里输出有点问题,他不是打印到一行里的,这里可能是由于我的显卡显存不太够,我是 int 四量化执行的,如果你显存更大的话,可能效果会很好。视频的最后我再来讲一下如何 本地调试这个 chat glm 三。首先我们打开 pyx, 找到这个目录, chat glm 三这个目录点击 ok, 这样我们就把项目导进来了, 导进来以后给他添加拍摄解释器,这里右下角点击这个 interpreter, 点击添加一个新的解释器。注意看,这里是重点,我们选择这个 system interpreter, 然后浏览这个目录,找到这个 tech shrimp, 也就是技术爬爬虾的这个文件夹,找到 python 点 e x e, 也就是说我们直接使用这个一键部署包里面的 python 解释器, 因为这个显示器里面已经预装了所有 chat g l m 三的依赖,如果自己装这套东西还是有点麻烦的,这里直接点击 ok 就可以了,这里可以看到 python 三点一零的显示器已经安装好了,下一步我们运行它,这里 点击 idate configuration, 进入这个页面以后,我们点击这个加号,点击 pison, 添加一个 pison 的运行环境,这个内幕,这里随便填一个就可以了。然后这里的 pison 显示器还是选择刚刚上一部的这个一键部署包里面的这个 pison, 点 exe, 然后 modify options, 这里要选择 perimeters, 把这个勾上脚本,脚本就按我这个填, 填写 tax shrimp 的 lab, 下面 side package, 点 stream bit, 填写到这个路径,然后让它 run 点儿闷点儿 p y 工作目录就填写这个 chat c r m 三的目录,下面这个不用动, 然后点击 ok, 下一步找到 clant, 点 p y 这个文件,修改这个文件的第十七行,改成这个样,像我这样的绝对路径 就可以了,这样就可以了,我们直接点击 debug, 这样就从 pyxm 里把这个环境运行起来了。这里是技术爬爬虾,我会定期分享一些有趣实用的编程项目,分享一些提升效率的黑科技软件。今天的视频就到这里,感谢大家,我们下期再见。

超越 taggbt 四点零的中文理解能力, chitgmm 二正式开源公布,这是一款由清华大学出品的 ai 大语言模型,直接部署到本地就可轻松运行,而且对配置要求在逐渐降低,增加了逻辑思维和语言理解能力。接下来大家跟老张快速的体验一下。 首先我们打开对应的一件包,在这个一件包当中呢,咱们会拿到以下这四个对应的内容。首先咱们先说安装包,安装包是本次运行必备的环境之一,必须要把它先进行安装一次, 安装成功以后,咱们接下来需要先把这个一键安装包,对应的工具就是咱们说的一键启动器,把它解压出来,解压出来在这就是对应的这样的一个效果啊,有一个快速启动咱们可以看到,然后这个解压出来之后,紧接着第二步咱们需要做的就是把 把这两个对应的模型也就解压出来,这个模型是咱们今天的主角 chin gm 二,号称可以和 chintpp 四点零掰手腕的国产 ai 模型,这一款呢是我们程序儿界啊非常好用的专门写程序的代码模型,今天老张就不做演示了,如果你需要,你可以把它给下载下来, 然后解压出这款内容。之后呢,咱们把解压出来,他是一个对应的文件夹,咱们把这个文件夹复制,然后放到咱们当前的一键包中, 找到这个 models 文件夹,把它直接粘贴过来,这样的话就可以在一键启动器上找到咱们的 check gml 二对应的这个 an 模型, 找到之后呢,咱们可以直接在这选择快速启动好,然后在这选择对应的模型,因为咱们我这呢有两个模型,咱们要的是这个,对吧?拆个 gm 二杠六 b, 然后这款模型启动完成之后呢,咱们首先先根据您 的显卡来进行选择,比方说老张是八 g 闪存的,我就选择这一项,如果您是四 g 闪存,直接选择下一项就可以了,对吧?根据您对应的内容来进行调试, 可能首次加载他的时间会非常的长,咱们可以稍作等待,如果说他出现了一些报复原因,你一定要检查是不是你电脑显存不扣导致报显存等相关问题。好的,当咱们进行重新之后,你可以看到有一个编个地址栏,可以把这个地址复制,直接就可以打开了,这个就是咱们对应的模型选择, 咱们可以在哪呢?可以在这个模型选项中进行看,对吧?这是咱们这个模型,这是没问题的。好,然后咱们这是文本驱动器,在这就可以直接进行对应的应用效果呢?如果您的电脑配置够好,效果还是非常不错的,但是如果电脑配置一般的兄弟们可能要稍微的差一点。

那 ok, 那么现在我们说拆这样三六 b 这样的一个模型,呃,如果从性能层面上来说,那么最终啊,他的这个性能的定位是如何呢?二代六 b 这个模型和三代六 b 这个模型,哎,在这个数据机上他的这个这种表现到底如何啊?并且他还给出了一个这个 best baseline 啊,这个 best baseline 这指的是 所有的十币以下的模型在这些数据集上跑的最好的啊,这样的个表现,那么啊,能够发现哈,我这个三代这个模型确实有非常非常重大的啊,这样的提升,并且呢,在所有的这个数据集, 我们列举的所有的这八个非常有名的权威的这个数据结上面,他的这个得分呢啊,全面超过了 best based 啊,就全面超过了其他的那个十币以下的啊,最好的模型成绩啊,那么根据官方平台结果啊,确实啊,他这个十币以内呢,性能是最佳的,当然看的这张表啊,这个,呃,外行人看 热闹啊,我们内行人还是要看看门道啊,对吧?对这样表来说啊,其实我们在我们大模型课程里边之前是有围绕的其中几个数据集是有讨论过的啊,大家也应该知道其中几个数据集分别代表什么含义, 其中啊,我们说在大元模型我们的课程里边讨论的最多的啊,这就是关于第一个数据集,对吧?啊,这个 g s m 八 k 啊,它其实是一个小学数学的啊,一个 偏复杂,需要复杂推理的这样的数据题,那对于这个数据题来说,我们之前有说过他呢,实际上是大圆模型 这个推理能力的评测的标杆呐,啊哈哈,我们之前其实看到过非常多的啊,一系列关于大元,关于去提升大元模型的一些 提示方法,哎,他们说自己方法有效,对吧?都会在这个 g s m 八 k 这个数据集上啊来验证啊,自己确实也是有效的,这个数据集其实非常有名的数据集。那么对于这个数据集来说, che g m 三啊六 b 这个模型它居然能达到七十多分这样的水平,其实是非常非常高的。

ai 接入微信秒变智能客服,全程本地操作,小白也能完成,只需两分钟,轻松教会咱们先看成品效果,首先第一个咱们这个 chat jmm 二是可以直接本地运行在网页端的,直接运行在您的电脑上,可以给您进行相关的标题分析以及其他 ai 制作都是没有问题的。 除了本地运行以外,还可以直接挂早到咱们的微信上,让他直接实现微信的 ai 客服的结果,直接去发消息,然后 ai 在后台进行监听,然后直接给人进行相关的回复,是非常非常哇塞的, 还是老规矩,想领取软件的兄弟们点赞关注评论六六六。接下来老张给大家来讲解完全的教程,拿到老张给大家准备的工具,到时候会是一个压缩包,大家注意他的名称,然后双击打开,打开之后呢,首先第一个咱们需要先下载对应模型,直接双击, 然后按回车键,他下载完成以后会自动关闭窗口,大家完全不用你做任何操作。好的,下载完成之后呢,咱们会发现在同级文件目录下有一个 model 模型文件夹,这就是咱们刚刚下载好的 check glm 二的大语言模型,如果您这边想用其他语言模型,可以直接做一个相关替换,都是 ok 的好模型下载完成之后,咱们直接点击运行, 点击运行有两大版本,第一是网页版,第二是微信模式,根据您的需要进行选择,然后后面会有一个显存的比较,十二八到十二 g, 八 g 三十二 g, 去看一下您显卡的对应选存,以老张举例,我的显卡是八 g 选存,我先给大家测试网页模式, 好的,他就会给咱们进行对应的启动,大家稍等片刻,他会自动的弹出对应的网址链接,自动打开以后,咱们就可以直接进行发送了。好的, 咱们可以看到没问题,然后咱们可以直接输入您想输入的问题或一些 ai 指令进行相关的提问了,这是第一个网页版,然后接下来咱们再说微信版如何使用,首先登录一个小号微信,然后呢把刚才的终端关闭掉,双击运行,选择指定的微信版本,咱们选择六, 选择之后,他这有一个选项框,您可以根据您登录的微信让他在哪个位置中进行生效。比方说让他在某个群里担任客服,老张这个群叫 demo, 然后可以选择艾特回复,也可以选择全部回复,点击确认,这样的话他就直接可以在他这个群中担任咱们的 ai 客服了,只要有人说话,他都会进行回复,非常非常的强大,大家抓紧去体验。

清华刚刚发布的拆 glm 二代竟然超过了 gbt 四!端午假期一过,清华的研究员直接在 aa 界放了一颗震撼蛋,开源了自研的第二代拆 glm 大语言模型。其中最令我关注的是,在 c ebo 评测上,拆 glm 二竟然超过了长期霸榜的 gbt 四,位列全球第一名! 先看下这个 ce 报是什么?它是一套专门评价大语言模型中文能力的中文题库,包括了理工类、社会类、人文类、其他等四大类题目。那么也就是说,拆 g m 二代比 g b t 四更懂中文喽?今天我们有三个不同难度的题目,分别去测试一下 g m 二、 j b t 三点五和 j b t 四,看看他们到底谁更懂中文。第一题,考察逻辑推理,为什么爸爸妈妈的结婚照上没有我? g l m 二回答说,可能是你当时还没有出生,这个没有问题, 但竟然第二个可能的原因是,在照片中还没有成年,还没有达到拍摄结婚照的年龄。这就有点胡扯了啊,不是非常令人满意。而 gbt 三点五和四都能明确的说,拍摄结婚照是在你出生之前,所以你不在场。第二题呢,是考察中文的常识知识, 故意问了一个有迷惑性的问题,鲁智深为什么智取威虎山?很遗憾,三个大模型呢,都未能识别出我这个问题,里面的陷阱全部都虚构了一个水浒传中鲁智深智取威虎山的故事, 哎,所以都不能得分。最后一题呢,我给 a 的角色是一名公务员,让他以推进营商环境优化为主题,写一篇政府公文,并且特别强调,一定要符合行政公文的格式要求,来看看 a 是不是能掌握我们有特色的中文文档格式。 那么拆 glm 二呢?生成的公文格式和用词都非常标准,甚至还有具体的细节内容,表现还很不错。 gpt 三点五直接没有理解公文的具体含义,写成了一封建议书的格式。而 gpt 四生成的公文呢?同样格式标准,但内容似乎稍显空洞。 所以三个测试下来, g l m 二和 g b d 四各有千修,都比 g b d 三点五更强。但是啊,很难说 g l m 二就更懂中文啊。

水友们好,前段时间给自己的电脑布了一套 chat g l m, 用起来效果不是很理想,有朋友推荐我试一下 lan chain, 可以根据自己的本地知识库实现问答, 所以我就翻了下 github, 果然找到了一个 land chain, 结合 check glm 的基于本地知识库的 ai 聊天机器人的开源项目。 刚在自己的电脑上也部署了一套详细的本地部署过程,我做了一个记录部署过程遇到的一些问题,也分享给大家,看看能否帮助水友们避坑吧。 项目的原理大家看这个图就明白了,我是觉得这个 in bedding 这部分可以好好学习下,回头可以考虑下怎么用在自己的项目里。废话少说,开始项目的本地部署。首先把项目克隆到你的 电脑里,这里我用的 github 客户端拉取的代码。 这个项目虽然说是用的 chat glm, 但我看他的项目介绍里还支持其他大语言模型,可以根据自己的需求和硬件情况选择。我之前已经部署过 chat glm 了,所以就直接用 chat glm 杠六 b 杠 in 四的量化版本。 硬件要求方面,用 ins 的版本的话,我八 g 现存的卡勉强可用吧。接下来看看项目的安装指南吧, 根据安装指南的指引,用 comda 创建虚拟环境运行项目就是了。这里我遇到了第一个问题,因为电脑安装的 python 版本是三点一一,在后面安装 requirement 的时候报错了。 从文档里看,这个项目实测过 python 三点八到三点一零,所以我在 condy 重新创建虚拟环境,并且设置 python 版本是三点一零,这样后面就不报错了。 激活新建的虚拟环境,并且切换到项目所在目录,输入 pip install our requirements, 点 txt 指令安装依赖的包,等待安装完成。 安装完成之后,翻阅一下项目文档,我们可以使用 webui 点 py 运行项目文档。这里提到运行前需要先设置一下配置脚本, 在项目目录下 找到 config 文件夹下的 model config, 点 p y 文件,使用代码编辑器打开。 根据注视,我们把调用的模型名称修改为 chat glm 杠六 b 杠 in 四,并且把 no remote model 参数改为 true。 本地模型需要放在 model 文件夹下, 这个项目目录下并没有 model 文件夹,所以我新建了一个 model 文件夹,把下载好的 chat glm 杠六 b 杠 in 四版本的模型复制到同名文件夹下,这样就完成了本地模型的配置了。 现在我尝试运行了项目,这里是我遇到的第二个问题,我没能正确的运行这个项目,项目报错了。通过 查看报文,我发现原因是使用的 torch 不是 gpu 版本所导致的,所以我只好上 torch 官网去找 gpu 版本了。 检查了下 torch 的版本号,反正选择一样的版本就是了,因为前面安装了拍葬,三点时看好版本号,选择合适的版本,再安装了一次支持 gpu 的版本。 这里我又遇到了第三个问题,忘记在 webui 点 py 脚本里修改项目启动的地址了, 所以再打开脚本文件,直接拖到脚本最后几行,我这里就把地址修改为 local host。 再次 运行项目。这回终于可以在浏览器里浏览查看这个项目效果,项目包含几种使用模式,可以使用基本的 ai 模型对话功能,和 chat glm 没有什么区别。 知识库问答模式里,我们可以创建自己的知识库,并且上传知识库文档或文件夹,支持的文件包括 text、 word 文档以及 pdf 文档等格式。 我实测了一下上传本地知识库的方式,丢了一个 word 文档上去,看上去效果是可以的,可以从我的文档里提取知识,并且给我回复。不过我才玩了两轮显存就爆了, 看来还是我机器性能的问题,玩 ai 模型果然是烧硬件啊。 上面的内容就是我手动部署过程和之间遇到的问题,水友们要是觉得对大家有帮助的话,还希望不要吝啬你的一件三联啊。好了,今天这个视频就给大家分享到这里,再见!

阿旦三问原花曾经的网红羊驼神兽阿旦怎么也在最火的时候停更了?阿旦停更的原因是因为换了主人后效果不佳,又没有找到合适的人选,于是停更了。我看阿旦很喜欢吐口水,这是为什么呀?羊驼吐口水属于一种动物防卫的生理反应。羊驼在野外被食肉动物追击时,他们没有脚,也跑不快,体型也不够高大,没有防御自身的武器,只能朝对方吐口水, 说白了就是没有本事。羊驼呆呆的,好可爱,但这玩意能当宠物养吗?非常适合。他性格温顺,经常是安静状态,一般不会攻击人,而且只在固定的地方排便。羊驼一般的寿命是二十到二十五岁,比猫狗陪伴主人的时间更长。不过羊驼必须要养两只,因为羊驼是群居动物,这样一只会得抑郁症。

跟大家再来讲一个 chat glm 杠六 b 又发布了一个新的模型啊,它这个模型是支持三十二 k 的上下门 啊。上下文呢,我们清楚的,特别是在一些知识问答啊,特别是长文本的一些知识问答里面,它是非常重要的,之前我也是介绍过啊, chat g m l 二代的时候,他原来在 l m c s 啊,他们刚开始研究了一下,刚开始 chat g l m 二代杠六 b 啊,他刚刚发布的时候啊,他的那个,他的那个长文本啊,这个 context lens, 他能力是非常差的,当他超过十 k 的时候,他的准确度几乎为零,他等于是这样啊, 所以的话呢,就是说呃,恰特 glm 二代杠六 b 的这个模型的话,原来它对那个上下纹,虽然说它能够支持非常长的这个上下纹,但是当它超过一定的这个值的时候,它的准确度下降会非 非常快啊,他有这样的一个问题啊,最近两天他们刚刚公布了一个新的模型啊,这个模型的话呢,他可以把呃上下纹的这个长度啊,达到了三十二 k, 他等于是这样啊,他也是用了一个叫位置差值的这样的一个 一个方法,我怕把在原来 chat g l m 杠六 b 的这个基础上啊,进一步的微调,然后把它变成一个加强版的 chat g l m 的这样一个版本啊,那么这个版本的话呢,它有些好处啊,第一个的话呢,它就 呃,从从他公布的这个资料来看,他说他的那个性能会更强啊。另外一个的话呢,他从原来的那个八 k 啊,八 k, 因为二代的话,他从八 k 扩展到了三十二 k 更长的这个上下文,他对处理这个多轮对话,包括处理一些长文本会有更大的好处啊。另外一部分他也是用了一个多头 carry attention 的这样一个技术,所以的话他所以处理速度更快, 占用的险程会更低啊,这个是他讲了一下啊,那目前呢? chat g l m 杠六 b 杠三十二 k 的这个目前他已经放出来了,在哈根 face 上面我看到刚刚前两天他已经把这个模型给放出来啊,那这个模型的话从零零一到零零七啊,他有七个文件啊,差不多 呃,差不多十五个,十五个 gb 啊,十五个 gb 啊这样的一个模型啊,目前这个模型我还没测啊,回头有机会的话我可以去测一下,因为这个是我们在特别在处理一些 呃,智能问答啊,特别是他的这个文件啊,他的那个文本比较大的这个前提下,如果有三十二 k 的这样的一个上下文的话,那么他的处理的性能会更好啊。 从他目前公布的这个数据来讲啊,他自己公布了一下三十二 k 的这个数据来讲啊,他的这个性能会更好,他比 chat g l m 杠六 b 的这个性能会更好一些,他是这个里面也讲 了一下啊,回头我们也可以去测一下啊,那目前他在中文榜单里面,他的这个性能也是得到了一些比较大的一些提升啊。原来二 b 的这个 二代六 b 的这个模型呢,主要是它平均大概是二十二点五啊,现在的话呢,达到了四十一点三啊,这个能力还是比较强的,它在中英文方面处理都非常好啊,它也啊公布了一个数据,它在大于八 k 的时候啊,你可以看到 chat glm 杠六 b 三十二,它的性能的话不降反身啊,它等于是这样啊, 所以这个这个还是不错的啊,所以我们回头会再来测测一下这个模型啊,看看是不是他像像他这个公布的这个数据一样啊, 我觉得这个还是相对来讲还是比较真实的,因为他们也公布了一个 long bench 的这样一个测试的一个任务集啊,这个 long bench 里面的话呢,他也有这个单文档啊,多个文档啊,这这种类似的这个六大任务,二十个不同子任务的这样一个测试啊,测试 下来的话呢,因为他也拿了一些对照的一些模型去测啊,测下来的话他们的一些性能都相对来讲还是不错的啊,他等于是这样啊,他的中英文的能力我看他好像都不错啊,都是相当不错的,他这个 对我们企业来讲那肯定又是多了一个选择了啊,又多了一个新的模型,而且可以免费商用,而且性能会更好,而且能够支持更长的上下文,可以处理多轮对话,可以处理更长的那个文本啊,做一些摘要。好啊,今天这个视频就跟大家就介绍到。