那么在这样的一个完全字眼的算法框架基础上,我们训练出来的千亿的 glm 幺三零 b, 它到底有呃什么样的一个特点呢?那这里呃我们可以把它呃定位为与 gpt 三基座模型对标的一个开源双语这样一个模型。大家可以看到,呃,我们说国际上值之前有一些开源的或者闭源的这样的一些,呃 这个千亿级的模型,像这个 g b t 三,还有这个 bloom, 还有 o, p t 等等这样的一些模型。那么我们 g 呃 g l m 幺三零 b 这个模型跟这些千亿级的模型相比,我们在精度上 啊,不妨多绕在英英文的这样的一个水平上,在众多的 benchmark 上,我们甚至在有些 benchmark 的结果上能够与之 一战,并且能超过他,那在中文的水平上,我们更是远远的领先这些啊,英文的这样一些大模型。并且在模型本身的可用性上,我们做了很多的工作,包括对模型的量化、压缩、 推理速度的加速,以及在底层硬件的适配和跨平台能力上,我们做了很多的工作。为什么要这么做?因为我们希望这样的一个模型不仅是在 这个精度上能够有更好的表现,而且在真正的商用的场景下,我们能够以低成本、更高效的方式能够获得更好的这样的一个效果。
粉丝4.9万获赞63.7万

水友们好,前段时间给自己的电脑布了一套 chat g l m, 用起来效果不是很理想,有朋友推荐我试一下 lan chain, 可以根据自己的本地知识库实现问答, 所以我就翻了下 github, 果然找到了一个 land chain, 结合 check glm 的基于本地知识库的 ai 聊天机器人的开源项目。 刚在自己的电脑上也部署了一套详细的本地部署过程,我做了一个记录部署过程遇到的一些问题,也分享给大家,看看能否帮助水友们避坑吧。 项目的原理大家看这个图就明白了,我是觉得这个 in bedding 这部分可以好好学习下,回头可以考虑下怎么用在自己的项目里。废话少说,开始项目的本地部署。首先把项目克隆到你的 电脑里,这里我用的 github 客户端拉取的代码。 这个项目虽然说是用的 chat glm, 但我看他的项目介绍里还支持其他大语言模型,可以根据自己的需求和硬件情况选择。我之前已经部署过 chat glm 了,所以就直接用 chat glm 杠六 b 杠 in 四的量化版本。 硬件要求方面,用 ins 的版本的话,我八 g 现存的卡勉强可用吧。接下来看看项目的安装指南吧, 根据安装指南的指引,用 comda 创建虚拟环境运行项目就是了。这里我遇到了第一个问题,因为电脑安装的 python 版本是三点一一,在后面安装 requirement 的时候报错了。 从文档里看,这个项目实测过 python 三点八到三点一零,所以我在 condy 重新创建虚拟环境,并且设置 python 版本是三点一零,这样后面就不报错了。 激活新建的虚拟环境,并且切换到项目所在目录,输入 pip install our requirements, 点 txt 指令安装依赖的包,等待安装完成。 安装完成之后,翻阅一下项目文档,我们可以使用 webui 点 py 运行项目文档。这里提到运行前需要先设置一下配置脚本, 在项目目录下 找到 config 文件夹下的 model config, 点 p y 文件,使用代码编辑器打开。 根据注视,我们把调用的模型名称修改为 chat glm 杠六 b 杠 in 四,并且把 no remote model 参数改为 true。 本地模型需要放在 model 文件夹下, 这个项目目录下并没有 model 文件夹,所以我新建了一个 model 文件夹,把下载好的 chat glm 杠六 b 杠 in 四版本的模型复制到同名文件夹下,这样就完成了本地模型的配置了。 现在我尝试运行了项目,这里是我遇到的第二个问题,我没能正确的运行这个项目,项目报错了。通过 查看报文,我发现原因是使用的 torch 不是 gpu 版本所导致的,所以我只好上 torch 官网去找 gpu 版本了。 检查了下 torch 的版本号,反正选择一样的版本就是了,因为前面安装了拍葬,三点时看好版本号,选择合适的版本,再安装了一次支持 gpu 的版本。 这里我又遇到了第三个问题,忘记在 webui 点 py 脚本里修改项目启动的地址了, 所以再打开脚本文件,直接拖到脚本最后几行,我这里就把地址修改为 local host。 再次 运行项目。这回终于可以在浏览器里浏览查看这个项目效果,项目包含几种使用模式,可以使用基本的 ai 模型对话功能,和 chat glm 没有什么区别。 知识库问答模式里,我们可以创建自己的知识库,并且上传知识库文档或文件夹,支持的文件包括 text、 word 文档以及 pdf 文档等格式。 我实测了一下上传本地知识库的方式,丢了一个 word 文档上去,看上去效果是可以的,可以从我的文档里提取知识,并且给我回复。不过我才玩了两轮显存就爆了, 看来还是我机器性能的问题,玩 ai 模型果然是烧硬件啊。 上面的内容就是我手动部署过程和之间遇到的问题,水友们要是觉得对大家有帮助的话,还希望不要吝啬你的一件三联啊。好了,今天这个视频就给大家分享到这里,再见!

i want to take bunket down how to take it to bunket toe。 帮助这杯酒。

bunket towel 啊啊 喝酒,这杯酒。

本地部署 chat gpt, 无需安装,直接解压到本地,一键启动,完全免费开园,无需科学上网,国内直接使用国产大模型 chat glm 二遥遥领先 chatglm 二六 b 是国产大原模型, 一键启动包已经给大家准备好了安装包,加入粉丝群,查看群公告,直接领取粉丝群的入口。在和我私聊的界面右上角,我们把 chitglm 压缩包下载到本地,按右键选择解压到本地 点按完成以后打开 tit gmr 文件夹,首先安装 denit 运行环境,双击打开选择安装。如果你的电脑已经安装过 denit 运行环境,无需再次安装,直接关闭。然后进入 titiglmryblim 录,双击一键启动器,快速启动 chatglmr。 打开 外部 ui 启动器以后,先选择模型,我们这里有两个模型,一个是聊天大圆模型,另一个是程序员写代码使用的模型,我们选择 itgm 二六 b, 根据你的显存配置下启动参数,我选择巴比特模式节约显存,然后选择一键启动,抖速运行会比较慢, 如果启动界面报错,那可能是启动参数配置和你的显存不匹配,或者电脑性能和运行环境不支持。 启动成功以后,命令还会显示 running on localuil, 并自动弹出浏览器。打开地址,我们来测试一下菜菜 gmr 六 b, 你好,选择詹德瑞特生成,生成速度还是很快的,效果也很不错,非常的完美。

之前视频我介绍了不用联网,不用付费,家用显卡即可部署全代码开源的大语言模型 chat j r m 三。本期我们进一步介绍三代的两个全新能力,工具调用,还有代码解释器。工具调用指的是大模型遵守我们的自然语言去调用外部工具, 也就是说调用拍摄函数或者外部 api, 这样就能大幅拓展大模型的能力,并且能够接入我们的实际各种业务。代码解释器指的是我们输入自然语言 chat g l m 三就会给出对应的代码,并且自动执行输出结果。本期视频的最后,我会讲一下本地如何的 bug 调试 chat g l m 三。我们先看工具调用,这里我介绍最简单的方式,十行代码就能给 chat g l m 三添加一种工 据函数。添加完工具函数以后, chat g r m。 可以根据用户的输入来判断是否调用某个函数,并且它还可以自动的从用户输入中提取函数所需要的参数。我们先打开上次提供的 chat g r m 三的一键部署包, 这个部署包我已经上传到网盘了,需要的话可以关注私信我。我们在这个 chat g l m 三的目录下面找到这个文件 to 点 registry, 点 p y。 这里官方提供了两个函数,第一个函数是生成随机数的,第二个函数是获取天气的,我们可以仿照官方的写法写一个我们自己的函数,比如这里我写一个穿衣服建议的函数, 第一行先写这个装饰器 register two, 这个装饰器很重要,相当于声明了这个函数是大语言模型可以调用的工具,我们看到这个函 函数有一个入餐,就是气温,后面这个 annotation 是对这个入餐进行一些解释,比如说他的类型可以是整形,可以是浮点型,也可以是字符串,然后这个参数是必填的。我们再看下面这个注视,这个注视也很重要,这里神奇的地方是我们用自然语言书写就可以了。 这个大语言模型他可以看得懂的。注视用来说明这个函数是做什么用的。 chat g r m 三可以根据注视的内容自动判断什么时候应该调用这个函数。 下面就是函数题,我就随便写了一下,比如零度以下应该穿棉衣,二十度以下应该穿秋衣,三十度以下应该穿衬衣等等等等,如果抛出异常就回答,不知道就行了。好,这样就结束了,一个简单的工具,函数我们就书写完成了,我们马上来测试一下。我们进入 glm 三的 demo 页面,这里打到 toos 这一栏,然后我问他个问题,零下三度应该穿什么衣服?看到这里 get close suggestion, 这就是我刚刚写的那个函数,他直接就掉到这个函数了, 这里返回棉衣,这样就成功了。我们再看下一大块功能,代码解释器,代码解释器指的是我们输入自然语言,然后模型给出对应的代码, 并且能够自动执行出代码的结果。使用代码解释器需要安装如下三个命令,首先我们在电脑上安装 python, 然后执行下面三个命令, 前两行是安装 ipython, ipython 简单来说就是 python 的一种命令行环境。第三句是新建一个 ipython 内核, chat jrm 的代码就是运行在这个内核上面的,这里这个名字很重要,就不要改,还是叫 chat jr m 三 demo 这个内核的名字。执行完三个命令以后,我们还是运行我们的一键部署脚本,进到这个 demo 页面,找到第三个代码解释器,我们给他一个命令,用 pass 去计算一到五十的阶程,看看他会不会做。 我们再看一个复杂一点的例子,编写一个程序,找到两千至三千二之内的所有数字,可以被七整除,但是不能被五整除的,得到的数字按照逗号分格, 这里输出有点问题,他不是打印到一行里的,这里可能是由于我的显卡显存不太够,我是 int 四量化执行的,如果你显存更大的话,可能效果会很好。视频的最后我再来讲一下如何 本地调试这个 chat glm 三。首先我们打开 pyx, 找到这个目录, chat glm 三这个目录点击 ok, 这样我们就把项目导进来了, 导进来以后给他添加拍摄解释器,这里右下角点击这个 interpreter, 点击添加一个新的解释器。注意看,这里是重点,我们选择这个 system interpreter, 然后浏览这个目录,找到这个 tech shrimp, 也就是技术爬爬虾的这个文件夹,找到 python 点 e x e, 也就是说我们直接使用这个一键部署包里面的 python 解释器, 因为这个显示器里面已经预装了所有 chat g l m 三的依赖,如果自己装这套东西还是有点麻烦的,这里直接点击 ok 就可以了,这里可以看到 python 三点一零的显示器已经安装好了,下一步我们运行它,这里 点击 idate configuration, 进入这个页面以后,我们点击这个加号,点击 pison, 添加一个 pison 的运行环境,这个内幕,这里随便填一个就可以了。然后这里的 pison 显示器还是选择刚刚上一部的这个一键部署包里面的这个 pison, 点 exe, 然后 modify options, 这里要选择 perimeters, 把这个勾上脚本,脚本就按我这个填, 填写 tax shrimp 的 lab, 下面 side package, 点 stream bit, 填写到这个路径,然后让它 run 点儿闷点儿 p y 工作目录就填写这个 chat c r m 三的目录,下面这个不用动, 然后点击 ok, 下一步找到 clant, 点 p y 这个文件,修改这个文件的第十七行,改成这个样,像我这样的绝对路径 就可以了,这样就可以了,我们直接点击 debug, 这样就从 pyxm 里把这个环境运行起来了。这里是技术爬爬虾,我会定期分享一些有趣实用的编程项目,分享一些提升效率的黑科技软件。今天的视频就到这里,感谢大家,我们下期再见。

太牛掰了,朋友们,给大家分享一个目前最高能的提示词网站,国内可以使用,这里面增加了文本、段落、表格、公式、 代码这些输入方式,重点是可以试用单次提问的字数高达八千字,还支持文本导出,需要的朋友评论区告诉我。

先收藏啊,朋友们,给大家分享一个目前高能的提示词网站,国内可以使用,这里面增加了文本、段落、表格、公式、代码这些输入方式,重点是可以试用 单次提问的字数高达八千字,还支持文本导出,需要的朋友评论区告诉我。

今天听说清华大学的国产大语言模型 check glm 六比开元公测了,迫不及待的下载部署,简单体验了一下,回答速度挺快的。我觉得最大的优点是可以本地部署,对配置要求也不高,只需要七 gb 的现存即可。 不过由于规模较小,只有六十二亿参数,而叉 g p t 是一千三百亿个参数,还是差了好几个数量级。 正如他官网所说,还是有相当多的局限性,比如事实性、数学逻辑错误、可能生成有害、有偏见、内容 较弱的上下文能力等。这是官方博客上的发展路线图,可以看出目前还是迭代了好几个版本了。以下是我这次的对话体验,除了我打字部分做了加速处理,他回答的部分都是元素。播放。 好了,这就是今天视频的全部内容了,如果你也想体验一下,但又觉得官方的部署工作很麻烦的话,可以在视频下方留言,给大家准备了懒人安装包。

运营和本地部署的单元模型,叉 g r m 的啊,所组成的一个本地指示库,然后这个本地指示库的 github 链接就在这,如果有需要的也可以单独私信给我。 嗯,这个本地执事库的,呃,大概的原理是这样子的,是说是首先我们有本地的文档或者你个人的私有化的文档,这个文档呢可以提取,呃,提取里面的 text 啊文档啊文本, 然后这个探索文本经过分割,然后把它啊变成那个引背,引背顶嵌入式的,然后这个嵌入式的,嗯,这些文字呢再放到一个限量数据库里面,嗯,然后呢我们再用户进行提问, 问的时候,提问首先转换成一个 inbed, 定让 inbed 呢再生成形成我们的那个,呃,提问的,嗯,项量提问,项量跟我们的项量数据库里面做一个对比,做一个相似性的对比,找到最相近的,然后,嗯,最相近的那个 啊,这个文本呢,然后再组成为我们的提问的模,再加上我们提问的模板,然后呢这样就变成一个我们的提示词,提示词呢在经过啊单元模型,在这里其实就是拆 gm, 然后单元模型呢会根据啊这些输入的信息请啊给用户啊,就 给用户生成答案。嗯,他的那个这个叉 c g m 本地部署的话,他的硬件的要求,但是让最低的话,如果说我们采用 r n t 四的那个量化 等级的话,然后其实最低需要六 g b 的一个显存的显卡,这个其实 r t x 三零六零就能够实现。当然如果说你如果用 f p 幺六这种无量化的啊这种等级的话 啊,大家先看的最低要求十三 gb, 其实 rnt 四和 f p 幺六的区别就在于,其实回答问题的时候一些 啊,是不是有没有更精细更推理的更聪明一些。但对大多数场合来用的话,其实 n t 四如果只或者只是一个文本的那个,呃,本地知识库的话, n t 四其实也够用了。 然后我们可以看一下他大概,如果我们从 kit home 上下下来的话,大概的一个那个在 vs code 里面,大概这个文件结构是这样子的,然后在这里的话,我们就可以啊啊,可以点击 k, 大家先跑一下,看一下,跑一下 y b y 的那个这个程序大家可以看一下效果,在等待的时间会比较长,我们稍微暂停一下。嗯, 在我们加载完之后,其实我们就可以到了一个本地的一个啊 web 界面上去,这款你的 web 界面左边是我们的那个提示,是我们提问的区域,提问回答的区域在右边呢,这里我们可以选择一个啊知识库我们之前已经建好的, 或者我们可以选择一个新建知识库,新建知识库的话,是啊,在这里的话就可以把我们那个我们所需要的本地的文本上传啊 啊,这里啊可以把它拖到这,把我们本地的文档,然后点击上传,这样的话我们整个系统就郎称加上叉 g m 的系统就可以自动会啊,会对 文本进行切割,然后进行啊嵌入啊,然后把它放到向量数据库里面,当我们在这进行提问的时候,这些就跟前面所介绍的一样。嗯,这里的提问的问题,首先去跟那个向量库数据里里面的东西都对比,找到最相近的,然后再输给叉的 glm 这个模型 啊,模型的话再给你输入的问题进行回答,这样我们就可以实现本地数据库的一个功能。

买了一块显卡,然后加了点内存,然后搞定了 chat g l m 的本地化部署,这个是本地化部署的一个 后端的一个界面,然后这个是 vivoi, 我们来看一下他做那个对话的一个情况, 好了,这个就是他回答问题的。

清华发布的 chat jm 第二代模型是否比 gpt 四还要厉害?是否可以断网运行?粉丝小伙伴一直有问到这些问题,我准备接下来换点时间,通过几期实测分享来回答这些疑问。 cat g m 六 b 是清华大学 k e g 实验室今年发布的黑本地部署大约模型,六月底推出了六 b 的第二代版本, 有着更长的上下文和更高效的推理能力。今天先分享如何不输安装 chat j m 二、六 b 模型,并用模型完成简单问答。目前在基站有完整的安装攻略,在 先安装项目仓库到电脑上,然后执行这条指令,安装相关医疗文件。执行完以后就可以下载六 b 模型了,通过手机运行调试代码就可以自动下载,比较简单。我参考官方设立写了一个六 b 模型的问答教本,其中会通过引用和调用六 b 模型来触发模型的下载动作。这里 要特别讲一个问题,所有的本地大约模型的推理对内存 g p u c p u 的要求都比较高,六 b 也是一样的道理,你的电脑配置不行, 那推理会特别慢,待会会给你们看我电脑的运行效果。小伙伴需要根据自己的电脑配置,在六倍模型加载代码进行相应的初始化设置,需要根据有没有 gpu 显存和内存的大小进行不同的初始化, 甚至因为没有独显和内存过小,我们只能用炼化后的模型。我这里根据官方的提示,整理了五种不同电脑硬件配置对应的模型加载蛋白段,大家可以暂停看看 继续运行概念码会检测是否本地已下载模型,没有则开始下载,会出现以下的进度条。溜冰模型总共会有七个变味键,因为是从 honky face 下载,可能会因为网络产生中断,比如这样重新执行交款会继续断点下载。这里还是比较人性化的 模型,下载完以后,脚板就可以进行提问了。这个是小伙伴可以打开 cpu 和内存的占用率监测,可以看到占用率基本都会百分之百拿满,反正我的电脑是这样。我先让六倍进行自我介绍,为了直观看到问答的问题间隔,我加了时间显示, 简单的问答基本都要三到四分钟。再问一个需要思考的问题,比如如何学习 ai 知识, a few moments later, 直接等了十多分钟, 哎,该换电脑。对了,官方的代码仓库提供 gradu 界面的网页版代码,执行这条视频就可以打开网页。 从简单的问答来看,因为我这个破电脑的限制,回答的速度肯定没有 gpt 是快,这也是本地模型和云端模型不同的效果,不过对于推理的准确性,我还要再仔细研究对比一下。大家可以持续关注,希望今天的安装教程对大家有帮助,有用的话记得点赞收藏。

如何把自己的 chat g o m 接入互联网?我们本地部署的所有模型都是没有办法联网的,所以我们的 ai 模型没有办法回答实时的知识,那很多朋友希望他能够联网生成答案,那这一期内容我们来解决一下如何让 g o m 具有实效性, 这个时候我们就需要借助这个导购的社区工具。我们先来说一下这个工具是来干嘛的,他是能够实时从这个互联网上搜索结果的,这个 ddg 就是一个拍摄的包,我们看一下他是不是能获取这个天气的状况,我们这里他已经获取到这个上海的天气了。我们再来看一下昨天小米发布会的这个新闻的结果, 他现在已经获取到十九号的小米十三 ultra 的这个发布会的这个新闻的标题,还有这些内容,我们就需要把这些实时的消息喂给这个恰的 gom, 让他进行筛选回答。我再把问题提交给恰, 接入 m 之前先用这个 ddg 进行搜索到最新的信息,我们运行一下看一下效果。我们让他回答一下小米最新的发布了 什么产品吧,他已经回答了是小米十三 ultra, 这个答案显然是从这个互联网上获取到的,所以大家通过这个 ddg 就可以满足这个模型搜索的时效性问题。好了,本期内容就到这里了,我们下期见,拜拜。