粉丝38获赞425

叉 g l m 三一键部署,保姆级别教程,不会技术也可以。效果演示发一个,你好,速度很快,接下来将会带你一步一步的实现这个效果。首先浏览器输入 dos fifi come, 打开我的博客回车,点击开始阅读,点击左侧菜单的 ai 打模型,点击叉 tlm 三一键部署,电脑配置显卡四千零九十, cpu 一万四千九百个。 第一步,点击模型下载的链接将会跳转到百度网盘进行下载。第二步,点击环境下载链接,和第一步骤一样,这里就演示一下,把窗口调小 一点。假如你把这两个文件下载下来,默认浏览器会把文件放到下载目录这里,根据自己的情况来。现在你已经有了叉 g l m 三这 models, 这在桌面创建一个文件夹,名字叫做 chat, 然后把刚刚下载下来的文件拷贝到这个文件夹中,选中叉 g l m c, 鼠标右键提取到叉 g l m models 最也是一样的操作。视频二十倍快进 解压后会得到两个目录,拆至 m m 三和 models, 先关闭演示窗口,然后看一下 文档上的操作,文档上解压下载的压缩包和我们现在的效果一致。找到第四步骤,需要进入叉 g l m 三目录,然后点击零一,启动叉 g l m butt, 此时你会看到一个黑色的窗口,等待一下,在你的默认浏览器会自动打开一个本地的地址,正在启动中, 黑色的窗口会有加载的进度显示,加载出来了,如果你的效果和我的效果一样,恭喜你叉 t l m 三一键部署成功。发一个你好,测试一下,成功。

大家好,自从我发布了基于本地大模型构建企业私有知识库系统的视频,很多小伙伴在后台留言让我出教程。最近一直忙着交付一些本地大模型和私有知识库的系统项目,一直腾不出时间来,现在总算有空了来安排。 首先我的视频会分为硬件和软件两个部分,教会大家从零开始部署一个基于本地大模型的私有知识库系统。首先是硬件篇, 做到硬件必不可少的就是四零九零了,现在的大模型动辄十几个 g 的最低显存要求,对于消费级硬件,这也足够了。视频最后是配置单,按照这个配置单的电脑基本上跑六 b 七 b 的模型很流畅,十三 b 的拉玛兔稍微有点卡, 传奇的过程我就直接快进了。考虑到散热,我配置了一个比较大的机箱。因为我对酷炫的灯光不太感兴趣,所以选择硬件的时候灯光效果不在我的考虑范围内。我主要从性能、稳定性、价格几个层面去考量。 这个配置的机器我已经用了三个月了,各方面我还是非常满意的。 关注小百,了解更多 ai 干货!

是记录一下就是 chat g l m 这个微调的这样的一个方案啊。啊这个方案的话呢,我是在我的自己的经济上啊实实践了一下啊,确实是可以跑的。他的这他的这个开源项目确实可以把最终的那个 chat g l m 的这样中英文双语的这样的一个模型给微调出来啊。我给大家看一下啊 他整个一个微调过程的话呢,大概花了是八将近八个半小时啊,因为我是跑在那个 a 五千的这个服务器上面呢啊那么它的内存的话,呃它的 g p u 的话,呃是二十四个 g 的二十四个 g 的二十四个 g, 呃大概刨了十七个 g 啊,因为我我一个一个就是搬去 size, 就是呃跑的稍微小一点,呃它的默认值是 六啊,就是每次批次跑六个指令,但是呃我会发现他有 out of memory 的这个现象,所以我把它改成二啊四,我也改了还是不行,但后来我改成两条两条指令的时候他就内存就不溢出了。那二十四 g 的那个显存他用了十七个 g 然后跑了 八个半小时,然后 gpu 基本上跑满的啊,那基本上就跑完了。呃那么呃他的整个指令级的话呢,就像我那天介绍的他是用的羊驼的那个产生的指令级,一共是五点二万条指令啊。 呃我也跑了五点二万条指令啊,然后我也看到它的 los 的话基本是在不断收敛的啊,不断在收敛的,嗯应该还可以啊。 e pro 的话大概是我是跑了三啊。 那整个训练过程中还有一个时间比较长的话呢,他就要加载那个预训练的那个模型啊?那个就是 chat g。 呃, chat g l m 杠六 b 的这个模型啊,因为他有,我之前跟大家介绍过他有这个八个差不多将近两 gb 的这样的一个 呃数据,呃,他需要下下载,所以的话呢,呃下载的时间会比较久,一般情况啊,然后我给大家看一下他这个深层训练完之后的深层的这些数据在哪里?他是放在这个 alt toot 这个目录下的, 它会放在 altput 下面,然后会生成一个用 roller 模型生成的这样的一个小模型啊,因为它是微调的,微调的话呢,它其实没有在大模型上改,它只是生成了这样的一个呃可插拔的这样的一个小模型啊,然后它可以叠加 在这个 chat 呃, chat g l m 杠六 b 的这个模型上面,然后进行训练啊,我给大家看一下啊,他这是怎么跑的啊?这我已经跑过了啊,这个是加载,这是加载 chat g l m 杠六 b 的这个模型,你把它给装载起来,哎,装载完了之后呢,这个是装载它的那个 talking 啊,这个这个两条渔具都是装载它的模型。 那这个地方啊,因为我是放在这个训练完的这个罗拉的这个模型是放在 output 木头下面的啊,他生成的是这个东西,所以的话呢,你要把这个东西也要加载进来 啊,把这个模型也要作为一个可插拔的能够加载进来,它等于是这样啊,加载进来之后的话呢,你就可以加载这个数据,然后进行预测了啊,这个是加载数据。 呃,我就把原来训练的这个模型加载进来,加载进来的话呢就可以训练。 对,然后 d cod 一下,然后是输出, 他这个是给了一个指令,是一个,呃,就是保持健康的三条 tips 啊,然后他这个是讲了一下怎么吃蔬菜水果等等一些一些东西啊。 第二条他是要做一些规则的一些活动啊, 大量的喝水和睡,准时的吃早饭啊,这个是他的建议。 嗯,这是他的回答, 看上去应该还不错。我觉得他回答了三个问题。 嗯,因为羊驼的它这个 指令集里面我们是介绍过的,他是有英文,以英文为主的,中文很少啊,所以我们其实,呃,下次的话呢,应该还是要把这个羊驼的指令要把它换掉啊,要换成我上次介绍的那个 就是中文的那个指令来进行训练,这样的话呢可能会效果更好一些啊?好,这个是,嗯,记录一下这个运行的效果吧。啊?运行的效果。

水友们好,前段时间给自己的电脑布了一套 chat g l m, 用起来效果不是很理想,有朋友推荐我试一下 lan chain, 可以根据自己的本地知识库实现问答, 所以我就翻了下 github, 果然找到了一个 land chain, 结合 check glm 的基于本地知识库的 ai 聊天机器人的开源项目。 刚在自己的电脑上也部署了一套详细的本地部署过程,我做了一个记录部署过程遇到的一些问题,也分享给大家,看看能否帮助水友们避坑吧。 项目的原理大家看这个图就明白了,我是觉得这个 in bedding 这部分可以好好学习下,回头可以考虑下怎么用在自己的项目里。废话少说,开始项目的本地部署。首先把项目克隆到你的 电脑里,这里我用的 github 客户端拉取的代码。 这个项目虽然说是用的 chat glm, 但我看他的项目介绍里还支持其他大语言模型,可以根据自己的需求和硬件情况选择。我之前已经部署过 chat glm 了,所以就直接用 chat glm 杠六 b 杠 in 四的量化版本。 硬件要求方面,用 ins 的版本的话,我八 g 现存的卡勉强可用吧。接下来看看项目的安装指南吧, 根据安装指南的指引,用 comda 创建虚拟环境运行项目就是了。这里我遇到了第一个问题,因为电脑安装的 python 版本是三点一一,在后面安装 requirement 的时候报错了。 从文档里看,这个项目实测过 python 三点八到三点一零,所以我在 condy 重新创建虚拟环境,并且设置 python 版本是三点一零,这样后面就不报错了。 激活新建的虚拟环境,并且切换到项目所在目录,输入 pip install our requirements, 点 txt 指令安装依赖的包,等待安装完成。 安装完成之后,翻阅一下项目文档,我们可以使用 webui 点 py 运行项目文档。这里提到运行前需要先设置一下配置脚本, 在项目目录下 找到 config 文件夹下的 model config, 点 p y 文件,使用代码编辑器打开。 根据注视,我们把调用的模型名称修改为 chat glm 杠六 b 杠 in 四,并且把 no remote model 参数改为 true。 本地模型需要放在 model 文件夹下, 这个项目目录下并没有 model 文件夹,所以我新建了一个 model 文件夹,把下载好的 chat glm 杠六 b 杠 in 四版本的模型复制到同名文件夹下,这样就完成了本地模型的配置了。 现在我尝试运行了项目,这里是我遇到的第二个问题,我没能正确的运行这个项目,项目报错了。通过 查看报文,我发现原因是使用的 torch 不是 gpu 版本所导致的,所以我只好上 torch 官网去找 gpu 版本了。 检查了下 torch 的版本号,反正选择一样的版本就是了,因为前面安装了拍葬,三点时看好版本号,选择合适的版本,再安装了一次支持 gpu 的版本。 这里我又遇到了第三个问题,忘记在 webui 点 py 脚本里修改项目启动的地址了, 所以再打开脚本文件,直接拖到脚本最后几行,我这里就把地址修改为 local host。 再次 运行项目。这回终于可以在浏览器里浏览查看这个项目效果,项目包含几种使用模式,可以使用基本的 ai 模型对话功能,和 chat glm 没有什么区别。 知识库问答模式里,我们可以创建自己的知识库,并且上传知识库文档或文件夹,支持的文件包括 text、 word 文档以及 pdf 文档等格式。 我实测了一下上传本地知识库的方式,丢了一个 word 文档上去,看上去效果是可以的,可以从我的文档里提取知识,并且给我回复。不过我才玩了两轮显存就爆了, 看来还是我机器性能的问题,玩 ai 模型果然是烧硬件啊。 上面的内容就是我手动部署过程和之间遇到的问题,水友们要是觉得对大家有帮助的话,还希望不要吝啬你的一件三联啊。好了,今天这个视频就给大家分享到这里,再见!

清华发布的 chat jm 第二代模型是否比 gpt 四还要厉害?是否可以断网运行?粉丝小伙伴一直有问到这些问题,我准备接下来换点时间,通过几期实测分享来回答这些疑问。 cat g m 六 b 是清华大学 k e g 实验室今年发布的黑本地部署大约模型,六月底推出了六 b 的第二代版本, 有着更长的上下文和更高效的推理能力。今天先分享如何不输安装 chat j m 二、六 b 模型,并用模型完成简单问答。目前在基站有完整的安装攻略,在 先安装项目仓库到电脑上,然后执行这条指令,安装相关医疗文件。执行完以后就可以下载六 b 模型了,通过手机运行调试代码就可以自动下载,比较简单。我参考官方设立写了一个六 b 模型的问答教本,其中会通过引用和调用六 b 模型来触发模型的下载动作。这里 要特别讲一个问题,所有的本地大约模型的推理对内存 g p u c p u 的要求都比较高,六 b 也是一样的道理,你的电脑配置不行, 那推理会特别慢,待会会给你们看我电脑的运行效果。小伙伴需要根据自己的电脑配置,在六倍模型加载代码进行相应的初始化设置,需要根据有没有 gpu 显存和内存的大小进行不同的初始化, 甚至因为没有独显和内存过小,我们只能用炼化后的模型。我这里根据官方的提示,整理了五种不同电脑硬件配置对应的模型加载蛋白段,大家可以暂停看看 继续运行概念码会检测是否本地已下载模型,没有则开始下载,会出现以下的进度条。溜冰模型总共会有七个变味键,因为是从 honky face 下载,可能会因为网络产生中断,比如这样重新执行交款会继续断点下载。这里还是比较人性化的 模型,下载完以后,脚板就可以进行提问了。这个是小伙伴可以打开 cpu 和内存的占用率监测,可以看到占用率基本都会百分之百拿满,反正我的电脑是这样。我先让六倍进行自我介绍,为了直观看到问答的问题间隔,我加了时间显示, 简单的问答基本都要三到四分钟。再问一个需要思考的问题,比如如何学习 ai 知识, a few moments later, 直接等了十多分钟, 哎,该换电脑。对了,官方的代码仓库提供 gradu 界面的网页版代码,执行这条视频就可以打开网页。 从简单的问答来看,因为我这个破电脑的限制,回答的速度肯定没有 gpt 是快,这也是本地模型和云端模型不同的效果,不过对于推理的准确性,我还要再仔细研究对比一下。大家可以持续关注,希望今天的安装教程对大家有帮助,有用的话记得点赞收藏。