chatglm3本地部署后如何微调

叉 g l m 三一键部署，保姆级别教程，不会技术也可以。效果演示发一个，你好，速度很快，接下来将会带你一步一步的实现这个效果。首先浏览器输入 dos fifi come， 打开我的博客回车，点击开始阅读，点击左侧菜单的 ai 打模型，点击叉 tlm 三一键部署，电脑配置显卡四千零九十， cpu 一万四千九百个。 第一步，点击模型下载的链接将会跳转到百度网盘进行下载。第二步，点击环境下载链接，和第一步骤一样，这里就演示一下，把窗口调小 一点。假如你把这两个文件下载下来，默认浏览器会把文件放到下载目录这里，根据自己的情况来。现在你已经有了叉 g l m 三这 models， 这在桌面创建一个文件夹，名字叫做 chat， 然后把刚刚下载下来的文件拷贝到这个文件夹中，选中叉 g l m c， 鼠标右键提取到叉 g l m models 最也是一样的操作。视频二十倍快进 解压后会得到两个目录，拆至 m m 三和 models， 先关闭演示窗口，然后看一下 文档上的操作，文档上解压下载的压缩包和我们现在的效果一致。找到第四步骤，需要进入叉 g l m 三目录，然后点击零一，启动叉 g l m butt， 此时你会看到一个黑色的窗口，等待一下，在你的默认浏览器会自动打开一个本地的地址，正在启动中， 黑色的窗口会有加载的进度显示，加载出来了，如果你的效果和我的效果一样，恭喜你叉 t l m 三一键部署成功。发一个你好，测试一下，成功。

水友们好，前段时间给自己的电脑布了一套 chat g l m， 用起来效果不是很理想，有朋友推荐我试一下 lan chain， 可以根据自己的本地知识库实现问答， 所以我就翻了下 github， 果然找到了一个 land chain， 结合 check glm 的基于本地知识库的 ai 聊天机器人的开源项目。 刚在自己的电脑上也部署了一套详细的本地部署过程，我做了一个记录部署过程遇到的一些问题，也分享给大家，看看能否帮助水友们避坑吧。 项目的原理大家看这个图就明白了，我是觉得这个 in bedding 这部分可以好好学习下，回头可以考虑下怎么用在自己的项目里。废话少说，开始项目的本地部署。首先把项目克隆到你的 电脑里，这里我用的 github 客户端拉取的代码。 这个项目虽然说是用的 chat glm， 但我看他的项目介绍里还支持其他大语言模型，可以根据自己的需求和硬件情况选择。我之前已经部署过 chat glm 了，所以就直接用 chat glm 杠六 b 杠 in 四的量化版本。 硬件要求方面，用 ins 的版本的话，我八 g 现存的卡勉强可用吧。接下来看看项目的安装指南吧， 根据安装指南的指引，用 comda 创建虚拟环境运行项目就是了。这里我遇到了第一个问题，因为电脑安装的 python 版本是三点一一，在后面安装 requirement 的时候报错了。 从文档里看，这个项目实测过 python 三点八到三点一零，所以我在 condy 重新创建虚拟环境，并且设置 python 版本是三点一零，这样后面就不报错了。 激活新建的虚拟环境，并且切换到项目所在目录，输入 pip install our requirements， 点 txt 指令安装依赖的包，等待安装完成。 安装完成之后，翻阅一下项目文档，我们可以使用 webui 点 py 运行项目文档。这里提到运行前需要先设置一下配置脚本， 在项目目录下 找到 config 文件夹下的 model config， 点 p y 文件，使用代码编辑器打开。 根据注视，我们把调用的模型名称修改为 chat glm 杠六 b 杠 in 四，并且把 no remote model 参数改为 true。 本地模型需要放在 model 文件夹下， 这个项目目录下并没有 model 文件夹，所以我新建了一个 model 文件夹，把下载好的 chat glm 杠六 b 杠 in 四版本的模型复制到同名文件夹下，这样就完成了本地模型的配置了。 现在我尝试运行了项目，这里是我遇到的第二个问题，我没能正确的运行这个项目，项目报错了。通过 查看报文，我发现原因是使用的 torch 不是 gpu 版本所导致的，所以我只好上 torch 官网去找 gpu 版本了。 检查了下 torch 的版本号，反正选择一样的版本就是了，因为前面安装了拍葬，三点时看好版本号，选择合适的版本，再安装了一次支持 gpu 的版本。 这里我又遇到了第三个问题，忘记在 webui 点 py 脚本里修改项目启动的地址了， 所以再打开脚本文件，直接拖到脚本最后几行，我这里就把地址修改为 local host。 再次 运行项目。这回终于可以在浏览器里浏览查看这个项目效果，项目包含几种使用模式，可以使用基本的 ai 模型对话功能，和 chat glm 没有什么区别。 知识库问答模式里，我们可以创建自己的知识库，并且上传知识库文档或文件夹，支持的文件包括 text、 word 文档以及 pdf 文档等格式。 我实测了一下上传本地知识库的方式，丢了一个 word 文档上去，看上去效果是可以的，可以从我的文档里提取知识，并且给我回复。不过我才玩了两轮显存就爆了， 看来还是我机器性能的问题，玩 ai 模型果然是烧硬件啊。 上面的内容就是我手动部署过程和之间遇到的问题，水友们要是觉得对大家有帮助的话，还希望不要吝啬你的一件三联啊。好了，今天这个视频就给大家分享到这里，再见！