粉丝1.2万获赞6.3万

叉 g l m 三一键部署,保姆级别教程,不会技术也可以。效果演示发一个,你好,速度很快,接下来将会带你一步一步的实现这个效果。首先浏览器输入 dos fifi come, 打开我的博客回车,点击开始阅读,点击左侧菜单的 ai 打模型,点击叉 tlm 三一键部署,电脑配置显卡四千零九十, cpu 一万四千九百个。 第一步,点击模型下载的链接将会跳转到百度网盘进行下载。第二步,点击环境下载链接,和第一步骤一样,这里就演示一下,把窗口调小 一点。假如你把这两个文件下载下来,默认浏览器会把文件放到下载目录这里,根据自己的情况来。现在你已经有了叉 g l m 三这 models, 这在桌面创建一个文件夹,名字叫做 chat, 然后把刚刚下载下来的文件拷贝到这个文件夹中,选中叉 g l m c, 鼠标右键提取到叉 g l m models 最也是一样的操作。视频二十倍快进 解压后会得到两个目录,拆至 m m 三和 models, 先关闭演示窗口,然后看一下 文档上的操作,文档上解压下载的压缩包和我们现在的效果一致。找到第四步骤,需要进入叉 g l m 三目录,然后点击零一,启动叉 g l m butt, 此时你会看到一个黑色的窗口,等待一下,在你的默认浏览器会自动打开一个本地的地址,正在启动中, 黑色的窗口会有加载的进度显示,加载出来了,如果你的效果和我的效果一样,恭喜你叉 t l m 三一键部署成功。发一个你好,测试一下,成功。

不用联网,不用付费,家用显卡即可部署全代码开源的大语言模型 chat j l m 三就在本周发布了,本期视频提供 chat j l m 三全网最简单的一键部署包,解压后即可一键运行,无需联网,无需配置六 g b 以上的显存,即可流畅使用, 还不受任何约束的随意微调,再也不受 open ai 这类 gpd 厂商的限制了。我们的主角 chat jlm 三是由清华大学智普 ai 团队在本周刚刚发布的最新最强的开源大语言模型, 短短几天已经霸榜 get up, 获得了四千家的 star。 官方在八个中英文典型数据集上进行了性能测试,所有指标对比二代模型已有大幅提升,已经超越市面上所有百亿参数以下的大模 模型,在轻量级的大语言模型中遥遥领先。宇同行部署之前,我先介绍一下电脑的运行环境,我们的电脑必须拥有一个六 gb 以上现存的银微点显卡,虽然此模型可以使用 cpu 运行,但是效果非常的不好,下面我们开始介绍部署方式。 首先第一步,打开 invidia g force experience 控制面板,点击驱动程序,这里找到 n 卡最新版的驱动程序,点击下载并且安装就可以了。我们进行第二步下载扩大,我们进入这个网址,这个网址可以在本期视频的专栏里找到,这里找到我们对应的操作系统,这里我选择 windows x 八六架构,然后选择我的 windows 版本 windows 十一,点击 e x e 安装包这里直接点击下载就可以了,下载好以后我们进行安装,然后 这一步就结束了,我们升级好 n 卡驱动,并且安装完扩大以后就要对电脑进行重启,重启完毕以后进入命令提示服,对刚才的安装进行验证,输入这个命令 in vdr 杠 smi, 这里显示我的扩大版本是十二点三, 如果想让模型运行取得一个比较好的效果的话,我推荐十二版本以上。好,我们进行下一步 下载好本爬爬虾提供的这个一键部署包,我已经将这个安装包打包并且上传到网盘了,需要下载地址的话,可以三连后加关注私信我,我们将这个安装包解压好, 解压好以后得到一个这样的目录结构,有三个文件,我们直接点击这个运行脚本,可以看到它自动开启了一个浏览器的窗口,这里显示模型正在加载, 需要耐心等待一段时间。模型加载好以后,这里显示出了我的显存大小,由于我使用的是一个笔记本,这里是三零六零的显卡,所以说只有六 gb 大小的现存。这里使用量化 inter 四版本进行运行,我们跟他对话一下,看一下效果。 这里官方提供了三个主要界面,一个是普通对话,第二个是 tools, 这里就可以接入各种第三方工具,比如说查询天气啊,查询股票这种功能。 第三个是 code interpreter, 这个是增强了他的代码功能,也就是说输出代码的一些功能。如果本期视频点赞超过两千,大家对这一块功能感兴趣的话,我会专门出一期视频来 讲一讲。这里是技术爬爬虾,我会定期分享一些有趣实用的编程项目,分享一些提升效率的黑科技软件。今天的视频就到这里,感谢大家,我们下期再见。

大家好,你现在看到的是我在飞书里和一个 ai 机器人对话,看起来很普通对吧?但这个机器人背后的大模型不是 chad gpt, 不是 cod, 也不是任何云端 api, 它是智普最新开源的 glm 四点七 flash, 一个三百亿参数的模型。此刻正跑在我自己的电脑上,用的是一张四零七零 super 显卡,而且我这台电脑和飞书之间 隔着一台只有三核 cpu, 四点五 g 内存的小服务器,没有昂贵的云端 api 费用,没有数据隐私担忧,完全本地化部署。整个架构是这样的, 我的本地电脑运行欧莱玛和 glm 四点七 plus 模型,通过 f r p 内网穿透,让云服务器能访问我本地的模型。 服务器上运行 openclaw, 作为 ai 助手的大脑,飞书通过 web socket 长连接和 openclaw 通信。 接下来我会手把手带大家完成这整个部署过程。如果你也有一张十六 g 显存的显卡,想零成本打造自己的私有 ai 助手,这个视频一定要看到。最后, 话不多说,现在开始部署。首先下载一个适合跑模型的驱动,接着在欧拉玛官方网站上下载欧拉玛,注意选威严系统版本,不要错选,下载完成后双击运行,点击安装, 安装完成可以在终端运行 olegma version 查看 olegma 版本,运行 olegma pro 加模型名称可以下载对应的模型。最后运行 olegma run 加模型名称就可以在本地运行模型了。这里提问一下, 看到输出说明欧莱玛本地运行模型成功,下面我们开启内网穿透,这样服务器就可以调用我们本地的欧莱玛模型了。首先进入服务器 下面,在服务器创建一个 f r p 的 文件夹,然后进入这个文件夹目录下,下载 f i p 解压 f r p 压缩包,进入刚刚解压的文件目录下,创建配置文件 f r p s。 点 to mail 下面启动服务端,然后我们可以用这条命令来验证服务端是否开启。 接下来需要开放防火墙,如果大家可以打开这个页面,代表着服务器的内网穿透已经成功开启服务器的端口,让其与服务器的端口进行连接。 和服务器一样,首先创建 f r p 文件夹,进入该文件夹目录下,运行这条命令,下载客户端 f r p 的 压缩包, 对压缩包进行解压,下面同样进入该文件目录下。接下来创建配置文件。配置完成后,接下来启动客户端, 可以看到 star proxy success, 这说明我们的内网穿透已经完成了。当然我们还可以在服务器当中刻录一下这个幺幺四三四端口, 可以看到欧拉玛是有回应的。如果大家想更方便地操作服务器或者看到里面的内容,这里建议给服务器安装一下 one panel, 这里选择中文简体,因为我已经安装过了,所以这里省略了一些步骤,没安装过的朋友可以根据提示进行下一步,最终会得到面板的地址、账号以及密码。然后根据这些信息进行登录,就可以打开服务器的 one panel 了。 大家看这里就可以看到我们刚刚创建的 f r p 服务的相关文件。下面说一下如何在服务器向部署 openclaw。 首先将项目源码克隆到服务器上,接下来在服务器中运行这两条命令去安装 node js。 二十二, 接下来运行这四条命令,安装 pmpm 和 openclaw。 最后运行第五条的命令,进入 openclaw 配置向导, 运行 open cola 配置向导,这里选 yes, 选 quit start 因为我们要使用的是本地电脑的欧拉玛模型,所以这里我们先进行跳过,这里进行全选。 选第二个 intermodel menu, 这里我们删除模型,选择填入我们的欧拉玛 glm。 四点七 flash 模型选择跳过 选 yes, 这里选择 no, 选第二个,这里按空格选择跳过这部分可以都先选择 no, 这里选择跳过这里我们就选择 restart。 按回车这里选择 do this later, 然后去手动配置 olemma 模型,选择 yes。 完成 openclaw 的 配置后, 接下来需要编辑这个 json 文件,确保服务器的 openclaw 可以 正常调用本地的 olemma 模型。这里说三点编辑 json 文件需要注意的地方,第一点是 openclaw 要求的最小上下文是一万六千 tokens, 第二点是配置的模型 id 要与 olemma 实际模型完全一致。第三点是 getaway bind, 这里需要修改为滥。配置好后就可以在服务器上下载飞书插件并开始配置机器人了, 大家可以在飞书开放平台申请并配置机器人。下面需要在权限管理这里开通以下显示的权限,点击开通权限即可添加。 接着需要在事件与回调这里进行添加事件配置订阅方式选择长链接,然后添加机器人进群以及接收消息这两个事件。 注意看这里的两个应用凭证,下面会使用到 机器人配置完成后,在版本管理与发布这里进行发布,这里是清晰的飞书开放平台的配置步骤。在开放平台配置完机器人后,我们运行命令,安装飞书插件, 紧接着运行下面四条命令,在服务器中配置飞书。刚刚提醒注意的两个应用凭证,现在需要分别填在这两个命令中,然后重启 open class, 打开飞书, 添加下你配置的机器人后,便可以和它进行对话了。如果完成到了这一步,那么恭喜你拥有了一个完全属于自己的 ai 助手,可以在飞书里随时调用。而且最棒的是,它没有昂贵的云端 api 费用,没有数据隐私担忧,完全本地化部署。

千万的三点五二十七 b 的 大模型被我装在我这台五零九零的电脑里面了,直接就能当拆 gpt 来用了,再也不用花钱买 api 的 额度了。 重点是呢,全程 windows 不 用花一分钱,云服务器数据呢完全离线。咱们先来说配置,系统呢是 windows 十一加 wsl 二 和虚拟的 linux, 显卡是五零九零三十二 g 的 显存,用的是目前最火的 v l l m 加速的架构。如果说你的显存小一点的话呢,换成七 b 或者说十四 b 的 模型,这套流程呢,照样能用。模型呢,我选择的是千万的三点五二十七 b a w q 的 量化版本, 最后用的是 chatbox 接入,然后呢,咱们来打开 chatbox 接入调试流程呢,就按照我这样,咱们先来测试一下哈。咱们先来测试一下,来,看这个响应速度, 看这个专业逻辑,哎呀,只要是电脑还开着,这就是我的私有最强大脑,下个视频我打算把它接入到我的龙虾上面,实现真正的免费。 ok, 想要部署的同学呢,记得一键三连。我把流程整理好了,想要的话跟我说。

清华发布的 chat jm 第二代模型是否比 gpt 四还要厉害?是否可以断网运行?粉丝小伙伴一直有问到这些问题,我准备接下来换点时间,通过几期实测分享来回答这些疑问。 cat g m 六 b 是清华大学 k e g 实验室今年发布的黑本地部署大约模型,六月底推出了六 b 的第二代版本, 有着更长的上下文和更高效的推理能力。今天先分享如何不输安装 chat j m 二、六 b 模型,并用模型完成简单问答。目前在基站有完整的安装攻略,在 先安装项目仓库到电脑上,然后执行这条指令,安装相关医疗文件。执行完以后就可以下载六 b 模型了,通过手机运行调试代码就可以自动下载,比较简单。我参考官方设立写了一个六 b 模型的问答教本,其中会通过引用和调用六 b 模型来触发模型的下载动作。这里 要特别讲一个问题,所有的本地大约模型的推理对内存 g p u c p u 的要求都比较高,六 b 也是一样的道理,你的电脑配置不行, 那推理会特别慢,待会会给你们看我电脑的运行效果。小伙伴需要根据自己的电脑配置,在六倍模型加载代码进行相应的初始化设置,需要根据有没有 gpu 显存和内存的大小进行不同的初始化, 甚至因为没有独显和内存过小,我们只能用炼化后的模型。我这里根据官方的提示,整理了五种不同电脑硬件配置对应的模型加载蛋白段,大家可以暂停看看 继续运行概念码会检测是否本地已下载模型,没有则开始下载,会出现以下的进度条。溜冰模型总共会有七个变味键,因为是从 honky face 下载,可能会因为网络产生中断,比如这样重新执行交款会继续断点下载。这里还是比较人性化的 模型,下载完以后,脚板就可以进行提问了。这个是小伙伴可以打开 cpu 和内存的占用率监测,可以看到占用率基本都会百分之百拿满,反正我的电脑是这样。我先让六倍进行自我介绍,为了直观看到问答的问题间隔,我加了时间显示, 简单的问答基本都要三到四分钟。再问一个需要思考的问题,比如如何学习 ai 知识, a few moments later, 直接等了十多分钟, 哎,该换电脑。对了,官方的代码仓库提供 gradu 界面的网页版代码,执行这条视频就可以打开网页。 从简单的问答来看,因为我这个破电脑的限制,回答的速度肯定没有 gpt 是快,这也是本地模型和云端模型不同的效果,不过对于推理的准确性,我还要再仔细研究对比一下。大家可以持续关注,希望今天的安装教程对大家有帮助,有用的话记得点赞收藏。

不吃电脑配置,不花一分钱,一键轻松部署一个 ai 小助手,可直接使用 chat g m l 二、拉姆二等开源大语言模型,周末时间大家来一起部署一个属于自己的 ai。 老规矩,我们先看一个基础测试,现在呢已经被咱们成功的部署到了云端,也采用的是 chat g m m 二 对应的一款大语 ai 模型,而且这个位置还可以上传本地的知识库,可谓非常的强大,不吃你电脑,而且所有的内容呢,完全免费操作。 想要本次视频中资料的兄弟们老规矩,点赞关注评论六六六。首先我们先打开老张给大家提供的第一个链接,我们先在阿里云服务器上领取这三个月的 额度,然后认证方式呢,我们直接选择个人认证即可,注意啊,三个月是不花一分钱的。好的,打开咱们的第二个链接,把这两个数据库呢 给他领取一下,因为咱们将来如果说你想要在当前的这个内容中啊,搭建你本地的知识库,或者说上传知识库文件,你需要用数据库作为存储方式,跟之前一样,点击立即使用。 大家注意啊,这两个关联角色和服务角色一定要点击下创建。最后呢,我们再来领取五十个 g 的文件存储空间,用来放咱们将来要部署的大语言模型, 领取方式跟之前一样,咱们点击试用。好的,当咱们把以上这些内容领取完成之后呢,大家可以在这个产品位找到对应的计算选项,这有一个函数计算 fc, 咱们点击进入, 点击进入管理控制台创建默认角色,然后在左侧栏中找到应用选项,咱们可以看到他会有大量的模板,在这大家看到了有 a n 大语言的, a n 绘画的,同意千问的,那我们直接找到 你要部署的 ai 大语言模型,直接点击立即创建,点击进入以后啊如果您有 github 账号,您可以直接进行输入,如果没有的话,咱们直接部署都是一样的, 然后这个地方任何东西咱们都不用去改,然后在最下面点击创建并部署默认环境,然后他会弹出咱们刚刚是不是领取到的两个资源呢?直接点击,然后选择同意,然后选择继续部署, 这样的话他就会自动的帮咱们去创建应用,可能速度呢会稍微的慢一点,大家稍等片刻,然后大家看,如果说现在咱们显示部署成功的话,兄弟们看这他会产生一个钉的域名,咱们可以直接点击域名好,咱们就可以直接对齐进行提问了,大家来看 效果还是非常不错的,对吧?质朴公司,那么咱们看到他最最上方呢,有一 一个三十次的问答额度,那么这个问答额度咱们怎么提升呢?咱们可以切换个人数据库,个人数据库呢,就是大家在这个位置所领的这个二 ds 数据库,那么这呢很多兄弟可能会出现一个小问题啊,就是你在领领取的时候,比如说跟老张一样在这领取, 咱们这个呢,直接这个都不用去管他,咱们注意现在的主节点可用区是不是杭州可用区为 g 啊?然后咱们在这选了一个 vpc, 然后需要选一个交换机,结果咱们发现一勾中啊,发现,哎,交换机不能围空,但很多兄弟的问题就出现了,这个地方没有选项, 那咱们可以怎么样呢?大家来看啊,假设像老张这个已经配置好了,你看是不是没问题啊?那怎么配置的呢?兄弟们,先记住你当前的主节点可用区在哪,然后点击专用的网络控制, 然后在这创建一个交换机,这个标签名称呢,咱们可以任意续起,咱们把它绑定在默认的这个专用的网络下,注意你的专用的默默认网络是什么,然后在这注意交换机名称啊,你可以先随便的去叫可用需,这跟谁一样?兄弟们划重点了,是不是跟这个 主节点可用区是一样的就可以了,然后直接选择立即试用,所以大家看这个这个解决方案一定要记住,否则的话你没有这一步,你将来这个 r d s 你是没有的。好,那么有了这个 r d s 以后呢,咱们就可以让它切换至个人 个人数据库了,那个人数据库咱们就得做一个简单的配置来完成,然后接下来我们来操作一个个人的数据库,后面的难度可能要稍微大一点,大家跟上节奏啊。首先第一个呢,咱们选择阿里 刚才咱们领数据库的这个页面,这是不是有一个已试用啊?咱们点击好,然后我们打开实际列表之后呢,看到这个状态是运行的,我们直接选择管理,管理信息中选择账号管理,然后选择创建账号 数据库,账号这个地方由您自己决定,然后高权限账号密码也是由您自己决定好,高权限账号已经激活,证明咱们账号创建完成,然后选择左侧的数据库管理, 点击创建数据库,数据库名称还是您自己随便的睡觉。选择完成以后,在这点击授权账号就是刚才咱们创建的高权限账号,然后选择创建,然后再往下选择白名单与安全组,然后找到 defote, 选择修改, 修改之后咱们把它呢直接按照这个位置进行修改,请你们看一下,把这个直接复制过去,选择放到这个位置,表示全 公网开放,这样的话咱们可以直接使用测试即可,然后点击下方数据库连接,选择开通外网地址,好的,这样的话外网地址配置成功,点击复制, 然后打开咱们刚才布置好的这个内容,选择迁移个人数据库,不连接地址,直接添入,添入之后端口也是在这个位置,咱们刚才拿到的五四二三的这个外网端口,点击回来高权限账号,咱们自己注册的内容账号密码,咱们自己注册的密码, 数据库名称,咱们自己注册的数据库名称。好的,那么现在上方的限额也被咱们取消了,可以直接上传本地文件,甚至可以导入知识库的 uil, 直接进行本地访问,可谓非常的哇塞,有任何问题记得评论区给老张留言,周五了,大家抓紧去尝试。