粉丝3.9万获赞16.8万

最适合小白部署 hermes 的 方式非常简单,如果你想选择一个二十四小时在线的私人助理,并且随问随答,那么得益于阿里云的轻量服务器模型,通过阿里云来部署 hermes 一定是你最佳的一个选择。 首先进入阿里云,自己解锁进去,右边可以通过支付宝扫码登录,扫码登录之后,鼠标悬停在产品这个界面,悬停在计算这个界面,然后点击清亮应用服务器, 在清亮应用服务器的界面点击立即购买,立即购买有系统镜像,应用镜像这里,大家在应用镜像这里直接选用 hermes 的 agent。 目前 hermes agent 相比于 opencloe 的 话,它的整个的 tokens 消耗量下降在百分之五十以下,而且带有自学习的这个功能,更新迭代很快,更加的聪明灵活,所以说这是最近的一个热点的 agent。 在地域选择上的话,可以选择香港及海外以及内地,他的区别在于香港及海外一些应用服务,对外的话他是不需要备案的,在咱们内地受限于一些法律的条款,他需要对外服务的时候进行备案, 因为这里我们是用做自己的私人 agent, 所以 说不用选择海外,就哪里离你最近,你就选哪里就行了。那么我这里选的是成都,还有一个就是内地的话会比香港海外他的价格更便宜, 我选择成都之后,然后直接选择一年,这里可以看到他的价格目前是四百五十九元,但是当你第一次购买的时候,他是一折或者是两折的这样一个价格,就是当时我买的话大概就是六七十块钱一年, 这样试一试,点击立即购买就可以了,那么我这里已经买了,我就不再继续点击了。 点击立即购买之后,他就会翻转到现在这个界面,这里是已经给你部署好的 hermes 的 服务器,这里直接点击应用详情,在应用详情里面就有 hermes 的 agent 使用步骤。第一步,点击出场, 呃,目前的话,他只支持阿里的云百链,所以说你要在云百链注册一个账号,如果大家不知道云百链是什么东西,下一次课程里会进行一个扫盲,自己也可以去百度搜索进去注册一个账号,然后这里选择北京,根据自己的服务器地址,哪个地方最近就选哪里, 然后阿里云百链的 api key 自己粘贴复制一下,生成了之后,这里点击下一步, 点击下一步之后等个几分钟,然后的话右边就可以点击这个安全代理访问了,点击下安全代理访问,它是最新的 hermes, 已经给你有一个成熟的关于 hermes 的 ui 服务, 直接点击确定。如果不想了解那么多的话,这里就进入到这个 hermes agent 的 服务器端它的后台了, 他的后台的话,这里需要点击的就是这个配置,配置的话这里有目前你现在部署的模型,比如说现在是这个千万三点五 plus, 如果你有其他的模型,你就直接把这个剪切 剪切掉,然后把你想要布的模型从那个阿里云百链的模型名称给它粘贴进去就可以了。因为之前你是输过 api key 的, 所以说这里你输模型直接输入它就默认去消耗你 api key 这个账户里面的这个托尔斯的数量, 点击右上角的保存,点击保存之后,咱们回到这个清凉应用服务器啊,然后我们看一下刚才部署的怎么样了,是不是我们部署的这个千万三点五的这个模型,点击连接,远程连接,直接点登录, 这样的话就登进了我们的一个服务器里面,就是我们买的服务器里面 啊,直接输入 hermes 回车, 稍等片刻进入了 hermes 里面,你看到就已经提供服务了,然后这里有千万三点五 plus, 就 说明刚才你部署的是对了,那么在这个页面的话,我们的 hermes 的 部署就已经完成了,并且你可以在这里和它进行对话, 他的中文也是识别的,你可以直接打中文,他就回你中文了。如果你希望他以后一直给你回中文,你就说,呃,我希望你记住以后一直给我回中文,然后再打个回车,他就会记住你的编号, 支持的话 hermes 就 不锁完成了。那是不是这样 hermes 就 可以完全在线使用呢?是的,但是它目前还不好用,因为这个界面你和它的登进来进行呃访问,那么咱们下节课再讲怎么把它连接进入我们的微信, 进行远程访问,以及给它安装一些 python 的 库,让它去帮助我们进行具体的工作,谢谢大家。

termus 怎么样来进行安装和使用? termus agent 跟早期的 open class 是 一样的,主要是在 mac 和 linux 系统上来进行操作,如果是 windows, 你 需要先安装 linux 内部的虚拟机才能够来进行运行。打开命令行,直接输入这个 c u r l 来进行一个安装就可以了。它内部呢,其实有一个这 install 点 s h 这样的脚本,我们其实重要的是直接运行它的脚本,当然上面这两行是一行命令,我们之前经常有同学问到, 我们这换行了之后是不是两行命令,不是,是一行命令,一行命令它要复制进来来进行运行一行命令它的这个目标呢就是去找到 install 点 s h, 直接呢一步到位来进行安装, 安装过程当中差不多就长这样,会有巨大的这个横幅。现在呢,我们进入到 rumors agent install 了,整个安装过程其实非常简单哈,你会看到它会不断不断的蹦各式各样的这个提示当前这样的系统,找到对应的这个包来进行安装,检测当前这样的环境有没有 get, 有 没有 node js, 因为它还有就会去查看有, 有没有一些多模态的一些这库等等等,稍等一下他就会完成这个安装。这个过程当中他呢会全自动的安装很多很多的脚本,他会一行一行来跟你进行运行,这个是你不需要做任何事情来等着就行了。 那么一起玩了之后再来你就可以直接 hermes 啊杠 version 看一下你现在安装了这个版本,当然它现在更新的很快。安装完了之后,首先这里有一个小的非常实用的命令叫这个 hermes doctor the doctor 呢,大家用过 openclaw 或者用过 cloud code, 应该非常熟悉对不对?哪儿哪儿都有这个 doctor, 它是来进行当前的它内部项目的这样的个复查的这样的工作才会去看 什么这个 python environment, 什么依赖库啊,什么这个配置什么的东西有没有都做好对不对?这个 provider 有 没有提供等等,它会进行一轮内置的内部的这样的检测。当然如果你后面加两个横杠 fix, 它还能够自己来进行一些修复,这个也都是没有问题的。接下来我们就需要来进行模型的这个配置, 由于我们说对于当前的这个 hermes agent 来说啊,它实际上还是一个相对来说比较专业的一个 agent, 所有的工作都需要在命令行里面来进行完成,所以你要去 配置底层这样的这个模型,那么你就需要使用这 config 这样的命令来进行一个这个模型的配置。当然这里面配置什么模型其实都可以好,只不过我们这里配置的是这个 deepsafe, 那 如果是配置 deepsafe, 需要 set or 点 default, 它实际上是一个 config 文件里面的一个配置选项,把它配置成的 deepsafe 杠 chat 模型提供商配置为 deepsafe 官方就可以了。那么接下来同时你还需要在你的 herms 里边的这个文件里边给它写入你当前的 deepsafe 的 api key, 差不多就这么三行来进行配置就可以了。 当然关于 hermes agent, 它内部其实有非常详细的配置文档的说明,大家不同的这个模型呢,就需要输入不同的模型的名字,不同的 provider, 需要输入不同的 api key 就 可以了。 当然我们之后还会说怎么样去进行一个模型内部的这个切换都是可以的,它是支持不同任务去匹配不同模型来进行运行的。设置完了之后,接下来你在命令行里就能看到现在都已经完成配置了。好了, 完成配置之后,接下来你就可以来进行这个运行了,对不对?那么怎么样来进行运行?对于 hermes 来说,它实际上默认的一种调用的方式就是使用这个 chat 杠 q 来进行一个任务的运行。 所谓的杠 q 就 指的是我现在给他发布一个任务,让他全自动的来进行运行,甭管现在你运行多少步,总之它就是全自动的来进行运行。运行完了之后呢,给你一个结论,中间你是不可来进行干预,同时也是不可 交互的这样的过程。但如果你不是杠 q 直接输入了 hermes chat, 就 可以进入到这个对话这个页面,就像这 cloud code 一 样,或者像 opencloud 的 这个 t y 这样的对话模式一样,就可以在命令行里面进行对话了,这种都是可以的,那比如说我们现在给它发布了一个任务,就会有个巨大的标志性的 hermes agent, 哈哈,在这个启动的发面对不对?下面的什么什么东西, 大家可以看一下一连串的这个启动,它启动的时候还附带诊断了一下对不对。运行过程当中,其实它的命令行交互的效果还不错,哈哈哈,怎么说至少比 opencloud 的 这个命令行交互的效果要好很多, 比如说现在我们就开始问他,分析一下按照当前的环境装什么语言,包括一起一般还剩多少空间。我们之所以问这样的一个问题啊,实际上是需要去测试一下当前这个 a 档,他有没有一些基本的工具可以去操作你当前的这个计算机,很简单的一个小测试,看看他能不能顺利的调用当前的这样的工具。 紧接着他就开始来运行了,每一个回复是他运行的一个步骤,下面有对应的他现在是使用什么样的工具,执行了什么样的这个操作。 里面 preparing 代表含义,它现在是准备使用什么样的工具来进行运行。下面 e x e c 代表的是 execution, 那 指的是我现在带入什么样参数去运行当前这样的工具,那下面就会有完整的分析报告出来了。这个呢就是一次运行之后的回复,运行完了之后,下面它还会跟你说,如果你想 继续这样的一个这个 session, 你 可以通过 resume 这样的方式直接进入当前对话,继续来进行对话。下面还有各式各样的信息,那么到这儿 commerce agent 的 一个入门级的安装部署就全部结束了。

今天这款 home 软件,小白也能一分钟极速搞定,没错,不用手动改代码,不用反复调参数,还在为复杂的软件安装步骤头大,双击安装包,跟着提示点下一步,全程傻瓜式操作, 眨眼功夫就能完成安装。焊配置安装完成直接用 正面简洁明的功能一目了然,新手也能秒上手,告别繁琐,拒绝折腾,一分钟拥有高效办公神器,还等什么,赶紧跟着视频试试吧! 这里就是开始配置参数,都是图形好设计,直接点继续大模型配置界面可以接入本地大模型,也可以是 pi 形式,如果列表没有,就选择 custom open ai compatible 自定义模型,输入了 pikey 还访问地址。我用的是小米大模型,直接粘贴复制了 工作区,可以修改或者默认都可,但是默认模型必须修改为你自己厂商的模型名称, 根据自己需要一般跳过即可。这就完成了所有参数设置,接下来就可以尽情享用吧! 演示一个连接微信教程,点击连接找到连接微信,点击配置, 再点击获取二维码,然后用手机扫码即可。 再点击测试连接即可。用微信发消息回复一个验证码,直接发给大模型即可。配对成功或者告诉黑莓所不需要验证码验证配置,直接修改为不需要验证码验证即可。连接 小伙伴们赶紧入群下载安装包吧!群里有下载链接地址。

兄弟们,比我方卡了更厉害的 ai 助手 hemi 插件必连 nas 部署教程来了!首先呢,去飞出一键创建机器人连接我方屏幕了啊,大家截屏时自取,然后进入 nas 多克项目创建配置代码,大家自己截屏提取,粘贴到 compose, 然后点击立即部署,等待镜像拉取完成。进入容器,找到 hemi, 点击终端新增, 输入 amis setup 并回车,选择 quick stop 回车,然后选择 more providers。 这里选择你有的模型啊,我的是 mini max, 粘贴 api key 粘贴 url, 然后呢,选择调用的模型,回车之后选 skip 跳过,然后输入 y 回车。 现在你的爱马仕机器人就已经可以在终端使用了。接下来呢,就是配置飞书机器人,当前终端按 ctrl 加 c, 然后输入 amisgetaway setup 回车。选择飞书,粘贴之前创建的飞书机器人 id, 回车之后粘贴 script 继续回车,输入飞书,然后这两个项目直接不填回车。在用户授权这里啊,选择第一个,这个选项,空着继续回车,最后选择当 最后输入 n 再回车。恭喜你,飞书机器人现在也配置完成了,现在啊,你就有了比 open 可更牛逼的爱马仕!没有 ctrl u s 印章啊,但是它的学习能力是真的恐怖! 教程一发,照着做啊,你也能拥有一个越用越聪明的 ai 助理!有问题评论区见!下一期教你怎么把 opencolor 的 记忆一键签到 hems。

在开里下部署 hermas 来了,我们直接运行一下,已经开始安装中。现在就运行 hermas 吗?输入 y, 如此一来 hermas 就 安装成功了。我们执行 npm 命令,安装一下 hermas y 的 图形界面。回车 大家可以看到 hermes 图形界面已经 ok 了,而且支持中文,而且更新了脚本技能。 hermes 和 open code 最大的区别在于 hermes 可以 实现自主进化,而且 hermes 拥有长记忆功能。

兄弟们,你们要的在开里下部署 hermes 来了,我们直接运行一下,已经开始安装中,现在就运行 hermes 吗?输入 y, 如此一来 hermes 就 安装成功了。我们执行 npm 命令,安装一下 hermes 外的图形界面,回车, 大家可以看到 hermes 图形界面已经 ok 了,而且支持中文。我们使用 hermes 检查一下服务器,大家可以看到 shadow 和 house name 都已经获得到了,而且更新了脚本技能。 hermes 和 open code 最大的区别在于 hermes 可以 实现自主进化,而且 hermes 拥有长 记忆功能。最终输出了报告,大家可以看到有一台设备离线,其他的全部漏洞确认了,而且 root 已经获取成功。当 你觉得他完成的这个任务不错,你可以点击一下技能,我们在这里输入一下 check, 大家可以看到 check 非牛纳斯,他已经自动帮你生成技能了。关于技能的适用场景,触发的关键词,还有批量检测脚本, 全都帮你写好了,以后大家在使用的过程中,只要有这些关键词,就会自动触发使用这个技能。

都在说 hermes 比龙虾强,但怎么安装却没人教。 hermes agent 是 一个开源 ai 助手,不是只有 mac 能装, win 也是可以的。装它有三个用处,第一个模型任挑,某里腾,某字、某申,某月、某质某,哪家都能接上。 第二个,越用越熟,你怎么干活它慢慢就记下了,用久了自动顺手。第三个技能自动沉淀, 干过一次的活直接存下来,下次一键复用,不用重新交。开工之前先检查两件事,五秒搞定。第一件,看 windows 版本,按 win 加 r 输入 win 十得两千零四以上, win 十一全版本都行。第二件,任务管理器,打开性能,看 cpu 里虚拟化有没有已启动 没开的。进 b i o s 打开,每家主板进法不一样。装 hermes 有 两条路,挑一条走完就行。第一条 ws l 二,一条命令就能在 windows 里开一个 linux 子系统,新手推荐这条命令, 行熟一点没坏处。第二条, dac, 一 条 dac, 让起容器升级,拉新镜像,数据不丢,装过 dac 的 人会更顺手。先讲第一条, wsl 二路径,三步,装好。第一步,右键开始菜单,选待管理员那项,打开一个黑色窗口。 第二步,输入 wsl install 回车虚拟机平台 wsl 子系统 ubandtwo, 它自己全装上。第三步,重启电脑,打开 ubandtwo, 设个密码, wsl 就 开好了。 wsl 开好之后跑官方一键脚本,也是三步, 第一步,从简介里复制一键脚本,粘到 ubandtwo 里回车。第二步,啥都别动, python node 依赖它自己全装上看着就行。第三步, 锁死一下,让环境变量生效,输入 hermes 就 能跑起来。装完先验两下,确认没出问题。第一,输入 hermes version, 能看到版本号就说明装对了。第二,输入 hermes doctor, 他 自己把 python, node, ripgrab 夫夫,莓根全查一遍,全部打勾就完工。讲完 wsl 讲 docker 这条路,先把 docker desktop 装上。第一步,去 docker 官网点一下 download for windows 下载安装。 第二步,看右下角托盘那只小金鱼图标亮起来显示 running, 就 说明 docker 就 绪了。 docker 装好之后,跑 set up, 向导,两步搞定。第一步,先创建一个点 hermes 文件夹, 你所有的绘画记忆技能都存在这里。第二步,一条 docker run, 挂载这个文件夹,进容器会自动拉镜像,拉完就进配置向导。 配完之后, doctor 有 两种用法,按需求调。第一种,交互式,临时聊一次,用完就走,容器跑完自动退,环境干净。第二种,后台常驻,开机自启,随时接消息,适合长期在线当网关用。配置之前先讲讲 apikey, 没这个过不去。 apikey 就是 ai 厂商发的通行证, 填进 hermes 它才能调模型。流程很简单,厂商官网注册,拿试用额度,找到 api keys 页面,点创建复制那串 s k 开头的字母粘进来,国内厂商挑一家就行。 某里同意,腾某混元自某豆包,申某求索月某暗面质某清严,哪家都能填进 hermes。 回到配置向导,一共五问,先两问,第一问,选模型,就用刚才拿到 key 的 那家 某里腾某字,某申某岳某志某哪家的 key 都行。第二问,终端后端默认 log, 回车就行,不用想。剩下三问,全是默认值,看着就能过。 第三问, a 准的参数,起个名字 max tens 默认九十别动。第四问,消息平台跳过就行,后面想接再接。第五问,工具集 选 o 全开回车之后, hermes 就 配好了直接跑装的过程 windows 上有三个常见坑,我提前说一下。 第一个坑, wsl 窗口一关, hermes 就 跟着停了,想让它一直跑别走。 wsl 走 docker 容器后台常驻不掉线。第二个坑, mntc 目录读盘很慢,因为是跨系统读写项目,别放 windows 自己的加目录里,速度快几倍。第三个坑, windows 防火墙会挡住 gateway, 首次弹窗选允许一次放行就行。最后看下电脑配置要求,其实一点都不挑,机器内存起步一个 g 就 能跑,推荐四到八个 g, 跟普通办公电脑一样, cpu 单核都能起。推荐双核台式笔记本都够,磁盘五百兆起步 留两个 g 以上就行。走一遍整个路径,记住三个节点,起点是 windows 用户就是咱自己。新手走这条, wsl 为你开个 linux 子系统,懂点容器的走这条, docker 升级拉镜像数据不丢,两条路跑到最后都是同一个终点。 hermes 在 你 windows 上跑起来,开源免费,能听话干活,温用户从今天起也能玩上开源 ai 了。我是曲奇,一个 ai 练习生,让我们一起记录 ai 时代的个人进化。

在上一集讲解了四十加工具与 m c p 连接一切,本期我们讲解安装与配置三种方式,现在开始真正落地,从零到能跑。先把 hermes 安装起来,最快五分钟就能完成第一次启动。 安装方式主要有三种,本地安装 ducker 以及五美元级别的二十四小时在线 vps。 本地适合体验和学习, ducker 适合追求干净环境, vps 适合长期在线使用。最稳妥的节奏还是先在本地跑通,再决定要不要切到 ducker 或 vps, 也不要一上来就把所有工具和平台全部打开。先把三条最常用的安装路径摆清楚。第一条是本地安装, 直接运行官方脚本就能把 python、 note js 和相关依赖一起装好, micros、 linux 和 wsl two 都可以跑,最适合先熟悉能力和交互方式。 第二条是 docker, 它的优势是环境隔离更干净,关键参数是把波浪线斜杠 hermes 挂到斜杠 optis 斜杠 data, 这样配置记忆和 skill 都会跟着宿主机走,不会丢。第三条是五美元级别的 vps 长期在线方案,像 hetzner、 cx、 二十二 digital、 ocean droplet、 volt 这类机器都够用, 系统建议直接选 uber。 二十二点零四 lts 通过 ssh 登进去以后照样运行,安装脚本就可以,如果不跑本地模型,内存通常不到五百 mb, 再配合 telegram gateway, 就 能在手机上随时给 hermes 发消息,让它在 vps 上响应。这三种方式没有高下,只是对应不同阶段的部署选择。不管选哪种安装方式, 核心配置最后都会落到一个文件里,就是波浪线斜杠 hermes 下面的 config emo。 这里最关键的几项是 provider、 api、 key、 model、 terminal, 还有 getaway。 provider 和 model, 决定你接哪家模型,以及具体用哪一个模型。 open router 的 好处是两百多个模型可选,切换灵活。 noose portal 更适合直接跑 hermes 三系列,也是官方更推荐的起步路线。 如果你要直连 open ai, 也可以直接走 open ai, 国内用户还可以考虑 zaidai 或者智普的 glm5。 如果你最在意隐私和离线能力,就走 alma, 本地跑 hermes 三的八币或七十币。 terminal 决定命令在哪里执行。 getaway 则负责接 telegram 或 discord 这样的入口。需要特别注意的是,通过 code 订阅、间接访问第三方工具能力有时会受限, 所以起步阶段更建议用 open router 或 north portal, 先配出一个稳定可用的组合。先让 hermes 跑起来,比一开始就追求最优配置更重要。 terminal 这一项本质上决定的是命令和代码到底在哪里执行。 如果你选 local hermes 就 直接在本机运行,最简单也最适合第一次体验。如果你选 docker, 代码会在容器里执行,隔离性更好,安全边界也更清楚。如果你选 s s h hermes 就 能连到远程服务器,把任务放到远端执行。 daytona 和 model 更像暗虚唤醒的 servalis 环境,适合低频但想保持可达的场景。还有一个更偏 hpc 集群的选择,叫 singularity, 如果只是体验,优先选 logo 就 行。如果你更看重安全隔离, dakar 是 很好的折中。如果你希望长期在线, s i 十起加 vps 会更自然。 如果你只是偶尔使用,又不想长期养机器, daytona 或 model 会更省心。不用一开始就追求最复杂的架构,先选自己最容易维护的那个。后端。装好之后,我代表要把所有能力一次性全打开。四十多个工具全开,并不会让 hermes 变得更强,反而容易分散注意力。 toolset 的 作用就是按功能分组管理工具,比如 web 负责网页搜索, terminal 负责终端命令, file 负责文件操作, skills 负责 skill 管理, delegation 负责指 agent 委派向 home assistant 或强化学习相关的 rio, 如果当前用不到,就先保持关闭。工具开得越少, agent 注意力越集中,响应通常也越快。更重要的是, toset 本身就是权限边界,你可以精确控制 agent 到底能做什么。 m c p 的 作用则不一样,它负责把外部系统接进来。常见的接入对象包括 gigap slack、 gera, notion、 post、 grace, ql、 figma、 confluence、 linear 和 google drive。 以 gigap 为例,只要声明一个 gigap server, 指定 s t t l u command 和 gigap token, hermes 就 能开始调用。 最好的起步方式永远是先只开完成当前任务必须的工具,再逐步扩展。这既是效率问题,也是安全问题。如果安装没跑通,通常不是 hermes 本身坏了,而是环境没有对上。最常见的一类问题是安装脚本卡住。 这种情况优先检查网络环境,因为脚本要从 getop 和 pi 下载依赖,如果你在国内网络环境里,往往需要代理或者镜像员。 第二类问题是命令明明装了,但 hermes 还是找不到。这通常是 path 还没刷新重新打开终端或者 source, 以下这 shell 配置文件就能解决。第三步,可以直接运行 hermes double dash version, 只要能看到版本号,就说明安装已经成功了。当前课程锚点是 v zero point seven point zero。 如果 docker 启动后没反应,就先确认波浪线斜杠 hermes 下面的 config yemo 已经存在,而且 model 已经配好,否则 hermes 启动后会停在那里等你补配置。如果跑在 vps 上,最好把 terminal 设成 docker, 这样代码就在容器里执行,不会直接碰触主机文件。系统排查顺序对了,大多数问题都能很快定位。安装和配置这件事其实没有看起来那么重,和 miss 的 设计思路很克制,能省则省,一个 config ym 就 把核心配置收住了,不需要到处翻环境变量和多层配置文件,贴上 a p i p, 选好模型和执行后端就已经足够。开始第一次对话,先别急着把所有平台和工具都配齐,先跑通最小可用路径, 后面再一点点加,当它能启动,能对话也开始记住你,整个系统就真正火起来了。装好之后,真正有意思的事情才开始。 下一集直接进入第一次对话,看看 hermes 怎样在聊天记忆和任务里慢慢开始认识你。当你只是正常使用,它,已经在背后悄悄写入记忆提炼 skill。 下集见。

不管你是刀客老手,还是刚想入门的新手,今天演示的这款刀客管理工具绝对让你眼前一亮,格式化操作,清亮无用余,部署管理排错一键搞定!这期教程全程实操,教你用它部署任意刀客项目,看完就能直接上手。 首先是安装,使用管理员账号登录即可专业版,打开我们的应用中心,找到刀客 compose, 点击下载即可进行安装。 安装完成后打开应用,点击左上角加 compos 创建我们第一个都可应用。在 compos 页面填写对战名称,建议对应你平时的项目目录名,方便后续管理。 dock 代理保持默认即可。在右侧编辑区删除默认势力代码,粘贴你自己的 dock compose emma 代码。大部分 dock 应用官网的安装部署页面都会提供 dock compose emma 势力,也可以去 github、 dock、 哈比及论坛查找, 或是向身边的大神朋友求助。粘贴好代码后,记得检查和修改这几处地方,调整对外端口,避免和其他服务冲突。 修改本地路径,换成你设备上真实的文件夹位置,把默认密码、密钥等改成自己的安全密码。确认配置误误后,点击上方部署按钮。部署过程中,下方会实时显示日期,包括镜像拉取进度、容器启动状态等。部署的等待时间 取决于你的容器复杂程度、需要下载的镜像大小以及当前网络环境。部署时常见的错误主要有,端口冲突被占用、本地路径填写错误、镜像下载失败或网络不通等。可以根据实时的日制信息排查跟修改 当左侧对战列表中该项目的状态变为一启动,就说明部署成功了。安装完成后,点击端口直接访问已部署的刀客服务, 还可以在浏览器内输入 ip 地址加配置好的端口打开已部署的服务。以上就是 doggy 的 使用教程了,欢迎前往我们的官网,加入用户交流群, 和群友一起交流有趣的 doggy 玩法,分享实用的 doggy 应用,一起玩出更多新花样!即刻 os, 打造您的专属 ai ness!

好,兄弟们,这是我那个 hammer 一个 web ui, 然后这是我本地部署的大模型,我们看一看本地大模型的这个速度有多快啊?这是我本地的运行的速度,可以看到这个速度还是非常非常快的, 没有加速啊,我们讲一下怎么搞这个 hammer 的 web ui, 就是这样一个命令,第一个,然后第二个启动就完事了,这个输出速度超出我的想象,比那个 deepsea 还快啊, ok。

你的 hermes 界面是不是这样的?而我的界面已经是这样的。我的上一条视频分享 opencloe 和 hermes 两个 agent 界面的使用对比,有粉丝朋友问我怎么安装 hermes 的 ui 界面,所以今天就跟大家分享一下如何安装 hermes 的 ui 界面。正常情况下, hermes 安装过后默认是在 终端页面进行交互的,就像这样子,但对于我们使习惯了使用前端界面的朋友来说,终端交互并不是很友好。我也不知道为什么 hermes 的 创始人 不像 open clone 那 样搞一个前端的网页交互界面,但是 hermes 官网上也给出了一个通过 dawker 来安装前端 ui 界面的方法。那这是这个网网页界面的网址, 在具体安装之前,我们需要先下载一个 dawker 工具。呃,通过这个网址下载,可以根据你的电脑版本下载,大家也可以把这个网址给你的 agent, 让你的 agent 给你下载。 那为什么要下载 dumper 呢?因为开发者把 humus ui 运行所需要的代码,系统环境,还有依赖库全部都打装打包进了一个叫镜像的集装箱里面,你下载后直接运行它,在你的电脑里面会开辟一个纯净的小空间,环境和开发者就会一模一样。 那接下来我们正式开始安装流程,这是 commerce web ui 的 安装教程文档。首先我们输入这个命令到我们的终端命令行里面,我们把命令粘贴到这个终端里面, 会打开 e n v 这个文件,这里面最重要的就是这个,这里面主要是我们的一些 key, 这个 open ai servers key, 输入一下你的 key, 那 这个 key 呢?是你自己设置的一个 key, 可以 是张三的 servers key 或者是李四的 key 这样的一个英文的字母在里面就行。 第二步,我们在终端里面打开 hermes 的 网关,我们把网关的这个代码粘贴进来。 呃,因为我的 hermes 网关是已经是打开的,所以它这里显示是。呃, already running 之后呢,我们要嗯在 doc 里面建一个 open web ui 的 这个界面,那么我们要把这段代码 把它复制一下,输入到我们终端的命令里面来。在这里呢,我们需要先把这个 secret key 设置成跟之前这里的 key 是 一样的,这个需要你修改一下, 我把命令输入到这里面来,那么在这里呢,把这两个 your secret 这个 key 改一下,改成你自己的 key 之后呢,敲回车键应该就可以了,你应该就能打开你的 dongk 里面就应该可以打开 dongk, 在 dongk 里面看到你的这个命令。 当你输入那个命令以后,你打开你的 dongk, 应该在这里就可以看到你的 humus 在 这个 dongk 中运行了。 那么点击这个就可以进入到你的 hermes agent ui 界面,就可以进入到我们 hermes 的 这个 ui 界面当中。那么刚刚 进入到这个界面呢,这里应该是需要你登录的,你可以通过邮箱来注册登录,登录进去以后就是这样一个界面,左边是它的一个呃 工具框,那么可以选择对话搜索或者是笔记,还有它的工作空间,中间是你们的聊天对话的工作内容,那右边呢是一些设置,那这个页面呢,是我觉得呃非常友好的一个界面,这就是 humus 的 ui 界面。

hello 上一期聊完龙虾和爱马仕的联网搜索之后,评论区不少小伙伴都在问 c r x n g 在 龙虾里到底怎么接?也有位很热心的朋友分享了爱马仕这边的接法,所以这期咱们就把 c r x n g 从安装 docker 到配好龙虾和爱马仕一次讲个明白。 首先你得有个 docker, 已经装好的小伙伴可以快进到下一部分,没有装过的朋友就跟着屏幕一步步走下来。 这里只有一点要注意,在国内网络下, docker 默认的 registry 是 没法工作的,必须要配置一个好的国内镜像站。屏幕上我配了我上学时就在用的南京大学的 docker 镜像站,连接一直很稳,也很快,给母校点个赞。 docker 这个东西最大的好处就是省心,像 c r x n g 不 管在什么操作系统上都能用差不多的方式装起来。右边是它的官网文档,你跟着一步一步配就好了。 这里要说明的是,你需要给它配置一下 ev, 官方提供了 example, 在 上面设置一下端口号,我们这里设为八千八百八十九。然后你就可以用 docker compose 启动 c r x n g 了。 成功启动后, c r x n g 会在你的启动目录下生成默认配置文件。因为我们要把 c r x n g 配置给智能体使用,需要修改输出格式,我们需要在这个配置文件里加上 json 输出,然后按照屏幕重启 docker 服务。我们打开 localcos 八八八九页面试一下, 很好,工作了。这里我们先关闭 google, 因为国内用不了,然后测试一下搜索出来了啊,这里有些问题默认还会搜很多国外的搜索引擎,所以我们得进一步优化一下, 因为 c r x n g 默认开启的都是国外的搜索引擎,而国内的搜索引擎虽然列表里有,但都需要手工开启。我做了很多尝试,发现一项一项配置真的是太麻烦了,所以我根据他的 settings y m l 文件的格式,自己写了一套适用于国内的搜索引擎配置, 然后在屏幕上示意的位置,我们把这套配置整体黏贴进去,替换原有的配置,首选的搜索引擎是并,然后还开了百度、知乎等等搜索。有需要这套配置的小伙伴请在评论区扣六六六,我稍后会在某信上分享,因为评论区分享不了。 最后我们要重启 doctor 服务,重新打开页面,再测试一下搜索。很好,这里已经全部是国内的搜索。到这一步,咱们才算是真正给龙虾和爱马仕配上了一个靠谱的联网搜索工具。 兄弟们,下面配龙虾和爱马仕就非常的简单了。先看龙虾,在屏幕左侧命令行里启动 openclaw configure, 然后按照龙虾的提示一步一步操作。在 web search 的 配置里,加上刚才 c r x n g 的 本地链接就可以用了, 可能需要重启下龙虾让它生效。爱马仕这里的配置是一位热心的小伙伴告诉我的,虽然官方是没有任何搜索的配置项的,但可以告诉 hermes, 让它生成一个使用 c r x n g 搜索的 skill。 我 这里告诉它使用我本地的 c r x n g 搜索,并提供了链接。爱马仕确实是蛮聪明的,马上就用上了 c r x n g, 并且在任务结束后自动地生成了相应的 skill。 我马上又让爱马仕执行龙虾大战那期视频里的第一个 agent 任务,搜索 iphone 十七的售价。在没有任何提示的情况下,爱马仕第一步就用上了刚才自己创建的 c r x n g, skill 完美。 我们可以看下它创建的 skill 到底长啥样,看上去很完整,也很符合我们国内的设定。例如使用中文的 u r l 查询参数,这就是 harmis 这个框架的优点,可以自主学习,自动迭代,把主人的经验内化成自己的 skill。 折腾了这么多,总结一下,我们让龙虾和爱马仕拥有了更高效,更准确的国内的联网搜索能力,并且最大的收获是省钱。 龙虾这里我的测试中最高可以省百分之九十六的 token, 而爱马仕大部分情况会省百分之二十左右的 token, 但是少数情况爱马仕会多消耗百分之十。 我分析了下爱马仕的搜索,自己优化的就很不错,在有聚合搜索加持下,有时候会增加它的上下文。 所以我初步的结论是,如果你在养虾,强烈建议你上 sirx n g。 而爱马仕这边如果有小伙伴有更好的方案,请继续评论区告诉我,这期就到这里了,如果你喜欢我的视频,请一键三连,非常的感谢,下期见!

把大象装进冰箱要三步,装个 hermes 两步就够了。主包做了一键安装包,打开 docker, 运行脚本,全程自动。 第一步,打开 docker desktop, 双击运行安装脚本,剩下的全自动拉镜像建容器配端口,全程不用敲,一行命令,等两分钟,浏览器自动弹开。 第二步,按页面引导完成设置。选一个 ai 服务商,赶上了宝子们,正好 deepsea 打折大促销,主包果断选择 deepsea, 填入密钥,选好工作目录和模型,设个密码保护,跟着走就行,一分钟搞定。 装好了,跟你的 hermes 打个招呼吧,在聊天框输入你好小码,他就会回你。你的 ai 助手已经上线了, 需要的宝子们滴滴煮包,明天教你,让 a a i 帮你干活!关注我,每天一个 a a i 小 技巧!

还在花大价钱烧 token 养龙虾吗?别急,谷歌新出的 jamma 四大模型,本地就能跑,让你实现 token 自由。这期本喵保姆级手把手教你装模型,再带上最近爆火能自我进化的 hermes agent, 一 次全搞定! 首先咱们打开百度,为了部署的更简单,咱们搜索欧拉玛这只羊驼,进入官网点击 download, 然后选择自己的系统版本,点击下载就行。接着可以直接双击运行安装,但是他会直接安装到 c 盘,为了保护我方 c 盘,所以可以使用这条命令安装到其他目录。 接着咱们再次打开百度搜索魔,搭进去之后点击模型库搜索摘码四, 这就是本期的主角了,它有着四种规格,二十六 b、 三十一 b e、 二 b e 四 b, 并且它们都支持多模态,甚至这俩小的还支持音频,纯纯的就是为本地打造的。而且这个二十六 b 的 还是 m o e 专家混合模型, 意思就是当你使用它时,并不是所有参数都参与计算,而是只激活专业对口的那几个,大大提升了效率。 接下来可以点击这个下载模型,里面就有下载的命令,现在打开命令行,输入这串命令就可以进行下载了,也可以添加 local dir 将它下载到指定目录。如果遇到没有 model scope 这个命令,那就通过 pip install model scope 进行安装就可以了,当然前提是本地需要派遣环境, 不过这里也可以点击这个模型文件,点击下载也行,需要全部下载,但是为了本地能节省更多的显存或内存,我建议咱们直接下载 g g f 格式,并且量化后的模型, 咱们重新搜索 jam 四,选择这个,进去到模型文件页面,选择下载单个文件就行。这里可以直接点击下载,也可以使用刚刚的命令。 不过这里需要根据自身情况选择适合自己的量化格式。这里我大概说下有哪些量化格式,宝宝们听完后自己选择就行。这里有 q 二、 q 三、 q 四、 q 八等等。 这里 q 四就是斯比特量化,数字越大,精度越高,回答的问题也会越好,但对应的模型文件和显存占用也越大,基本咱们选择 q 四就可以了, 如果电脑再差点还能再降。然后是 k, 这是现在的主流量化技术, s 是 体积更小,速度更快, m 则是质量更好。 然后是 i, 这个是极致量化,比 k 量化模型更小,而且也能保持良好的性能。这里的 s 依旧是 small 的 意思, m 依旧是中等压缩, xs 是 更大的压缩,但相对质量损失也比较明显, xs 要比 x x 好 点,而这个 n l 就是 你的首选。使用非限性重构,相同比特质量最优。这里就简单介绍。到这儿,咱们继续。现在下载好了,再次打开命令,行输入以下命令, 然后输入 olama create 命令,就可以把下载的模型加载到羊驼里了。这里的 model file 是 对应的参数,里面有卸载多少层到 gpu 中以及路径等等。 加载完后就可以运行了,咱们输入一个问题试试, 也可以打开我拉玛的界面进行提问, 是不是还挺聪明,竟然没上当?接着继续。我这里为了安全使用了 docker, 部署 hermes docker, 大家可以直接百度搜索下载 docker desktop 并安装就可以了。 但是使用 doc 会有一些局限性,比如无法操作对应的文件等等。如果不使用 doc, 也可以使用 wsl 安装一个物班图,直接输入以下命令即可。如果你使用 doc, 就 先打开 doc 服务,然后再次打开命令行,拉取一个最小的物班图镜像, 然后再用这条命令创建一个容器并挂载到本地的一个目录上。 然后再次打开百度搜索 get up, 进去后直接搜索 hermes, 然后它里面就有一键安装的命令,你打不开 get up 也没事,直接按照屏幕上的命令敲出来就行。 关键的来了,选择倒数第二个,然后填进这个地址,这是 docker 连接外面的地址端口,就是 olama 的 服务端口。如果没有使用 docker, 可以 直接替换成一二七点零点零点一就行。等待安装完成, 直接输入 hermes 就 可以使用了。不过因为我本地没有英伟达的 gpu, 所以 无法加速,我就通过 python 代码开放了一个接口,修改下参数让 hermes 调用。需要的宝宝可以评论区戳我。然后咱们看下如何连接本地, 输入这个地址和对应的端口以及 u r i 就 可以了。然后继续咱们再看下结果 是不是完美,这样就可以不用花钱买 token 啦。不过这里有些建议,如果你的电脑无法使用 gpu 加速,就不建议本地部署了,根本无法使用,吐字的速度以及理解的速度根本不行。 而且因为龙虾和 hermes 调用本地模型时会传输超长的提示词以及上下文,导致电脑烧炸了都得不到返回, 而且 hermes 好 像出问题了,知道的评论区见。最后说下你本地都用什么样的大模型,以及安装时遇到的奇葩问题评论区聊聊。这里是永不秃头的喵记花里用大白话拆懂科技,咱们下期见!

干嘛那么失落啊,燕姐。因为失败了。哪里失败了?想象很美好,现实很孤单。哎,但是挺挺珍惜这一次的体验的。就真的是说你真的只有自己做了,你才知道它的难度在哪里。 嗯,昨天开始之前我不是觉得,哎,我要用我一台新的电脑,所以我这电脑配置不低,我认为他应该装在本地部署,然后我也是接的,你看接的是无线 wifi, 我 觉得我随时都可以来装好了,然后他随时可以用的,用方便度以及电脑的匹配度应该会更更高。 那我跟先跟你讲昨天我们是怎么装的呢?昨天是喜欢先教我教我,但是他还是更多的去让我自主去操作他这样子呢,给你们看一下他让我打开豆包 看到吗?然后我们在豆包上是先告他具体怎么先问豆包具体怎么安装,然后我昨天就根据这个一步一步一步一步调出他的管理,管理员的后台, 调出管理员的后台,然后去用这些这些内容去一个个填写去生成出来。但是昨天失败了, 就是用豆包的方案步数去做,做不了,你看就卡在了 keep, 没有安装,始终安装不上后面。然后今天一早我过来的时候我们就打开了 jimmy, 用了 jimmy 去对话来看一下, 这是今天用 jimmy 去做的,然后我当时因为我回来,回来之后就问了喜华这个东西怎么做,相对比之下,喜华告诉我,他说用 jimmy 去针对这种技术性的问题,它的效率会更高一点,准确性会高一点。 确实没错,我们今天就用吉米尼装成功了,但是很不好意思说,最后我还是作弊了,所以我们喜华在这里吭哧吭哧吭哧帮我弄他。在弄成了吉米尼之后,现在我面临另外一个问题 是什么呢?因为我们原先是在云服务器上部署在爱马仕,一步一步一步就很快,对不对?但是用在这个电脑上,我已经装成功之后,我现在面临的是一个什么问题?是我要连接我的接微信,连接我的接口的时候连接不上了,那有发现什么原因来这上面有看到吗? 然后我们有在问这个具体的问题,他也在说你已经启动成功了,现在是一个企业身份验证失败了,然后今天下午也一直在做,一直在做这个事情,但是你看跟机密碰,按着他的步骤去做,也一直行不通,不是说做不成,是真的。 我用的是电脑,连接的是 wifi, 然后移动 wifi, 它的稳定性,它的效率跟速度赶不上,所以所以这个反应就经常迟钝, 所以这种反应一迟钝一卡顿,后面的运行就不顺畅了。其实本来我还是想死犟一下的,哎,非得搞定,我一定要拖出来。但是今天我其实因为我明天有个朋友今天就是过来 装爱马仕的,他是什么呢?他是本身就是一个自己有个小厂,然后下面的员工每天组装的东西要汇报,然后他要统计汇报,汇报资料,本来是让我们何总去跟他做个小程序的或者小软件的,何总说,那你过来装爱马仕吧, 今天现场腾,他中午十点半到我这里,然后到我们十二点钟吃饭,他的爱马仕已经搞好了,然后他自己也跑了一通这个爱马仕去做他的一个呃,公单管理软件,这个一个过程,那不比不知道,一比我觉得那个效率更高,所以比较之后真的果断选择放弃,不放弃不行,太打脸了。 那就是放弃那个本地部署嘛?对,放弃本地部署,除非说我今天这个配置,你像那个他们苹果盒子卖的很好嘛?它本身的基础配置是很高的,它是具备做服务器的资格,你就可以装在那里固定一条网络,固定一个优质的电脑作为作为单独的服务器去跑,那是没问题。但是我想我异想天开的想用我这套笔记本,然后插个这个移动 wifi 就 可以连接上, 有点天真了。所以到目前为止,俗话说我的体感是用云服务器去部署你的爱马仕,更方便、更简洁、更高效。所以今天这个视频是告诉你们我用这昨天跟今天两天的体验宣布失败重新来过。

大家好,我是麦东,昨天我发了 windows 用 wsl 安装 ems 的 视频,很多人都在后台私信我,为什么我的安装脚板卡在某一部不动了?为什么某个命令一运行就报错,为什么报错代码看半天还看不懂。 所以今天我直接换一种更简单的方法,不用丛林折腾环境,直接用 vmware workstation 导入我做好的 emirates ovi 包,快速把 emirates 跑起来。整个安装过程,我们需要用到两个安装包,一个是 vmware workstation 的 安装包,一个是 emirates 的 ovi 包。 这两个文件我也会给到大家,希望对大家有帮助。下面就跟着我一起来看一下这种安装方式到底有多方便。微软 workstation 的 安装我就不给大家演示了,大家双击安装包,一路点下一步默认安装即可。我们直接点开我已经安装好的微软 workstation, 点击文件,点击打开,选择 ems ovi 包,点击打开。接下来配置一下导入的虚拟机的名称以及存储路径。 存储路径大家要注意,尽量不要有中文。配置完成,点击导入, os 的 虚拟机已经开始导入了,我们耐心等待片刻即可。 好了,已经导入完成了,我们可以简单看一下当前虚拟机的配置, cpu 内存分别为四核四 g, 硬盘为五十 g, 一 般来说是够用的。当然,如果你的电脑配置比较充足,你也可以适当调高一些当前配置。网络模式这边我建议用 nat 就 可以了, 大家这边如果不了解的也没关系,保持默认配置就可以了,不要做调整。配置设置好之后,我们点击开启此虚拟机,出现当前页面之后,我们可以什么都不动,默认等三十秒之后就会自动的选择。第一个 可以看到当前的虚拟机已经开始启动了,启动完成,我们输入用户名密码,登录虚拟机, 我们先用鼠标点击一下黑色区域,再输入用户名是 emirates, 密码同样也是 emirates。 输入完成我们就进入到了当前的虚拟机里面了。进入系统之后,你就不需要再去跑 emirates 的 安装命令了,因为我在做这个 ovr 包的时候已经提前把该装的东西都装好了, 我们只要直接配置下模型就可以直接开始使用了。这个地方有一个小技巧要跟大家说一下。在当前 winoverworksstation 界面里面,我们是没有办法进行复制操作的,但是我们可以用本地的 power shell 去连接当前已经启动的这台虚拟机,后续操作就可以在 power shell 里面进行了。 我们首先在虚拟机里面输入 ipa, 全小写的 ipa, 按下回车,可以看到这边输出了两条地址,我们重点看第二个 e n s 三三的这条地址,在这边我们可以看到当前虚拟机的 ip 地址,幺九二点幺六八点二四五点幺三零,记住这个地址。 接下来我们打开本地的 power 线儿,在 power 线儿中输入, s s h armes at 幺九二点幺六八点二四五点幺三零, armes 就是 我们当前虚拟机的用户名,后面这个则是我们当前虚拟机的地址。按下回车,接下来输入密码即可,密码同样也是 armes, 输入完成之后,我们就已经登录到了这台虚拟机里面了,接下来我们就可以把 vmware workstation 缩小放到后台去运行了, 我们直接在 power shell 里面进行后续操作就可以了。运行 emars model 进行模型的配置。模型配置其实我们在前面的两个视频里面都已经讲过了,这边就再给大家讲解一遍。 可以看到当前支持的模型种类也比较多,除了国外的一些模型之外,也支持国内的像小米、千问、 deepsea、 智浦、 kimi、 mini max 等等,但是仍然有很多的模型厂商并没有直接支持,不过也没有关系,我们可以看到在当前模型清单的倒数第二个有一个 customer endpoint, 我们按下回车,只要你所使用的模型是兼容 open ai 格式的,我们在这里面就可以直接配置。我们需要两个参数,一个是 api 的 best url, 一个是 api key, 这两个参数大家自行去你所使用的模型的厂商控制台里面找就可以了。我这边就直接进行配置了。 api bios u r l 输入完成之后,按下回车开始输入 api key。 api key 在 输入的时候是不可见的,所以大家尽量复制粘贴,不要手动去敲,不然很容易敲错,并且你也不知道到底错在什么地方。输入完成之后,继续按下回车, amaz 会自动检测你当前所使用的模型, 我们直接按 y 确认即可。模型确认完成之后,我们还需要配置一下当前的上下文长度,上下文长度我们可以根据当前你所使用的模型支持的最长上下文以及你日常的使用习惯来确定。我这边就输入二十万 按下回车,接下来还可以给当前模型取一个别名,这边大家自行输入即可。好了,模型已经配置完成了,下面我们运行 emulus, 打开对话界面, 可以看到 emulus 的 对话界面已经成功加载出来了。下面我们惯例问他一个最简单的问题,你是谁?你可以帮助我们做什么? 可以看到 emulus 已经开始给我回复了。到了这一步,我们的 emulus 安装基本就完成了。当然,我们后续还可以给 emulus 配置连接多个即时通讯平台,比如飞书、钉钉、企业微信等。 这个我后面会出一只视频,专门用来讲解 amazon 跟各个平台之间的对接。好了,今天的视频到这边就结束了,工具会变,但方法更重要。我是麦冬,下聊继续。

今天来聊一个自用的 hermes 格式化平台管理, ai 代理呢,以前全是命令行,技术更新太快,命令太多,实在记不住配置,改来改去的确实挺麻烦,现在有个格式管理面板,装好之后点点鼠标就搞定了。 你看这个面板啊,功能挺全的, ai 对 话管理、定时任务、多平台接入、模型管理、技能管理、记忆配置,还有用量监控和日制终端,一共八大块。来看看数据部署,只要两行命令,八个核心功能模块用量数据支持三十天趋势图表,简单到离谱。 部署就两步,第一步, npm install 一下,第二步, start 启动,然后浏览器打开就能用了,就这么简单。 你看这对比啊,传统命令行呢,配置文件手动改,出错了还不好排查。可示画面板呢,网页上点点就行,所见即所得。就这两行代码, npm 全局安装一下,然后 start 启动,当然也支持 docker 部署开源,免费的可以二次开发。 功能清单过一遍啊,流式对话,定时任务、多平台接入、模型管理、技能、插件成本、监控、日制终端全部都有,而且全是图形化操作,不用敲命令了。 再看看运维体验,左边呢,手动改配置,翻日制多平台,分别弄,新手上手挺难的。右边呢,网页上点点就行,日制实时看多平台,统一管理,零门槛。 好啦,今天就聊到这吧,这种格式化管理面板呢,确实让 ai 代理的运维省了不少事,快去试试吧!

大家好,今天讲一个很多 mac 用户关心的话题,怎么在 mac 本地跑 ai agent 并使用本地六大模型。然后先说一下结论,我最终选择的是 o m l x 加千万三点五九 b 的 一个模型,然后我的配置是 m 二 pro 三十二 b 的 一个内存,目前来说的话还是可以使用。 整体上来说的话啊,千万这个模型比较适合在麦克上跑,中间踩了不少坑。我先来说一下啊,为什么其他的我不太推荐?首先我来说一下欧拉玛,这个其实是目前最流行的本地模型工具,但是我放弃了。 第一个问题是协议不太兼容,首先我们 hms 协进的需要 open a 一个标准协议,但是欧拉玛的话需要 let l l m 做一个中转,中转的时候还得注意我们的工具调用需要单独开一个非流式的一个经用才能正常的调用函数, windows 的 用户可以参考一下,这个是整体的架构,然后这个流程的话是能够完全跑通的。第二个来说一下 lm studio, 这个其实也是 mac 原声的一个工具,也挺好的。但是它发现我发现它没有 so endpoint, 赫默斯无法调用,只能本地自己用,无法作为服务来跑,并且它的内存占用是很高的。 说完刚才那些踩坑的经验,来说说我为什么选择 o m l x 以及 o m l x 对 mac 的 一个底层优化。很多人觉得用 mac 跑 a 帧的会很卡,其实问题是出在 prefix feel 这个东西啊,每次 ai 回复都要重新计算你的系统提示词, 系统提示词不短,它有工具描述, m c p 配置大概加起来有二十 k token, 传统框架每次都靠 cpu 重新计算,等半天才能出第一个字 o m l x。 怎么解决呢?其实是靠的四项核心技术,第一个前缀缓存,第二个分页式共享 k v, 第三个冷热分层,第四个高泵发调度。最后总结一下, mac 用户如果也想在本地跑 agent 以及大模型的话,建议使用欧美 mlx 这套方案。以上是 github 的 一个链接,大致现在的话只有一万个 star, 感谢大家的观看。