用指定的模型打开 vs code, 这里会自动下载或者更新, 右下角就可以看到默认选中了这个欧拉玛里的模型,点击其他模型,打开管理模型,就可以看到你通过欧拉玛下载的所有模型,点击左侧的小眼镜,就可以取消模型在列表中的隐藏。 接下来是最关键的一步,修改欧拉曼模型的上下文大小,如果不修改会影响模型输出结果的准确性。调整到对应模型的上下文大小, 模型的上下文大小可以在欧拉曼模型列表中看到,在 vsco 中试一试。 这里视频没加速,我觉得运行起来还是很慢, 给大家看看我电脑的配置吧。 再是一个例子, 总的说来生成速度还是很慢,不能提高编码的效率,如果选小模型又会影响准确性。
粉丝13获赞183

现在很多人用 open core 龙虾来提升工作效率,但是他用云端的大模型,大家又有所顾虑,数据不安全,依赖外网还会受限。想让龙虾直接调用你本地的大模型吗?今天这期手把手带你切换,安全又自由。 好的,真的是手把手教哈!现在我们在左下角搜索框上面输入 c、 m、 d 三个字母,在弹出来的命令提示框里面,我们首先要进行一个环境检测,那检测的内容无非就是两项,首先第一个是龙虾的环境是否是安装正确,另外一个是欧拉玛本地 你的开源大模型运行框架是否正常,有些人到这一步可能就开始挂了,哎,我这里怎么跟你不一样呢?这些都是基础环境的问题,点赞过千呢!我会为大家出一期教大家怎么零基础安装龙虾环境,并且配好本地大模型。 openclose 需要一个 api key 来识别,欧拉玛服务 这里我是使用了 linux 常用的,这种 spot 命令在 windows 环境下应该是识别不出来,所以待会大家看到一定会出一些问题啊, 那我们换另外一种方式就可以了。所以现在我们是通过 open call 来配置他的 a b i k, 这个 k 可以 是任意的支付船。我这里是设置成了欧拉玛 logo, 那 你要设置成 abc 也是可以的。 现在大家看到提示就代表着我们的龙虾已经连上了本地的大模型,当然现在还没结束啊。接下来我们要检查一下奥巴马服务是否已经开启,因为如果没有运行的话,是需要重新再启动的。这里输入的是本地奥巴马的服务地址, 可以看到我现在本地正在使用的一个大模型是千问三点五的九币,如果没有顺利出现模型铃声,那需要执行这条命令,手动启动本地大模型。那如果你的拉玛本来就是正常运行的,执行这条命令呢,就会 有错误,跟我一样,这是正常的,不用慌,现在我们干脆新开一个命令行窗口啊,我们先检查一下这个龙虾里面的模型有哪一些啊?用 openclose model list 的 这条命令就能够查询的到,第一个千万三幺四 b 的, 这个是之前我使用的本地模型。 第二个呢就是龙虾他默认使用的大模型啊,这是一个在线的大模型。然后呢,用现在大家看到的这条命令,我们就可以让龙虾去找到本地正在使用的大模型。 千万三点五九币。执行完了以后,龙虾会自动的重启,重启以后倒转到这个龙虾的 t u i 交互界面, t u i 交互界面是我们和龙虾进行交互的一个 窗口,我们可以交代他去做什么啊,他会在同样的地方给我们反馈。按 ctrl c 就 可以退出 d o i 界面。紧接着用 open claw on board 这条命令 来启动龙虾的出石化像道这一步用方向左右键就可以选择 yes or no, 这里我们选择的是 yes。 第二项默认选第一个就可以 回车跳转以后我们就可以在龙虾里面看到一个表,这个表里面就显示出了龙虾检测到的本地大模型。千万三点五九币。下一个配置我们可以选择一二两项中的一项,但是千万不要选择第三项 reset, 接下来模型供应商选择,我们直接跳转到最后一个,跳过就可以, 然后选择 o provider, 在 这个 default model 里面连接的欧拉玛模型应该会出现在最上面,并且作为末日模型选择这个就可以了。后面的设置大家只需要参考视频的配置就行。 最后重启龙虾我们就可以来测试是否切换成功。由于之前我已经使用了飞书来测试一下本地的 overclock 使用 大模型是否是正确的啊。大家可以看到当前我发送的消息是直接会发送到我本地的服务器的, 然后有本地的大模型去查找问题。好,我们看到了现在这个龙虾去查询了一下,回复我们当前模型是圈问三点五九币,这个是准确的啊,那基本上到现在 本地模型切换呢,就是完成了啊。最后给大家展示的是拉取本地模型常用的两条命令啊,第一个是拉取,第二个是查询啊,有需要的宝贝啊就可以去参考一下。

谷歌最新开源的大模型 demo four 据说很强,在综合能力上甚至超越了二十倍规模的开源模型。 今天教大家如何快速部署在本地,以及分享一下在 mac mini 上的实际体验感受,具体感受什么样?大家看视频吧。首先打开欧拉玛官网,下载它的应用程序, 打开应用程序,我们看一下他目前支持的一些免费的开源模型,还没有 demo, 所以 我们需要去他的官网再去下载下载到本地。那么这里呢,有很多不同的型号 可以看一下,它有很多不同参数的型号,有满配的,还有一些轻量版的。那因为我这个是 mac mini m 四十六 g 版本,所以我们就选择它系统默认推荐的这个九点六 g 的 好,只需要复制这个指令,然后打开终端运行,它就会自动去下载 这里下载了。那么我们先测试一下, 测试一下他的回复速度,因为是第一次响应,所以速度会有点慢,然后我们打开活动监视器,看一下他占据内存的情况, 这个模型本身就有实际系统走内存差不多也跑满了,这里他已经有回应了,我继续再测试一条, 第二次响应速度要比第一次快很多, 我叫 jam 四,我是一个由谷歌 deepmind 开发的。 ok, 现在我们打开欧了吗?然后去加载一下,这里要重启一下这个程序,然后再看模型选择,里面 最下面就已经有了已经安装好的,现在我们把这个模型对接到本地的小龙虾,只需要复制这个指令,打开终端,在终端里面运行,它就自动会加载好, 这里有不同的模型选择,都是他支持的一些免费的大模型,我们选择 demo 让他去运行。 ok, 这里已经加载好了,测试一下他的响应速度。 这里我是放了八倍速了,说实话,因为实在是太慢了,他平均回复一个问题的速度差不多要两分钟, 非常非常慢。我本来想在这个小龙虾里面测试一下他的执行任务的能力,但是这个速度的话确实没有办法, 但是它有个好处啊,如果你有低血压的话,你就可以用它。我是动物城朱迪警官,你好吗?我过得还好,不错,谢谢。这里我甚至尝试开启快速模式, 但是实际的感受没什么变化,就还是那么慢, 所以只能放弃在这里面做测试了。那么我们还是回到欧乐玛,在这个软件里面测试一下这个模型本来的能力。这里给他放两张图,让他识别一下图先, 一个是标格,一个是周杰伦,看一下他能不能准确的识别。 这里我也是开了倍速的啊,但是这里的速度要比小龙虾里面快很多, 我给他给出的答案是,图二是陈坤,图一是一名中国艺人, 看来这个版本的模型识图能力还是有点差。接下来测试一道经典的陷阱题啊,这个对大模型来讲是一道陷阱题,很多大模型都倒在了这道题上面, 那么他给的建议是走路去,最后测试一下他的复杂推理能力, 这道题是我让 gbt 五点四给我出的一道推理题。 abc 三人中恰好有一人是骗子,永远说假话,另外两人永远说真话。他们各自说了一句话, a 说 b 是 骗子, b 说 c 是 骗子, c 说 a 和 b 至少有一个是骗子, 请问谁是骗子?给出答案,并且给出完整的推理过程。好,他给出的推理过程和答案我跟 gpt 五点四给的标准答案对比了一下,是一样的, 所以它的复杂推理能力还是可以的。 ok, 总结一下实际体验感受啊,你如果是 mac mini m 四十六 g 版本,虽然能运行,但是它会把你的内存拉满,就是你的电脑会一直处于满负荷的状态,而且响应速度也很慢,所以使用感受是很差的。 当然,如果你的电脑配置足够高的话,你是可以去尝试部署在本地的,因为它的响应速度肯定要比我这个要快很多。而且你还可以尝试去部署它的满配版,比如三十 e b 那 个版本, 能力应该是要比这个强不少。

大家好,今天教大家怎么去用小龙虾去写小说,我觉得他跟翠写小说之间并没有什么太大的这个区别,可能就是我觉得他们俩之间可以做一些联动,比如说你手机电脑写烦了,你可以比如说在你做一些其他事情的时候,通过手机去操作你的电脑, 让你的小龙虾去帮你在后台去写一些小说,这样可能操作起来会比较方便一点。首先其实我们还是要安装 ai 写作的这个技能,这个地方你直接让他去安装对应的这个技能就行了,他其实会去 apple 里面去找对应的这个技能,他会自动把这个技能拉下来。这个地方因为之前我已经安过了,所以我需要确认一下市场里面这个东西是否是正常可以下载的。 这个地方他其实是找到了,如果觉得这个中文他搜不到,你可以让他去搜一下对应的这个英文,他就能从市场里面去下载对应的技能。比如说我们其实可以让他对一个我们现有的项目去进行调整,这个地方我们可以把我们对应的文件夹地址发给他, 这个地方我其实并不知道我当前这个文件夹在哪里,所以我就直接让 ai 去把我对应的这个文件夹地址给它输印出来,直接让他把对应的这个文件夹地址发给我,再去发给小龙虾。基于我之前有的项目啊 就进行重新去完成去编辑。我现在直接把这个对应的文件夹地址发给他,他其实就会自动的去扫描我对应的这个文件夹下面的这些文件,他可以接着去写这个地方他需要访问我们这个文件夹里面,这个文件 允许他访问就行了。但是这个东西我建议大家后面可以去搞一个版本管理之类的东西,因为他我担心这个地方小龙虾写着写着会把你之前好不容易改完的一些东西去进行修改。 这个地方他其实是独捞对应的这些文件,如果其实从零开始去写这个小说,其实也是一样的方式,你可以让他去重新去,你给他一个文件夹地址,让他在这个文件夹里面去根据你的想法去写。开始写小说,你让他通过这个技能继续完成这个小说的创作就行了, 他其实会自动的往下接着去写,按照技能的规则,他其实会先去读你的大纲、人物档案啊、法则之类的一些信息,再开始新的一张的创作。 在经过了漫长时间的等待之后,我们确实看到了他根据我们写作技能的这个工作流开始的三十一章的创作,根据创作这个内容去对后面后续的这个内容进行了规划。 这个地方他其实这个命令你可以不用看,这个其实不太重要,就相当于他其实开始了后面这个创作,就是跟你后面的这个东西,就跟你在 tree 里面写的这个进度其实是一样的。你发现了没有? 我们现在刚在用车里面,其实写到了第三十章这个地方,他其实默认是从三十一章开始去创作的,因为你这两个技能是使用的是同样的一个东西啊。嗯,所以这个地方 他这个智能体才发现的时候,其实他做的事情是同样的,他还是会按照之前进度,在基础进度的基础上去进行进一步的升级,让两个地方都可以去使用到对应的我们的 ai 写作这个技能,它会方便到你。

大家在做项目的时候有没有发现每一次对话都会调用很多的工具,而且很长一串,而且回复也是很长一串,总觉得每次对话都会浪费很多的对话次数。我今天下午给我的小龙虾配 备了一个插件,就是 maryland 的, 而且我给这个插件配备了一个项链模型,这项链模型是百炼的一个模型,它每天的话,它的工作原理就是每一次对话把你的记忆来解锁,而且一次对话成本很低,一天对话差不多就是几角钱。 我还做了一个记忆分成, later, long and merry 这个东西让我的记忆能够做到,它的工作原理就是把你的记忆用来做冷热中的一个分成记忆,你去用项链模型配合的去用,它每次调用都很精准,上下文也很节约。你看我到后面我配备了过后,现在基本上就是一句话就直接给出结果, 这样很节约我们在做项目时候的时间,还有他的记忆很精准,会丢掉上下文的一些记忆在里面去给到模型去反馈,反馈结果给你。而且你们在用飞速的时候,飞速在对话的时候也会很慢,那你加上这个功能,他对话的效率就会很快。我现在已经把这个功能已经配备到我的 u 盘里面了,大家可以去看一下。

八 g 显存的笔记本,跑 oppo 可乐,跑本地的奥拉玛,加上千万大模型,看他跑起来后我是怎么调优的,碰到了好多的坑啊,开始我选择的是啊,千万二点五七 b 的 模型,跑起来是没问题的,但是也是比较慢, 然后办显卡显存也跑的比较满,回答问题的时候也是相对较慢的,然后我就想尝试一下,我说这个啊,二点五,千万二点五是没有这种推理模式的,最近刚发布的这个千万的三点五, 三点五的九 b, 我 先跑的,然后进行了一些调优,调优以后,不管调优与不调优,反正就是占的显存比较多。 后来是因为是八 g 的 显存调到了,用到七点五 g, 用到七点五 g 我 觉得还凑合,但是就是推理过程特别的慢啊,特别的时长特别长, 然后在欧拉玛直接问的时候,跑的还是比较快的。回答问题还是说有这个逻辑啊,先思考完再回答这个逻辑,但是在这个 open club 以后,大小龙虾里边跑的就相对比较慢了,所以说我们就啊,我就把它继续又换回去,换到了一个千万的 二点五的一个七 b, 二点五七 b 以后就出现这些问题啊,就说跑起来总是把共享内存占一部分,怎么调优都把这共享内存占一部分。后来我看一下啊, 是对于这个调优参数进行了一系列的调整,调整以后二点五的七 b 暂时还是能用的,然后用起来以后发现共享内存这部分参数呢,全是因为低显存模式激活了,造成这系列的问题,所以说我们就把这个低显存的参数给调了一下,把对话的那个上下纹的长度调了一下, 但是你可能就牺牲了啊,比如说五轮对话以后啊,几轮对话以后就牺牲了这个他的一个记忆力啊,他就随机失去一些记忆了,所以这个也是不是很好的选择。但是没办法,因为上下文如果太大的话,然后在这个跑起来的话,这显存占有就相当大了。 然后还有一个问题,就是说在欧拉玛直接跑的时候呢,它不会去占用特别多的显存,比如说我就跑到七点五 g 就 完事了。但是你用 open 可乐小龙虾去跑的时候啊,它会额外加载这个其他的缓存啊,其他的 ktv 啊之类的一些问题,所以说造成了整个缓存一下就顶出了,顶到了这个共享显存里边, 所以说我们的这个共享显存的不就是内存吗?啊点到内存里边就相对特别特别慢了,然后呢咱们就只能给他这个调优,调到了大概一个四 g 左右的一个程度,这才够勉强。咱们现在跑的这个啊,七点五 g 左右就能跑起来,然后跑起来以后呢, 连上这个飞书啊,连飞书以后,你就发现一个问题,你跟飞书这个 man 这个智能体去说话的时候,让他建立的智能体啊,家里的子智能体,比如说建立个程序员啊,建立个产品经理啊之类这些呢,他是一个这个对应的不是呃,咱们这个想要的这个自主记忆啊,自主常记忆的智能体, 一个临时智能体啊,必须用这个 a、 d、 d 啊之类的这些参数去进行命令行切换键的智能体才是能够有强记忆的,所以大家要注意这方面的问题,否则的话一个对话绘画退出以后,这个智能体就没有了啊,所以说大家要注意这个环节 啊,这是我们在这个在笔记本八 g 显存加上欧拉玛加千问啊调优过程中遇到一些问题,调优参数呢?基本就是这样的一个参数,大家可以看一下,然后有更多的问题呢,我们也可以沟通一下。

哈喽哈喽,我是大海,很高兴又和大家见面了,昨天呢,大海给大家录制了一个教程,就是在我们本地的这个电脑上去安装我们本地的大模型欧拉玛啊,然后呢再去用我们的虚拟机安装一个 open close, 然后实现我们完全本地化养虾的一个全过程,对吧?不需要偷啃,也不需要花钱, 但是呢,很多朋友反映说这个安装过程还是比较复杂,尤其是安装虚拟机和后面半段,这个安装 open close 啊就云里雾里了,最后可能还是安装不好,那么今天呢,大海就给大家来一个更快速的方法,大海直接把自己的这个 ym 虚拟机昨天安装好的这一套打包成一个压缩包,大家下载下来一解压就能用了,对吧? 当然这个 openclo 这个本地大模型还是要需要大家自己去安装一下,根据自己的实际需求和你的电脑的配置,然后去安装一个属于自己的模型,那么下面这个 openclo 的 安装大家可以直接一步带过了,对吧?我们来看一下今天这个 教程啊,首先呢我们就要安装一个虚拟机,然后呢把这个大海的虚拟机压缩包打开,修改一点点内容,然后咱们直接就给他访问,非常的方便。那首先第一步我们来安装一个 vm 虚拟机啊,这一步如果说已经做了的朋友,你就跳过这一步,直接看第二步,对吧? 大海这里呢去安装一个啊,没有下载的同学呢,你就去这里下载一个,直接去安装这个 vm 虚拟机,它是向下兼容的,如果大家想使用我今天打包的这个程序,你必须版本至少要高于我昨天是十七点六点四,所以大家这个版本至少也是十七点六点四,不够的你就去升级到这个版本, 点击下一步接受下一步。这个地方呢,安装的时候我们自动安装这个对应的程序啊,以保证我们能使用。 然后呢什么什么我们下一步,对吧?其实就是一直下一步就行了,然后我们直接下一步,下一步 安装好,这里已经安装好了,我们点击完成。然后呢我们就开启我们的这个 v m v 二迅疾,开启了之后呢,大家这个地方不要新建,也不要这个打开,对吧?把大海打包的这个迅疾给它下载下来啊,我给大家提供了网盘链接,随便选一个进去下载好, 然后这个下载出来的安装包就是长这个样子,一个无邦图六十四位的 vip 压缩包。然后呢你就自己找自己的固态硬盘,比如说我,那这个盘是固态硬盘的吧?我我新建一个文件夹进去, 我这个压缩包呢,打包是两 g, 解压后是五 g, 所以 说大家最少最少你的那个固态硬盘上要留十 g 到二十 g, 对 吧?去给它用来运行,如果说你想很好的体验的话,至少也得五十 g 左右啊, 这个地方我们直接去给它放进去,放进去之后我们直接给它解压缩,全部解压缩就可以啊,好,解压缩好之后呢,我们就可以直接从我们的这个虚拟机里头去打开虚拟机,找到你刚才解压缩的这个文件夹, 然后呢里头会有一个六十四位文件,我们直接打开它,好,然后你就打开了这个虚拟机,点击虚拟机,然后给它设置,主要是看看大海设置这个四核八 g 你 能不能带动啊?你的电脑的硬件配置比四核八 g 低,你就 把它改的小一点啊,不然太大那个开启不了。接下来就是这个选项,这里呢,我们选到高级,看看他有没有起用这个侧通道缓解的禁用啊,一定要把这个地方勾上好,这个地方勾完成之后,我们就可以直接开启我们的迅疾啊,这个地方弹出了我已移动或者我已复制,你就随便选一个,我选择我已复制。 好,这里我们就已经登录了,对吧?登录名是无邦图,登录的密码是大海增援网,无邦图 密码是大海资源网啊,好,然后这就登录了,对吧?登录了之后呢,我们要去远程连接一下,不然这样操作太麻烦了,你点击上面的虚拟机 s s h, 我 们去连接到 用户名呢,我们还是无绑图。然后呢,我们直接选择连接,然后这里呢?连接的时候他问你 yes no, 你 就 yes, 对 吧? 然后呢, password, 就是 大海资源网,对吧?盲书就可以。好,我们就进入了我对应的这个地方啊,大家进来之后呢,就是如果你要去试用一下,那没问题,如果说你试用了之后感觉不错,你准备长期用的话,大家一定要把自己这个乌帮图系统的那个密码改一下, 这个改密码的命令就是这个搜索 password, 呃,乌帮图,这是改这个乌帮图登录用户 的这个,嗯,登录密码,然后你速度 password, 就是 后头不加用户,不加误绑图,那他改的是这个 root 权限的密码,然后这两个密码都应该改一下,因为这个大海的视频暴露在公网上的,你将来要长期使用你这个密码,别人能访问到啊,这,这不太好,大家还是要去改这个密码的哦,密码现在都是大海资源网。这原程连接了之后呢,咱们就可以把这个地方关掉了,把虚拟机关掉,我们 点击叉,然后让他在后台运行,因为这里我们远程连接了吗?就可以直接去操纵他,然后呢我们去输这个 ipaddr 啊,看一下他的本机地址是多少,右键粘贴进去,回车, 然后呢找到这个 e n s 三三,然后下面有一个 int, 对 吧?然后你看这个地址和昨天不一样了,昨天是呃, 幺六零幺二八,我今天变成了幺九二幺六八二四七幺二八,对吧?你要记住这个地方是二四七幺二八,把后半段记住,一会咱们会用到。好,知道这个之后呢,我们接下来就 s s h 转发小龙虾,对吧?我们直接在这里去给他搜索 powershell 啊,找到这个 powershell, 然后我们去打开,然后呢 powershell 里头就是用这条命令,对吧?把它复制一下这个地方,我们右键粘贴进去,然后呢把最后这个改一下,对吧?这是二四七点幺二八啊, 回车,然后输入一下你改好的登录密码,我这里还是大海资源网,对吧?回车,好,然后你就转发成功了,然后我们就可以直接通过这个下面这个幺八七八九这个带这个的去登录了啊,我们直接在这个浏览器就去 黏贴,然后他就访问了,对吧?访问了之后呢,我们就用我给你的这个登录 token 密码给他 连接好,就登录了,就和大海昨天就长的一模一样了,对吧?当然现在有一个很很大的问题,是什么呢?就是现在咱们这个连接是连接上了,对话不了,因为你这个电脑上还没有欧拉玛大模型,而且即使你有欧拉玛大模型,你这个连接这个地方也不对,对吧? 啊?我说你好,他开始一只猩猩转圈圈了,对吧?很多朋友都是这个问题,所以说呢,咱们还得给大家演示一下这个欧拉玛的问题啊。 那么今天呢,大海是给大家做一个快速演示,如果你想详细的了解欧拉玛的安装和具体如何去选择配置和模型,去看大海昨天的教程,非常的详细啊,非常详细,讲了大概十五分钟,欧拉玛 好,这个地方我们直接去安装,然后呢,如果说不会的朋友,你就去参考我昨天的这个文档教程啊,就是这一篇,这一篇开开篇就是安装欧拉玛啊,好,然后呢,弹出这个,我们直接 install 欧拉玛的这个下载地址,如果说大家下载慢的话,在昨天的这个文档里, 他有对应的这个网盘分流链接,大家去我的网盘里下载,速度会快一点啊,奥拉玛的官网呢?我们这里要访问一下,一会要下载一个模型,我今天呢就选一个小一点的模型,为了给大家演示嘛,对吧?咱们看千分三点五最小的模型是多大? 千分三点五最小的模型是零点八 b, 二 b, 四 b, 咱们就来个零点八 b 的, 对吧?最小的这个只要一 g 嘛。这个模型,然后呢这个复制上, 今天是为了演示,快啊你,你实际上零点八 b 在 电脑端根本没法用,零点八 b 这种模型是给手机准备的,是给移动端准备 各种小设备。安装好了之后呢,咱们先不管他,根据咱们昨天的教程,还要给他去配置一个全局的系统变量啊,我们直接在这个 windows 里这里搜索系统变量,然后呢编辑系统环境变量,打开这个窗口,点击环境变量,然后去下面系统变量里头点击新建,然后呢把咱们这个欧拉玛 host 给它复制进去, 然后呢变量值复制,我这个幺幺四三四啊,大家都是同样的粘贴,然后呢直接点击确定就行了。这个地方我们点击确定修改了这个环境变量之后呢,我们要重启一下欧拉玛啊,把这个欧拉玛在这里去啊,去给它退出, 然后呢我们再重新把这个安装的欧莱玛去给它打开好,然后接下来呢,我们是要找到这个 windows 真机 ip, 我 们从这里呢搜索一个 cmd, 在 这个界面下呢,我们去给它输入一个 ip config, 也是在这里复制就行了, 复制,然后在这里去粘贴,回车找到这个 vm。 net 八下的 ip 为四地址啊,今天你看我变了,变成幺九二幺六八二四七点一啊, 把这个 ip 地址给它复制出来,在浏览器里头黏贴,然后呢去给他后头加个英文的冒号,加上欧拉玛的端口。幺幺四三四, 回车允许啊,这个地方呢就可以看到我们访问对应的地址,幺幺四三四,欧拉玛 is running, 对 吧?能看到这个就说明行了。然后接下来呢,我们就是去给我们的 open close 把我们的欧拉玛弄上去,这个欧拉玛还没有安装咱们对应的这个大模型,对吧?咱们刚才复制的大模型 在这里啊,咱们把这个重新复制一下,然后呢在这个里头我们右键回车,然后让欧拉玛去拉取对应的前文三点五的镜像啊,整好了咱们可以在这个窗口里试一下啊,你好 好,前文三点五啊,这次不不错,虽然是零点八 b 啊,但是他还能回答,行,然后我们把这个地方关掉就行了, 这个欧拉玛已经安装好了,然后就是看我们的教程,对吧?现在我们这都已经搞定了,然后最后就来到了最后一步了,欧拉玛的模型也准备好了,我们就来到这把这个网关和模型重新配置一下啊,这里复制 啊,在这里呢,我们去右键粘贴进去,然后去回车,然后这里呢?首先我们是 yes, 对 吧?然后呢?呃,我们来,呃,这个快速开始, 然后呢我们去升级数据,就是选择第二个,然后这个地方我们的欧拉玛我们去,呃,选到欧拉玛回车,然后呢你看这个地方,这个地址就不对,对吧?这个地址我们要用哪个呢?幺九二点,幺六八点, 呃,二四七点,幺幺幺四三四,就是用这个地址啊,把这个复制一下, 这个地方右键粘贴进去,然后给他回车,这个地方他让你选是本地还是云端家本地,大家一定要选云端家本地,因为你一选本地,他就开始给你拉取那个超大的模型啊,这个肯定是不行的, 那么想要设置这个云端家本地,你欧拉玛就得登录云端账户才可以啊,没有欧拉玛账户的同学呢,你就在这里你去注册一个啊,大家最好是用啊,比如说 altlook 邮箱,就是微软的啊,比如说这里我就用一个 altlook 邮箱啊,然后呢它会让你创建密码,然后呢它就会给你的这个 邮箱里头去发一个验证码。好,然后呢还需要一个手机号,我这个地方呢用我国内的手机号啊,咱们国内手机号前头就是加八六,好也正常收到了, 这样我就注册好了欧拉玛的账户,然后就能登录了啊,你就拿你的这个欧拉玛,把欧拉玛界面打开,然后呢你会看到这里可以找到你刚安装好的模型,我这是千万三点五零点八币啊,刚安装好的,然后呢你点击左上角这个 呃 city, 然后呢点击这个登录,然后它会跳转到你的网站账户,你直接点击 connect 连接 好,这个时候你这个奥拉玛账户你就登录上,而且呢登录这个账户有一个好处,就是云端大模型能免费用啊,只不过它每个月每一天都有限额,那么具体限额的消消耗量什么的,大家去看昨天的视频啊,我们这里就可以选择了,在这里我们选择 云端加上本地的大模型,然后这里呢我们就可以找到我们本地的模型,比如说这里可以找到我们欧拉玛三点五零点八 b, 就是 咱们刚刚安装的,我们直接回正,然后呢剩下的这些内容咱们就不需要,对吧? 全部都是稍后再设置,这个地方设置我不需要,然后呢空格不需要 网关,咱不需要的网关咱们已经登录了,这个地方我们直接退出,然后呢也是等一会再设置好这个地方我们就搞定了,对吧?搞定了之后呢,我们把这里我们重新去给他刷新一下,然后模型这里呢我们就可以选择我们刚刚安装的千问三点五零点八 b, 对 吧? 好,然后我们来尝试的和他对话,你好,这个地方你会卡住对不对?那你当你这个地方卡住的时候,你就先切换一个其他模型,先给他刷新,对吧?先给他切换一个云端模型啊,这里,比如说我给他切换一个这个, 哎,啊,来了来了,稍微等待了一下,你好,我是你的 ai 助手,然后千分三点五零点八币,对吧?没问题,这个地方呢我们就已经完成了我们的快速配置,只要大家把这些包什么的安装包下载好,那么大家也能像大海一样在十几分钟的时间内呢,把我们这个大模型配置好,直接本地用起来, 好吧,那么大家注意使用的时候呢,要注意去修改自己各个地方配置的那个密码,不管是系统登录密码还是 open clone 登录密码相关的这些具体的设置呢,大家可以返回去看我昨天的视频,好吧,那么咱们今天视频就到这里结束,我们下期视频再见,拜拜。拜拜。

今天呢,通过 airm studio 部署了谷歌的这个 jimmy 四二十六 b a 四,呃, a 四 b 量化模型啊,斯比特的量化模型啊。我这边我测试了一下,速度还挺快,大概能在 每秒六十五点二 tokens, 呃,其实我的电脑配置的话也不是很高, 显卡是十六 g 的 四零七零太 super, 内存是六十四 g 啊, cpu 是 i 五的幺四六零零 kf 啊,我觉得能达到六十五秒啊,六十五 tokens 每秒速度还是比较快的啊。其实大家都可以按照我这个模板去做了,就我这个配置的话也没有那么复杂,给大家看一下哈。 上下文呢,我是设置的三万。今天我测试了一天的 open cloud 呃,目前装好了一些技能的前提下哈,没有出现再切换为新的绘画,但是也不排除他切换了新的绘画,但是我的这个技呃技能什么的配置的还是可以啊。 所以说我的上下文长度设置为了三万啊。之前我也问过豆包,豆包给我推荐的是一万六千三百多啊,但是这个上下文太短了,偶尔会切换为新的绘画,所以把它调整为三万。 gpu 卸载和 cpu 的 现成值大小啊,都把它拉到头啊,也是三十七十啊。苹果批处理这个都不用改哈,它是有个关键的哈,就 number of layers of which 哎,就这个 设置为一半啊,就十五,因为我这个满的是三十,所以设置为十五啊。重要的一点就是 k v 缓存量化模型哈,因为我用的是 q 四的这个斯比特的这个量化模型,所以我就把它选择为 q 四杠零 啊,但我也尝试过选 q 四杠一啊,不行,我这模型加载不起来啊,具体的原因我也不太懂哈, 然后我就按照这种方式设置的,就能达到六十五 tocs 每秒,这个速度我觉得还是蛮快的,我用它去跑 mccloud 速度还是可以的哈。因为我目前我在做一个记忆宫殿的这个呃插件啊,当然是根据这个 呃社化危机女主的这个为原型,让她自主啊,自主编辑的这样的一个插件,现在还没有做完,都已经用了呃,两个多呃,三个小时了,现在已经处于尾声了啊,快部署完了, 等明天我看一下他这个记忆宫殿做好的这个记忆宫殿具体的用途啊,具体的这个使用的结果怎么样呢?再给大家做一个分享。

我用本地 ai 直接替代了 chat、 gpt 和 gemini。 大家都知道啊,最近很多大模型平台要么涨价,要么偷偷降至,体验越来越差,随着开源模型的竞争越来越激烈,更多更强的模型能被普通用户用到了, 尤其是最近比较火的 gemma 四,加上国家目前很注重大家的数据隐私这块,所以我觉得未来本地运行大模型会是趋势。那么今天就给大家简单演示下欧拉玛这个工具是如何本地运行大模型的。 首先访问欧拉玛的官方网站,中间就显示了安装命令,如果你不知道如何运行这个命令也没关系,可以点下方的 download 欧拉玛按钮,然后根据你自己的操作系统选择对应的安装包即可。 安装完成后,打开欧拉玛的界面,右下角就可以看到模型列表,在这里可以下载对应的模型, 左上角点设置,进入欧拉玛的设置页面,我们需要调整下对上下文大小,因为默认的上下文大小是四 k, 太少了历史绘画会被截断,最终影响输出的准确性。进入到欧拉玛官方页面,搜索对应的模型, 这里可以看到模型不同版本的列表。 contacts, 这一列就是上下文的大小,按照这个值设置就行。 you can choose your favorite!

哈喽哈喽,我是大海,很高兴和大家见面了,今天咱们来讲一个 open 可乐小龙虾的替代方案,它呢比小龙虾安装更简单,使用更方便,而且很有可能在你本地配置不高的情况下,速度还更快, 程序员朋友肯定一眼就认出来了,咱们使用的是 vs code 的 客户端,搭配了一个 clean 的 插件,然后咱们大模型呢,使用的是咱们本地的欧拉玛跑的大模型,而且今天大海将给大家介绍一个新的一个模型啊, 为什么说这套方案它能够替代小龙虾呢?小龙虾之所以厉害呢,主要是取决于两个,一个是它的长上下纹,带有记忆功能,还有就是它能够对工具进行一个调用, 但是呢龙虾它安装起来是比较复杂的,而且如果说咱们本地的这个电脑配置一般的情况下,你开启这个龙虾就要有一个 linux 的 环境,不管是用虚拟机的方案还是 wsl 的 方案,它都会去占用咱们系统的一部分性能。 那么如果说本地电脑配置不高的情况下,我们还要跑本地大模型,那么龙虾他对话起来就会非常的卡顿了。那今天给大家介绍的这种方案 vs code 呢,本身他是程序员去敲代码的这样一个工具,但是只要你给他加装了一个 clean 这种能够调用工具的 插件上去的话,那你也可以直接实现和自己的这个编程工具进行对话,不管是日常我们的文档管理啊,你和他对话,让他帮你完成一些事情啊,联网搜索呀, 还有包括我们的一些 i m c p 的 工具啊,使用浏览器啊,甚至说拿这个工具帮我们制作一些自己本地的软件,或者说帮我们进行一些网站开发,它都可能能力比那个 openclo 还更强,因为它日常是我们程序员朋友去使用的一个工具,相信程序员给自己设计的这个东西一定是差不了的。 这个本地模型呢,依旧是千万三点五的一个量化版本,但是这个量化版本呢,它强就强在它是用这个 cloud 四点六 opus 去蒸馏过的,所以它在逻辑推理方面以及这个工具调用方面都是比较强的, 而且在奥拉玛的官方可以下载各种量化版本。我这里呢今天使用的是一个四 b, 你 可以看到它总大小只有五点三 g, 我 可以轻松的把它装进我的显卡当中,哎,这样跑的速度也是可以的,可以接受的。 我们直接来让他帮我们执行一个任务,执行完任务之后,我们再给大家详细的讲如何的安装我们的软件插件,以及如何配置我们的模型接口。好吧,我这里直接给他一个开发软件的小人物,相信这个难度呢,对于咱们本地模型来说还是有点的。 帮我生成一个桌面小软件,点击开启一个秒表计时器,鼠标的左键呢,开始计时,右键啊,这个时间暂停。我们把这个命令呢发送给他, 可以看到他的第一个动作就是去连接我们本地的那个欧拉玛,我们可以看到他开始分析了,用户需要一个桌面秒表应用功能,包括左键开始计时,右键暂停。我将使用 python 的 什么库来创建一个图形界面应用,你会看到他会有任务分解这样的过程,对吧? 创建 python 秒表应用,实现左键开始计时功能,实现右键暂停功能,显示计时时间,添加重置功能,测试应用。然后接下来呢,他将创建一个基于他的应用好,他开始了,然后呢, 它会自动去安装需要的一些插件和环境,这个就是这个 cleen 的 强大之处,它和小龙虾其实是 差不多相同的,但是你会看到它是基于 vs code 的 这样一个编程的 id 工具来实现功能的,所以它在安全方面做的是很好的。同时呢, 他在系统级的去调用一些工具的时候,也是比小龙虾可能更得心应手。比如说去创建文件,去修改文件,可以看到他这里的对应的文件的代码已经生成了,但是他需要我们去批准,他的一个动作就是批准他要创建一个新文件,可以看到这就是我们这个 ms code 加上 clean, 它对于安全的一个管控,一些关键性的,比如说关于文件增加修改这些东西,它都会来询问我们的意见,那我们什么都不用做,只需要点击,哎,是不是要保存,是不是要去执行就行了?点击保存 好,你会发现他这里说这个 u v 已经安装了,但必须重启 vs code, 他 才能实现。他的这个功能可令他自己想到了一个对策,就是说,呃,不需要说是去安装 python 环境了,他给咱们创建一个这个 html 的 界面,一个网页端的桌面程序,也能实现对应的功能,那我们看他接下来要怎么操作啊? 好,他又来让我们创建一个新文件,这时候我们点击保存,其实我已经能在桌面上看到这个文件了啊, stopwatch 啊,就是秒表啊,他说文件已经创建成功,现在用浏览器打开测试,然后呢,他说是这个需要我去批准浏览器的权限,我批准,如果说你不想点这么多的这个批准的话,你可以展开这个 批准这管理这里。哎,把他想要的权限去给他勾上,他就不会每次都让你来批准,比如说我这里把使用浏览器以及编辑项目文件都给他勾上,大家要注意,这里的读取所有文件和编辑所有文件是不能随便去勾的啊,有可能对你其他的文件造成问题,但是去编辑和读取项目文件是没有问题的。 好,这里我们也不等他自己去测试了,我们来手动测试一下,我直接去开启这个对应的秒表,按照咱们的这个规则是左键开始, 然后右键暂停,没问题,然后还能重置。这个整体的功能是实现了,而且样式大海也非常的喜欢,而且大海也正需要这样一个应用,但是呢,我还是想要一个桌面级的应用,所以这里呢,我给他关闭,我跟他说 python 已经安装好了,请帮我生成桌面用的程序, 你看他要制定了新的计划。针对我这个安排,他说用户 python 已经安装好了,让我重新生成桌面程序,我需要一检查 tony 的 这个 keep 是 否可用,然后呢?来安装一个依赖,然后再运行秒表程序。好,所有的任务终于已经跑完了,我们来看一下它这个实际的效果怎么样啊?桌面上出现了很多文件,我们就点最后这个启动秒表啊,确实是出来了啊,然后左键点击 右键暂停功能也没问题,当然我觉得这个界面也太丑了,对吧,不如这个 html 写出来的还是比较难的啊,不过幸好是两个都能用, 那么相信看到这里呢,大家已经能体会到这套工具加上本地大模型的强大之处,那么接下来大家就跟上大海的脚步,我们一起来安装这套方案。首先呢是去 vs code 的 官网下载它的安装包,我们这里直接点击 download for windows。 好, 这个速度也是非常快,下载好了之后呢,我们直接打开文件, 同意此协议。下一步,那这个地方可以自由的选择你安装的位置,下一步,下一步,那这里可以自由的选择是否把这个 code 添加到上下文菜单啊?我这里不添加,我点击下一步, 然后接下来我们点击安装,然后这样呢我们就完成了 vs code 的 安装,我们点击完成在打开的这个界面呢,他默认是一个英文的界面,如果说你习惯用中文的话,点击左面的插件市场,我们在这里搜索一个中文,那这里我们可以看到一个中文简体的语言包,我们去给他安装 啊,然后他右下角就会弹出来,改变成中文,然后重启,我们点击好,这时候我们打开整个界面,就变成一个中文界面,接下来咱们依旧点击左侧的这个扩展, 然后呢我们在里头搜索咱们今天要用的卡拉 ok, 他 会给我们非常多的版本啊,如果说你是习惯看英文界面的话,你就安装这个原版,下载量是最最大的,如果说你喜欢中文的话呢,咱们下载量还挺大的。卡拉 ok, 我 们安装 信任发布者和安装好,很快他就安装好了,然后呢我们可以把这个窗口往右拖一拖,对吧?啊,这个地方点击标记已完成,这里呢我们可以选择前按模型,也可以选择自带 api 的 密钥。如果说你是用的云端大模型啊,你有比如说 到的四点五或者 g p t 五等,你就继续,对吧?这里我们使用自己安装的大模型,我们就自带 api 密钥继续。然后 api 的 提供商呢,我们这里选择 open ai 的 啊,也就是兼容 open ai 格式的啊,接下来呢就输入基础 u i l 和兼容的 api 密钥,我们就可以继续开始使用了。 如果你还不知道如何去安装这些软件啊,不花一分钱在咱们的本地安装大模型来调用的朋友呢,去看大海之前的这些视频补一下课啊,相信呢,你也能学会如何的去安装。那么接下来呢,我就先从奥拉玛开始,首先打开本地的奥拉玛,然后这里呢,我去选择一个本地已经安装好的模型,打开了之后我们可以先在这尝试 和他对话啊,看正不正常,可以看到他这个对话方式,他是有一个思考过程的,对吧?然后接下来呢,我们是去设置一下对应的这个欧拉玛,这里我们去把他的上下文长度给他加到一百二十八 k。 然后接下来呢,我们去浏览器访问一下欧拉玛的本地的服务, local host 单口号呢是幺四三四,哎,可以看到我老马一直装,你没问题。好,接下来呢,咱们再给他后头加个斜杠 v 一, 然后继续斜杠啊 models, 哎,这个时候我们就可以得到对应的这个 id 啊,这个是一会我们要填的。好,接下来呢我们就把这个 到 v 一 这里啊,不要加 models 复制起来,然后到我们刚才的这个位置啊,基础输入的 url 啊,这个 v 一, 然后呢 a p i 这里我们可以随便输,比如说我这里输一二三模型的 id 呢,就是咱们这里已经打印出来 复制粘贴,然后这时候我们点击继续啊,把这个地方擦掉,然后呢我们来试一下和他打个招呼。嗨,你好,那奥拉玛这里呢,我们可以关掉这个窗口,只要他在后台运行就可以了。 好,只要他正确的回复了你的要求。你好,在的,我有什么可以帮助你?我可以帮你干嘛干嘛干嘛。那么咱们这个设置呢就已经好了,你可以开始和他对话了。 那么咱们今天视频到这里就结束了,相信大家也能通过自己本地的 vs code 加上 client 这个很好用的插件来实现我们本地大模型的调用,去帮助我们真正的解决一些实际的生产问题。好吧,那咱们下期节目再见,拜拜。拜拜。

界面啊, open cologne, 来看一下咱们整个配置。这边呢是 cologne 的 get 位,他的网关,这边呢是本地的欧拉玛服务器 哎,这边已经好了,其实呢,走了一些弯路,我跟着豆包的思路啊,给我转圈转了一天。然后呢,我用 tiffany 呢,直接改了一个 jason 的 一个配置文件,直接跑通啊,就是这么。哎呀神奇,看一下, 我这边是跑的本地的欧拉玛,用的千问三点五九币的一个模型。你看这边啊,我已经开始给他对话了。这边想做什么啊?怎么称呼这边?你看下一步呢,继续折腾一下。

家的注意了,你的龙虾刚刚进化了啊,就在刚刚,大龙虾发布了三月的最大一个版本的更新啊, 时隔了大概有十天时间,我挑三个最重要的说。第一个就是记忆热插拔,以前跟龙虾聊天最大的痛点是什么?聊着聊着他就忘了之前跟你说的什么东西。现在有了上下文引擎,他的记忆模块可以自由的插拔,开发者还可以自己写记忆策略。说白了, 你的人工智能啊,终于不太健忘了啊,这是可以预期的更新。第二个呢,就是原声支持 g p t 四点五和 gem nine 三点一的双引擎,等你得自己折腾配置,现在开箱即用,而且默认模型直接切到了 g p t 五点四。 第三插件应用商店,以前装技能要手动配置,现在像手机上安装应用程序一样,一键搜索一键安装,还有一个小功能,我特别喜欢叫斜杠 b t w, 白得味啊。跟龙虾聊正事的时候,突然想问个别的啊,打斜杠 b t w 就 行啊,不会打断主对话, 这个是非常有意思的小心机。现在 opencloud 的 get up 新标已经破二十八万了,超过 linuxinfq 的 评价时,最值得关注的不是 gpd 四五点四的支持,而是记忆系统。 龙虾不再是一个工具了,它只能在逐渐变成一个人工智能操作系统啊,你更新了吗?评论区告诉我你最期待哪功能,超一线科技博主啊,已经完成了更新,我先测试一下,看有没有 bug 再告诉大家。

给大家推荐一个我自己在使用的提升小龙虾记忆系统的方案,这是前段时间一位国外的技术大佬分享的方法,那我自己用下来感觉不错,所以推荐给大家。 首先我们要弄清楚他默认的记忆力为什么会差,其实就四个原因,第一,保存时机太晚。 第二,保存内容不够准,而且工具输出很容易会把上下文撑爆。第三,默认很难直接回查原始绘画。 第四,一旦开始压缩上下文,很多细节就会被忽略,那么他的记忆文件夹只有两个,一个是短期记忆,一个是长期记忆。问题就在于短期记忆一旦装满系统就会开始压缩,也就是把旧内容压缩总结, 那如果重要的信息没有来得及写进,长期记忆细节就会容易丢掉。所以我们要升级重构这套记忆机制,核心目标就是让该写进长期记忆的东西能更早更准的写进去。 好,下面进行具体的配置。第一步,我们要先把记忆文件结构给理顺,把这段提示词发给他,让他去创建几个目录。 为什么要先做这一步呢?因为默认情况下,他会把所有的记忆往一个文件夹里面堆,那这样最大的问题就是后面他在解锁的时候,重点会越来越不清楚,所以这里要做分层。 这样做的好处是后面他在回忆信息时会更容易拿到对的东西。接下来改。第二层是先保护最近对话,再处理上下文膨胀,把这段提示词发给他。 因为小龙虾的诗意很多时候不是完全没有记住过去,而是因为他最近刚说完的内容被压缩了,所以这里要做几层保护,让压缩更保守, 把最近大约两万头肯划成一个优先保护区,这样刚刚讲过的任务目标修正约束不会被总结掉。 然后再按轮次加一层保险,最后四轮对话完整保留,不做摘药。也就是说,既按 token 保护,也按轮次保护,那其他几个参数主要就是给当前的任务留足空间。接下来我们改 memory flash, 默认的 memory flash 有 两个问题,第一是出发太晚,第二是写进去的内容也不够精准,把这段提示词发给他,让他去修改。 注意,这里为什么要加一个 no flash? 因为不是每次聊天都值得写进长期记忆,如果没有这个约束,他很可能为了完成任务,就会硬写一堆没有意义的摘药,那时间一长,日制里全都是噪音,就是垃圾太多了。 ok, 到这一步,其实结构化的记忆已经比默认状态好很多了,但是我们还需要安装一个最强的引擎,就是 qmd, 你 直接把这段指令发给他, 那通过安装和配置 qm d 插件,就能实现全量缩影,让 ai 能够对原始对话历史进行关键词加语义的双重搜索,也就是向量解锁。 最后还要给他加一个规则约束的指令,把这段发给他。 那改造完这整套记忆结构,我们自己平时也要养成个好习惯啊,如果是重要的信息,你就要告诉他保存到记忆中。 在每一次长绘画结束的时候,你让他给列出来应该保存的关键信息, 然后每周回顾一次记忆文件,要删掉一些没有用的信息。 ok, 做完以上这些步骤, 小龙虾的长期使用体验就会得到巨大的提升。每段提示词我都放在了视频简介里,如果有需要的朋友,可以自行去复制发给你的小龙虾。

用了一个月小龙虾才知道,发个斜杠 stop 就 能终止任务。我是清澈君,今天把最常用的 openclaw 命令一口气给你讲完。任务卡住了,你是不是只会盯着屏幕干等,或者直接关掉重来?其实根本不用,问题在于很多人压根不知道有命令可以用。 先说清楚一件事, openclo 的 命令分两层,聊天框里发的是日常控制,斜杠开头发完即生效。终端里跑的是底层服务管理。 openclo 开头负责诊断和兜底。两套命令各管各的,别搞混。 聊天框里三条命令记住就够了。斜杠 stop, 立刻打断任务跑偏直接停。斜杠 restart 两秒重启,助理没反应,先试他。斜杠右清空重开,想换模型或者上下混乱了,用这个这三条覆盖你百分之八十的日常场景, 回复变慢或者答非所问。先发斜杠 start 五秒,看清模型和连接状态,上下文太长,拖慢了。发斜杠 context 看哪些文件占了多少 token, 不 想清空但又太满。发斜杠 compact, 压缩历史,保留关键信息。 终端里六条后手备着 open claw doctor 健康检查。装完或者跑不动先跑一遍 open claw logs 加 follow 实时追日制任务,在跑不知道进展时用它 open claw crown list, 看定时任务清单, open claw status 加 usage, 查模型用量和安全审计 好,全部梳理完了。聊天框三条,先背熟, stop restart new, 终端背一条 openclaw doctor 完整命令,列表在 openclaw 官方文档里,但这几条用熟了,够你应付大多数情况。遇到哪个命令用不明白,评论区说一声,我看到就回。

现在小龙虾里面配的就是墨尔模型,就是剑马寺以四 b 奥拉玛的,我问他你是什么模型,有哪些功能? 下方剑马寺,然后看一下他配置文件里面怎么配置的, 配置文件里面这个 provide 的 就是奥兰马的,然后类似幺二幺,是本地的幺二七的点,零点零点一模型,这里佳木斯下载了谷歌最新的佳木斯模型, 我一开始下载的是二十六 b 的, 发现我的机器带不动,输入一个信息让他回复,要等了半天,好,差不多一一分钟吐几个头坑吧,太满了,带不动。所以我后来下了这个四 b 的 一四 b, 这个大小是九点六 g, 九点六 g 之前那个二十六 b 的是十七个 g, 然后测试了一下新的速度,就差不多可以用他现在这个推移,差不多是这样子,你发中文,他反正推移的时候都是思考,都是用英文思考的,但是他回复的时候他都是中文给你翻译回来了, 然后他的数据截止日期是二五年,一月份的就一年多以前的,还是给你们测试一下,看看他的速度啊,这头壳输出 这个是没有加速的啊,你看看。 然后我的机器配置是这样的,是那个 l l 的 那个 n 五的芯片内存只有十六个 g, 所以 二十六 p 那 个带不动。

你的小龙虾是不是总记不住上周聊过啥?我是清澈君,今天教你把它的记忆系统彻底打通。很多人遇到同一个问题, memory 文件夹存了一堆,小龙虾还是答非所问,对话聊长了,早期内容直接被截断,关键决策就这么没了。说白了是两套系统各管各的,你没把它们接起来。 记忆系统其实就两个东西,一本笔记本,一支录音笔。 memory 是 笔记本存。结论,比如上次 colorm 区搞错,要显示写 a 舍伤害, lcm 是 录音笔存过程存。你们来回讨论四十分钟的完整对话,两套缺一个记忆都是残的。 小龙虾找记忆靠的是编辑,不是关键词匹配是意思接近,你说定时任务出问题,他能找到。 cron 时区搞错一个词都没重复,照样找得到。存储就是 markdown 文件,简单但很管用。 对话太长怎么办?压缩但不是截断,早期对话会被压成摘要,原文还在,需要的时候逐层还原,就像把旧文件装进抽屉,桌面只留最近用的 opencloud。 四点一的搜索升级了向量语义加 bm, 二十五关键词两条路同时跑,互补盲区。一个月前的笔记权重自动降一半,旧内容不再抢排名,返回结果还会驱虫不再三条都说同一件事, 四点一还有一个关键动作,压缩之前先把结论抄进笔记本,这一步把两套系统真正串起来了。录音整理之前先写好笔记,历史对话也能被 memory search 搜到。笔记没记的录音笔兜底。 小龙虾记不住事,大概率不是记性差,是解锁没通。去跑一次 memory search 测试,看返回的是不是你想要的那几条,配好 embedding 模型,混合搜索自动就开了。哪一步卡住了,截图发评论区,我看到就回。

这一节呢,我们安装 alama 和路由 studio 啊这两个软件,那路由 studio 呢,安装的时候要注意,要选用它的那个 c 加加酷,因为它不是 b 选项,所以我们要手动选,选择 其他的,都是安装默认的就可以安装。首先我们双击安装那个路由 studio, 选择积蓄, 对,在这就要选 node js 开发,然后选 c 加加核心库,这是关键。然后选安装, 这个过程会非常长啊,跳过了, 到这里就证明这个 vc 六安装成功了啊,我们不用登录,关闭就行了, 这个也把它关闭 好,双击奥拉玛, 点击 install, 直接安装, 这个全部用默认值,所以非常简单, 这个需要等待一下,到这一步其实基本上就已经安装成功了。好,出现这个 select mode, 我 们就选择一个大模型, 我们肯定要选明云端的啊,不要装在本地。 好,我们选这个 mini max m 二 也需要等一下。 好,这个黑箭头出现,黑黑的圆圈里边一个箭头出现,就说明这个模型已经连接好了,测试一下。 好,这是简单的一个测试啊,这个奥拉玛这个平台就已经装好了。 那在下一这一节我们就讲到这里,下一讲呢,我们就讲啊, open clone 啊,小小龙虾怎么安装,怎么配置,奥拉玛怎么配置?好,今天就到这里。

嘿,朋友们,最近外网已经被这个 hermes agent 刷屏了,那国内讨论的声音好像并没有很多,那有人就拿它跟 openclaw 小 龙虾比,说它比 openclaw 要智能多了,那这到底是一个什么东西呢?我们普通人能用吗? 今天我就先用大白话给大家讲清楚,然后再跟着我一起来安装一下,因为我暂时也还没有安装,你也可以跟着我的步骤一步一步大家一起安装一下。 首先 hermes agent 是 什么呢? hermes agent 是 一个会自己进化的一个 ai 助手,你用它呢,它就在学你,它学会了呢,你下次用就省事多了。那我们普通的 ai, 比如说我们的这个跟 ai 对 话的聊天窗口,比如说在 gpt 啊,或者 deepsea 了,你每次跟它对话呢,你都要重新跟它解释一下你的背景, 它每次都会忘。虽然说现在的 ai 它基本上都有了一个记忆的功能,但是你也要手动地去进行一个填写。那 hermes 它是这样的,就是你第一次用它的时候,比如说你让它帮你把一篇文章转化成微信公众号的一个格式。那第三次,第四次之后呢,它自动就会把这个任务记录成一个 skill 文件,就是一个技能文件。那之后呢,你只要跟它说帮我转化格式,它直接就帮你搞定了。你不是在教它,而是它在学你, 它靠的是什么做到的?这件事情呢?其实就是三层记忆。首先第一步呢,就是它的一个绘画记忆,就是你每次跟它聊天,聊了什么,它会记住。那第二点呢,就是持久的记忆, 它会记住你是谁,你的偏好。第三个就是 skill 记忆,就是记住它学会了哪些技能,那每次对话结束之后呢?它会把重复出现的一些任务模式呢,提炼成为一个 skill 文件,你不用手动去操作,它自己就做成了。比如说如果我们有用过 cloud code 或者是其他一些啊 agent 工具的话,应该都有这个感觉,就是 当你给他编写了一系列的规则之后,你需要主动去告诉他,帮我把上面的这些规则做成一个 skill 文件,放在本地的文件夹里。但是 hermes 你 不用说这些话,它自动就会进行一个更新迭代,自己就会学会去把这些技能做成一个 skill。 那 除了记忆方面呢,它还能通过 m c p 协议连接六千多个外部的应用,比如说 github 或者 notion 或者 gmail 等等,让它真正能去做事,而不仅仅是聊天。这一点呢,就是比 openclo 可能做得好很多,因为 openclo 很多的这个外部 协议呢,需要我们自己去手动连接的,那它和其他的 ai 工具有什么区别呢?这里我就把它跟 cloud code 跟 openclaw 进行一个对比。那起部门坎呢,就是 cloud code 跟 openclaw 它都是要写一个配置文件的, cloud code 这边就是 cloud 点 md, openclaw 这边是 so 点 md, 你 要在这个文件里面告诉你是谁,你的一些背景,你的具体的一些情况,那 hermes 这边呢?装完就可以直接用了。 那记忆更新方面呢? cloudcode 跟 openclaw 都需要你手动去进行一个更新的,比如说你觉得这一点很重要,或者这一个规矩需要它长期记忆的话,你需要主动去告诉它,那 hermes 呢?它会自动进化。另外呢, cloudcode 它可以实现实时编码,那 openclaw 它就是可以进行一些个性化的一些配置。而且 openclaw 这边有一个优点,它可以进行一些 群聊的一些设置,比如说你们一个小团体,大家可以一起来用这个 openclaw, 然后大家可以一起来用它。 那 hermes 这边呢?它就主张的是一个长期的一个自主运行,而且它比较偏向于你个人在用,然后它会学会你个人的一些习惯。 那简单来说呢, hermes 它更像是一个朋友,你越用它就会越了解你,然后你就会越离不开它。那 opencloud 更像是一个员工,你让它干啥它就干啥,你如果指令不清楚呢,它可能就会做的不是很好了。那到底要怎么用呢?首先它的安装方式跟小龙虾类似,都是在终端用这行代码进行一个安装, 在终端都是需要配置 ai 的 api key 的。 那这次呢,我就不想花钱了,我就打算接入本地的大模型用,通过欧拉玛去下载一些 本地的大模型。那现在主流的开源的模型呢?已经很多了,而且非常的强大,免费的跑起来也完全够用了。比如说最近很火的这个 zara 四,就是 google 旗下的这个开源大模型,那我今天就打算试用一下这个。 ok, 那 首先就跟我一起来安装一下吧。 ok, 我 们在开始安装之前,我要特别提醒一下,就是 homeys, 它跟小龙虾一样,它的权限也很高,所以部署在本地电脑的话,它是有一定风险的。最好是你要部署的这台电脑呢,不要存放太多重要的资料,比如说银行卡密钥,或者是各种的密码,各种的重要的一些资料。 其实我更推荐的是部署在云端,但是现在基本上所有的云端的服务器它都是会收费的,可能就是一个月几十块钱的一个费用。那如果你要部署在本地的这台电脑上,让它更好的帮你去工作呢?那你最好是做一个重要的资料的一个隔离。 ok, 那 我们就开始进入这个安装的过程吧。首先先来到官网,然后我们可以看到这里有两行代码,第一个 install 就是 安装,只要你复制这行代码呢,打开你的电脑的终端,然后复制这行代码就可以了,因为我昨天是已经 安装过了,你可以看到我今天跟昨天不太一样了,所以稍后我也会跟大家讲一下我的一个使用的感受。那如果说你也是安装完之后一不小心关掉了这个终端,然后想要重新设置里面的一些内容的话,那可以就用第二个命令 hermes set up, 我 们就可以重新 set up 一下,那 ok, 那 可以今天根据我的这个步骤,大家可以一起来看一下如何 set up, 那 就是在终端运直接运行 set up, 那 这里第一个问题呢,我们直接选 yes, 他 这里问你要不要把你之前的比如说 opencloud 的 东西 移植过来,如果你电脑上以前有安装过 openclaw 的 话,那这里如果选 yes, 就 直接一键把 openclaw 的 所有的使用规则,或者你 openclaw 呃,一些内容全部就一键移植过来了。那我们这边也选 yes, 这里有两个选择,一个是 quick setup, 还有一个 full setup, 其实它这里推荐我们直接用这个 quick setup, 那 么就直接选 quick setup, 然后第一个就是,呃,选你的 provider, 就是 你的 ai 你 要用哪一个大模型?在这里我可以给大大家提供一下我的个人的经验。其实最一开始我视频前面也说了,我这次本打算 不花钱的,就是用一些本地大模型,但是我昨天安装了这个欧拉玛的本地大模型 german 四,就是 google german 四,之前说它很智能很好,但是,呃,很遗憾我的电脑它实在是带不起来,可以给大家看一下。我安装完之后呢,就是随便提了一个问题,它的回答就要花费 差不多十四分钟回答了一个问题,大家可以看一下我这个截图,就是昨天我是试用了这个四,但是我问了一个问题,就说一切都正常嘛,结果他用了十四分钟才回答完这一个问题,所以实在是受不了这个速度了,所以我果断后来就选择了别的模型。 我这里最终是选择了 kimi, 因为我在 openclaw 的 时候,我有试过 dipsic mini max 跟 kimi, kimi 跟 mini max 它们两个的能力其实是差不多的,但是 mini max 它 回答的响应的这个速度比起 kimi 来讲的话会差那么一点点。 deepsea 它是最便宜的,如果你非常的在乎这个性价比的话,我首先推荐你用 deepsea, 但是 deepsea 它有一个缺点,就是它没有图像识别的,呃,这个能力,它没有 vision 的 这个能力,但是 kimi 它是可以的,就是你给它截图,它是可以识别的,所以我最终对 比之下还是选择了 kimi, 它是会比 deepsea 和那个 mini max 稍微贵一点点的,但是也没有贵到像 cloud 那 么贵那么夸张,所以我这里就暂时选了 kimi, 我 也是选了 kimi 的 二点五,我用下来,我感觉 kimi 二点五真的是非常智能,我电脑是有安装 cloud code, cloud code 现在用的是呃四点六的那个版本,我觉得四点六的版本跟 kimi 的 二点五 其实它们两个是不相上下的,因为我也没有处理特别复杂的问题,只要是处理一些呃读取文件这一方面的能力的话, kimi 二点五是完全够用了的。那至于编程方面的话,可能还是 colloud 会稍微强一点,那我们这边还是 kimi 二点五。 如果说你是第一次设置的话,你选择之后它可能会让你提供 apikey, 那 么 apikey 呢?就是去这个 kimi 的 开放平台。呃,我这里有特别强调一下,就是 kimi 它的这个开放平台呢,是分两个的,一个是点 c n, 这个就是咱们国内用的。另外一个呢是点 a i, 它是国际用的,然后在 hermes 它的这个设置当中呢,它是默认用的点 a i, 也就是国际版。所以如果大家给它提供的是这个点 c n a p i 的 话,它虽然可以设置,但是它可能最后 响应的时候会会报错,但这个也没关系,你直接把它报错的这个内容呃,截图发给任何一个在线的 ai, 让它告诉你在哪里哪里去修改,只要修改一个文件里面的一行代码就可以了。然后这边设置好之后呢,我们 进入下一个,就是设置你的 message 的 通道,你要用哪一个平台跟你的这个 hermes 进行一个对话?那我们来看一下,这里的话可以设置 discord slack, 还有前两天它刚刚可以连接微信了,所以如果国内的朋友的话,可以直接在这里连接上你的微信。因为我这边也是之前已经设置过了,所以我这边就先跳过了。 最后呢就是让 restart 的 getaway 重开这个 getaway, ok, 那 我们就重开一下, ok, launch hermes chat now。 如果你在这里点 yes 的 话,你就可以直接在终端里和你的 hermes 进行一个对话了,那么就直接点 yes, ok, 现在我们可以看到这是 hermes 的 终端, 我们看到这个 logo 就 基本上表示你已经设置成功了。好,那我这里的呃 ai 就是 kimi, 二点五,我可以跟他对话,你在吗?你是谁?如果这里出现了问题呢?也不用怕,你可以把这个问题呢直接复制粘贴给任何一个 ai 或者 jpg 或者 deepsafe 等等,都可以让他来帮你解决这个问题。那我这边是有这个 呃 cloud 的, 那我直接用让 cloud 帮我去检查一下这里是什么问题。对,我这里就是出现了每次都同样出现的一个问题,就是因为我的 api key 是 拿的点 c n 的, 然后它这里又识别了点 ai, 所以 又需要我们去手动改一个代码, 这里我的 cloud 已经帮我改了。如果说你没有 cloud 的 话,你可以直接问你的任何一个 ai, 它会告诉你在哪一个文件夹里去改这个代码,那我们就重新再开一下 hermes, 在 这里直接你点开中专直接打输入 hermes, 它就成功了。然后我们在这里问一下,你在吗?你是谁? ok, 可以 看到它现在已经在 回答了,已经在思考了。好了,他已经回答了,他说,在,我是 hermes agent, 你 的 ai 助手啊,这个女王陛下是我之前给这个 openclaw 设置的,然后他这里也也已经记住了。下面我就跟大家聊一下我的一个呃使用感受吧, 我是从昨天安装好的,然后今天整个也用了一天的时间。然后我最大的感受就是,呃,首先呢,第一就是你在设置它的时候,它就可以自动把 openclaw 那 边的内容全部迁移过来,不用你手动再去进行重新设置一遍了。第二点呢,就是它的设置 比 openclaw 要简单很多,如果大家想要了解 openclaw 的 一个安装的话,可以回顾我之前过发布过的一期视频。那这边对比起来的话,你看,我们刚才只是设置了这个,嗯,提供了一个 ai 的 apikey, 然后设置了我们的聊天通道,包括那些网络什么的,这个连接你你 都没有设置,它都已经自动设置好了。那第三点呢,就是不用你手动去配置太多的内容,比如说网页搜索的这个能力。之前我们不是在 openclaw 的 时候还要 手动去给它配置一个这个功能嘛,所以这边的话,因为它内部已经自带了很多的 m c p 的 这个一些协议的一些功能,所以我们就暂时不需要再给它 搞了。那第四点呢,就是它能全部的读取我已经安装过的呃 skill, 因为我之前安装过很多奇奇怪怪好玩的一些 skill, 它全部都可以读取出来。嗯,那第五点呢,就是在使用过程中 要用 skill 的 话,你不用再去提醒他,比如说我让他帮我改稿,因为我自己之前是设置过一个呃让 ai 帮我改稿的一个 skill。 然后呢,每次比如说我用 cloud code 让他帮我改稿的时候,我要提醒他一下,你用我的改稿的 skill 去帮我 改稿。但是在 hermes 这边我不用做特别的提醒我这稿把文章发给他,让他直接帮我改稿,然后他就会自动去识别,去查找我的相应的 skill, 然后这点真的是使用起来 真的是方便很多。第六点呢,也就是 hermes 它宣传的一个优势就是它有这个长期记忆的一个功能,它可以把你每次对话的这个内容进行一个打包,然后重要的呃内容它会写写入它的这个长期的记忆里面,所以你下次再调用它的时候,它会对你记有一个记忆。不是所有的任务都是从从头开始的, 因为我使用了 openclaw 也一段时间了,然后电脑上也有配置 cloud code, 然后现在又安装了这个 hermes。 我 来跟大家讲。呃,这三个的最大的一个感受就是如果它跟 openclaw 比起来的话,它的故障率真的是少了很多,就是呃遇到了一些问题呢,它其实可以进行一些自我修复的。 那个 openclaw 大家使用过的人都知道,就是它经常就会没有响应了,或者就是没有反应了,然后它的版本也是经常会更新,然后你基本上每天打开第一件事就是先去更新一下你的 openclaw, 呃,然后有的时候更新着更新着它就掉线了,就是它的这个 get 位重启之后,不知道为什么那个 telegram 就是 经常连接不上, 然后总是会有一些这些小小的问题了。然后呢,它比起 cloud code 就是 多了这个自我更新的这个能力,也多了这个自我调取 skill 的 这个能力的确是强了很多,省事了很多,就是让我跟他布置任务的时候就少打了很多字,少少费了很多心。 那我接下来的一个打算就是,首先我要放弃我的小龙虾了,因为之前正好我给小龙虾配置的那个 ai p i k 也快要用完了,差了 不到一美金。然后 hermes 这边呢?好,正好接上了。然后 cloud code 我 这边是已经买了一个它的。嗯, pro 的 会员就是一个月二十美金。那接下来我就是打算一些编程的。呃,任务,呃,像 web coding 啊,或者是写脚本这样的任务呢?交给 cloud code, 然后 hermes 这边就帮我处理一些我工作当中的一些任务,比如说帮我去整理文档啊,去帮我管理我的个人知识库啊等等这一系列的任务。那 ok, 总体使用下来,的确感觉 hermes 比 openclaw 要强很多,如果大家感兴趣的话,你也可以自己上手去试一下。 ok, 那 我们本期的视频就到这里,如果你有任何的想要聊的,想要说的啊,有遇到任何问题都可以在我的评论区留言啊,我看到的话都会积极的回复大家,如果你也对 ai 相关的话题感兴趣的话,可以关注我。然后我是非技术背景出身的,用通俗的语言带你玩转 ai 的 玛提娜,那我们下期见,拜拜。

如果你还在用欧乐玛给 open cloud 跑本地模型,那你的速度可能不止慢了五倍,甚至是数十倍。因为欧乐玛的天生推理颜值比较高,在 open cloud 这种需要频繁工具调用的场景下,往往会导致模型的回复速度非常慢, 任务执行非常卡顿,工具调用也很容易出错,上下文长度经常会爆耗尽任务跑着跑着就突然不够用了。 而造成这种问题的原因,很多时候不是因为模型问题,也不是你硬件不够,而是我们的推理框架选错了。现在只需要换一个更合适的推理框架,就可以彻底解决这个问题。那么我更推荐 v l l m 有 输入。你好,请自我介绍一下,大家看一下,这速度极快的,绝对是秒回复的。然后现在我们请他的机器帮我们安装这个 skills, 把他的名字发给他,这样他可以自动帮我们安装,他是完全可以自动帮你安装的,非常的省心, 只需要几秒钟他就可以帮我们搞定了。功能远不止这些啊。比如我让他自动登录我的网站后台,帮我编辑网站页面内容,或者是优化 su, 定时给我发布文章, 创建在线工具,这些完全自动化的任务都可以交给 open cloud 来完成。关键是本地模型已经足够使用了,完全没必要去花钱购买的 token 啊。其实很多的自动化任务,免费开源的模型已经足够渗人了。你对我这个网站 完全是由人工跟客人来打理的,网站内容和 i c o 优化排名全部都交给本地 a 来完成的,效果非常不错。