就在今天, ai 巨头 enterpic 发布了一个闭关锁国的消息,已正式禁止使用自家套餐接入 opencore。 单说 enterpic 可能大家都不知道是啥,但我一提它的模型 core 大家就不陌生了吧。没错, enterpic 最出名的产品就是 core 了,可以说 enterpic 停了竞争,却彻底输掉了社区的信任。 不过对于我们这边的影响也不大,除非你是本来就喜欢用 cry 的 开发者,消耗的资源成本可能会提升很多倍,但我想说的是,咱们自己大模型的运算能力并不输给 cry。 而昨天智普和阿里也新发布了各自的新模型,特别是千万三点六 plus, 很 适合我们平时日常使用,并且支持养虾人使用龙虾接入。他们的新模型我已经实测过了,上下文承接一百万词源的内容都没有问题。 这样千万三点六 plus 读了一整本唐吉贺德,并让他根据读到的内容来回答问题,完全没有压力。重点是小号的抽给你不高,相当亲民。所以对于我们来说,最好还是使用咱这边自己的龙虾,别去用手动部署的 open core 模型,也还是用咱们自己的模型,免得又出现安克佩瑞斯的背次事件。一键下载安装即可用的涌动虾,它不香吗?不像 oppo pro, 不 属这不属那的,咱这边自己的模型也很好用, pro 擅长的是长文本的处理, pro 四点六最高能处理一百万次元上下文,咱们国内昨天新发布的千万三点六 plus 一 样可以处理一百万次元。各位观众老爷们还是多使用咱自己的龙虾和模型吧。以上是本期全部内容了,我们下期再见了。
粉丝37获赞203

我建议所有使用 cloud bot 的 朋友们不要在本地部署大模型。很多人都说 cloud bot 呢,让 ai 可以 去操作你的电脑,这个听起来是很好的,尤其是呢,那些很注重安全的公司,他们会想方设法的在自己电脑上去 部署一个本地的大模型,那么这个样子呢,就把所有的文件呀,他的权限呀,停留在你自己的手机和这个电脑之间了。这个事情看起来是很美好的,但是背后呢,有几个隐患,我一个一个带着你说。首先呢,就是成本层面,到今天为止, 我认为部署一个你自己看得上的一个模型,还是一个比较大的一个成本的。首先你一定要清楚在本地部署一个大模型,你到底需要什么样的电脑配置。我给你个简单的算数,你就可以去理解了。你看到任何的一个大远模型,他们的都说自己的参数是多少,他们通常会以 b 去结尾,比如呢,他会说我是一个三 b 的 模型,十七 b 的 模型,比如像 deepsea, 大家所熟知的是六百五十个 b, 六百五十 b 的 意思就是六千五百亿个参数,但是呢,你怎么去算?你需要什么样的电脑?你只需要把 b 前面这个数字乘以一个二, 那么呢,就基本上代表着你能够在你的电脑上跑一个完整满血版的大圆模型所需要的 显存。这句话有点绕啊,有两个点,第一个呢是显存,而不是内存,第二个呢是满血版。首先什么叫做满血版?你会在网上看到很多人在教你用欧拉玛呀, lm studio 这些的软件去使用本地模型没有任何的问题,但是他们在 带你去下载的时候,你一定要注意它到底是不是量化版或者叫阉割版的。因为随着它自己的所需要的内存越来越少,那么它的精度也越来越低, 精度越来越低,那么大约模型所生成文字的正确率也会越来越低。所以呢,你会看到有四比特量化版,八比特量化版,听起来你可以用一个很小的一个显存就可以用,但实际上你用的是阉割版而不是满血版,就是用你 b 前面这个数字,再乘以一个二,就是你的显存。 第二个我们所提到的重点就是它要的不是内存,而是显存。六百五十个 b 代表着大概一千三百 gb 的 显存。一千三百 g 的 显存是什么概念?我给你举一盘数字,一个 h 一 百大概是八十个 g 的 显存,那么一个八卡的 h 一 百的 cluster 也就六百四十个 亿的现存,那你需要两个八卡 h 一 百的 cluster 才能够给一个人在一个时间使用一个满血版的 deepsea, 这个就是对现存的要求,价钱是多少大家自己网上去查,我只能告诉你一定超过百万。所以呢,你是否需要 使用一个 deepsea 的 满血版,然后在你的本地去跑呢?相比下,你知道如果你用 deepsea 的 api, 那么你大概需要一个什么样的成本呢?我印象当中 deepsea 的 a p i 是 每一百万个 token 只需要大概十六人民币。什么概念?一百万人民币你就粗略咱们保守估计,大概三十万个文字,你出三十万个文字 只收你十六块钱,你自己去对比一下,你要用到百万级别,你要让它出多少个字,这个就是成本上一个非常大的差异,很多人忽略了这一点,用一个阉割版的小模型,你会发现能力差的不得了,更何况我们是希望 logbook 在 我的电脑上去操作的,操作是不能出错的,你让他出一行指令,本来是应该添加,本来是应该修改,他给你变成了删除,这个事可就大了去了。所以呢,我是不太建议在没有绝对相信你自己的电脑硬件实力的时候,就随便的在你本地部署一个大模型,这是第一点,在成本层面, 第二个层面,我觉得是很多大家忽略的就是风险系数,你总是觉得似乎我在我的电脑上用一个开源大模型是最保险的。 但是你要知道,如果你想真正的发挥 cloud bot 的 一个优势,你需要使用它的 skills, 也就是它自己所推出这个 cloud bot, 全世界各地的极客都会贡献他们已经写好的 skills, 摆在网上,你下载下来,原本你的这个 cloud bot 什么都不会,但是你用了别人写好的这个 skill, 你 看今天又能干这个,明天再加个能力,后天再加个能力,对不对?那每一个 skill 是 什么呢?每一个 skill 呢?其实就是一个 markdown 的 文档,下载下来,它会按照里面一步一步去执行,但是呢,在执行过程当中,你会不会仔 就去读这个 skills md? 如果你自己没有读 skills md 的 这个能力的话,那么我建议你谨慎使用。为什么?因为你不知道它在里面会植入什么?到现在为止,虽然我们还没有看到一些不好的例子, 但我相信有些 bad actors 一定会找到 skills 的 类动,在里面植入一些不想植入的东西。你下载下来直接让大元魔去使用的时候,它会做一些不好的事情。但是这个时候,如果你今天用的是一个 开元的本地模型,你自己是没有这个评判能力的。但是如果你今天用的是一个接入别人 a p i 的 能力,在他输出一些不好的东西的时候,很多的这些 大厂的模型会在前面已经给你啪加了一道网关了,告诉你我不能够输出这样的东西,说白了,他们已经在帮你输出之前加入一层安全的护栏了。所以我们切一定要记住 opencloud 这个东西,它虽然 skill 是 一个很伟大的一个发明,让你可以用到全世界所有的优秀的人写的 skill, 同时它也扩大了潜在的风险。 所以这两点是我觉得普通的用户们暂时先不要考虑在你的本地去部署大模型这件事情,尝试把它下载下来,接入到呢手机里,然后接一个便宜的 a p i, 无论是很好很好的模型,价格也非常的便宜,都是大厂, 很多人呢,都会高估了自己的文件的安全重要度,而低估了大厂对于安全的服务度。你要知道,今天如果你用阿里云,用腾讯,用华为云,你的文件都是存储在他们上面的, 那其他的大公司都没问题,怎么就你的电脑里这个文件就会单卷安全的问题呢?对不对?所以呢,千万不要低估了大厂的安全能力,而高估了自己的文件的安全重要程度。所以呢,赶紧先去接入用起来,找一个你喜欢的大厂的 a p i 用起来 感受一下未来的时代,这个才是重中之重。慢慢地,你在不断地添加 skills, 慢慢地在考虑你是否需要转移到本地大模型,这个才是一步一步迈入未来的正确方法。

部署本地的 openclaw 已经可以剪视频了,大家都知道了吧, 这个让硅谷大佬每日一封的 openclaw 阿月,我呢也是拉到本地试了几天,现在就带大家把本地部署和接入飞书每一步都走明白。为了防止偶然性啊,我呢也是连续测试了四台电脑,确保每一步都可行,接下来你们只要跟着做就可以。点好关注收藏, 我这里依旧用的是 windows 系统来操作,因为 macos 系统呢,环境相对比较简单,不像 windows 这么复杂。首先呢,我们要确认好 windows 的 安装环境,安装的时候呢,全部都点 next, 一 直到完成即可,建议呢,不要去变更中间的安装路径。 呃,安装完成后呢,我们可以检查一下环境,我们在命令提示符的窗口输入这两个指令,如果输入指令后跳出版本号,那就说明安装已经成功了。这里提到的两个环境文件呢,我在文档里面也全部都准备好了。 好,接下来呢,我们就开始全区安装 oppo 卡使用管理员 c m d 指令输入,这个指令安装完毕后呢,再输入这一条指令, 好开始了。 ok, 这一步跳出来的呢是风险提示,我们直接选择 yes。 然后呢我们选择 quickstart, 这一步呢是选择大模型,我这里呢用的是千万,因为他是国内的,如果大家有惯用的呢,也可以自己进行勾选好,然后我们这里模型选择默认的即可。 之后呢会跳转到大模型的首页进行授权验证,大家验证通过就可以了。那通过后呢,这里也同样有一个选项,我们直接选第一个默认的模型。 ok, 下一步呢,这里可以看到很多的应用选项,这其实呢就是指令输入的终端,因为这些都是国外的,所以我们先不管,选最后一个,跳过,后面呢我会给大家介绍如何接入国内的飞书。 ok, 继续,这里会问你需要配置什么 skills? 呃,我们也跳过,没问题,因为这个不着急,后面都可以手动去配置的。 好,这个也不用管我们用不上,直接跳过。好,然后我们稍等一会,会自动弹出一个网页,然后你会发现这个网页是打不开的,没关系,我们这个时候呢,再运行一个 c m d 的 指令, 好,这就是欧奔 cloud 的 兑换框了,我们来尝试和他打个招呼, ok, 他 回复我了,那到这里呢,其实基本上就成功了,还是比较简单的啊。然后呢,我们再来尝试为大家接入一下飞书,很多小伙伴呢,在这一步呢,其实就被劝退了,因为怎么样都接入不了这里,大家看好我怎么操作。 首先呢,我们进入飞书的开放平台,我这里呢用的是个人版,我们来创建一个企业自建应用, 进到这个凭证与基础信息界面,把你的 app id 和密钥保存下来,这个很重要啊,后面会用到的。然后 我们添加一个机器人,再到权限管理这一步,为他添加一些权限。这里的权限列表呢,其实官方呢是有指导文件的,但是呢就藏的比较深,我呢也是给你们找出来,直接放到文档里面了,你们直接一键复制过来就 ok。 好,然后我们需要配置一下这个事件回调功能,在这里的订阅方式选择长链接这一步呢是必须的,而且是绕不开的,也是大家碰到卡点最多的一步,很多小伙伴呢在这里呢就是一直报错,好,不用担心,我呢,已经整理了一份非常长的傻瓜教程,大家直接照做就 ok 了。 然后选择以后呢,我们添加事件,然后添加搜索接收消息, ok, 然后我们就去点击创建应用,然后再发布就 ok 了。 好了,配置工作完成之后呢,我们就要开始给欧邦克劳接入飞速杀键了。由于 windows 的 系统环境问题呢,所以大家的电脑情况都不太一样,所以会出现不一样的报错问题。网上的很多视频呢,也没有把这个问题针对性的讲清楚,我自己呢也试了三到四台电脑来做尝试,都非常有挑战。 如果你手边也报错的话呢,不用担心,我这里想到了一个邪修的办法。好,那既然 oppo klo 可以 控制我的电脑,那为什么他不能自己安装飞出插件呢?我们来试试看吧,直接和他对话。呃,你自己安装一下飞出插件,然后呢,他就会开始疯狂的工作,并自行去验证安装环境和插件配置 啊。五分钟左右后呢,他就会告诉我,他工作完成了,需要我提供给到他飞出机器人的 app id 和密钥。这个呢,其实我们在上一步已经有了,我们直接复制给他,让他呢继续去工作。这里的工作过程当中呢,我们的机器人可能会下线几次,原因呢是他需要去重启网关, 如果呢,你感觉他下线太久的话呢,我们可以用 open cloud get away 这个指令重新把它呼出来。最后呢,他会要求你在飞车上和他对话进行测试,并为你排除最终的一些故障。 ok, 全部搞定,已经可以在飞车上正确回复我了,并且呢,刚才在外部的对话记录他也全部都记得, 呃,我们这里呢,再用手机给他发一条消息试试看。好,他也同样接受成功了。好了,这里欧本卡接入飞书的配置呢,就完全对接成功,基本上都是他自己完成的,我呢只是配合他提供了一些必要的信息, 妥妥的全能小助理。接下来我们来看看他能为我们做一些什么吧。比如呢,我现在想要订一张机票,我就让他帮我查询一下最便宜的航班,他立刻就给我列了具体的信息,包括航班号,价格以及其他的一些航班信息。不过这一步呢,是需要接入 api 的, 大家可以自行去网上找免费的接入就可以。 好,那现在过年了嘛,马上大家呢也会送礼嘛,那我就让他去浏览电商的页面。呃,不过这里呢,需要先安装一个 oppo club 官方的浏览器插件,我们直接从官方渠道进行安装就可以了。具体的步骤呢,已经放在文档里了,大家直接照做就可以。我让他给我打开。 ok, 成功,呃,然后我继续让他为我搜索燕窝。好,也成功了。 好,那我们现在在拿最近小伙伴在学习的 ai 的 线上作业丢给欧本克,看他能不能帮忙完成。 首先我们要让他找到作业的本地目录,并让他完成里面的题目。他立刻就找到了,并且迅速告诉我,完成了。啊,这速度还是真的蛮快的啊,但是呢,人呢,还是比较懒的。如果呢,你抄作业都不想抄啊?没事,直接让他把填完的东西返回给我。好,他已经做完了,我们来看看啊。 呃,代码呢?全部都完成了,不过呢,我也是看不懂啊。看懂的高手可以来说说他完成的这个准确率怎么样。 好了,那这次安装说明就先讲到这里了,关于 open cloud 的 更多能力,有时间呢我们可以再去测一下。好,那既然已经部署成功了,有兴趣的同学呢,也可以再去深度探索一下 啊。对了,现在呢,各大厂呢,也出了针对 open cloud 的 云端部署,我这个呢,也可以跟大家快速的分享一起。好,这里是阿月,希望我的视频能够帮助到你,让你更了解呀,我们下期再见。

很多朋友呢在下载完龙虾之后,非常关心的一个问题,我是不是可以用一些免费的模型,然后去让龙虾进行使用,那这样的话我就可以不花钱了。之前我也给大家介绍了一些免费的厂商,提供了一些免费模型,但是那些免费模型呢,他是会限定一些额度的, 那就会有很多朋友问说,我本地部署模型是不是 ok 的? 那怎么让龙虾去连接本地的部署的模型呢?那这期视频呢,我们就来看一看怎么实现。首先呢在本地模型部署有一个非常牛的软件,就叫这个欧拉玛, 这个软件呢我们可以下载之后,它可以去帮我们去下载对应的一些我们想部署的模型,并且呢在它软件里面可以进行一个启动, 这样的话就不需要我们自己去找对应的模型资源,然后进行一个模型文件下载,然后再去启动对应的模型,所以说这个软件呢非常的方便。那这个欧娜玛的一个安装呢,我们这个地方直接就是给大家提供了下载链接, 就进入到欧娜玛点 com 这个地方,然后点击对应系统的一个下载方式,比如说你是 windows 就 直接点,然后下载完了之后直接安装就可以了。那安装完了之后它是一个什么效果呢?主要是有两个地方,首先呢 安装完之后它有一个文件夹,文件夹里面呢它会有一个 app 的 入口,可以把对应的 app 打开,打开之后呢我们就可以在这个地方跟它进行一个对话,可以看一下它所支持的一些模型,比如说 gpt, 然后 deep sync, 千问的,然后 mini max, 还有一些什么拉玛,然后本期我们就以千问的这个模型给大家进行一个讲解,看对应的龙虾怎么去连接。那我这个地方呢,已经把千问和拉玛的这个模型已经下载下来了, 所以说可以看到如果没有下载的话,他这个地方会有一个下载按钮,然后如果已经下载好的这个地方是没有下载按钮的,大家到时候可以下载一下,一会也给大家说一下怎么去进行一个下载。然后我这个地方就可以跟他在这种格式化的页面进行一个对话,问他你是谁, 那可以看到它现在因为它是一个 think 模型,就是它会思考,然后思考完了之后它会进一个回话,可以看到它的一个速度,在本地的一个部署模型速度还是比较快,当然了这个也是看你本地机器的一个性能,那我当前的这个机器呢,是一个五零八零的显卡,所以说它的一个效率还是比较高的。 然后除了这种方式之外呢,我们还有就是控制台的这种方式,就在这个地方我在文档里面给大家写好了, 就是我们可以在 power shell 里面去执行欧拉玛瑙,千问八 b 就 这个模型, 八 b 这个模型如果我们执行了之后,你本地如果没有去下载对应的这个模型,他会先去当 load 的 把对应这个模型给你下载下来,如果已经下载完了之后,他会直接去启动对应这个模型,那你在这个地方也是可以跟他对话的,你问他是谁, 然后进行一个 syncing, syncing 完之后输出对应一个结果,可以看到还是比较丝滑的,那本地模型呢?已经部署成功了,接下来我们就是要让我们的龙虾接入到这个本地模型。接入本地模型呢,其实也比较简单,那这个地方呢,我给大家介绍的是通过修改 opencloud 的 配置文件, 它里面有一个 open cloud, 点 json, 去把里面对应的一个内容进行一个修改,然后我们先按照上面这个步骤去打开 open cloud, 它对应了一个文件位置,我们就可以先去这个地方,然后 按照我命令执行就行了。先 cd 到点 opencloud, 然后进来之后呢执行这个 start 点,打开对应的一个文件夹,打开之后这个地方会有一个 opencloud 的 json 文件,然后编辑给它,在记事本里面编辑就 ok 了。 那我们可以看到之前呢我们这个地方,因为我是豆包的模型,所以说这个地方会有一个豆包模型的配置,那还有一个 agent, 就是 这个与我们对话的这个 agent, 它对应的模型使用的是什么?可以看到这个地方使用的是豆包, 那我们想去使用本地的欧拉玛模型,其实只需要修改三个地方就可以。首先第一个地方就是我们需要在猫豆子这个里面把我这一段给它拷贝进去, 找一下猫豆,然后与豆包进行一个平行位置, 然后把它删掉,加一个逗号,一定是一个英文逗号,然后加完之后我简单说一下它对应的一个内容,首先它是请求的 url 是 什么?就是本地的 logohost, 然后端口,然后 v e 接口 这个 appk 的 话,实际上它是因为本地模型是不需要这个 appk 验证的,所以说你这个地方随便写就 ok 了,跟我这个一样就可以。然后这个地方模型的话你就是用自己的,我们刚才不是下载的是千万八 币吗?所以说这个地方就是千万三八币。然后配置完这个之后,我们还需要去修改 agent 的 它所使用的模型。首先我们需要在底下去把欧拉玛对应的这个模型添加到它可用的模型列表, 在这个地方添加进去。 ok, 添加完了之后我们还需要替换一下,就是这个地方把这个 primary 给替换成我们下面的这个好的保存完了之后呢,我们这个地方的配置就结束了,就直接可以回到命令行执行一下, 我们把这个地方给关掉,关掉之后执行 open cloud get away。 这个因为我们是命令行之前启动的,所以说我们直接关掉之后呢,就相当于对应的龙虾已经结束了,那我直接执行它重启就好了。但是如果大家是 没有在这个地方直接关闭,它是后台执行的,那大家是需要执行 open cloud get away restart。 大家一定要记住这个点,我们直接启动 可以看到这个地方他有 agent, model 是 欧拉玛的千问三八 b, 那 说明我们这个地方配的还是没有问题的。我们来到龙虾这个地方给他对话一下, 那这个呢?是我之前问他的这个模型使用的是什么,那现在呢?我在问他说你现在的模型是什么?你当前使用的模型是什么? 那可以看到它现在已经告诉我说使用的模型是千问,然后它是通用实验室自主研发的超大规模语言模型, 所以说我们现在就已经切换成功了,这样呢,大家就可以拿龙虾去玩本地的模型了,也就不需要花你一分钱了。但是这个地方大家要注意,一定你的机器性能相对来说会好一点,那这个模型的速度运转会更快一点。然后如果你机器性能非常好的话,因为我这个地方配置的是八 b 的 模型, 八 b 呢代表是它的一个参数量,那三十 b 呢?像这种大参数量的,它的一个效果一定是要比我八 b 的 这个模型的效果会好一点。如果你的机器性能非常卓越的话,那你去下载三十 b 的 这个模型, 当然它需要很大的这种资源,所以说当它运转的时候,它对应的这个思考或者它的一个能力也是要比我八 b 的 强的。所以说这个地方看大家一个机器情况。

hello, 大家好,我是 ken, 今天早上刚刚打开手机,我就兴奋的睡不着了。 google 刚刚发布了伽马四,一个可以本地部署的大模型,我的第一个念头是省钱了, 如果把它接入 openclaw, 从此在本地生产 token, 那 是不是就可以不用再被云端 ipi 一 点一点计废了呢?然后我花了一整天的时间来验证这个想法,结论有点出乎意料。先听我说完, 我在本地部署的是二十六 b 混合专家模型,二十六 b 代表着他拥有二百六十亿的参数。 混合专家模型的意思是,他不会一次性把所有的参数都用上,而是根据你的指令调动一小部分的专家来进行回答。这样的好处是推理的成本更低,回答的速度也更快。 这个版本在二十六 g 内存的 m 五芯片 macbook 上刚好能跑。这里 jam 四的几个版本呢?我也简单的跟大家分享一下。最轻量的是 e 二 b, 一个二十亿参数的模型,它在市面上大部分的设备上都可以运行。 那么 e 四 b 呢,是一个四十亿模型,运行它呢至少需要有十六 gb 的 内存。蓝血版是三十一 b, 拥有三百一十亿的参数能力最强,但是目前我手头的设备呢,都没有办法运行。目测 如果说要跑三十一 b 的 模型的话,至少需要三十六 g 的 内存。以我这一个月以来把所有的大模型接入到 openclaw 的 体感来看呢,二十六 b 版本我再应用下来,我认为它称日常工作是完全没有问题的。 截止到这里,一切都让我很兴奋。在 macbook 本地上跑通以后,我迫不及待的把它接入了 openclaw。 和我之前用其他大模型接入的体验不同, jam 四在接入以后没有那个互相了解定义角色的初识化环节,不过正常对话是没有问题的。那么问题来了,他能做些什么?说实话,就是个聊天机器人, 连在桌面创建一个 word 文档都做不到,更别谈生产力了。如果只把它看作是一个聊天机器人的话,那么在欧莱玛中直接运行反而比嵌入到 open cloud 中要更快,所以呢,还不如不用。 然后我掏出了我二零一七年的 windows 老本,这台机器呢,有十六 g 内存,按照 ai 的 建议,分别部署了 e 二 b 和 e 四 b 两个版本的模型。单独跑模型的话, e 四 b 这个四十亿参数的版本呢,每个回答要等待时间在十秒以上。那么 e 二 b 这个二十亿参数的小轻量级版本呢?如果是处理简单问题,基本上可以做到秒问秒答。 但当我把他们接入到 openclaw 之后呢,连收到两个字都没有办法回复,不管哪个版本,通通卡死。所以结论很明确,内存不够的设备不要尝试把 jam 四接入到 openclaw, 硬件是硬门槛,绕不过去。 总结一下今天的折腾,二十六 g 内存的 macbook 可以 本地运行,二十六 b 混合专家模型接入 openclaw 也能正常对话,但完全没有超出聊天机器人的额外生产力。 十六 g 内存的 windows 老本呢,接入 openclaw 可以 说是失败的,那么如果在本地运行呢?一二 b 和一四 b 两个版本都可以作为聊天问答机器人来进行本地使用。 我的判断是,如果内存能够达到三十六 g 以上,能够完整的跑下来二十六 b 混合专家模型,那么也许真的可以变为生产力。但是限阶段大多数人的设备都没有达到这个门槛。 本地部署不是不值得探索,但是要先看看自己的硬件设备有没有达到那个门槛,再决定要不要去折腾,不然的话结果可能会很打消你的积极性。 我是 ken, 专注用 ai 做可持续相关工作流的自动化。如果你对 ai 工具和自然语言编程感兴趣,请关注我,我们下期见。

大家好,我是根古,告诉大家一个好消息,本地大模型的玩家春晚来了,欧拉玛 v 二点零正式上线,支持吉米莱四,这次最大的更新提升就是速度,内存优化后加载接近快百分之五十,基本做到回车即响应,本地推理体验直接起飞,而且支持超大的上下文, 写代码,读长文更稳更准,做任务也不卡,性能直接拉满。别再去用云端了,赶紧升级把 gmail 是 跑在自己的电脑上吧。给大家讲一下如何更新啊。首先第一步要更新你的欧拉玛,这个直接就在这个 set 里面,可以直接去更新啊,如果你不是最新的话,它这里会显示 update。 第二的话,进入这个欧拉玛官网, 把这个欧拉玛万吉米兰四的二十六 b 这样一个模型输到这个终端命令。行,我现在正在下载,现在网速挺慢的,可能要下载个两小时左右,大概是十七 b 下完了以后,在你这个欧拉玛这里就能出这个模型啊,在这个这个 new chat 里面就会出现这个吉米兰四啊,当然你不需要去切啊。第二步的话,你会用欧拉玛这个命令把它浪起来,对吧?欧拉玛欧拉玛浪起这个欧拉玛 launch 这个 open cloud, 然后你把这个当你下完了以后,这里会多出一个集美的四啊,你把它选上去就可以用了啊。今天晚上我会体验一波,明天会把这个体验效果给大家分享一下。

没想到啊,距离我制作 open klo 的 详细部署教程已经过去了一个多月,这玩意现在居然火成这个样子,甚至某鱼上都冒出了一堆远程部署的这个付费服务,动不动就收你们几百块钱。我在我那期视频发布之后呢,有的观众也在吐槽模型费用太贵了,那有什么办法能够不花这个模型钱呢? 有的兄弟们,有的本期视频的主题就手把手带你们部署一个属于你自己的大模型,并教会你如何在 open klo 中切换大模型的大模型啊! 不管你是使用像欧拉玛呀还是 l m studio 还是 v o i m 等,都能很方便的接入,从而实现完全离线免费无限制用的 open 可乐。好废话不多说啊,记得先点赞收藏加关注。我们现在开始 我整个教程会分成两大步啊,先搞定本地的大模型部署,再讲欧布可乐的对接配置。但如果你已经部署了本地的大模型,可以直接拖动进度条是吧?跳到对接部分即可。第一步,咱们先搞定本地大模型的部署啊,我这边推荐没有经验的同学优先使用欧拉玛,他几乎是目前全网最简单的本地大模型部署工具,没有之一 啊,支持一键部署市面上绝大多数的一些开源模型啊。然后这里插一水,如果你想要工业级大模型的推理框架 v l l m 的 教程,可以在弹幕当中扣个一人多的话,我后续考虑出个教程。 首先打开浏览器啊,输入欧拉玛的官方地址,我放评论区了,就直接复制在那些就可以。进来之后呢,你是什么系统就点对应的下载是吧? windows 点 windows 麦个点麦个, 下载完成之后呢,麦个就跟安装其他软件一样是吧?然后 windows 也是不断的下一步即可。 好,现在安装完欧拉玛后呢,最关键的一步就是下载并启动本地的大模型。这里要跟大家说清楚,要驱动 open close 这样的 a 卷的系统, 必须选指令遵循度强,上下文长度多的模型,简单来说就是听得懂指挥是吧?记得住你的命令的这种模型。而我这边测试了好几个模型,比较推荐用的就是这个 q 三点五,它有多个尺寸的版本,通常模型越大则性能越强,大家根据自己电脑的显存大小来选就可以了, 最好选不要超过你显存大小容量的模型,也就是 size。 这里我这为了快速演示,我这就使用这个零点八 b 这个小模型展示啊。如果你们有测试更好用的模型,也可以在评论区跟大家分享一下。 确定好模型之后呢,点进去之后,可以直接看到下载模型的指令,此时我们需要打开终端或者这个 power 键麦克打开终端, windows 打开 power 键,然后粘贴这串命令,然后按回车,它会自动下载模型并启动,全程不用你管。经过一段时间下载后呢,它会自动进入对话界面,你可以直接在这跟本地大模型对话,比如说问他,你好。 哎,到这里恭喜你,你已经成功完成了本地大模型的部署。接下来就是将其接入我们的 openclo 中了啊。这里先提一嘴,如果你的电脑还没安装 openclo, 可以 直接去我之前的其零基础啊部署教程,几分钟就能安装好。我这就不重复讲安装步骤了, 我们先讲刚装好的欧拉玛怎么对接。第一步,修改模型的上下文长度。因为欧拉玛本身为了极致的轻量化,如果你电脑显存不大的话,他默认模型的上下文就给你四 k, 你 就这样给 open color 使用的话,你说完这句话他就能忘了上一句。所以我建议把模型的这个上下文设置为至少六十四 k 以上吧。 我们打开这个欧拉玛的软件,然后点击设置,就在这里设置上下文,然后把这个拖到六十四 k 就 可以了。第二步,去 open clone 里做这个配置对接,还是在终端输入这个 open clone config, 进入 open clone 的 配置菜单,然后回车啊配置本地文件,选择 models。 这里呢是 opencolor 给你预设的一些云端模型配置,像什么啊, gpt 啊, jimmy 等等。我们要选择最下方的 custom provide 的 选项,这个呢是自定义模型选项,可以自定义 opencolor 从什么地址去调用模型的服务。而我们这里默认就是幺二七点零点零点幺,这个幺幺四三四端口的 我们不需要修改。然后这里的幺二七点零点零点幺呢,表示从你本地获取。然后这里的幺幺四三四呢,是欧拉玛的这个端口服务,然后再回车输入密钥,这个地方呢可以随便填,因为这是你本地的服务。 然后这里询问我们要接入什么标准的端点协议,我们也默认回车即可。最关键的来了这里,让输入模型的 id, 我 们在这里输入你刚刚下载的模型名称,然后这个样子就是教验,通过回车啊,后面的这些都不用,输入,回车即可。 然后最后选择最下方的这个 ctrl 钮,完成模型的切换。现在你可以回到 openclip 的 控制面板当中,点击代理,看到这个 primary model 是 不是你刚刚选择的模型了。至此,你已经成功在 openclip 当中揭露了本地的大模型。 如果你使用的是 l m studio 或者 v l m 等模型推理框架,步骤跟刚刚几乎没什么差别,只需要将这里的电路地址修改为你所对应架构开放出来的端口即可。比如说像这个 l m studio, 它默认的端口就是一二三四,你这里就写啊,幺二七点零点零点幺一二三四就可以了, 然后 vm 呢则是八千,然后你就把这个端口修改成八千即可。后面的步骤和欧拉玛一模一样是不是?嘎嘎简单?所以我们来 open call 聊天框简单的测试一下,就说帮我查一下北京明天的天气, 哎,如果你的任务比较简单,那是用本地大模型来驱动这个 open call 还是非常 nice 的。 最后本期视频用的所有命令和部署流程我都整理好了,放在这个评论区,大家点赞关注智取即可。 然后上期的这个部署教程和 open klo 的 这个 skill 制作教程我都会放到 open klo 的 合集里头,后续呢也还会更新 open klo 的 其他玩法,不想错过的朋友可以点个收藏和关注啊,咱们下期视频见!

家人们谁懂啊,本地 q w n 三点五九币接 opencall 终于搞定了,折腾一整晚把 to call 的 bug 全铲平,这模型直接原地起飞,本来想拿九币跑 agent, 结果他死活不调工具, 每次空输出零个 tokens, 十四秒光速完工,啥活都没干,给我整麻了。一开始还以为是模型能力不行,排查完才发现是三个坑叠一起搞事情。第一个坑 presence 默认一点五,这玩意专发重复制服, 可工具调用的 jason 全是大括号冒号引号,模型直接被架住,根本拼不出格式,改成零立马解套。第二个坑 temperature 直接拉满到一, 随机性大到模型自己都懵,压根拿不定主意,调不调工具老跑偏,直接回答改成零点七 确定性拉玛。第三个坑最隐蔽是 dream 模式下凸驱 cos 被吞了我拉玛的流势 a p i 把工具调用放未完成的数据包里,我的代理只认完成包,还把没内容的 chang 直接跳过,结果 openclock 全程收空消息,修完这仨 bug 就 直接开挂收束,工具随便调,记忆保存,溜溜的 open call 的 框任务跑起来贼顺,接 a p i 写数据 库全没毛病,我把路全探好了,你们只要有显存超二十 gb 的 显卡,本地部署 q w 三点五九 b 接 open call, 保证跑得又稳又快,直接冲就完事了。

如何免托肯本地装小龙虾?最近这个 openclock 非常火,我也在我的本地装了一个小龙虾,但是装小龙虾最难的一个地方就是他的托肯啊,非常好这个托肯,但是我装的这个版本的话,他是一个免托肯版本,他是一个。怎么逻辑呢?就是你不要去配这个 apikey 啊,你 配的是什么?配的就是他网页的这个接口啊,就是说你通过这个网页的接口来调用这个模型的能力啊,比如说你可以去配这个 智谱的模型啊, deepsea 的 模型啊,啊, kimi 的 模型,豆包的这些模型,只要你的网页能够访问去抓这个网页的接口, 你就把这个接口的这个模型的能力去给你的这个小龙虾用,这样的话你相当于就不用再去配 apis key 了,就相当于不用再花费自己的这个托肯了。我现在的话本地已经配好了,我就问他一下你是什么模型?因为我连的是这个 deepsea, 它相当于已经帮我连上这个 deepsea 了 啊,现在这个非常好用,就不需要再配这个托克了。这个的话就是我的这个 open cloud 他的一个配置的文件。给你们看一下他访问的这个接口啊,接口的 url 的 话就是 deepsea 的 官网模型的话, deepsea chat, 然后 deepsea 的 推理模型 就是这么配的,就说你不需要再去配那个 api key 的 那个接口了,直接去掉网页的接口来配你的这个本地的小龙虾,也是可以用的,如果你们感兴趣的话可以后台戳我。

谷歌最新开源的大模型 demo four 据说很强,在综合能力上甚至超越了二十倍规模的开源模型。 今天教大家如何快速部署在本地,以及分享一下在 mac mini 上的实际体验感受,具体感受什么样?大家看视频吧。首先打开欧拉玛官网,下载它的应用程序, 打开应用程序,我们看一下他目前支持的一些免费的开源模型,还没有 demo, 所以 我们需要去他的官网再去下载下载到本地。那么这里呢,有很多不同的型号 可以看一下,它有很多不同参数的型号,有满配的,还有一些轻量版的。那因为我这个是 mac mini m 四十六 g 版本,所以我们就选择它系统默认推荐的这个九点六 g 的 好,只需要复制这个指令,然后打开终端运行,它就会自动去下载 这里下载了。那么我们先测试一下, 测试一下他的回复速度,因为是第一次响应,所以速度会有点慢,然后我们打开活动监视器,看一下他占据内存的情况, 这个模型本身就有实际系统走内存差不多也跑满了,这里他已经有回应了,我继续再测试一条, 第二次响应速度要比第一次快很多, 我叫 jam 四,我是一个由谷歌 deepmind 开发的。 ok, 现在我们打开欧了吗?然后去加载一下,这里要重启一下这个程序,然后再看模型选择,里面 最下面就已经有了已经安装好的,现在我们把这个模型对接到本地的小龙虾,只需要复制这个指令,打开终端,在终端里面运行,它就自动会加载好, 这里有不同的模型选择,都是他支持的一些免费的大模型,我们选择 demo 让他去运行。 ok, 这里已经加载好了,测试一下他的响应速度。 这里我是放了八倍速了,说实话,因为实在是太慢了,他平均回复一个问题的速度差不多要两分钟, 非常非常慢。我本来想在这个小龙虾里面测试一下他的执行任务的能力,但是这个速度的话确实没有办法, 但是它有个好处啊,如果你有低血压的话,你就可以用它。我是动物城朱迪警官,你好吗?我过得还好,不错,谢谢。这里我甚至尝试开启快速模式, 但是实际的感受没什么变化,就还是那么慢, 所以只能放弃在这里面做测试了。那么我们还是回到欧乐玛,在这个软件里面测试一下这个模型本来的能力。这里给他放两张图,让他识别一下图先, 一个是标格,一个是周杰伦,看一下他能不能准确的识别。 这里我也是开了倍速的啊,但是这里的速度要比小龙虾里面快很多, 我给他给出的答案是,图二是陈坤,图一是一名中国艺人, 看来这个版本的模型识图能力还是有点差。接下来测试一道经典的陷阱题啊,这个对大模型来讲是一道陷阱题,很多大模型都倒在了这道题上面, 那么他给的建议是走路去,最后测试一下他的复杂推理能力, 这道题是我让 gbt 五点四给我出的一道推理题。 abc 三人中恰好有一人是骗子,永远说假话,另外两人永远说真话。他们各自说了一句话, a 说 b 是 骗子, b 说 c 是 骗子, c 说 a 和 b 至少有一个是骗子, 请问谁是骗子?给出答案,并且给出完整的推理过程。好,他给出的推理过程和答案我跟 gpt 五点四给的标准答案对比了一下,是一样的, 所以它的复杂推理能力还是可以的。 ok, 总结一下实际体验感受啊,你如果是 mac mini m 四十六 g 版本,虽然能运行,但是它会把你的内存拉满,就是你的电脑会一直处于满负荷的状态,而且响应速度也很慢,所以使用感受是很差的。 当然,如果你的电脑配置足够高的话,你是可以去尝试部署在本地的,因为它的响应速度肯定要比我这个要快很多。而且你还可以尝试去部署它的满配版,比如三十 e b 那 个版本, 能力应该是要比这个强不少。

上节课我们在本地部署了千万三点五 ai 大 模型,这节课我们继续部署 open core, 并让 open core 对 接上本地 ai 大 模型,彻底告别头肯焦虑,让大家零成本养龙虾。现在看 open core 官网,里面有很多种安装方式, 我们这里啊,使用 n p m 方式,一键安装,运行之前需要先有 node js 环境才能使用 n p m 命令。 node js 安装好后,打开终端运行 n p m i 杠 g 二分 q, 安装完成,运行命令,开始配置,复制过来粘贴。 先问我们啊,是否继续,当然要继续了,用键盘左右方向键选择 yes, 接着选啊,快速开始。这里问要对接什么模型, 这些选项啊,大部分都是对接云端 ai 模型的,因为我们要对接本地 ai 模型,所以要选择自定义。接着问模型的 api 地址,这个地址啊,在 o m x 的 仪表盘里,大家看这里, 复制一下,将这个删掉粘贴我们这里啊,要填的是幺二七点零点零点一,冒号八千斜杠 v 一。 继续啊问模型的 api k, api k 在 管理面板的设置权限设置里, 默认的 key 是 默认一二三一二三,我们不做修改,就填这个,先按回车粘贴过来,兼容性选择 open ai。 接着问模型 id, 模型 id 啊,在管理面板的模型管理器里面,将名字直接复制了,粘贴过来,确定 end point id, 保持默认就行,这个是模型的别名,可以不填,直接下一步。接着问啊,要对接什么聊天工具列表里啊,默认只有飞书。我这里出现的 open code 微信是我后面装的,大家初次安装并没有这个关于微信的对接,我们下节课再来讲, 这里直接选跳过接着问搜索服务现在没有,也先跳过,继续出来。技能的选择,直接按回车。 出来的技能选择,这里推荐只选 clonehub, 按空格,选中按回车键安装,其他的先不要选,可以避免网络有问题一直卡住。其他的有需要啊,后面可以再来安装。我这里列表中没有看到 clonehub, 是 因为我之前已经安装过了,所以看不到,我就直接选跳过。 后面的几个 api 啊,也都是收费的啊,暂时都没有,全都选 no no no no 还是 no 霍克时啊,也选跳过先按空格再回车。到了最后一步了,问我们运行方式,推荐的是在终端中运行,选择后,现在就可以和他直接发消息了。好,我们发个消息, 它会直接在动态中进行回复,当然也可以使用 word 界面进行访问,大家打开幺二七点零点零点一冒号幺八七八九,在这里也可以一样聊天,还可以做各种设置。总结下,安装 open core 需要 load 机制环境,在装好 load 机制后,使用 n p m 命令,可以一键安装 open core, 安装好后,运行命令开始配置文字版,内容请看课程讲英文档, iphone 可乐,现在出来聊天还可以操控你的电脑了,在下节课的对接微信里,我继续演示给你看。

不会还在有人花钱买 tokyo 养龙虾吧?嗯,看我如何实现本地免费的算力查询一下杭州今明两天的天气, 可以看到现在龙虾已经开始调研工具了。那我是怎么实现的呢?就是本地这台可以跑满血 mini max 二点五的 大模型推理服务器,现在这里已经开始发热了,那么其实并不需要英伟达八张 h 一 百显卡。那么给大家看一下我们这台机器的配置, 我们用的是 k transformer 架构,把所有大模型放在内存里,而实际上只用了一张四零九零显卡就可以实现哦。那么这台本地大模型推理服务器你想拥有吗?

有兄弟私信在问,说让龙虾做 ppt 时提示没有权限,本期就教大家如何解决这种问题,一般是出在手动部署的原版 open kla 上,有三种方法可以解决。 第一种就是直接不管原版 open kla, 我 们去搞一个无需部署门槛更低的涌动虾来用,在右上角兑换码输入送福利,还可以白嫖到滔客来用。 第二种方法输入修改权限的命令,在 open class 对 话的这下面直接输入就可以。第三种需要修改 open class 的 配置文件,配置文件默认都放在 c 盘的这个目录里, 大家自行找一下这个 opencap 点支烟就是配置文件了,如果找不到就直接问你的龙虾 opencap 点支烟放在哪里?可以直接用记事本的方式打开,但建议大家去搞一个免费的代码编辑器来用,最好不要用记事本修改。我们在里面找到 tos, 把这个 message 给改成负, 改完后保存一下,然后回到 open color 里刷新一下权限,应该就都是绿灯了。好了,以上是本期全部内容了,兄弟们无权限的话就快去试一下吧!

展示一下,就是我在我这台 macbook 部署了本地龙虾,并且在这一个 lm studio 的 这一个框架里面去运行大模型,随便运行的一个本地的模型,就是一个 英伟达的 nano 四 b 的 模型,非常的有意思,因为它很小,在我电脑上面运行的话没有太大的负担。 这个 lm studio 开了本地模式,应该是这里看设置这个位置,开发者开了这一个 llm 服务,就是已经对接好了,我电脑也装了龙虾了,就是 openclore 已经部署好了, 在这里面也可以跟龙虾交流。我想展示的是在这哎,已经也不输在苹果端的微信了,就是已经绑定了微信的 clawbot, 你 来一段自我介绍好吗? 就直接发给他,之后就直接在这里面可以看到他运行的过程,是可以显示的,就这个位置,就这里他就在跑, 只不过回复的有点慢,可以看到发了这么久,哎,现在来了。那就说作为 opencloud 的 平台什么助手。那你帮我拼一下百度吧,看看能不能拼通。 很明显这个识别不准,对方正在输入, 太慢了,还是得对接那种 a p i 接口才会快, 那样可能也和我这个电脑是有关系,百度点 com 看看他会不会。其实部署本地话也只是拿来玩一下,毕竟硬件的水平有限, 体验比较差,只是玩一下就是这样子。这是可以回复,但是可能是这个模型太差了,只有四 b 的 这个模型 运行的话都不怎么烫。我之前运行的是阿里的三点五九 b 的 模型,也可以用它大概有六 g 多就聪明多了,但是非常的发烫,就这个位置, 现在呢,我就运行了这一个比较简单的四 b 的 模型,它占用的内存不高,但是呢它的能力也有限, 回复的非常的慢,有兴趣的话可以去大件,就是基于 lm studio 来部署本地模型。然后呢,又部署龙虾,如果能用 macdong, macdong 它是统一内存版本的,它可以内存可以当显出来用,正常的话 用 mac, 我 觉得优化是比较好的,比 windows 运行这些模型的话,比 windows 体验真的好很多,而且也比较省心一点,比较容易就可以达到一个比较理想的效果。好了,那本期视频就到这里了,我们下期再见, see you guys。

open club 整挺火,后台私信主要关注两个问题,一,小龙虾是什么?二,怎么安装?因为我和我的关注者都不是什么 ai 专家,大多可能是因为小龙虾很火比较好奇,我就言简意赅了,小龙虾不是什么新的 ai 模型, 他是一个利用 ai 的 工具。如果你不给小龙虾分配模型啊,他是连聊天都没法聊的。如果给了他模型,那就厉害了,他可以读写操作你电脑上的所有文件,甚至接入其他程序的接口,操作这些程序,帮助你工作好了。第二个问题, openclaw 怎么装呢?上个月底一个上海粉丝啊,花了五百块装 openclaw, 离谱。 其实官方是有脚本的,安装起来并不麻烦,但是网上的教程却存在不同的安装方式的 原声安装和类似于虚拟机的 wsl 安装。这里各位不要被这个说法迷惑了,好像虚拟机就不太专业,不太灵活。实际上呢, windows 的 原声安装受制于安全策略,装好之后的 opencll 权限仅限于一个指定的文件夹, 反而是 wsl, 你 可以理解成微软的官方虚拟机啊,它的权限是可以控制你整台电脑的,这样才可以真正帮助你工作。而且后面小龙虾玩够了,你只要把这个 wsl 卸载, 电脑还是干干净净的,不像原生的安装方式啊,需要手动清理很多垃圾。第二个不同呢,就是接入方式的不同。如果你已经在电脑上部署了 ai 模型,那就可以直接让小龙虾调用,完全免费。但是这个工作效率嘛, 受限于你的电脑配置,像我这台电脑,真实体验下来并不好。而第二种方式是使用像千问呢, deepsea 这些官方提供的 a p i, 就是 你坐在家里,让他们的云服务器给你跑 ai 模型,这个体验就太爽了,缺点就是需要付费。当然喽,每家都是有免费额度的, 你可以挨个注册嘛,嫖完了所有的免费额度,再决定要不要付费。所以呢,我这里的安装教程就是 windows wsl 安装加上云端模型的接入。安装步骤拢共分三步,第一步,环境安装。先安装 wsl 搜索框,输入 power shell, 右键管理员运行, 输入 wsl install 回车,等待安装完成重启。 重启之后进行 linux 的 安装,再次 power shell, 输入 wsl install 乌班图二十四点零四这个版本回车。 安装完成后会提示设置 linux 账号,可以直接回车,然后设置 linux 密码,这里它不会显示你输入的字母,你就自信地输入简单的密码,然后回车并再次确认输入密码。 再回车之后,会发现命令符变成绿色和蓝色了,说明我们已经进入 linux 虚拟机了。第一步我们的环境就配置好了。第二步就是 open color 主体了,直接在命令框输入回车,等待完成, 直到出现黄色字体,就表示这个炙手可热的 openclaw 已经完成安装了。紧接着最后一步,配置 openclaw, 控制方向键向左回车回车。到了选择 ai 模型这一步,我选择用千万来做示范,控制方向键向下找到千万并回车, 选中弹出的网页链接, ctrl 加 c 复制并粘贴到浏览器,登录千万账号。这一步的意思是告诉千万允许 open color 调用它的模型,如果没有账号呢,咱就注册一个。确定授权以后,回到 open share 的 界面,这里也同时得到了响应键盘回车 配置技能。这一步,选择下面的 skip 跳过,然后继续选择 skip 跳过,一路选 no。 到了这一步,把除了 skip 之外的四个选项用空格键全部选上,按回车确定。最后一步,选择第一个回车, openclaw 也部署完成了,我们已经可以和他交流了,教程也结束了,更多的高阶功能需要安装一些额外的 skill, 这个就靠你自己摸索了。当然了,你也可以直接问你的 openclaw。

哈喽,大家好,欢迎收听我们的播客,然后今天我们要聊的呢,是这个本地部署 open log 的 一些让人哭笑不得的经历啊。对,整个这个过程当中啊,会遇到各种各样的问题,包括他的这个使用体验上,也会有很多让人抓狂的地方啊,最后我们也会反思一下,到底值不值得花这么多精力去做这件事情。是没错,对,这个也是很多朋友都 头疼的一个问题啊,那我们就直接开始今天的分享吧。咱们先来讲第一大块啊,就是这个部署的过程啊,问题频发,困难重重啊。第一个问题啊,就来了, 本地部署 openclive 最容易踩的坑都有哪些?其实就是这个呃,环境依赖这块吧,就很容易出错,比如说你这个 note gs 不是 最新的, 然后或者说你这个 get 没有装啊,这个是最常见的,就直接装不上,或者说启动就报错,嗯,还有就是,嗯,它这个有些 npm 的 包啊,它是要去国外的园去下的, 所以你这个网络如果不好的话,它经常就是下一半卡住了,这是很折腾人。对,没错没错,而且就是呃安装路径啊,不能有中文,然后你的这个系统的权限啊不够,都会导致它写文件失败。 还有就是这个端口占用啊,这个也是经常会碰到的,就是你这个本地有其他的服务在用这个端口,包括你这个,呃,有的时候这个配置文件里面的这个模式啊,你没改 它就会导致你这个服务起来了,但是你就是连不上,就你会很抓狂,那就是说,呃,如果我们在本地部署 open club 碰到了这些麻烦,我们通常可以怎么来解决呢?其实你要做的事情就是首先保证你的这个 node js 和 git 都是装好的,然后版本是对的,网络如果不好的话,你就换一个国内的镜像源, 你的这个安装路径啊,不要有中文,包括你的这个系统的权限啊,要给够这些步骤听下来就已经很容易出错了,没错没错,然后就是呃端口冲突的话,你就杀掉那个进程,或者是你换一个端口,还有就是这个配置文件里面的这个模式啊,你要改成 logo, 如果你是在 虚拟机或者是说这个容器里面的话,你还要去设置一些缓存量,还有就是如果你这个系统内存不够的话,你还得去增加一些 swap 空间, 就整个这个过程就是非常的折腾,而且你要对这个系统底层有一些了解,你觉得就对于普通用户来讲,本地部署 openclog 会是一个什么样的体验?就我觉得呃,虽然官方说的是非常的简单,一键就可以搞定, 但是其实在实际操作的过程当中,你会发现有很多环境的依赖啊,包括网络啊,包括权限啊等等的一些问题,都会让你,特别是对于新手来讲就是寸步难行,你可能要去查很多资料,然后要不断的去尝试才能够最终成功, 所以整个这个过程对技术还是有一定的门槛的,所以这个也是大家在动手之前要有心理准备的。我们来聊一聊本地运行的时候,大家最关心的一个问题啊,就是 openclog 到底在哪些方面会让你觉得慢或者说不流畅,就是它其实在处理一些简单的请求的时候啊,有的时候都要等个几秒, 然后如果你要是用它自带的那个 openclog 去连你本地的模型的话,可能要慢个十几倍,就你都可以去喝杯茶了,它还在那转,这听着已经让人很崩溃了。更糟糕的是,如果你这个任务稍微复杂一点,它就很容易出现这种无响应或者直接崩溃,然后你只能重启,有的时候你甚至 你跟他对话的这个上下文他都给你丢了,你就很抓狂。然后呢,就是大家还会觉得这个 openclaw 还有哪些地方会觉得,呃用起来会觉得还不如其他的一些 ai 顺手呢? 嗯,其实他在理解一些自然语言的指令上面,还是跟那些主流的云端的 ai 还是有一些差距的,就他经常会 误解你给他的一些稍微复杂一点的要求,然后就会导致他执行出错,或者说他就直接卡住了,就很影响体验。而且他就是这个呃多步骤的任务,他经常会掉链子, 然后他这个自带的这个技能啊,和这个国内的一些主流的软件的集成也不是很好,再加上他这个中文的提示啊什么的也不全, 所以就导致就是你在实际使用的时候就会觉得,嗯,远没有那些成熟的 ai 那 么省心。哎,那这个东西, opencloud 在 花钱这件事情上面,在资源消耗这件事情上面,会给你带来哪些意想不到的麻烦呢?哦,这个你可能想象不到,就是它,因为它是要跟这个大模型的 api 进行频繁的交互, 他这个 token 用的特别快,对,有的时候你可能做一个很简单的自动化的任务,他可能要比你直接用这个 api 要多花几十倍的钱,而且他这个账单是你根本就摸不着头脑,你根本不知道他怎么花的。就有的时候可能几天时间就上千元的这种 token 就 没有了, 但是比打车还贵。对啊,而且它就是呃官方推荐,你最好是要有十六 g 内存和独立显卡,所以如果你的电脑配置不够的话,它会更卡。然后你要是用这个本地模型的话,还得额外折腾,所以这个 整体的这个硬件和这个 a p i 的 开销都不低,所以它绝对不是说像它看起来那么免费。然后咱们来聊第三部分啊,就是这个反思总结,成本高昂,按需选择。 对,呃,本地部署 openclog 到底要花哪些钱?本地的话就是你如果是用自己家的电脑的话,那你就不用花这个钱了。但是如果你想要一直开着的话,你可能就要买一个这种低中号的小主机,那可能就是几百到几千块钱不等。 然后你的这个硬件如果要升级的话,可能也要另外再花钱。你这个东西一直开着常年开着的话,电费其实也是挺吓人的,一个月可能二三十块钱,也有可能五十块钱。除了这些看得见的花销呢?还有什么是容易被忽略?就是模型的调用啊,这个是一个大坑。就是你如果是用 呃主流的这些 a p i 的 话,那你肯定就是用多少花多少,而且它可能呃自动化用的 tokens 要比你正常的聊天要多很多。然后如果你是用本地的模型的话,你就会比较吃你的这个硬件的配置,你就会 很慢。如果你想要多个人一起用,或者是说想要呃这个专业一点的话,那你还要买一些高级的插件啊,或者是说请人来帮你定制啊,那这个都是要另外再花钱的。而且这个长期的维护啊,包括你的时间精力,其实也都是 不能小看的,尤其是企业的话,你还要专门配一个人来管这个事情,那这个就不是说小数目了。对,那如果说咱们就是说不同的需求的人,怎么去挑适合自己的 open class 的 部署的方式呢?如果说你只是想试试,或者说你是一个学生党, 那我觉得你就用自己的电脑配上这个免费的 api 和这个本地的模型就完全 ok。 对, 就是你基本不花钱 就可以体验到这个主要的功能。那如果说再往上一点的需求呢?如果你是要长期用,然后又很看重这个隐私的,那你可以去买一个这种低功耗的小主机,专门来跑它,那这样的话你可能每个月就是几十块钱的这样的一个开销。 那如果你是那种技术不太好的,那你就直接上云,对,直接上云的话,你可能一年就是几百块钱就可以解决了。 ok, 那 如果你是那种企业级的,有这种很高的安全性的要求,那你就干脆去本地的服务器,或者说你自己搭一个集群, 那这样的话,你可能就是一次性投入比较大,但是你后续的这个维护啊,包括你的这个啊,病发啊,都是非常非常好的, ok, 对, 所以就是说,呃,选择什么样的方式,还是要结合自己的设计需求来,你觉得在部署 openclaw 的 时候,有哪些比较实用的可以帮大家省钱的一些小窍门?嗯, 其实有几个方法还挺实用的,比如说你用这个云服务器的话,你可以省很多钱。然后还有就是说你这个模型的话,你可以选一些比较 性价比高的模型,你可以根据你的任务的需求在不同的场景下面去切换,你也可以去设置这个 a p i 的 这个支出的上限,防止说你一下子花太多钱。再就是说你如果是长期用的话, 你可能这个混合的部署方式会帮你既保证速度又帮你省钱, ok, 对, 那就是说,呃,你结合自己的需求去选一个最适合你的方案才是真的省心又划算。屌到,这其实就是每个人的需求和技术背景不一样嘛。对,那你在本地部署这个 ai 的 时候,就更需要 结合自己的实际情况,多借鉴一下别人的经验,然后冷静的去权衡一下这个投入和产出。嗯,今天的分享就到这里了啊,感谢大家的收听,咱们下期再见,拜拜!拜拜!

来了观众老爷们,因为有朋友私信问自己的龙虾,操作起来时会提示有无权限的问题,本期就给大家说一下如何解决这种毛病。出现这个的原因是因为原版的 open call 在 三月某次更新后,改写了我们默认的配置文件, 有三种方法可以解决这一问题,第一种,在和龙虾对话时直接发送这一命令。 第二种,在龙虾的工作空间里找到 opencall 点 jason 这个文件,一般来说,默认的文件是在这个位置,可以直接用记事本的方式打开,但这里建议大家去下载一个免费的代码编辑器,以代码编辑器的方式打开最好。 打开后在这里面找到初次的代码,看一下后面有没有一个下层代码颇发,有的话它后面应该是 message。 我 们把这一串代码给改成复,改完后保存,然后回到 opencall 里刷新一下权限,应该就能正常起用了。 第三种方法就是直接不管这个原版的 open 口,我们需使用,无需部署,也没这些杂七杂八问题的涌动虾,直接下载安装就能正常使用了。好了,以上是本期全部内容了,大家快去试试吧!

全网都在养小龙虾,但一个问题就吃掉十万透坑,这你受得了?现在大家养虾的痛点根本就不是会不会用,而是云端大模型加本地龙虾,堪称透坑黑洞。长期成本呢,直接拉满数据上传,还存在泄露风险。如果用普通电脑完全本地部署,配置不够,连大魔仙都跑不起来。 龙虾呢,也是个空壳,只有性能极强的工作站才能满足本地龙虾自由。比如中科可控 w 五零 p, 它采用双路的国产 c 八六处理器,加一 tb 超大内存,因此可以无障碍的本地部署 oppo 可乐和运行大模型,实现龙虾本地流畅使用。 核心优势就是一 tb 超大内存,可以全量加载七十 b 甚至一百 b 参数之上的 ai 打磨型,保证推理精度。也可以作为算力缓冲值,把视频影视素材、大型工程图纸、海量科学计算数据集等全量缓存,提高工作流速度,彻底打破内存瓶颈。 光有一 t p 内存还不够啊。双度国产 c 八六, cpu 的 高算力和多线层也是本地闭环的核心保障。在实际的应用中, w 五零 p 一 托强性能加全量本地打模型,厄本克劳能真正的发挥出该有的能力。基础性能上,使用厄本克劳解析四 k 素材,加载 g b g 工程文件, w 五零 p 速度是普通设备的数倍, 而且只要给他下一条命令,他就能自动完成四 k 素材解析,批量剪辑、添加转场字幕、导出视频并自动发布的全流程,不用我手动切软件等进度,多线层和全程丝滑不卡, 只要大模型够强,小龙虾的确能自己完成很多复杂的工作流程,即使多认真的并行,同时处理三组任务也游刃有余。 而且呢,全程本地闭环,不用碰云南 e p i, 至少节省百分之八十的投坑成本,根本没有投坑焦虑。而且本地养虾数据安全永远是底线, w 零 p 自带原生的安全架构,硬件及数据加密可信启动,全线分级管控全配齐。不管是本地大模型的核心参数、龙虾处理的涉密资料、管控素材,还是科研领域的保密数据,所 所有操作数据全称在 w 五零 p 本地闭环流转,不上云、不外出,彻底杜绝数据泄露和非法篡改,就算是断网、内网等涉密环境也能正常的运行,合规安全。说到底, w 五零 p 的 核心价值就是把本地大冒险剥熟,加龙虾深度运行、专业场景落地,三者完美融合,它 不只是普通的随心工作站,更只能让本地养虾真正落地的硬核底座、硬件及安全守护所有数据,就让龙虾摆脱对云端大模型的依赖,不再是空壳,又能零投,更成本完成各类专业工作,流畅运行,高效协通,硬核安全。不管是个人深度养虾,还是企业及专业部署,综合可控, w 五零 p 都是可靠的一站式解决方案。

你是不是费了半天劲安好龙虾,结果发现根本用不了。那这个问题呢,是在部署完成后经常发生的,显示 http 四零一认证无效,很多对计算机零基础的人根本无从下手。不要慌,今天我们来解决一下这个 问题。总的来说啊,就是模型 api 跟部署时编辑的不一样,你可以理解为钥匙有了,锁有了,但它不对应,我们换个锁就可以了。 ok, 打开我们电脑终端,输入 open color on board, 然后接下来两步操作基本上都是一样的,最重要是我们选择自己大模型的过程中,我这边用的是 kimi 二点五,所以你不能照抄,先搞清楚你自己用什么模型,很多就是因为无脑跟教程,所以才会出错脑子呢。 接下来就是选择和输入我们的 api k, 我 这边是已经提升保存好了,这个你们要自己找,你自己的 api k 是 什么啊?不要找超,然后我们的 api k 你 要自己保护好自己的隐秘性,不然是有一定风险程度的。 好,那么基本上我们已经解决完成了啊,后面接下来操作可以都说是一样的,你可以跟着来。 ok, 输入完指令之后,我们跳到 open call 界面,就可以发现我们已经可以跟他实现沟通了,他已经能够用了。