我真的服了,我现在用的是千万三点五四 b 的 模型,我问他你叫什么?你看已经快八分钟了,还没有回复我,太离谱了。这个本地模型, 我们来看看苹果的反应速度啊, 之前在 windows 上面我打一个命令或者跟他聊个天啊,三五分钟才给我回一句话啊,现在我们可以看一下,他马上就能够反应过来,是吧?我这个是本地模型啊,可不是在线的模型, 而且我的苹,我的苹果配置是最丐版的 m, 一 八加二五六最低配置了,然后运行现在的模型是千万三点五二 b, 然后是 q 六的啊,看看这个反应,大家觉得怎么样?
粉丝219获赞1573

家人们谁懂啊?我的 openclaw 龙虾终于装好了,本以为能本地爽玩 ai, 结果测个最简单的,你好 直接给我整破房了。先上结论,配置没问题,模型没问题,但 openclaw 调用本地模型,性能损耗严重到离谱。我的环境,本地模型 q n 三比零点六 b i 五八二五零 u 十六 g 内存 wsl 二五零 u 十六 g 内存 wsl 网关。 两组数据一对比,血压直接上来了,直连欧莱玛跑模型,八点五秒就完整恢复模型本身完全正常。 同样的模型走 openclaw 网关整整一分五十五秒才返回结束,性能慢了十三倍,我都能泡好一碗面再回来。等回复了,我换了零点五 b 到三 b, 各种模型只要过 openclaw 就 卡成老年机。问题根本不在模型,就在 openclaw 网关层, 流势响应有巨大缓冲延迟。别怀疑自己,你没配错,是他在卡你 buff。 听我一句劝, 别死磕了,直接切云端模型,阿里云千问 plus 响应稳定一到两秒, a p i m 要配好一行命令搞定,瞬间从折磨模式回到科技本该有的流畅。本地模型优化, 后面有空再公关,现在先让自己用的舒服。如果你也在折腾 openclaw 本地模型,别内耗,不是你的问题,是网关的问题。最后补一句, deepsea 都在劝我别折腾了,听劝。解决方案很简单,上云端模型体验直接起飞,关注我,带你少踩这些技术大坑!

哈喽,我是严校长,之前几期视频去讲了这个本尼大模型吧,然后很多人就觉得这个本尼大模型在速度上肯定是非常的差的。然后这期视频主要给大家实战演练一下啊,只见我们用录屏的形式看一下。呃,我最近发现这个模型啊,就是刚出的千万三点五三十五 b a 三 b 这个模型, 你看我用的是这个八位的一个量化版本,但这个版本其实跟我们线上去使用的话,差别并不是很大,特别在高峰时期,他不会被压缩。 如果你用线上模型 open color 想省钱不用的话没有意义,你训练的东西没有用,然后你大量使用的话,你的这个开销,特别是多 a 镜头的这种场景,你的成本是相对比较高的。所以说如果你有重度的 open color 依赖的话,可以尝试一下和我一样用麦克斯丢丢 去做本地模型的部署,可以看到我这台机器是二百五十六 gb 的 版本,这个机器目前跑这个东西都是小儿科啊,你看就占用了六十。然后我们来看一下这个本地模型到底速度怎么样, 我们先做个简单的测试啊,比如说你可以做什么?大家重点是关注他这个回复的这个速度,以及这一块他思考的这个时间啊,可以看到这个速度基本上是秒出的呀,可能现在赛文比较小啊,可以看现在能跑到四十七啊,可以跑到四十七 啊,然后这个是八位的啊,这个八位如果我换到四位,我们常用的这个版本的话,可能速能跑到五十多啊。比如说我们来点复杂的,比如说 天气怎么样?因为这个涉及到要一个联网搜搜索嘛,他会在网上去搜啊,他的步骤可能你看现在已经操作了两步了,第三步了啊, ok, 把他读到了我当前地址啊,然后天气都带出来了啊。比如说我再问一下别的地区, 因为这个就要考虑到一次两次的上下文的连连接,而不是简单的常用的这种。呃,人工智能进行一个单次对话,你看他联想到了我后面发的这个深圳的话,他能联想到这个天气的信息。然后我们接着来去 啊,问一个复杂啊,比如说推荐一下二零二五年的高分韩剧啊,这个其实是有点难度的啊,首先他要在网上去扒资源啊,找到有用的信息,然后进行整理。 这个步骤对于本尼达模型其实压力算是很大的,你看一下我们这个目前新出的纤维三点五,在这个本尼达模型上的效果怎么样?可以看到这个速度 其实有很多人应该用过线上的版本,你们又不觉得我这个速度并没有很慢是不是?而且我这个是没有弄虚作假了,这些片子可以看到都是都是新出的,而且刚刚的思考过程都是看得见的。 然后我们来反过来推一下,你看现在上下文是有一定下降的啊,跑到四十五,但是四十五点七 t 肯啊,这个叫 t g 头肯,就是吐字的,这个速度其实是已经很合理了,我们再继续给他一点有难度的啊,比如说这个片子啊,我直接跟他说嘛, 这个具体讲什么?好看吗?啊?你继续进行二次追问这样一个测试方法是很容易测出一个模型以及对于 open klo 的 适应能力,可以看到速度依然可以很快的出来。 然后我们再继续增加难度,比如说这个片子一出来,我觉得你看他,他甚至给我一个建议啊,就是他可以帮我搜磁力链接,这个就很强啊。我说,呃,找找四 k 的 吧 啊,其实这个又又叠加个难度,首先上下文的长度变长了,哎,再加上他对互联网解锁的这种能力就更强了。因为我们用的是巴巴比特这个电话版本吗?如果试比特可能会弱一点,但是他只影响他试错的这种 几率吧。可以看到这种他已经不断的在尝试了,如果你是精度比较低的,他可能试错的次数会多一点,但是基本上都能出结果,而且可以看到我现在的这个显存。 嗯,这点三条文基本上不会有开销。比如说你预算有限的话,你可以入 m 三要求的这个九十六 gb 现存的这个版本,如果你呃预算 大概在两万左右的话,也可以买六十四 gb 的 m 二要求的话,你跑四 b 的 量化体也不会差很多 啊。你看这个,这个他现在就是遇到了问题啊,你看,呃,就说在某个网站上没有找到这个资源 啊,这就是现在本地模型,我目前来测试就是很容易出问题的一个点,但是这个问题我觉得是可以解决的,因为通过你去优化它的 skill, 它可以解决更精准的一些,因为我现在是完全让它呃重新尝试,相当于没有没有教学的部分啊,让它自己去尝试, 那后期你就可以完全用自然语言去沟通,然后他会更了解你的习惯,写出更合适的 skill 啊。这些视频主要是给大家讲,就是关于本地大模型啊,以及这些使用体验上的速率以及性能的问题,可以看到一些正常使用都没问题。 我们再做点哪一点呢?比如说打开浏览器,进入小红书,搜索 back 丢丢,其实这个是有点难度的啊,就哪怕很多线上模型,我们去跑浏览器的自动化,其实都呃不是那么容易成功的。而加加我们现在已经有一些上下文的堆积了,然后我在中间突然插入了一个和上下文完全没关系的 啊,内容其实对他来说是有一定的难度的,可以看到他第一次试错了,他第一次直接用这个,呃,直接去抓了呀,他就是很简单,他打不开浏览器,但是他用了一个其他的方式帮我推出来了这个目前我想找到的东西,也就说他又找了一个别的解决方案啊,但是千万三点五,这个本身是一个小模型啊, 如果我们后期去切到这个 mini max, 你 看它这个,嗯,空间都占用一百三十八,实际跑起来大概占一百八十 gb 的 现存。比如说如果你预算更高一点,大概五万的预算的话,你完全可以入这个二,像我一样二百五十六 gb 的 这个 m 三要求啊,就跑这个 mini max, 像这些什么浏览器啊,以及呃下电影啊这种小科的问题吧,但是它的速度可能就跑不到五十头克,每秒大概有三十头克,但是日常使用完全够了。 ok, 那 下期视频我们会继续分享如何?呃,更高效地使用本地这个大模型,来去跑一些 open klo 的 一些复杂任务。

没想到啊,距离我制作 open klo 的 详细部署教程已经过去了一个多月,这玩意现在居然火成这个样子,甚至某鱼上都冒出了一堆远程部署的这个付费服务,动不动就收你们几百块钱。我在我那期视频发布之后呢,有的观众也在吐槽模型费用太贵了,那有什么办法能够不花这个模型钱呢? 有的兄弟们,有的本期视频的主题就手把手带你们部署一个属于你自己的大模型,并教会你如何在 open klo 中切换大模型的大模型啊! 不管你是使用像欧拉玛呀还是 l m studio 还是 v o i m 等,都能很方便的接入,从而实现完全离线免费无限制用的 open 可乐。好废话不多说啊,记得先点赞收藏加关注。我们现在开始 我整个教程会分成两大步啊,先搞定本地的大模型部署,再讲欧布可乐的对接配置。但如果你已经部署了本地的大模型,可以直接拖动进度条是吧?跳到对接部分即可。第一步,咱们先搞定本地大模型的部署啊,我这边推荐没有经验的同学优先使用欧拉玛,他几乎是目前全网最简单的本地大模型部署工具,没有之一 啊,支持一键部署市面上绝大多数的一些开源模型啊。然后这里插一水,如果你想要工业级大模型的推理框架 v l l m 的 教程,可以在弹幕当中扣个一人多的话,我后续考虑出个教程。 首先打开浏览器啊,输入欧拉玛的官方地址,我放评论区了,就直接复制在那些就可以。进来之后呢,你是什么系统就点对应的下载是吧? windows 点 windows 麦个点麦个, 下载完成之后呢,麦个就跟安装其他软件一样是吧?然后 windows 也是不断的下一步即可。 好,现在安装完欧拉玛后呢,最关键的一步就是下载并启动本地的大模型。这里要跟大家说清楚,要驱动 open close 这样的 a 卷的系统, 必须选指令遵循度强,上下文长度多的模型,简单来说就是听得懂指挥是吧?记得住你的命令的这种模型。而我这边测试了好几个模型,比较推荐用的就是这个 q 三点五,它有多个尺寸的版本,通常模型越大则性能越强,大家根据自己电脑的显存大小来选就可以了, 最好选不要超过你显存大小容量的模型,也就是 size。 这里我这为了快速演示,我这就使用这个零点八 b 这个小模型展示啊。如果你们有测试更好用的模型,也可以在评论区跟大家分享一下。 确定好模型之后呢,点进去之后,可以直接看到下载模型的指令,此时我们需要打开终端或者这个 power 键麦克打开终端, windows 打开 power 键,然后粘贴这串命令,然后按回车,它会自动下载模型并启动,全程不用你管。经过一段时间下载后呢,它会自动进入对话界面,你可以直接在这跟本地大模型对话,比如说问他,你好。 哎,到这里恭喜你,你已经成功完成了本地大模型的部署。接下来就是将其接入我们的 openclo 中了啊。这里先提一嘴,如果你的电脑还没安装 openclo, 可以 直接去我之前的其零基础啊部署教程,几分钟就能安装好。我这就不重复讲安装步骤了, 我们先讲刚装好的欧拉玛怎么对接。第一步,修改模型的上下文长度。因为欧拉玛本身为了极致的轻量化,如果你电脑显存不大的话,他默认模型的上下文就给你四 k, 你 就这样给 open color 使用的话,你说完这句话他就能忘了上一句。所以我建议把模型的这个上下文设置为至少六十四 k 以上吧。 我们打开这个欧拉玛的软件,然后点击设置,就在这里设置上下文,然后把这个拖到六十四 k 就 可以了。第二步,去 open clone 里做这个配置对接,还是在终端输入这个 open clone config, 进入 open clone 的 配置菜单,然后回车啊配置本地文件,选择 models。 这里呢是 opencolor 给你预设的一些云端模型配置,像什么啊, gpt 啊, jimmy 等等。我们要选择最下方的 custom provide 的 选项,这个呢是自定义模型选项,可以自定义 opencolor 从什么地址去调用模型的服务。而我们这里默认就是幺二七点零点零点幺,这个幺幺四三四端口的 我们不需要修改。然后这里的幺二七点零点零点幺呢,表示从你本地获取。然后这里的幺幺四三四呢,是欧拉玛的这个端口服务,然后再回车输入密钥,这个地方呢可以随便填,因为这是你本地的服务。 然后这里询问我们要接入什么标准的端点协议,我们也默认回车即可。最关键的来了这里,让输入模型的 id, 我 们在这里输入你刚刚下载的模型名称,然后这个样子就是教验,通过回车啊,后面的这些都不用,输入,回车即可。 然后最后选择最下方的这个 ctrl 钮,完成模型的切换。现在你可以回到 openclip 的 控制面板当中,点击代理,看到这个 primary model 是 不是你刚刚选择的模型了。至此,你已经成功在 openclip 当中揭露了本地的大模型。 如果你使用的是 l m studio 或者 v l m 等模型推理框架,步骤跟刚刚几乎没什么差别,只需要将这里的电路地址修改为你所对应架构开放出来的端口即可。比如说像这个 l m studio, 它默认的端口就是一二三四,你这里就写啊,幺二七点零点零点幺一二三四就可以了, 然后 vm 呢则是八千,然后你就把这个端口修改成八千即可。后面的步骤和欧拉玛一模一样是不是?嘎嘎简单?所以我们来 open call 聊天框简单的测试一下,就说帮我查一下北京明天的天气, 哎,如果你的任务比较简单,那是用本地大模型来驱动这个 open call 还是非常 nice 的。 最后本期视频用的所有命令和部署流程我都整理好了,放在这个评论区,大家点赞关注智取即可。 然后上期的这个部署教程和 open klo 的 这个 skill 制作教程我都会放到 open klo 的 合集里头,后续呢也还会更新 open klo 的 其他玩法,不想错过的朋友可以点个收藏和关注啊,咱们下期视频见!

嗨,大家好,在本视频中我们将向您展示如何在 windows 十一上安装 openclaw, 以及如何让 openclaw 使用本地模型,以便您可以完全免费使用 openclaw。 接下来让我们开始 首先在 bios 中设置性能模式,让机器发挥最佳性能,并且把显存设置为九十六 gb。 更高的固定显存分配有助于提高 gpu 密集型工作覆盖焊本地推理的稳定性。 将 windows 电源模式设置为最佳性能以及永不睡眠,避免运行时掉线。 将您的 imd 显卡驱动程序更新至二六点二点二版本,然后重启电脑,确保 gpu 计算时获得最佳性能。 opencore 强烈建议 windows 用户在 wsl 下运行,以获得更一致的 linux 运行时环境。接下来我们将安装 wsl 函数。 现在我们使用官方安装脚本安装 open claw, 这是推荐的方法。 然后运行 on board 的 命令启动并配置 open claw。 这里我们先不配置本地模型, 至此基本安装完成。接下来开始配置本地模型。在 windows 系统上,我们建议安装 lm studio 进行模型管理和下载,然后启动本地服务器,通常是本地 ip 一 千两百三十四为一。 最后将 open curl 连接到本地模型服务器。 如果遇到模型上下文窗口过小错误,请修改 open curl。 四文件中的以下设置, context window 二十五万六千, max tokens 两万,然后重启网关。 最后测试一下本地对话,看工具调用是否正常。 i love you!

噔噔噔噔,这个就是我给家里部署的麦克斯六六本地大模型服务器,用来跑 open klo 是 一个什么样的效果呢?我这几天研究的很疯狂,然后把我的结论告诉。首先我大概介绍一下这两台机器, 下面的这台机器是我的老机器三十二 gb 的 m 一 max, 上面的这台机器是这个最新的 m 三要求的二百五十六 gb, 因为我觉得二百五十 gb 跑绝大多数大模型完全没问题。我给你看一下我大概跑了一些什么模型,可以看到我有各种容量的,各种大小的, 各种版本的大模型,其实我目前用的最多的就是这个 mini max 的。 然后如果追求速度的话,那这个千万的这个最新的三点五是非常不错的, 同时扣的模型也是非常不错的。那实际它真正运用这个本地大模型和我们线上模型在体验上有什么区别的啊?现在模型大家都体验过,我就不用多说了,那本地模型它非常的安全,你完全你所有的内容都不会处在, 完全在你本地跑,那很多人就会担心了,那我本地这个模型去跑的话,速度会不会非常慢?然后说一句话,大概要个几分钟?并不是的,我给大家演示一下,我们可以分三个问题来测试,比如说第一个问他可以做什么, 看一下啊他的反应,你看他开始思考了,已经开始输出了,看到他可以做很多很多很多事情,但我现在是用电脑操作,方便大家看未来使用的话,其实都是用手机 imessage 信息或者是微信直接让他回复,这样的话你不用盯着这样的屏幕,我现在只是为了给大家去展示, 你看他可以做很多事情,反应基本上跟线上是一样的。那比如说我让他推荐一下二零二五年的高分韩剧,因为这个问题就比较复杂了,他不能基于他的知识库了,他必须联网去搜索看一下这边模型已经开始在思考了。他去 网上去搜索的二零二五年的高分韩剧,然后是在豆瓣上去搜索的,说明哪怕我们这个是用的本地服务器,他依然具有网络的功能,同时你的这些内容只包含你。 呃,这个问的问题,但是实际你的真实数据是不会被传到网上的,比如说相对比较安全。如果你用网上的线上 a p s。 用 open club, 我 觉得毫无价值,因为你在出卖你的隐私。既然我们用到了 open club, 你 就必须要保证你的内容绝对的安全。现在是四点零六分, 可以看到是四点零六分,我这个问题是四点零五分问的,一分钟就可以得到一个被他优化过的一个啊,回复可以看到非常的细, 他也不是简单的随便给你说一下,那比如说这个片子啊,你看我后一个问题,比如说下载第一个到我的迅雷,其实这个就涉及到一个工具调用,就不是简单的一个大模型的一个对话,他是真正操作我的电脑啊,而且我的迅雷之前告诉他是在我的纳斯里面的, 因为这个操作就相当于复杂了,他要在我的 nas 里面去找迅雷,同时帮我找刚刚的第一个 这个电影的内容种子资源找了之后还得迅雷去下载,大家可以记录一下时间啊,我发过去是四点零六分,看一下他大概要多久处理完这个任务, 目前他已经找到了这个资源的名字。 ok, 可以 看到他这个片子他现在已经添加成功了,而且进度是百分之百的。问题是因为我之前可能测试已经下过啊, 现在的时间大概是你看过去的两到三分钟,他通过这个需求帮我去找电影,同时帮我下载成功,然后帮我监测进度,帮我查现在的进度, 整个流程大概三分钟可以搞定,线上我测试了大概是两分钟可以搞定,这个数据差距其实并不大,你要知道线上像这样的一个操作,你可能呃一个人民币就没有了,但是如果是本地,你可以无纸巾的使用,他上十年都没有任何问题, 而且他可以一直在后台给你做这么多事情。所以说我觉得如果你在乎隐私,又喜欢 open 这种没有纸巾的偷看的使用,那本地部署大模型就是最终的解决方案。 刚刚给大家分享完的就是我这个顶配机器的使用体验,那下面的这台机器就是我三十二 gb 的 体验,下一期给大家分享。如果我没有三十二 gb 的 跑小模型,速度又怎么样了?

三千元到十万元大模型家用 pc 硬件方案全解析?上一期社长介绍了纹身视频模型的硬件方案,里边讲了企业或专业工作室的纹身视频模型硬件应该配到什么程度。有不少朋友在评论区留言说,希望社长能够出一期大模型的家用消费级硬件专题, 那么这一期就满足大家专门讲一讲大模型家用消费级的硬件方案。最近 oppo colo 很 火,那什么样的配置能够畅玩 oppo colo 呢?在这一期也有答案。既然是家用消费级方案,也就是个人 pc 方案, 那么 e 五神轿、特斯拉、 v 一 百为代表的老旧服务器显卡就不在今天这一期的讨论范围内了。 ar max、 三九五、 mac mini 的 整机方案由于纹身视频能力弱,也暂时排除在本期之外, 因为毕竟作为家用消费级主机,必然是要兼顾多种需求的,跑跑大模型和智能体,生成一下 ai 视频,做做生产力工作,没事还能打打游戏,甚至新出的三 a 游戏也能尝尝咸淡,这就是本期硬件选型的基本要求。 所以我会尽量选择个人 pc 的 消费级硬件来给大家搭配方案,最低花费三千元,最高花费十万,大家可以根据自己的预算和实际需求,综合考虑自己的硬件配置。 在开始之前呢,先给大家预告一下,在三月十五号,我们会开一期 ar 大 模型私有化部署的小白培训,具体的培训内容在这一期结尾会有展开说明,有兴趣的朋友一定要看到最后。 我们知道,现在的大模型在日常应用上已经分成了上下文推理模型、纹身图或纹身视频模型,这两类不同的模型对于硬件的要求是不一样的,对硬件适应性最广的是上下文推理模型, 它对扩大的要求最低,只要显存达到一定规模,哪怕是好几年前的老旧显卡也仍然可以胜任,这就给了我们家用消费级配置很大的选配空间。 这里要注意的就是如何判断某一推理模型能不能部署,主要是看显卡的显存能不能大于模型的参数,比如三十 b 硬特八的模型对应的就是三百亿参数。按硬特八量化规则,加载到显卡里所需要的显存大约是三十七点五 g, 加上要预留 k v 缓存激活值缓冲区, 因此要运行这个大模型,我们一般是按照模型量化后显存占用的一点二倍计算。那三十币 ink 八模型就需要至少四十五 g 显存的显卡,但众所周知,内存是可以分担显卡的上下文推理模型的加载任务的,比如上面讲到的三十币 ink 八的大模型, 需要四十五 g 的 显存来流畅运行,如果显卡只有十二 g, 剩下的三十三 g 可以 加载到内存中去运行。 当然,因为内存的贷宽远远小于显存的贷宽,如果大部分都让内存来跑的话, tokins 的 速度会大打折扣,所以显存尽量还是要大一些。但对于个人来说,对于效率的要求并没有企业这么高,我相信大多数人是可以接受的,毕竟在性能和成本方面总要找到一个平衡。 纹身视频模型的门槛就要高的多了,他没办法像上下文推理模型那样,显存不够内存来凑,模型必须要全部加载到显卡里。所以如果朋友们想尝试纹身视频模型的话,就要至少满足两条硬杠杠,一是显卡要有 touchcore 支持,二是显卡显存要至少达到十二 g。 为什么呢?我们以 y 二点二为例, y 二点二 t r v 五 b 轻量版模型是一款小型可部署的开源纹身视频模型, 十二 g 以下的显存加载不了这个模型,十二 g 正好能加载,而且能够跑起来。因此呢,显存越大,扩大核心越多,显存待宽越高,视频生成的清晰度、速度、时长就相对更有优势。 于是,基于上面社长针对这两个模型的分析,我们就得出了个人 pc 如果想要同时玩转这两种模型的话,显存要大于等于十二 g。 为保证能够运行纹身视频模型,支持 touchco 的 可选型号为英伟达 rtx 架构的二零系、三零系、四零系、五零系显卡。这样我们就可以定义以下五档家用消费级 pc 的 预算方案了。 第一档,三千元。这一档的核心定位是新手尝鲜,可以进行基础大模型体验加轻度办公加普通网游。具体的配置如下,这套配置的大模型能力是这样的。 第二档,一万元,这一档的核心定位是家用主流,支持中型大模型流畅运行加高效生产地加中高画质三 a。 具体的配置如下, 这里社长推荐了四款显卡,从这一档开始, open club 就 可以畅玩了。下面就贴出这四款显卡结合 open club 加千万最新模型的畅玩区间,供朋友们参考。在这个表格里可以看到,三零九零二十四 g 显卡的性价比相对较高,畅玩范围相对更广。 这四款显卡都能支持纹身视频模型, rtx 五零六零 ti 十六 g 可以 输出七二零 p 二十到三十秒视频片段。 rtx 三零九零二十四 g 可以 输出一零八零 p 六十秒视频片段, rtx 二零八零 ti 二十二 g 和 rtx 三零八零二十 g 可以 输出七二零 p 到一零八零 p 四十到五十秒的视频片段。 第三档,两万元。这一档的核心定位是高阶家用加轻度专业,支持中大型大模型流畅运行,加多模型同时运行,加四 k 游戏加四 k 剪辑、 3 d 渲染。核心配置如下, 这套配置拥有较高的实用性,几乎可以胜任绝大多数主流需求。他的大模型能力是这样的, 第三档说完,接下来的第四档和第五档就进入高端玩家档了,如果只是纯打游戏的话,完全用不到这么高的配置。社长建议大家压抑住所谓一步到位的冲动,先在中低配置上玩熟了,确实有需要了,再上高端配置也不迟。 第四档,五万元。这一档的核心定位是旗舰家用加准专业,支持大型大模型流畅运行,加模型微调加四 k 游戏加专业级生产力。核心配置如下,这套配置的大模型能力是这样的, 第五档,十万元,这一档的核心定位是顶级家用加专业级。社长在这一档破个例直接给他上了英伟达 pro 六千九十六 g 工作站显卡,让他可以支持全类型大模型加大型模型完整训练加四 k 或八 k, 游戏加专业创作,核心配置如下, 这套配置的大模型能力是这样的好,说到这里,五档家用消费级大模型硬件配置推荐就结束了。 最后说说小白模型部署培训的事。最近有不少粉丝朋友跟社长说想要部署大模型,但又不知道怎么开始学起,所以我们打算在三月十五号开一期培训来手把手教小白,零基础上手, 核心内容包含四个板块,一是大模型基础原理与适用场景。二是不同大模型的硬件精准选型。三是本地知识库问答、自动化办公等实用智能体搭建。四是欧门可乐安装配置与私有化部署,有需要的朋友可以联系我哈!

相信大家已经安装好了自己的 openclare, 但是你有没有想过你每一次的 openclare 的 使用都会消耗你的 tokyo, 这个 tokyo 的 话就是需要大家去花钱去买, 那有没有办法能够免费的使用 opencloud? 如果说你也想要免费使用 opencloud 安装 olemma 模型,那一定要点个关注,点个收藏,不然的话你下次就刷不到了。那我们进入正题,我们直接啊百度搜索一下 olemma, 然后在这个右上角位置点击下载, 这边的话选择自己电脑系统,然后点击一下,直接点下载就可以了。 ok, 下载好了之后,我们直接正常安装啊,就会进入到这个页面,然后右下角我们要选择一个模型,正常来说一般是选择这个 gpt 二十 b, 也可以选择千问,三点五千问。 ok, 我 们在这个位置选择好了之后,你发一个消息,你比如说我选一个,我没下载的,我发个一,你发一个消息之后,他就会开始自动下载这个模型。 好,我们直接进行下一步。欧莱玛下载好之后,我们直接通过这个运行安装向导重新把 openclock 跑一遍, 因为之前你们装过 deepseek 的 模型,然后这个配置处理的话,选择更新值, 在这个模型认证供应商这里选择 olemma, 本地本地本地,然后它会有一个模型 id, 例如 deepsea 杠 r 一 比八币,我们再打开你的 olemma, 看一下你的右下角, 就是把这个名字输入进去, 我们用的是这个二十币, 这个的话直接回车就可以了。 这个聊天通道的问题,因为之前已经跟大家讲过了,我们就直接挑过了, 我们把网关打开,等这个 opencloud 的 正常运行。 ok 啊,大家在运用这个 oemma 本地模型的时候,它是不需要花钱的,但是它是基于你电脑来去做的本地模型,那是什么意思呢?就是说它直接消耗的是你电脑的性能, 比如说我们在这个内存 gpu 直接消耗你的电脑性能,比如说你的电脑越好,那它运算速度就会越快,大家这么说能理解吗? 还有就是这个欧莱玛上面的模型,它对应的有一些,比如说它这个二十 b 的 模型,它是 比较推荐八到十六 g 的 这个显存的显卡,然后才去使用,然后有一些是呃,一百 二十币的支持二十四 g 或者三十六 g 的 显存的显卡才能去使用的,也就是说他直接消耗的是你电脑本身的性能。 ok, 如果说大家感兴趣的话,可以自己去装一下试试。

部署本地的 openclaw 已经可以剪视频了,大家都知道了吧, 这个让硅谷大佬每日一封的 openclaw 阿月,我呢也是拉到本地试了几天,现在就带大家把本地部署和接入飞书每一步都走明白。为了防止偶然性啊,我呢也是连续测试了四台电脑,确保每一步都可行,接下来你们只要跟着做就可以。点好关注收藏, 我这里依旧用的是 windows 系统来操作,因为 macos 系统呢,环境相对比较简单,不像 windows 这么复杂。首先呢,我们要确认好 windows 的 安装环境,安装的时候呢,全部都点 next, 一 直到完成即可,建议呢,不要去变更中间的安装路径。 呃,安装完成后呢,我们可以检查一下环境,我们在命令提示符的窗口输入这两个指令,如果输入指令后跳出版本号,那就说明安装已经成功了。这里提到的两个环境文件呢,我在文档里面也全部都准备好了。 好,接下来呢,我们就开始全区安装 oppo 卡使用管理员 c m d 指令输入,这个指令安装完毕后呢,再输入这一条指令, 好开始了。 ok, 这一步跳出来的呢是风险提示,我们直接选择 yes。 然后呢我们选择 quickstart, 这一步呢是选择大模型,我这里呢用的是千万,因为他是国内的,如果大家有惯用的呢,也可以自己进行勾选好,然后我们这里模型选择默认的即可。 之后呢会跳转到大模型的首页进行授权验证,大家验证通过就可以了。那通过后呢,这里也同样有一个选项,我们直接选第一个默认的模型。 ok, 下一步呢,这里可以看到很多的应用选项,这其实呢就是指令输入的终端,因为这些都是国外的,所以我们先不管,选最后一个,跳过,后面呢我会给大家介绍如何接入国内的飞书。 ok, 继续,这里会问你需要配置什么 skills? 呃,我们也跳过,没问题,因为这个不着急,后面都可以手动去配置的。 好,这个也不用管我们用不上,直接跳过。好,然后我们稍等一会,会自动弹出一个网页,然后你会发现这个网页是打不开的,没关系,我们这个时候呢,再运行一个 c m d 的 指令, 好,这就是欧奔 cloud 的 兑换框了,我们来尝试和他打个招呼, ok, 他 回复我了,那到这里呢,其实基本上就成功了,还是比较简单的啊。然后呢,我们再来尝试为大家接入一下飞书,很多小伙伴呢,在这一步呢,其实就被劝退了,因为怎么样都接入不了这里,大家看好我怎么操作。 首先呢,我们进入飞书的开放平台,我这里呢用的是个人版,我们来创建一个企业自建应用, 进到这个凭证与基础信息界面,把你的 app id 和密钥保存下来,这个很重要啊,后面会用到的。然后 我们添加一个机器人,再到权限管理这一步,为他添加一些权限。这里的权限列表呢,其实官方呢是有指导文件的,但是呢就藏的比较深,我呢也是给你们找出来,直接放到文档里面了,你们直接一键复制过来就 ok。 好,然后我们需要配置一下这个事件回调功能,在这里的订阅方式选择长链接这一步呢是必须的,而且是绕不开的,也是大家碰到卡点最多的一步,很多小伙伴呢在这里呢就是一直报错,好,不用担心,我呢,已经整理了一份非常长的傻瓜教程,大家直接照做就 ok 了。 然后选择以后呢,我们添加事件,然后添加搜索接收消息, ok, 然后我们就去点击创建应用,然后再发布就 ok 了。 好了,配置工作完成之后呢,我们就要开始给欧邦克劳接入飞速杀键了。由于 windows 的 系统环境问题呢,所以大家的电脑情况都不太一样,所以会出现不一样的报错问题。网上的很多视频呢,也没有把这个问题针对性的讲清楚,我自己呢也试了三到四台电脑来做尝试,都非常有挑战。 如果你手边也报错的话呢,不用担心,我这里想到了一个邪修的办法。好,那既然 oppo klo 可以 控制我的电脑,那为什么他不能自己安装飞出插件呢?我们来试试看吧,直接和他对话。呃,你自己安装一下飞出插件,然后呢,他就会开始疯狂的工作,并自行去验证安装环境和插件配置 啊。五分钟左右后呢,他就会告诉我,他工作完成了,需要我提供给到他飞出机器人的 app id 和密钥。这个呢,其实我们在上一步已经有了,我们直接复制给他,让他呢继续去工作。这里的工作过程当中呢,我们的机器人可能会下线几次,原因呢是他需要去重启网关, 如果呢,你感觉他下线太久的话呢,我们可以用 open cloud get away 这个指令重新把它呼出来。最后呢,他会要求你在飞车上和他对话进行测试,并为你排除最终的一些故障。 ok, 全部搞定,已经可以在飞车上正确回复我了,并且呢,刚才在外部的对话记录他也全部都记得, 呃,我们这里呢,再用手机给他发一条消息试试看。好,他也同样接受成功了。好了,这里欧本卡接入飞书的配置呢,就完全对接成功,基本上都是他自己完成的,我呢只是配合他提供了一些必要的信息, 妥妥的全能小助理。接下来我们来看看他能为我们做一些什么吧。比如呢,我现在想要订一张机票,我就让他帮我查询一下最便宜的航班,他立刻就给我列了具体的信息,包括航班号,价格以及其他的一些航班信息。不过这一步呢,是需要接入 api 的, 大家可以自行去网上找免费的接入就可以。 好,那现在过年了嘛,马上大家呢也会送礼嘛,那我就让他去浏览电商的页面。呃,不过这里呢,需要先安装一个 oppo club 官方的浏览器插件,我们直接从官方渠道进行安装就可以了。具体的步骤呢,已经放在文档里了,大家直接照做就可以。我让他给我打开。 ok, 成功,呃,然后我继续让他为我搜索燕窝。好,也成功了。 好,那我们现在在拿最近小伙伴在学习的 ai 的 线上作业丢给欧本克,看他能不能帮忙完成。 首先我们要让他找到作业的本地目录,并让他完成里面的题目。他立刻就找到了,并且迅速告诉我,完成了。啊,这速度还是真的蛮快的啊,但是呢,人呢,还是比较懒的。如果呢,你抄作业都不想抄啊?没事,直接让他把填完的东西返回给我。好,他已经做完了,我们来看看啊。 呃,代码呢?全部都完成了,不过呢,我也是看不懂啊。看懂的高手可以来说说他完成的这个准确率怎么样。 好了,那这次安装说明就先讲到这里了,关于 open cloud 的 更多能力,有时间呢我们可以再去测一下。好,那既然已经部署成功了,有兴趣的同学呢,也可以再去深度探索一下 啊。对了,现在呢,各大厂呢,也出了针对 open cloud 的 云端部署,我这个呢,也可以跟大家快速的分享一起。好,这里是阿月,希望我的视频能够帮助到你,让你更了解呀,我们下期再见。

我觉得现在最适合用这个 oppo 靠的模型呢,实际上可能是阿里新推的这个服务啊,这个东西叫这个扣丁不烂是吧?呃,为什么呢? 就之前吧,就是续费了好几个这种模型,然后呢?你续的不多,但它其实用量还挺大的,你看昨天晚上我就大概一个小时,我就把 kimi 的 那个十五元的 top 的 额度也就一个小时我就用光了。 我算了算,调用其实也不多,但是因为你在欧风靠的调用和你日常对话的调用是不一样的。今天我想打算试试这个阿里云百炼,简单说一下这个东西怎么回事啊?他其实就是把几个常见的这个模型给打包了,打包了以后有一个专属的调用地址和专属的 api, 来看一下它的指南。它是这样的,整合了这些顶级模型,然后还兼容主流的编程工具,就比如说我们 用的那些 id 类类的工具哈。如果你要是正常调用,他有的时候会限制速度或者限制这限制,那如果你一定想使好的模型,要么你去买会员,要么去升级,是不是他通过固定的费用?其实我算了算,应该是还是挺便宜的,虽然不至于到这个可调用的一折,但还是挺便宜。 然后它现在有几个基础的模型啊?这个千万三点五过年的时候推出的,很牛。据说啊, kimi 呢,也是刚推出不久,然后 mini max 当时那阵刚推出的时候也火了一阵。 glm 那 个五现在可以对标,他说可以对标那个叫什么来着,那个很牛的那个。 然后它有更多的就是千万三的 max 模型,这也是版本挺新的,二六年一月二十三号的,然后加上这些小模型啊,这无所谓,就是我们理论上如果你的调用次数差不多,那么你根据你的任务来选择不同的有特色的模型就可以了, 尤其是千万的这个和 kimi 的 这个都支持。图片理解费用上啊,首月七块九,其实你看的挺便宜,对不对?然后这个高级套餐呢,是三十九块九,就真的是特别便宜,但是价格上你看啊,首月七块九,次月呢是二十,也就是说他的正价是四十块钱,第一个月呢是便宜,然后第二个月呢是五折,第三个月就是正价。 呃,我猜两个月以后可能在这种东西上可能会有更多的爆发。呃,其实现在我我印象里火山就有这种类似的这种打包的这种服务,但是呢,一呢他的价格不便宜,二是他好像我查了查,他没有明确的说他支持那个 oppo 扣,这个呢是明确的说了他支持这个 oppo 扣,然后即使是最贵的这种 两百每月,那也真的是不算贵,因为你如果真的深度用了,你把两百的额度都用光的时候,那我认为你值得在这个上面花更多的钱。然后那个那天我还看到论坛上就有一个人说我除了租房子吃饭和日常开销,我把所有的钱都用来买陶坑上,哈哈哈,其实这是很有意思一件事啊,我觉得真的挺贵的。 我,我查了查我的用量限制,我觉得我用的不算多,但是其实也不算少,我其实在很多工作上都是在在那个詹妮的那个网页上去完成的,因为很多时候你要做调查呀,做一些文本的生成啊,那些东西他那个 pro 的 版本就完全能搞定了,因为我有个 pro 的 版本,但是如果按照他这个标准, 每五小时一千两百次请求,我现在是达不到的,但不知道我买了这个套餐以后会不会达到哈,我回头再测一测。那我认为新手呢,你就花七块九加上二十块钱,先用两个月, 对吧?然后当你发现不够的时候,你去升级那个就可以了,你就直接干到二百一个月呢。其实也没啥,二百块钱一个月也就是个电话费吧。我现在已经买完了, 买完了以后呢?他现在剩余天数二十八天,我不知道他为什么是二十八天,明明买的是一个月对不对?这个是不是他的 bug 按照当月天数计算的?那你们要不要搞到下个月再买二十八天?你看他是按照这个算的,上个月的二十六号到下个月二十七号对不对? 这个就不对了,这个非常过分啊,明明是一个月,所以我打算提前使光呢,呵呵。然后我们获取了这个东西啊,它有专属的 api key, 然后呢,怎么配置啊?这里面说明,我们来找说明配置, 看 open 框中配置这些东西,实际上不要被它这种东西吓到,如果你的 open 框现在正好用的状态, 你就把这段命令考下来。怎么写啊?我这就写了,我现在咱说说怎么配置哈,就首先呢,第一步就是修改配置文件,哪个配置文件呢?就是这个东西啊,但是呢,我们在 open 里可以直接跟他说,这是我上面已经配置完了,我重新演示一遍怎么配置,就跟他说修改配置文件啊, 然后呢?把这句 copy 过来啊,这这段啊,把这段 copy 过来,然后你可以把你的 apk 呢替换到这,我懒得打码,我也就不替换,放到这。然后呢?就这样呢,这个命令就搞定了,你回车, 回车以后就是我刚才的配置,那我已经配置完了,他现在就告诉我有这些可以用的了,然后同时它底下呢,还有一段,你可以直接考过来, 然后站到这,然后回时它就会自动把你这些东西都改好。看到没变更的载药就是什么呢?它其实就是告诉你默认模型变成这个,主模型 变成这个,然后移除了原先的什么什么,这些,就移除了原先其他的所有模型,然后把其他都移除了,我还有钱在里面。其中我认为比较好的几个,特别好的四个主流四个模型就是 kimi 的 二点五,对吧? g m m 五, 然后迷你 max 的 二点五,这个也不错,迷你 max 二点五。我发现他好像在写程序上更有优势。也是这样的,我的感受上啊,因为他的代码他理解的更快更好。然后这个是个多模态模型。嗯, kimi 应该是多模态吧,我记着这两个是多模态模型,如果你需要用到图片处理,尤其是处理本机的图片的时候,这两个模型非常好。 到了这步你的七块九已经发挥作用啊。至于接下来怎么用,那其实还是靠大家去想象。我之前因为这个模型的用量问题,我现在想都给他背地里的任务, 我现在都给他加回去,加回去以后我看看他这个调用的数量到底能撑多久啊?我每天会监控他的用量,我把他这个用量记进去吧, 非常好。我觉得整体来说这下就算完事了,至少我这个月应该不会特别为掏坑的续费吧?因为每次他如果出问题的话,你很难发现,除非你里面充特别多的钱。

不定海外模型、国产模型和本地模型怎么选呢?国产模型里面,月之暗面的 kimi k 二点五目前最强,平分仅次于 cloud 和 gpt, 跑小龙虾完全够用。 智普的 glm 五呢,也还不错,差距不大。 mini max 稍微弱一些,但胜在便宜啊,适合跑量大低价值的任务。 本地模型当中呢,要看你的内存大小了,如果你的机器内存超过一百二十八 gb, 首选昆三点五。一百二十二 b, 它是 moe 专家,架构效果甚至超过了 glm 五啊。如果你的内存不够呢,选择昆三 cold next 八零 b, 它的推理呢,每次只激活三 b 参数,速度快,效果也可以接受。想了解完整的模型组合策略呢?加入范凯说 ai 会员社群。

朋友们,本地部署那个大模型还是可行的,我根据网友的建议去用了这个,用这个模型加载器,然后我现在在本地部署,在 mac mini m 四上部署的,然后我现在问他一下,他响应速度还行, 你看没这么快就响应量也还可以,你看响应速度非常棒。 然后就是这个拓展处理的话,拓展量非常大,如果说你本地绘画的话就还好,如果说你上 ag 的 话就得上这个模型, 不是这个模型这个容器吧,用这个加速就挺好的,可以部署本地的。

哈喽,大家好,欢迎收听我们的播客,然后今天我们要聊的呢,是这个本地部署 open log 的 一些让人哭笑不得的经历啊。对,整个这个过程当中啊,会遇到各种各样的问题,包括他的这个使用体验上,也会有很多让人抓狂的地方啊,最后我们也会反思一下,到底值不值得花这么多精力去做这件事情。是没错,对,这个也是很多朋友都 头疼的一个问题啊,那我们就直接开始今天的分享吧。咱们先来讲第一大块啊,就是这个部署的过程啊,问题频发,困难重重啊。第一个问题啊,就来了, 本地部署 openclive 最容易踩的坑都有哪些?其实就是这个呃,环境依赖这块吧,就很容易出错,比如说你这个 note gs 不是 最新的, 然后或者说你这个 get 没有装啊,这个是最常见的,就直接装不上,或者说启动就报错,嗯,还有就是,嗯,它这个有些 npm 的 包啊,它是要去国外的园去下的, 所以你这个网络如果不好的话,它经常就是下一半卡住了,这是很折腾人。对,没错没错,而且就是呃安装路径啊,不能有中文,然后你的这个系统的权限啊不够,都会导致它写文件失败。 还有就是这个端口占用啊,这个也是经常会碰到的,就是你这个本地有其他的服务在用这个端口,包括你这个,呃,有的时候这个配置文件里面的这个模式啊,你没改 它就会导致你这个服务起来了,但是你就是连不上,就你会很抓狂,那就是说,呃,如果我们在本地部署 open club 碰到了这些麻烦,我们通常可以怎么来解决呢?其实你要做的事情就是首先保证你的这个 node js 和 git 都是装好的,然后版本是对的,网络如果不好的话,你就换一个国内的镜像源, 你的这个安装路径啊,不要有中文,包括你的这个系统的权限啊,要给够这些步骤听下来就已经很容易出错了,没错没错,然后就是呃端口冲突的话,你就杀掉那个进程,或者是你换一个端口,还有就是这个配置文件里面的这个模式啊,你要改成 logo, 如果你是在 虚拟机或者是说这个容器里面的话,你还要去设置一些缓存量,还有就是如果你这个系统内存不够的话,你还得去增加一些 swap 空间, 就整个这个过程就是非常的折腾,而且你要对这个系统底层有一些了解,你觉得就对于普通用户来讲,本地部署 openclog 会是一个什么样的体验?就我觉得呃,虽然官方说的是非常的简单,一键就可以搞定, 但是其实在实际操作的过程当中,你会发现有很多环境的依赖啊,包括网络啊,包括权限啊等等的一些问题,都会让你,特别是对于新手来讲就是寸步难行,你可能要去查很多资料,然后要不断的去尝试才能够最终成功, 所以整个这个过程对技术还是有一定的门槛的,所以这个也是大家在动手之前要有心理准备的。我们来聊一聊本地运行的时候,大家最关心的一个问题啊,就是 openclog 到底在哪些方面会让你觉得慢或者说不流畅,就是它其实在处理一些简单的请求的时候啊,有的时候都要等个几秒, 然后如果你要是用它自带的那个 openclog 去连你本地的模型的话,可能要慢个十几倍,就你都可以去喝杯茶了,它还在那转,这听着已经让人很崩溃了。更糟糕的是,如果你这个任务稍微复杂一点,它就很容易出现这种无响应或者直接崩溃,然后你只能重启,有的时候你甚至 你跟他对话的这个上下文他都给你丢了,你就很抓狂。然后呢,就是大家还会觉得这个 openclaw 还有哪些地方会觉得,呃用起来会觉得还不如其他的一些 ai 顺手呢? 嗯,其实他在理解一些自然语言的指令上面,还是跟那些主流的云端的 ai 还是有一些差距的,就他经常会 误解你给他的一些稍微复杂一点的要求,然后就会导致他执行出错,或者说他就直接卡住了,就很影响体验。而且他就是这个呃多步骤的任务,他经常会掉链子, 然后他这个自带的这个技能啊,和这个国内的一些主流的软件的集成也不是很好,再加上他这个中文的提示啊什么的也不全, 所以就导致就是你在实际使用的时候就会觉得,嗯,远没有那些成熟的 ai 那 么省心。哎,那这个东西, opencloud 在 花钱这件事情上面,在资源消耗这件事情上面,会给你带来哪些意想不到的麻烦呢?哦,这个你可能想象不到,就是它,因为它是要跟这个大模型的 api 进行频繁的交互, 他这个 token 用的特别快,对,有的时候你可能做一个很简单的自动化的任务,他可能要比你直接用这个 api 要多花几十倍的钱,而且他这个账单是你根本就摸不着头脑,你根本不知道他怎么花的。就有的时候可能几天时间就上千元的这种 token 就 没有了, 但是比打车还贵。对啊,而且它就是呃官方推荐,你最好是要有十六 g 内存和独立显卡,所以如果你的电脑配置不够的话,它会更卡。然后你要是用这个本地模型的话,还得额外折腾,所以这个 整体的这个硬件和这个 a p i 的 开销都不低,所以它绝对不是说像它看起来那么免费。然后咱们来聊第三部分啊,就是这个反思总结,成本高昂,按需选择。 对,呃,本地部署 openclog 到底要花哪些钱?本地的话就是你如果是用自己家的电脑的话,那你就不用花这个钱了。但是如果你想要一直开着的话,你可能就要买一个这种低中号的小主机,那可能就是几百到几千块钱不等。 然后你的这个硬件如果要升级的话,可能也要另外再花钱。你这个东西一直开着常年开着的话,电费其实也是挺吓人的,一个月可能二三十块钱,也有可能五十块钱。除了这些看得见的花销呢?还有什么是容易被忽略?就是模型的调用啊,这个是一个大坑。就是你如果是用 呃主流的这些 a p i 的 话,那你肯定就是用多少花多少,而且它可能呃自动化用的 tokens 要比你正常的聊天要多很多。然后如果你是用本地的模型的话,你就会比较吃你的这个硬件的配置,你就会 很慢。如果你想要多个人一起用,或者是说想要呃这个专业一点的话,那你还要买一些高级的插件啊,或者是说请人来帮你定制啊,那这个都是要另外再花钱的。而且这个长期的维护啊,包括你的时间精力,其实也都是 不能小看的,尤其是企业的话,你还要专门配一个人来管这个事情,那这个就不是说小数目了。对,那如果说咱们就是说不同的需求的人,怎么去挑适合自己的 open class 的 部署的方式呢?如果说你只是想试试,或者说你是一个学生党, 那我觉得你就用自己的电脑配上这个免费的 api 和这个本地的模型就完全 ok。 对, 就是你基本不花钱 就可以体验到这个主要的功能。那如果说再往上一点的需求呢?如果你是要长期用,然后又很看重这个隐私的,那你可以去买一个这种低功耗的小主机,专门来跑它,那这样的话你可能每个月就是几十块钱的这样的一个开销。 那如果你是那种技术不太好的,那你就直接上云,对,直接上云的话,你可能一年就是几百块钱就可以解决了。 ok, 那 如果你是那种企业级的,有这种很高的安全性的要求,那你就干脆去本地的服务器,或者说你自己搭一个集群, 那这样的话,你可能就是一次性投入比较大,但是你后续的这个维护啊,包括你的这个啊,病发啊,都是非常非常好的, ok, 对, 所以就是说,呃,选择什么样的方式,还是要结合自己的设计需求来,你觉得在部署 openclaw 的 时候,有哪些比较实用的可以帮大家省钱的一些小窍门?嗯, 其实有几个方法还挺实用的,比如说你用这个云服务器的话,你可以省很多钱。然后还有就是说你这个模型的话,你可以选一些比较 性价比高的模型,你可以根据你的任务的需求在不同的场景下面去切换,你也可以去设置这个 a p i 的 这个支出的上限,防止说你一下子花太多钱。再就是说你如果是长期用的话, 你可能这个混合的部署方式会帮你既保证速度又帮你省钱, ok, 对, 那就是说,呃,你结合自己的需求去选一个最适合你的方案才是真的省心又划算。屌到,这其实就是每个人的需求和技术背景不一样嘛。对,那你在本地部署这个 ai 的 时候,就更需要 结合自己的实际情况,多借鉴一下别人的经验,然后冷静的去权衡一下这个投入和产出。嗯,今天的分享就到这里了啊,感谢大家的收听,咱们下期再见,拜拜!拜拜!

龙虾 open 可乐用本地算力可以吗?这位朋友有数据安全洁癖,一定要用本地算力做龙虾大模型要极致性价比方案,价格控制在万元以内。那这台机器又请出了咱们的老朋友特斯拉 v 一 百三十二 g 版,刚好可以跑最新的千万三点五三十五 b 版本。那你要问为啥装双显卡, 因为它还需要另外一张显卡,跑知识库的引杯的模型,不用知识库时还能给龙虾加速内存。其实十六 g 就 够了,不过它上到了 ddr 四六十四 g 哦,因为它是金融行业,为了防止龙虾抽风装在了虚拟机里,而且使用时它会同时开 n 个虚拟机, 都调用宿主机的大模型。没错,这就是很多人口中的洋垃圾配置。但是万元以内的本地算力不用洋垃圾还能用什么呢?配置我放评论区里了,有需要的自取。

大家在使用 a 键的过程中是不是觉得 tool 不 够用?今天给大家分享一个智普的新模型, g o m 四点七这个模型的话在编程能力以及前端审美这方面更强,在电用工具这方面的能力也获得了一个不错的提升, 最重要的是它是免费的,我们打开这个智普大模型的价格官网,我们往下滑找到 g o m 四点七这个模型, 它也是 opencore 官方比较推荐的一个模型,它和 agent 结合的非常的不错。接下来我用 opencore 去给大家演示一下如何配置这个模型。我们先打开 opencore 的 配置文件, 找到模型,然后在模型这个下面然后加上这样的一段配置 key 的 话填在这个位置,其他的话可以参照我这里的配置写就好了。 然后的话我们再把刚刚配置好的模型设置成默认的模型,最后保存 就 ok 了。打开 open core 给大家看一下效果,这个主界面上已经显示的是智普的四点七这个模型了,然后我这里提了一个问题,问他是你是哪个模型,他说他是智普四点七 plus, 然后我让他帮忙去执行一个任务,比如说这里,我让他把桌面的嗯名字为一的视频转为文本, 然后他就开始帮我执行具体的任务。 好, 你看这里,他给我们返回的是进度百分之八十,最后的话他把执行好的 结果,然后返回给我们,并且把生成的文本然后保存在了桌面。 视频的结尾,我给大家总结了一份各个大模型的价格目录表,大家可以参考这份价格目录表去选择自己适合的模型, 每个模型的话它擅长的能力可能不一样,所以说它的价格也有不一样, 需要大家去综合考虑,选择最合适而且性价比最高的模型。

你有没有发现,你在 ai 工具里的每一句对话,每一个想法,其实都躺在别人的服务器上? opencloud 从一开始就想解决这个问题,我们叫它 localfirst 本地优先策略,今天两分钟带你讲透。 要理解 localfirst, 我 们先打个比方,传统的云优先模式,你就像一个租客,数据存在服务商的服务器上,房东握着钥匙,能随时涨价查看你的东西,甚至收回房子。而 localfirst 呢?你是真正的房主,数据的主副本上,钥匙只在你手里,云端只是帮你备份和同步的工具, 这就是数据主权的本质,你的数据由你做主。 local first 软件有七大黄金原则,我们分三层来看,最底层是基础层。第一,及时响应,本地读取数据只要不到一毫秒,而云端请求通常要五十到两百毫秒,差了上百倍。第二,离线可用,飞机上、地铁里没网也能正常工作。 第三,数据不绑架,你的数据用开放格式存储,随时可以导出带走。中间是能力层,隐私安全,默认端到端加密,只有你能解密。无缝斜坐,多设备直接同步,不经过中心服务器长期保存,确保几十年后即使软件公司倒闭了,你的数据依然可读。最顶层是终极目标用户控制,也就是真正的数据主权。整个架构就像一座金字塔, 底层打牢了,才能支撑起顶层的自由。你可能会问,如果数据都在本地,多设备之间怎么同步?万一我在手机和电脑上同时改了同一条笔记,不会冲突吗?这就要靠一种神奇的技术, c r d t 无冲突复制数据类型, 你可以把它想象成银行的自动对账系统,不管你从哪个 atm 存取钱,最后账本总能自动合并,而且绝不丢数据。二零二五年, auto merge 发布,性能提升了十倍,内存占用降低了百分之九十,让这项技术变得更实用。这不是空想,已经有很多成功案例了。 项目管理工具 linear, 把浏览器的 index db 当成主数据库,所有操作先在本地完成,体验丝滑到飞起。设计神器 figma, 用双引擎架构,实时协助,走内存持久化,走本地两不误。还有 笔记软件 obsidian, 数据就是本地的 markdown 文件,换电脑直接考走,永远不怕平台跑路。这些产品证明了 local first 不是 乌托邦,而是正在发生的现实。最后说个数据 partner 不是 乌托邦,而是正在发生的现实。最后说个数据 partner, 预测到二零二八年,百分之六十五的政府会强制要求技术主权,关键数据必须本地化。 而二零二四年欧盟 ai 法案已经落地, nvidia 预计二零二五年主权 ai 市场将达到两百亿美元,趋势已经很明显了。数据主权不再是可选项,而是必选项。所以下次选择软件时,多问一句,我的数据到底存在哪里?我是房主还是租客?

终于弄好了 openclaw 连接奥拉玛, 用奥拉玛部署的本地模型,前吻三点五 看教程不管用。 openclaw 装完的时候外部 ui 打不开, 怎么弄也不知道,最后还是在奥拉玛的官网用这个命令,用这个命令设置重新设置了一下 opencloud, 然后它的外部 ui 就 能打开了。 当然是按照它的这个稍微懂一,稍微读懂一点英语,按它这个一步一步设置完了才行。昨天在没有奥拉玛的时候,在 windows 下 wsl 下装的 openclaw, 直接就能打开 app ui, 这中间出的问题也不知道是怎么回事。 这一步就是用了吗?连接 openclaw, 因为我的电脑主要靠内存,靠 cpu 跑,随便问个问题 cpu 就 跑百分之六十几,风扇呼呼的转,感觉确实也没啥,没啥实际用途啊, 关键是说了话都没带回的, 可能还没配置完, 但是它已经 不运行,也也也占用这么高。 今天就到这了,看来这样也不行,不能用本地的模型跑,又慢又又受不了噪音。回头我再重新连接到免费的 key, 免费的 token, 试试吧。 补充一下,这个 windows 下的这个 open cloud, 这个 web ui 必须得是这个带 to 带 token 的, 带 token 的 这个你才能打开,你要是直接输入这个把地址这个它是连不上的,它这个这个地方会有问题,它只会离线,就是这些东西它都是包含在这个里边的。 然后这个我拉玛里装的模型小,啥事也干不了, 净光浪费 cpu 资源了, 还啥还啥也做不了,还不如,还不如直接在这里聊天呢。

龙虾本地用的是千万三点五的二十七 b 的 模型,巴巴比特的电话版本 对比了一下,二长音肯定是没问题的。如果说要要做一些复杂任务的话,我买了一个百炼的一个一个一个套餐,可以临时切过去,感觉完全够用了。 这是在乌乌班图的服务器上搭建的,在我本地。

教你使用 overclock 想要使用大龙虾 overclock 啊,也就是可欧德布切,但又担心消耗的饕餮太多,花费太多钱, 同时呢也担心一些安全性的问题。那我接下来这个视频教你使用 overclock 连接本地的大波形,这样咱们就可以免费无忧地去使用你的 ai 助手了。好的,我接下来它怎么用啊?一个视频给你讲清楚它这个实现呢,其实比较简单啊,总共分为 三步。第一步呢,首先咱们先去安装一个本地大模型平台,然后安装完成之后呢,在本地大平台里面去安装你想装的大模型,然后装完大模型之后呢,第三步,使用特殊的命令 来启动 open curl 就 可以了,仅有三步,非常简单啊。好,那么接下来呢,我就带大家一步一步的实操一下。咱们首先先给本地的电脑去安装本地大模型平台欧拉玛,也就是这只可爱的羊驼啊,那为什么我本地的大模型需要去安装欧拉玛呀?欧拉玛就相当于一个平台, 比如说啊,我需要在网上买东西,那这时候我先要去下载一个某宝某多多,类似于这种电商平台,那么这些电商平台呢,其实就和欧拉玛是一样的,然后在欧拉玛里面有各种各样的毛豆啊,各种各样的本地模型, 我们是可以安装的,这时候呢,我们点击毛豆啊,就可以看到像最近比较火的 k 二点五,智普的四点七啊,以及某问的模型啊,这些模型都是有的, 那我们可以去选择相应的模型安装到本地。好,那么首先呢,咱们点击 download 啊,然后下载一个文件,根据不同的电脑下载相应的文件,然后下载完文件呢,它长得就是这样啊,咱们双击一路下一步就行了。 然后安装完成之后呢,它会打开这样的一个界面,然后在这个界面里面,你可以在右下角去选择相应的模型。您下载啊这块呢就给大家去说一下啊,模型的参数越小,那么它占用的空间也就越小,对于你电脑配置的要求也就更低,但是 它回答的质量可能相对来说就不会很好,所以大家要根据自己的情况来选择合适的模型进行使用就可以了啊。当然它其实还有比四 b 模型更小的,有个零点五 b 的 模型,那我这一块呢,你是搜索不到的,但是咱们在它的平台网页上是可以去找到的, 然后咱们可以使用这个命令去安装也是可以的啊。 no, 这时候去复制这个命令,好,然后去打开咱们的命令窗口,然后使用欧拉玛 raw 啊,然后这个时候呢,就加上咱们的这个更小的模型,零点六 b 的 啊,然后把 value 值进行一个替换好撬回舍,这时候他就会去下载咱们指定的模型,并且进行安装,等他的安装完成之后呢,咱们本地的模型就有了。好, ok, 那 么等待一段时间之后呢,等他出现这个 success 啊,安装成功就说明他已经安装完了,安装完了,这时候咱们可以去问他,你是什么大模型? 好,敲回去。 ok, 那 这时候他就会一些思考,思考完之后呢去回复啊,我是,呃,谁?什么什么大模型啊?我拥有什么什么样的能力,对吧?好,那到这儿咱们已经安装好了,安装好了之后呢,接下来咱们就可以使用 open call 大 楼加了。啊,那么怎么使用啊?这个时候非常简单啊,我们只需要使用 olama launch open call 这个命令就行了。 啊,那我复制这个命令,打开一个窗口,它意思是啥呀?就是使用 olama 来启动 open call 啊,你启动的时候呢,自然而然它就帮咱们会进行部署的啊,你,你不需要使用 open call getv 来启动了,你就使用欧拉玛 launch open call 启动就行了。好,咱们来启动了。 好,然后启动的时候呢,它让你去选择本地的模型,那我本地的模型呢?撞的就是某问三啊,这时候咱们敲回车,敲完回车之后呢,那么是否继续啊?这时候要按 t 把键的,所以咱们按 t 把键啊,旋中,然后再回车,这时候它让你选择是否去保存一个存储的路径啊,那我们选择 继续啊 y 就 行了。好,选择完成之后呢,这时候大家可以看到了,他就开始去打开 open core 的 一个服务,并且给他设置本地的某问三的模型了。 好,那么这时候选择完成之后,咱们稍等片刻之后,咱们就可以使用 web ui 的 这种方式来访问了。好,这时候咱们来试一下啊,在 web ui 里面啊,可以看到他目前是在线的。那我这时候问他,你是 你是什么大模型,然后点击 send 发送。好啊,这时候, ok, 他 说了我是大模型。这时候呢,虽然他没有告诉咱们他是什么大模型啊,但我这时候可以继续问他,你是本地大模型吗? 好,然后点击发送。 ok, 他 说了我是本地大模型,对吧?啊?他没有告诉你这个名称啊,然后,但是呢,我后面问他是不是本地大模型的时候,他就说他是本地大模型。那 那么咱们其实从日制里面也能够看得出来,它的这个模型以及像 agent 的 调用都使用的是本地欧拉玛千问的这个模型啊,这个时候如果你把欧拉玛的这个服务你给它关掉啊,你给它服务给它停掉,停掉之后这个时候你再和它对话,问它在吗? 这块是没有任何信息的,这块就说明你的模型是有问题的。那这也从侧面上去证明了,咱们现在调研就查本地的这大模型,那么使用本地大模型有什么优点和缺点呢? 它的优点就是我在本地调用的,所以我不需要花费任何的费用,消耗再多的 top 我 也不怕。然后其次呢,是使用本地的大模型的隐私性相对来说是比较好的,因为我用的都是本地的嘛。但是它的缺点是本地大模型回答的质量,它可能比商用大模型 执行任务的能力要差一些,回答的质量要低一些。另外呢,本地大模型它对于电脑的配置是有一定的要求的,所以呢,大家就根据自己的需求来选择,到底是要调用线上的大王。

大家好,欢迎回到我的频道,前面几期视频我给大家演示了如何在 v i y 里安装优盘图 linux 处理机,也讲解了如何在优盘图中配置 note g s 和 git 来满足 openclaw 的 运行环境。那这期视频我就来教大家如何在优盘图 linux 操作系统中安装部署 openclaw。 在本期教程里,我们将从 github 下载 openclaw 最新的源代码进行安装。如果你下载不下来,也可以在评论区里留言,我把我下载好的 openclaw github 源代码分享给你。 我现在就在 umber linux v i r 训练机里边,我们打开 firefox, 我 看看 github 好 不好。访问今天为车,今天很幸运可以访问,那我们在这儿搜索一下,在搜索框输入 openclaw 车在这个项目 open club, open club 就是 我们要访问的项目。点击一下,打开它,今天速度还挺快,这是咋回事?我们点击这个绿色的扣按钮,有一个 download zip, 我 们还是下载下来吧,避免安装的时候突然访问不了,挺麻烦的。点击下 download zip 就 开始下载了,下载也很快, 超乎我的想象。好,现在下载好了,那这个应该是最新版本的,如果你要是担心这个最新版本里面有 bug, 因为它是刚刚提交的,有的最近的是三十八分钟内提交的。 那你可以下载这个最新的 release 版,你看这有一个 release open club, 二零二六点三点十三,那最新的 release 版是三月十三号的,我们点击这个链接进去,他就打开了这个页面,那这个页面里边就记录了他都修改了哪些问题。在这最底下有一个 south code, 你 也可以下载这个 最新 release 版的源代码,点击这个链接,它就把最新 release 版这个版本给下载下来了。下载好之后,我们来到这个下载目录,那这两个字库文件都在这了,我先修改一下这个屏幕的分辨率,这样屏幕就文字大一点, 我们看一下这两个版本,那我们还是安装这个三点十三,因为这个是 release 版。右键单机点击提取,解压缩到这个文件夹下,我在我的主文件夹下建立了一个文件夹叫 work, 然后把那个解压缩后的 open class 代码拷贝到这个 work 目录下, 我们右键单机桌面,点击,在终端中打开,打开一个终端窗口,我们再确认一下 node 和 get 的 版本,那 node 是 vr。 二十二点二,十二点一,这个是符合这个要求的,那 get 二点五,一点零,这两个版本是可以的,因为我们从 oppo colo 原代码来安装这个 oppo colo, 它需要 p n p m 这么一个呃命令,所以我们先安装 p n p m, 我 们运行这行命令。 soluo 空格 n p m 空格 install 空格横线 g 空格 p n p m 回车,它需要输入密码, 也就是那个哈喽那个账户的密码,他就开始安装 pmpm 了。好,现在已经安装好了,那我们先运行 npm 杠 v 看一下版本, npm 是 十点九点四,那 pmpm 呢?杠 v, 十点三,二点一, 可以,这个 n p m 和 p n p m 我 们都已经安装好了,那现在我们先来到 open k l 源代码所在的这个目录,我们把这目录地址拷贝一下,回到命令行。好,那现在就到这个目录下了,这个就是这个 open k l 的 原文件。在这个目录下,我们先运行一下这行命令, p n p m install 回车,它就会把依赖的或者需要的那些包全都下载下来,并且安装好。当你看到这些信息, 那就证明需要下载的包都已经安装好了。然后我们再运行另一行命令,就是 pmpm 空格 ui 冒号 build, 这个命令运行很快,当你看到这些信息,就证明这个命令已经运行好了。然后我们还需要运行一下这行命令,也就是 pmpm 空格 build 回车,等这个命令运行好之后,这个 open klo 基本上就安装好了。好,到现在为止, 这个 open colo 就 算安装好了。然后我们还需要运行一下这行命令, p n p m 空格 link, 空格,横线,横线 global, 那 这行命令就会把这个 open colo 这个命令设置为可以直接调用的 c r i 命令, 方便你调用,让它出现一个错误,这个错误是什么原因其实也写清楚了,告诉你怎么改。需要运行 p n p m 空格 set up, 先来创建一下这个 global bin 这个 directory, 那 我们就运行一下, 还要运行 south home hello, 点 best i c 现在已经生效了,现在我们再运行一遍 p n p m 空格令格航线 global, 那 现在这个 openclaw 这个命令就可以直接 在命令行里边调用了。然后我们运行这行命令, openclaw, 空格 unbox, 空格航线航线 install 航线 demo, 那 这行命令就开始设置这个 openclaw, 并且安装后台的守护进程,也就是后台服务, 这个 open 卡拉就会在后台一直运行了。我们看这个命令执行之后,就是这个界面第一个配置界面问你是不是继续,那你就通过这个左右键选择。 yes, 然后按回车,然后 unboxing mode, 就是 是 quick start 按回车 model, 也就是大圆模型,你选择哪个?因为我们使用本地的奥拉玛,所以我们选择奥拉玛,那奥拉玛 base url, 也就是我们这奥拉玛模型的 url 是 多少, 我们现在去看一下。我们在 windows 上打开奥拉玛这个应用程序,点击左上角这个图标,有一个 settings, 点击一下,那在这右边有一个选项叫 expose orama to the network, 这个选项一定要打开,否则奥拉玛是不能够被网络上的其他应用程序访问的。 我们再在 windows 里边打开一个 windows power 或者命令行窗口,运行命令 ip config, 那 我们就可以找到我们这台计算机的 ip 地址, 那我们这 id 是 幺九二点幺六八点二零四点幺,我们在浏览器里边输入这个网址 gdp 幺九二点幺六八点二零四点幺,冒号幺幺四三四,回车之后,如果看到奥拉玛 is running 这个页面,那就证明我们这个奥拉玛是可以通过网络上的其他应用程序来访问的。 我们回到这个 uberto linux 这个虚拟机里边,把这个 alama base url 地址改成幺九二点幺六八点二零四点幺,冒号幺幺四三四,回车会让你选择一下 alama 的 mode 是 cloud 加 local, 那 么选择第一个回车, 然后它有提示让你登录进 alama cloud, 我 们就把这个链接拷贝一下,点击 connect, 连接成功了,我们再回到这个命令行, 他问你是否登录进去了。 yes, 我 们回车。现在你就可以选择这个大语言模型,具体使用哪个,那我们就使用缺少的 kimi 二点五这个云端的模型就可以了。按回车,再让你选择那个 china, 就是 你用哪个聊天软件去管理这个 opencloud。 我 们先不用这个了, 我们会在以后讲,我们选择 skip now 回车,选择第一个路由 search, 因为我没有这个路由 search 的 api key, 所以 路由 search 就 不能使用,但是你可以去到这个网址去获取 ikey, 可以 以后再配置,现在它让你选择 skill, 问你是不是配置 skill, 我 们可以选择 yes 啊,回车用上下键来选择,选中之后按一下空格键,这变量就把它选着了。 回车这个 homebrew 我 们也可以安装一下,选择 yes 回车 google api key, 这个我没有,就选择 no, 全都 选中就可以了。 hook, 这个我们也先 skip 它,就开始安装这个 getaway, 也就是这个网关 getaway 已经装好了,他问你想怎么去跟这个机器人聊天,或者机器人互动,我们就选 open the web ui, 那这样他就会打开一个浏览器,你可以在浏览器里边跟他聊。第一个是 tui, 就是 基于文本的那个用户界面,我们还是用外部 ui, 那 现在当你看到这个界面,就说明这个 oppo cola 已经安装好了,这些信息都还是比较重要的,所以我建议你最好把一些重要的信息保存下来, 比如说这 ctrl u i, 也就是我们刚才不是选择基于 web 来管理这个机器人,所以它有一个链接地址,通过这个地址是可以打开这个管理界面的, 那这个地址我们把它拷贝出来,在这个浏览器里边粘贴进去,那这个就是 open k l o 的 这个控制台,当然这个我都跟他聊过一点了, 所以有这些信息。那我跟他说个你好,他巴拉巴拉说了一大堆,我问他现在都能干些什么?他回答了一大堆,好像感觉他非常能干。这些东西都怎么做?以后我可以给大家做视频,来演示一下他怎么才能做到这些功能。