哈喽,大家好,今天我们来聊一个特别实际的话题,如果你正在为跑大模型选硬件这事头疼,那今天这个指南就是为你量身定制的,我们一步步把它拆解清楚,帮你找到最合适的配置。 你是不是也经常遇到这种问题?哎,我手头有这么多预算,到底该买哪块先开啊?或者说公司要上一个七十币的大模型,这得啥样的神仙配置才带的动啊?没错,这些都是咱们进入大模型世界首先要面对的,也是最现实的问题。 可以说硬件怎么选,就是这万里长征的第一步,而且是至观重要的一步。好, 那在咱们挑选这个神兵利器之前,总得先搞明白它到底是怎么一回事吧?所以我们得先来解码一下这个核心部件 gpu, 咱们来深入看看到底是哪些关键参数决定了它的性能强弱。首先就是这个哭的核心, 你可以把它想象成 gpu 的 心脏里成千上万个特别能干的小工人,他们是干嘛的呢?就是做并行计算的。所以道理很简单,这个小工人的数量越多,他同时能处理的任务也就越多,能力自然就越强 好。如果说酷的核心是通用的小工人,那接下来这个 tensor 核心就是专门为 ai 任务请来的顶级专家, 他们的任务只有一个,就是疯狂加速深度学习里那些铺天盖地的矩阵运算。你要知道魔性训练和推理的效率,关键就看这些专家干活儿快不快了。最后,这个也绝对是重中之重,就是 gpu 的 显存,我们常说的 vram, 他就像是你干活的那张工作台,这张台子有多大,就直接决定了你能放多大的模型,能处理多大的数据。要是这张桌子太小,你就算有再强的计算核心,那也只能干瞪眼没地方施展啊。 所以说,显存不足绝对是咱们最容易遇到的性能瓶颈了。行,基础知识咱们都过了一遍,那现在是时候来点刺激的了,咱们把市面上最火的几款 gpu 全都拉到这个擂台上来,真刀真枪地比一比。 大家来看这张图,它把性能的差距展现得可以说是非常非常直观了。 你往最顶上看,那个 h 幺零零基本上就是独一档的存在,各项任务都是遥遥领先。然后我们再往下看,注意看那个黄色的条,它代表的是训练性能。再看看蓝色和橙色的条,代表推理性能。 你会发现一个很有意思的现象,像 rtx 四零九零这种消费级的卡皇,它的推理性能竟然比一些专业的四维卡还要猛。所以这张图告诉我们一个很重要的道理,干什么活就得用什么工具。 所以啊,咱们可以总结出几个特别关键的点,第一,如果你是要搞大规模训练,那没得说, h 幺零零就是现在的王。第二,如果你的主要任务是做模型推理,那 rtx 四零九零绝对是一头性能猛兽,性价比超高。 第三,对于预算有限的朋友们,或者刚入门的开发者,上一代的 rtx 三零九零说实话,现在依然是一个非常能打的选择。 我们再把交检拉近一些,看看消费级市场这两代卡皇三零九零和四零九零,你看哈,虽然它们的显存都是二十四 g, 但是核心建构差了一代,性能差距可就大了去了。 大家重点看贪 sir 性能这一行,四零九零的算力几乎是三零九零的快五倍了,这就是为什么他在跑 ai 任务的时候能那么猛的根本原因。 这张图呢,就像一张恩维利亚产品线的市场地图,帮我们把各个系列都梳理清楚了。 从我们最熟悉的平时用来打游戏搞点轻度学习的消费级 rtx 系列,到专门处理海量数据,用在数据中心做大规模训练的 a 系列和 h 系列,你看每一条产品线,它的定位和应用场景都安排的明白白白的。 好了,理论部分讲得差不多了,现在咱们进入最核心的实战环节,到底多大的模型,需要配什么样的机器,我们来一一对应。我们先来看七 b 到三十 b 这种主流尺寸的模型,这里的选择就很多样了, 你看,如果你想用 f p 十六,也就是全精度去做微调,那对显存的要求就比较高,可能就得上 a 一 百了。 但是如果我们换个思路,用 i n t 四量化,也就是我们常说的 q l l r a 技术,这相当于给模型做了一点小小的压缩,用更低的精度来计算,这么一来,对显存的需求就一下子降下来了,你会发现一块 r t x 四零九零就完全够用了。 但是当我们把目光投向七十币甚至千亿参数这种巨兽级别的模型时,那整个游戏的玩法就彻底变了, 单张卡的显存根本就装不下这么大的模型,所以我们必须得进入多 gpu 并联的时代,就像你看到的 h one, 华为凭借它那八十 g 的 超大显存和高速的互联技术,在这种任务里就成了唯一的选择,通常都需要两块、三块甚至更多的组合起来用。 当然了,光有 gpu 还不行,一台完整的 ai 主机、 cpu、 内存、主板这些都得跟上协调工作才行。所以接下来我们就根据不同的预算和需求,直接给大家推荐几套完整的配置方案。 首先,如果你是个人开发者或者是个学生,想自己搭个平台玩一玩,学一学,那么一套双二零八零 ti 的 入门配置大概一万四就能搞定, 如果预算再多一点,升级到双三零九零大概在两万五上下。说真的,这样的配置已经足够你把市面上大部分主流模型抛起来做各种实验了。那对于一个小的创业团队或者研究小组来说呢?算力的需求肯定就更高了。 这时候一台四卡的服务器就是个更靠谱的选择了,预算大概在三万到五万这个区间,你就能拥有一台能高效跑训练和推理的工作站了,这绝对能为你的项目提供一个非常坚实的算力底座。 好,最后,如果你的目标是商业化部署,比如说要把 lma two 七十 b 这种大模型用在生产环境里提供服务,那我们就进入了企业级的范畴, 这里的投入就是十万起步了,而且你必须得上 l 二零或者 a 幺零这种数据中心级别的专业卡。为什么呢?因为它能保证七乘二十四小时不间断的稳定运行和高性能输出,这是消费级卡给不了的。 ok, 到这里,关于硬件的配置蓝图相信大家心里已经有数了,但是我想提醒大家,硬件它仅仅是一个起点,当你拥有了强大的算力之后,真正的挑战才刚刚开始。 下一个你要攻克的瓶颈会是什么呢?是海量的高质量数据?是更牛的算法?还是能驾驭一切的顶尖人才?这个问题就留给大家去思考了。好,本期的内容就是这些,感谢收看!关注我,每天一分钟用 ai 提升工作效率!
粉丝194获赞511

三千元到十万元大模型家用 pc 硬件方案全解析?上一期社长介绍了纹身视频模型的硬件方案,里边讲了企业或专业工作室的纹身视频模型硬件应该配到什么程度。有不少朋友在评论区留言说,希望社长能够出一期大模型的家用消费级硬件专题, 那么这一期就满足大家专门讲一讲大模型家用消费级的硬件方案。最近 oppo colo 很 火,那什么样的配置能够畅玩 oppo colo 呢?在这一期也有答案。既然是家用消费级方案,也就是个人 pc 方案, 那么 e 五神轿、特斯拉、 v 一 百为代表的老旧服务器显卡就不在今天这一期的讨论范围内了。 ar max、 三九五、 mac mini 的 整机方案由于纹身视频能力弱,也暂时排除在本期之外, 因为毕竟作为家用消费级主机,必然是要兼顾多种需求的,跑跑大模型和智能体,生成一下 ai 视频,做做生产力工作,没事还能打打游戏,甚至新出的三 a 游戏也能尝尝咸淡,这就是本期硬件选型的基本要求。 所以我会尽量选择个人 pc 的 消费级硬件来给大家搭配方案,最低花费三千元,最高花费十万,大家可以根据自己的预算和实际需求,综合考虑自己的硬件配置。 在开始之前呢,先给大家预告一下,在三月十五号,我们会开一期 ar 大 模型私有化部署的小白培训,具体的培训内容在这一期结尾会有展开说明,有兴趣的朋友一定要看到最后。 我们知道,现在的大模型在日常应用上已经分成了上下文推理模型、纹身图或纹身视频模型,这两类不同的模型对于硬件的要求是不一样的,对硬件适应性最广的是上下文推理模型, 它对扩大的要求最低,只要显存达到一定规模,哪怕是好几年前的老旧显卡也仍然可以胜任,这就给了我们家用消费级配置很大的选配空间。 这里要注意的就是如何判断某一推理模型能不能部署,主要是看显卡的显存能不能大于模型的参数,比如三十 b 硬特八的模型对应的就是三百亿参数。按硬特八量化规则,加载到显卡里所需要的显存大约是三十七点五 g, 加上要预留 k v 缓存激活值缓冲区, 因此要运行这个大模型,我们一般是按照模型量化后显存占用的一点二倍计算。那三十币 ink 八模型就需要至少四十五 g 显存的显卡,但众所周知,内存是可以分担显卡的上下文推理模型的加载任务的,比如上面讲到的三十币 ink 八的大模型, 需要四十五 g 的 显存来流畅运行,如果显卡只有十二 g, 剩下的三十三 g 可以 加载到内存中去运行。 当然,因为内存的贷宽远远小于显存的贷宽,如果大部分都让内存来跑的话, tokins 的 速度会大打折扣,所以显存尽量还是要大一些。但对于个人来说,对于效率的要求并没有企业这么高,我相信大多数人是可以接受的,毕竟在性能和成本方面总要找到一个平衡。 纹身视频模型的门槛就要高的多了,他没办法像上下文推理模型那样,显存不够内存来凑,模型必须要全部加载到显卡里。所以如果朋友们想尝试纹身视频模型的话,就要至少满足两条硬杠杠,一是显卡要有 touchcore 支持,二是显卡显存要至少达到十二 g。 为什么呢?我们以 y 二点二为例, y 二点二 t r v 五 b 轻量版模型是一款小型可部署的开源纹身视频模型, 十二 g 以下的显存加载不了这个模型,十二 g 正好能加载,而且能够跑起来。因此呢,显存越大,扩大核心越多,显存待宽越高,视频生成的清晰度、速度、时长就相对更有优势。 于是,基于上面社长针对这两个模型的分析,我们就得出了个人 pc 如果想要同时玩转这两种模型的话,显存要大于等于十二 g。 为保证能够运行纹身视频模型,支持 touchco 的 可选型号为英伟达 rtx 架构的二零系、三零系、四零系、五零系显卡。这样我们就可以定义以下五档家用消费级 pc 的 预算方案了。 第一档,三千元。这一档的核心定位是新手尝鲜,可以进行基础大模型体验加轻度办公加普通网游。具体的配置如下,这套配置的大模型能力是这样的。 第二档,一万元,这一档的核心定位是家用主流,支持中型大模型流畅运行加高效生产地加中高画质三 a。 具体的配置如下, 这里社长推荐了四款显卡,从这一档开始, open club 就 可以畅玩了。下面就贴出这四款显卡结合 open club 加千万最新模型的畅玩区间,供朋友们参考。在这个表格里可以看到,三零九零二十四 g 显卡的性价比相对较高,畅玩范围相对更广。 这四款显卡都能支持纹身视频模型, rtx 五零六零 ti 十六 g 可以 输出七二零 p 二十到三十秒视频片段。 rtx 三零九零二十四 g 可以 输出一零八零 p 六十秒视频片段, rtx 二零八零 ti 二十二 g 和 rtx 三零八零二十 g 可以 输出七二零 p 到一零八零 p 四十到五十秒的视频片段。 第三档,两万元。这一档的核心定位是高阶家用加轻度专业,支持中大型大模型流畅运行,加多模型同时运行,加四 k 游戏加四 k 剪辑、 3 d 渲染。核心配置如下, 这套配置拥有较高的实用性,几乎可以胜任绝大多数主流需求。他的大模型能力是这样的, 第三档说完,接下来的第四档和第五档就进入高端玩家档了,如果只是纯打游戏的话,完全用不到这么高的配置。社长建议大家压抑住所谓一步到位的冲动,先在中低配置上玩熟了,确实有需要了,再上高端配置也不迟。 第四档,五万元。这一档的核心定位是旗舰家用加准专业,支持大型大模型流畅运行,加模型微调加四 k 游戏加专业级生产力。核心配置如下,这套配置的大模型能力是这样的, 第五档,十万元,这一档的核心定位是顶级家用加专业级。社长在这一档破个例直接给他上了英伟达 pro 六千九十六 g 工作站显卡,让他可以支持全类型大模型加大型模型完整训练加四 k 或八 k, 游戏加专业创作,核心配置如下, 这套配置的大模型能力是这样的好,说到这里,五档家用消费级大模型硬件配置推荐就结束了。 最后说说小白模型部署培训的事。最近有不少粉丝朋友跟社长说想要部署大模型,但又不知道怎么开始学起,所以我们打算在三月十五号开一期培训来手把手教小白,零基础上手, 核心内容包含四个板块,一是大模型基础原理与适用场景。二是不同大模型的硬件精准选型。三是本地知识库问答、自动化办公等实用智能体搭建。四是欧门可乐安装配置与私有化部署,有需要的朋友可以联系我哈!

没想到啊,距离我制作 open klo 的 详细部署教程已经过去了一个多月,这玩意现在居然火成这个样子,甚至某鱼上都冒出了一堆远程部署的这个付费服务,动不动就收你们几百块钱。我在我那期视频发布之后呢,有的观众也在吐槽模型费用太贵了,那有什么办法能够不花这个模型钱呢? 有的兄弟们,有的本期视频的主题就手把手带你们部署一个属于你自己的大模型,并教会你如何在 open klo 中切换大模型的大模型啊! 不管你是使用像欧拉玛呀还是 l m studio 还是 v o i m 等,都能很方便的接入,从而实现完全离线免费无限制用的 open 可乐。好废话不多说啊,记得先点赞收藏加关注。我们现在开始 我整个教程会分成两大步啊,先搞定本地的大模型部署,再讲欧布可乐的对接配置。但如果你已经部署了本地的大模型,可以直接拖动进度条是吧?跳到对接部分即可。第一步,咱们先搞定本地大模型的部署啊,我这边推荐没有经验的同学优先使用欧拉玛,他几乎是目前全网最简单的本地大模型部署工具,没有之一 啊,支持一键部署市面上绝大多数的一些开源模型啊。然后这里插一水,如果你想要工业级大模型的推理框架 v l l m 的 教程,可以在弹幕当中扣个一人多的话,我后续考虑出个教程。 首先打开浏览器啊,输入欧拉玛的官方地址,我放评论区了,就直接复制在那些就可以。进来之后呢,你是什么系统就点对应的下载是吧? windows 点 windows 麦个点麦个, 下载完成之后呢,麦个就跟安装其他软件一样是吧?然后 windows 也是不断的下一步即可。 好,现在安装完欧拉玛后呢,最关键的一步就是下载并启动本地的大模型。这里要跟大家说清楚,要驱动 open close 这样的 a 卷的系统, 必须选指令遵循度强,上下文长度多的模型,简单来说就是听得懂指挥是吧?记得住你的命令的这种模型。而我这边测试了好几个模型,比较推荐用的就是这个 q 三点五,它有多个尺寸的版本,通常模型越大则性能越强,大家根据自己电脑的显存大小来选就可以了, 最好选不要超过你显存大小容量的模型,也就是 size。 这里我这为了快速演示,我这就使用这个零点八 b 这个小模型展示啊。如果你们有测试更好用的模型,也可以在评论区跟大家分享一下。 确定好模型之后呢,点进去之后,可以直接看到下载模型的指令,此时我们需要打开终端或者这个 power 键麦克打开终端, windows 打开 power 键,然后粘贴这串命令,然后按回车,它会自动下载模型并启动,全程不用你管。经过一段时间下载后呢,它会自动进入对话界面,你可以直接在这跟本地大模型对话,比如说问他,你好。 哎,到这里恭喜你,你已经成功完成了本地大模型的部署。接下来就是将其接入我们的 openclo 中了啊。这里先提一嘴,如果你的电脑还没安装 openclo, 可以 直接去我之前的其零基础啊部署教程,几分钟就能安装好。我这就不重复讲安装步骤了, 我们先讲刚装好的欧拉玛怎么对接。第一步,修改模型的上下文长度。因为欧拉玛本身为了极致的轻量化,如果你电脑显存不大的话,他默认模型的上下文就给你四 k, 你 就这样给 open color 使用的话,你说完这句话他就能忘了上一句。所以我建议把模型的这个上下文设置为至少六十四 k 以上吧。 我们打开这个欧拉玛的软件,然后点击设置,就在这里设置上下文,然后把这个拖到六十四 k 就 可以了。第二步,去 open clone 里做这个配置对接,还是在终端输入这个 open clone config, 进入 open clone 的 配置菜单,然后回车啊配置本地文件,选择 models。 这里呢是 opencolor 给你预设的一些云端模型配置,像什么啊, gpt 啊, jimmy 等等。我们要选择最下方的 custom provide 的 选项,这个呢是自定义模型选项,可以自定义 opencolor 从什么地址去调用模型的服务。而我们这里默认就是幺二七点零点零点幺,这个幺幺四三四端口的 我们不需要修改。然后这里的幺二七点零点零点幺呢,表示从你本地获取。然后这里的幺幺四三四呢,是欧拉玛的这个端口服务,然后再回车输入密钥,这个地方呢可以随便填,因为这是你本地的服务。 然后这里询问我们要接入什么标准的端点协议,我们也默认回车即可。最关键的来了这里,让输入模型的 id, 我 们在这里输入你刚刚下载的模型名称,然后这个样子就是教验,通过回车啊,后面的这些都不用,输入,回车即可。 然后最后选择最下方的这个 ctrl 钮,完成模型的切换。现在你可以回到 openclip 的 控制面板当中,点击代理,看到这个 primary model 是 不是你刚刚选择的模型了。至此,你已经成功在 openclip 当中揭露了本地的大模型。 如果你使用的是 l m studio 或者 v l m 等模型推理框架,步骤跟刚刚几乎没什么差别,只需要将这里的电路地址修改为你所对应架构开放出来的端口即可。比如说像这个 l m studio, 它默认的端口就是一二三四,你这里就写啊,幺二七点零点零点幺一二三四就可以了, 然后 vm 呢则是八千,然后你就把这个端口修改成八千即可。后面的步骤和欧拉玛一模一样是不是?嘎嘎简单?所以我们来 open call 聊天框简单的测试一下,就说帮我查一下北京明天的天气, 哎,如果你的任务比较简单,那是用本地大模型来驱动这个 open call 还是非常 nice 的。 最后本期视频用的所有命令和部署流程我都整理好了,放在这个评论区,大家点赞关注智取即可。 然后上期的这个部署教程和 open klo 的 这个 skill 制作教程我都会放到 open klo 的 合集里头,后续呢也还会更新 open klo 的 其他玩法,不想错过的朋友可以点个收藏和关注啊,咱们下期视频见!

这是我刚收到的苹果新款 macbook neo, 用它养龙虾,你觉得靠不靠谱呢? 今天我就用它手把手教大家如何配置 macos 版的 open core, 本地部署步骤呢,很详细,需要一步一步往下看,保证成功。建议呢,先仔细看一遍,再跟着操作。第一步,安装 get 苹果自己家的开发者站点,仔细看,这里 搜索 command line force for xcode, 根据我们现在的系统版本,新的呢是 xcode。 二十六点三,点击箭头,点击安装包,下载到本地后,打开后按提示安装就可以, 直到安装成功。这个时候呢,我们点击右上角放大镜图标输入终端,打开后输入这串命令,看到版本号就是安装成功了。 第二步,安装 homebrew, 我 们需要在终端输入这一行安装命令,提醒一下。接下去呢,出现类似的命令,记得暂停视频,复制后可以在千问豆包等大模型工具问一下,以免复制的时候识别错误。 输入后呢,按回车,他会自动开始安装 homebrew 了,这里会问我们通过什么下载 homebrew, 我 们可以输入一,也就是清华大学这个敲回车,然后会要求我们需要输入开机密码, 输入后直接按回车就可以,这里会问我们是否删除之前这台机器安装的红不入,直接输入 y 回车,他会帮我们自动备份。再接下来呢,我们还要按一次回车开始安装红不入,安装成功后会需要我们再次输入密码,直接输入后回车就可以。 接下来会让我们选择哪个国内镜像,这里我是直接按他提示输入五回车,然后我们等待他安装完成,直到出现安装成功的提示后,我们先关闭一下终端界面,然后呢,在程序屋重新打开它,让配置生效。 这里有个提醒,如果你是 mac os 二六之前的版本,你呢也可以先按照第二步安装 homebrew, 安装完毕了之后呢,再安装 git 就 比较简单了,直接在现在重新打开的终端里输入 pro install git。 回车后呢,它就会帮你自动安装完成了。 第三步,安装 node js 仔细看 node js 官方界面左下角,点击 macos 安装程序,获取后呢,打开安装包,后面按提示安装,直到安装完成。 第四步,安装 open clone, 再次打开终端,输入这个命令回车就可以了,不用管它。再输入这条命令回车,只要输入正确,依然不用管它。之后我们再输入这行命令, 这个时候他会要求我们输入开机密码,回车后他就开始安装了,我们需要稍微等待一下,看到终端里有类似这样的提示,里面的具体数据呢,我们可能会有不同,不用在意。这说明欧邦克洛安装成功了,但是还没完。 第五步,配置 openclore 配置之前,我们需要先输入这行命令,这个命令的作用呢是删除我们本地已经安装过的飞书插件目录,以免后面引起冲突。输入后按回车就可以。接下来还需要输入 openclore on board, 启动 oppco 初识化配置向导,这个时候你就能够看到龙虾的 logo 了。这个呢,有一个官方风险提示,我们要继续只能选择 yes, 可以 用左箭头键选择按回车确认。这里我们只要保持 quick start 模式,直接回车就可以。 这里就是需要我们选择我们的 oppo colo 准备连接的大模型了,基本上覆盖了目前主流的大模型,如果你已经有创建过某个大模型的 api, 就 可以通过上下箭头键选择插播一个大模型 api 密钥配置。 我这里给没有创建过大模型 api 密钥的小伙伴演示一下我自己在用的 kimi 的 mojito ai api 密钥的创建过程。首先是 kimi 开放平台, 然后呢左侧选择 apikey 管理,之后在右侧点击新建给他取个名字,比如 opencore bot 项目,这里选择一个就可以了,然后点击确定,这个时候呢,我们就可以看到密钥了,这个密钥一定要保护好,不要让人看到,要不然被有心的人拿去的话,他用的就是你的额度了。这里不是点确定,而是点击右侧的这个复制按钮。 好,再次回来,我们可以点击程序屋上的终端,这里我们选择刚刚注册的 kimi, 也就是蒙秀的这个敲回车这个位置呢,我们根据实际情况,我们刚刚是注册的国内的,需要选择点 c n, 这个选择好后回车 这里我们因为是直接复制密钥的,所以直接在 face 的 api key 这里回车就可以。 ok command 加微把我们刚刚复制的密钥直接粘贴回车后,我们保持它默认的这个就可以直接回车。 这里会要求我们选择使用哪个聊天软件来通讯。目前呢,我们可以直接用向下箭头选择到最下面的 skip for now, 这里会涉及一些准备步骤,我们可以在视频后面再配置,选择 skip for now 后回车, 如果跳出设置 provide 后,依然先选择最下面的 skip for now。 先跳过回车,这个时候他会问我们是不是现在需要配置 skills 了,我们可以选择 yes 看一下,你用向下箭头键往下看,每一个的后面呢都有详细的场景说明, 如果有你需要的,可以选中它后敲一下空格键,再敲一下就是取消。这里我们依然先选择 skip for now, 反正后面呢还可以配置的空格键选择再敲。回车, 这里有一系列需要我们配置各种平台的密钥的,我们暂时也都可以先选择 no, 如果你的确已经有密钥了,当然也可以选择 yes, ok, 来到这里 hux, 我们也先用空格键选择 skip for now。 回车,这里会跳出一个窗口,我们先选择允许。然后呢,终端这里会问我们用什么方式起用 boot, 我 的建议是 web ui, 对我们普通用户来说也会更直观一点。选择后,回车,这个时候他会自动打开一个界面,这就是和 oppo cola 的 一个聊天界面了,我们可以先和他聊一下,比如我们可以用中文说一句你好,收到他的回复,呵呵,证明我们的配置已经成功了。 原则上来说,我们的小龙虾呢,已经养殖成功了,但是还有一步更重要的,才能够方便我们用聊天软件随时随地的给他下达干活指令。 也就是呢,即使我们在外面,也可以用手机上的聊天软件给他下指令。那么我们用目前口碑相对更好的飞书来举例。第六步,创建飞书机器人。 首先是飞书开放平台,我们可以准备一个个人账号,登录后点击右上角开发者后台,这里呢,点击创建企业自建应用,给他起一个名字描述,这里也随便填写一下, 选择一个图标,或者呢也可以自定义上传一个图标,然后点击右下角创建,这里我们点击添加机器人,暂时点击左侧的权限管理,点击开通权限 搜索框,这里我们输入 i m 冒号,注意这里的冒号呢,是需要切换到英文输入法的冒号的, 这里我们可以把全部都勾选,点击确认开通权限,这个位置有一个提醒,你看一下应用发布后,当前配置方可生效, 我们需要点击提醒这里的创建版本,这里我们输入版本号,按照他的提示,比如一点零点零更新说明,这里呢,我们也可以写上创始人版本下滑,点击保存,点击确认发布。 ok, 飞书机器人创建完毕。第七步,连接 oppo 克洛和飞书, 依然是在终端输入 open core config 回车,这里选择 local, 这里我们选择 channels 回车,然后是选择默认的这个 config link 回车, 这里呢,我们找到飞书回车这个位置,我们得选择 download from npm 回车安装飞书渠道插件这个位置,选择 yes 回车。稍等片刻后,需要输入飞书的 app, 先按一下回车, 之后再是飞书的开放平台左侧,点击凭证与基础信息,点击 app secret 这里的复制键,再是回到终端 command 加 v 粘贴回车,这个时候还要我们输入 app id, 再次在飞书开放平台点击这里的 app id 下面的复制键,然后呢,再到终端 command 加 v 粘贴回车,这里通讯方式选择 web socket 回车飞书这里我们选择 cn 的 这个就可以回车。 是否允许群聊使用?我的建议是选择下面的 open 回车,下一步可以直接用向下箭头键快速下滑到底部,选择 finished 确认配置完成,这里呢,问我们的是配置私信访问策略,这里需要选择 yes 回车之后这个位置,我们可以直接选择 perry 回车,这个菜单里我们可以选择到底部的 continue 回车。 ok, open core 和我们的飞书正式配置完毕。 最后环节,我们在终端输入 open core get away 启用它。再是在飞书开放平台选择左侧的事件与回调,点击订阅方式,这里的按钮 确认是这个默认的长连接,点击保存这里再是点击添加事件,搜索框里输入接收消息,将接收消息勾选,点击添加按钮,再是点击左侧的权限管理,点击开通权限。 搜索框里呢,输入通讯录,把这个获取通讯录基本信息勾选,点击确认开通权限,再次点击右下角的确认,这里依然会看到版本发布后当前修改方可生效的提醒。我们还是点击创建版本,输入新的版本号,比如一点零点一 更新说明,这里呢,我们可以是添加消息,接收能力,下滑到底部,点击保存,点击确认发布。 第八步,与 open core 对 话,我们可以尝试拿起手机飞书,点击开发者小助手下滑,找到我们前面命名的那个应用,点击打开,我们可以给他也发一句问候,比如你好, 这个时候呢,你会收到这样的一个安全配对提示,不是错误,是为了安全起见生成的配对码, 我们只要复制提示里最下面的这行命令,在终端里再次输入回车, ok, 显示配对完成后,回到手机飞书再给他发你好,很快呢,就能够收到他的回复了, 哦吼,正是在我们 mac 上部署完成了 open core, 同时呢,也可以用手机上的飞书,电脑上的飞书,随时随地的给他下指令了。 这就是完整的 macos open core 本地部署教程了,适用所有的苹果电脑 制作,不容易,有用记得点赞分享。接下去呢,还会有如何配置 skill, 如何省托坑等等的一些必备技巧分享,大家记得持续关注。如果大家还想了解如何一键云部署的话呢,也可以留言,需求多的话,我也来做一条详细的教程。

你是否也为养龙虾而烦恼啊?我刚才试了一下,咱们这个龙虾线上 toking 太贵啊,根本养不起。但是要想用本地模型啊,你的本地模型小龙虾是不是傻傻的呆呆的?那是因为你本地步数太小了,四 b 八 b, 那, 那龙虾简直就跟啊幼儿园的小学生一样,想要部署本地大模型啊,首选枪神九 plus 超净版啊!我刚试了一下,部署三十 b 以上的本地大模型啊,六十四 g 两 t 加五零九零显卡 绰绰有余啊!还有一款就是咱们的幻 x 啊,幻 x 的 一百二十八 g。 我 刚看了一下啊,一百二十八 g 内存,如果你又放到台式机上,光内存的价格就已经 将近一万二三的价格。但是咱们现在换 x 的 笔记本啊,显存又高,内存又大,一百二十八 g 版本还可以同时叠加补贴的价格,现在两个 w 都不到,而且还有学生优惠啊,又方便携带, 轻轻松松啊!本地部署大模型龙虾啊,让你的龙虾啊比别人又聪明又快,而且还不用耗耗,耗费大量的 tucker 啊,不用耗费资金就能帮你办事啊,这样的下属谁不爱?想要预知详情,赶紧点我主页!

嗯,最近有不少朋友在问怎么去配这个本地的大模型啊?这边简单讲解一下,首先的话进入这个网站奥 利马点 com, 然后他这有这个教程啊,然后我们只需要把这段话给复制下来,然后下载到本地,也就是在 哦这个位置我这下载,下载了之后呢就下载把程序,下载之后呢我们去呃,用这个指令点微信去查看我们有没有把这个本地部署大模型的这个软件给部署好, 如果说能看见他的微信的话,就说明这个软件我们已已经下载成功了。然后后面的话我们就可以直接去奥利马点 run, 这 run 的 话你可以随便选择模型啊, run 的 时候他会帮你把这个模型给下载好,下载好之后顺便就跑这个模型,然后跑了这个模型之后,你就可以一对一的跟他进行通话,然后这个模型的话你也可以在这个网站点这个 modos, 在这进行去找那个啊你需要的模型,我这边的话是用的那个纤维衫,然后这边的话还有其他的很多模型,而你都可以选,要根据自己的硬件配置的话,选择更多的模型,然后部署到本地。以上就是这个的一个简单的流程。

朋友们,本地部署那个大模型还是可行的,我根据网友的建议去用了这个,用这个模型加载器,然后我现在在本地部署,在 mac mini m 四上部署的,然后我现在问他一下,他响应速度还行, 你看没这么快就响应量也还可以,你看响应速度非常棒。 然后就是这个拓展处理的话,拓展量非常大,如果说你本地绘画的话就还好,如果说你上 ag 的 话就得上这个模型, 不是这个模型这个容器吧,用这个加速就挺好的,可以部署本地的。

大家好,欢迎回到我的频道,前面几期视频我给大家演示了如何在 v i y 里安装优盘图 linux 处理机,也讲解了如何在优盘图中配置 note g s 和 git 来满足 openclaw 的 运行环境。那这期视频我就来教大家如何在优盘图 linux 操作系统中安装部署 openclaw。 在本期教程里,我们将从 github 下载 openclaw 最新的源代码进行安装。如果你下载不下来,也可以在评论区里留言,我把我下载好的 openclaw github 源代码分享给你。 我现在就在 umber linux v i r 训练机里边,我们打开 firefox, 我 看看 github 好 不好。访问今天为车,今天很幸运可以访问,那我们在这儿搜索一下,在搜索框输入 openclaw 车在这个项目 open club, open club 就是 我们要访问的项目。点击一下,打开它,今天速度还挺快,这是咋回事?我们点击这个绿色的扣按钮,有一个 download zip, 我 们还是下载下来吧,避免安装的时候突然访问不了,挺麻烦的。点击下 download zip 就 开始下载了,下载也很快, 超乎我的想象。好,现在下载好了,那这个应该是最新版本的,如果你要是担心这个最新版本里面有 bug, 因为它是刚刚提交的,有的最近的是三十八分钟内提交的。 那你可以下载这个最新的 release 版,你看这有一个 release open club, 二零二六点三点十三,那最新的 release 版是三月十三号的,我们点击这个链接进去,他就打开了这个页面,那这个页面里边就记录了他都修改了哪些问题。在这最底下有一个 south code, 你 也可以下载这个 最新 release 版的源代码,点击这个链接,它就把最新 release 版这个版本给下载下来了。下载好之后,我们来到这个下载目录,那这两个字库文件都在这了,我先修改一下这个屏幕的分辨率,这样屏幕就文字大一点, 我们看一下这两个版本,那我们还是安装这个三点十三,因为这个是 release 版。右键单机点击提取,解压缩到这个文件夹下,我在我的主文件夹下建立了一个文件夹叫 work, 然后把那个解压缩后的 open class 代码拷贝到这个 work 目录下, 我们右键单机桌面,点击,在终端中打开,打开一个终端窗口,我们再确认一下 node 和 get 的 版本,那 node 是 vr。 二十二点二,十二点一,这个是符合这个要求的,那 get 二点五,一点零,这两个版本是可以的,因为我们从 oppo colo 原代码来安装这个 oppo colo, 它需要 p n p m 这么一个呃命令,所以我们先安装 p n p m, 我 们运行这行命令。 soluo 空格 n p m 空格 install 空格横线 g 空格 p n p m 回车,它需要输入密码, 也就是那个哈喽那个账户的密码,他就开始安装 pmpm 了。好,现在已经安装好了,那我们先运行 npm 杠 v 看一下版本, npm 是 十点九点四,那 pmpm 呢?杠 v, 十点三,二点一, 可以,这个 n p m 和 p n p m 我 们都已经安装好了,那现在我们先来到 open k l 源代码所在的这个目录,我们把这目录地址拷贝一下,回到命令行。好,那现在就到这个目录下了,这个就是这个 open k l 的 原文件。在这个目录下,我们先运行一下这行命令, p n p m install 回车,它就会把依赖的或者需要的那些包全都下载下来,并且安装好。当你看到这些信息, 那就证明需要下载的包都已经安装好了。然后我们再运行另一行命令,就是 pmpm 空格 ui 冒号 build, 这个命令运行很快,当你看到这些信息,就证明这个命令已经运行好了。然后我们还需要运行一下这行命令,也就是 pmpm 空格 build 回车,等这个命令运行好之后,这个 open klo 基本上就安装好了。好,到现在为止, 这个 open colo 就 算安装好了。然后我们还需要运行一下这行命令, p n p m 空格 link, 空格,横线,横线 global, 那 这行命令就会把这个 open colo 这个命令设置为可以直接调用的 c r i 命令, 方便你调用,让它出现一个错误,这个错误是什么原因其实也写清楚了,告诉你怎么改。需要运行 p n p m 空格 set up, 先来创建一下这个 global bin 这个 directory, 那 我们就运行一下, 还要运行 south home hello, 点 best i c 现在已经生效了,现在我们再运行一遍 p n p m 空格令格航线 global, 那 现在这个 openclaw 这个命令就可以直接 在命令行里边调用了。然后我们运行这行命令, openclaw, 空格 unbox, 空格航线航线 install 航线 demo, 那 这行命令就开始设置这个 openclaw, 并且安装后台的守护进程,也就是后台服务, 这个 open 卡拉就会在后台一直运行了。我们看这个命令执行之后,就是这个界面第一个配置界面问你是不是继续,那你就通过这个左右键选择。 yes, 然后按回车,然后 unboxing mode, 就是 是 quick start 按回车 model, 也就是大圆模型,你选择哪个?因为我们使用本地的奥拉玛,所以我们选择奥拉玛,那奥拉玛 base url, 也就是我们这奥拉玛模型的 url 是 多少, 我们现在去看一下。我们在 windows 上打开奥拉玛这个应用程序,点击左上角这个图标,有一个 settings, 点击一下,那在这右边有一个选项叫 expose orama to the network, 这个选项一定要打开,否则奥拉玛是不能够被网络上的其他应用程序访问的。 我们再在 windows 里边打开一个 windows power 或者命令行窗口,运行命令 ip config, 那 我们就可以找到我们这台计算机的 ip 地址, 那我们这 id 是 幺九二点幺六八点二零四点幺,我们在浏览器里边输入这个网址 gdp 幺九二点幺六八点二零四点幺,冒号幺幺四三四,回车之后,如果看到奥拉玛 is running 这个页面,那就证明我们这个奥拉玛是可以通过网络上的其他应用程序来访问的。 我们回到这个 uberto linux 这个虚拟机里边,把这个 alama base url 地址改成幺九二点幺六八点二零四点幺,冒号幺幺四三四,回车会让你选择一下 alama 的 mode 是 cloud 加 local, 那 么选择第一个回车, 然后它有提示让你登录进 alama cloud, 我 们就把这个链接拷贝一下,点击 connect, 连接成功了,我们再回到这个命令行, 他问你是否登录进去了。 yes, 我 们回车。现在你就可以选择这个大语言模型,具体使用哪个,那我们就使用缺少的 kimi 二点五这个云端的模型就可以了。按回车,再让你选择那个 china, 就是 你用哪个聊天软件去管理这个 opencloud。 我 们先不用这个了, 我们会在以后讲,我们选择 skip now 回车,选择第一个路由 search, 因为我没有这个路由 search 的 api key, 所以 路由 search 就 不能使用,但是你可以去到这个网址去获取 ikey, 可以 以后再配置,现在它让你选择 skill, 问你是不是配置 skill, 我 们可以选择 yes 啊,回车用上下键来选择,选中之后按一下空格键,这变量就把它选着了。 回车这个 homebrew 我 们也可以安装一下,选择 yes 回车 google api key, 这个我没有,就选择 no, 全都 选中就可以了。 hook, 这个我们也先 skip 它,就开始安装这个 getaway, 也就是这个网关 getaway 已经装好了,他问你想怎么去跟这个机器人聊天,或者机器人互动,我们就选 open the web ui, 那这样他就会打开一个浏览器,你可以在浏览器里边跟他聊。第一个是 tui, 就是 基于文本的那个用户界面,我们还是用外部 ui, 那 现在当你看到这个界面,就说明这个 oppo cola 已经安装好了,这些信息都还是比较重要的,所以我建议你最好把一些重要的信息保存下来, 比如说这 ctrl u i, 也就是我们刚才不是选择基于 web 来管理这个机器人,所以它有一个链接地址,通过这个地址是可以打开这个管理界面的, 那这个地址我们把它拷贝出来,在这个浏览器里边粘贴进去,那这个就是 open k l o 的 这个控制台,当然这个我都跟他聊过一点了, 所以有这些信息。那我跟他说个你好,他巴拉巴拉说了一大堆,我问他现在都能干些什么?他回答了一大堆,好像感觉他非常能干。这些东西都怎么做?以后我可以给大家做视频,来演示一下他怎么才能做到这些功能。

经过一整天的折腾,不停的调试测试,终于把龙虾和欧拉玛本地部署的大模型链接上了。下面说一下我这次的经验,并不是所有本地大模型都支持龙虾,目前经过我测试,最好用的是千万三, 我本地的硬件最高能支持在欧拉玛里面跑三二 b 的 大模型,但是速度比较慢,所以我下载了一个九 b 的 千万三,先试一下 九臂的千万三在欧拉玛里面可以很快的速度运行,但是在龙虾上反应的速度就有点慢, 而且只能支持本地聊天或者处理文本任务,让九臂的千万三驱动龙虾去打开浏览器都实现不了,也可能是因为我本地部署的大模型太小,有没有哪位部署过比较大的本地大模型的朋友可以说一下使用效果如何? 所以我打算暂时放弃使用本地大模型去动龙虾,去购买二十九元包月的 mini max 的 a p i 来使用 tucker, 量大管饱,关注我,一起交流养龙虾!

opencla 对 接欧莱曼核心教程,不用 vpn, 不 用真实 apikey。 重要提醒,一定要用非工作电脑,不要在公司电脑有重要文件的电脑上操作。第一步,准备环境,在官网下载好安装包, 安装 nodejs 二十二加和 get 一 录下一步即可。第二步,安装 opencla, 以管理员角色打开 cmb 复制一键安装命令, 安装成功。第三步,下载本地模型 cmd, 安装并启动欧莱玛。 第四步,配置 open 框。

大家好,这期视频我来带大家从零开始安装和部署 openclaw。 首先打开 github 主页,在这里搜索 openclaw, 第一个就是点进去,它下面给了我们安装的指令,但是如果你直接去运行这个指令的话,它大概率会报错。它这里也提示了你的 node 要大版本大于二十二,这个节点是 node 翻译过来的, 我说一下这个 node 点 js 是 什么,它相当于是前端项目的动力工厂,它负责把开发者写的浏览器看不懂的高级源码翻译打包,转化成浏览器能识别的标准页面。如果没有它,你手里的 opencloud 就 只是一堆无法使用的代码零件,而不能变成一个你可以去点击去交互的成品网页。 所以说最后虽然跑网页的是浏览器,但是给这个提供环境的却是 node 点 js。 我 们直接在这里搜索 node 点 js, 点击,刚才说了,我们的版本要的是大于二十二,这个 l t s 是 它长期维护版,我这里下载一个二十二点一的,然后点击这个 windows 安装程序,点 m s i, 我 这里之前下载过了,所以我直接去安装,我们双击这个 next, 同意 next, 然后在这里选择一下安装路径。 next next 这里不要选中这个,让它自动安装必要的工具。 next, 然后 install 点击试 安装完成之后,我们验证一下是否安装成功。在这里搜索命令提示符或者 cmd, 输入 node 杠 v node 空格杠 v ok, 有 版本,输入 n p m 空格杠 v, 有 版本,这已经说,这说明我们已经安装成功了。 接下来我们就可以去运行它这个它这个指令了。在运行之前我说一下 n p m n p m 就是 node 点 js 自带的一个下载工具,从云端下载各种各样的包。这里我们主要是下载 opencl 运行时所需要的上千个功能的零件,也就是它的依赖包。呃,那么 可能有人在运行这个的时候会出错,或者说呃他一直下载不好,所以我们这里呃就是最好先进行一个换源的操作。 npm 的 官方源他是在国外的,当你执行 npm install 的 时候,你的电脑就像跨越太平洋去海外仓库拉货,不仅距离远,网络波动,还会经常因为各种不可抗力因素导致物流丢包。 换元的操作本质上就是把收货地址改为国内的大型中转站,如阿里云、腾讯云、华为云镜像这些国内大厂每天都会实时同步海外仓库的所有零件。我们在国内镜像站下载速度就像跑高速,稳准快。我们首先看一下它的元是在哪里的, npm config get register, 这个是它的官方源,然后我们在这里把它换成阿里云镜像站。 npm config set 设置 register, 阿里云的镜像站是 http, 设置完之后我们再 get 查看一下, ok, 现在已经变成了我们刚才设置的这个,现在我们再执行它这个命令应该就不会出问题了。 这个杠记就是全局安装,就是你以后不管在哪个文件夹下,你都可以使用 openclaw 的 命令化缘,这一步并不是强制的,如果你网络很好,也可以不改这个爱帖斯的这个的就是安装当前最新版本的意思,这一步就是把 openclaw 这个工具文体安装到我们的系统里面, ok, 他 已经安装完,完成了,然后我们接着执行他第二条指令。 这一步就是给 openclaw 进行一个初识化的配置。第一个问我们是否是个人使用,选择 yes, 第二个问我们模式选择快速开始。第三个问题,这里让我们选择模型的提供商,如果你已经买了一些大模型的 api, 你 直接在这里选用你对应的对应的就行, 那么你这里没有的话,我们就可以去申请一个呃, kimi 的 api, 它会给我们新用户送一些免费的额度,我们搜索 kimi, 登录一下,点击开发工作台用户中心,这里有 api k 管理,我们可以在这里新建 api k。 在 新建 api 之前,我们应该是要先新建一个项目的, 我们在这里新建一个项目, 项目创建成功之后,我们在左侧 a p i k 管理,然后点击右边新建 a p i k, 然后选择我们刚才的 项目,点击确定,确定之后它这里给我们展示了这个秘钥,这只会给我们展示一次,所以我们在这里就把它进行复制。 然后这里就让我们填写刚才申请的 api, 选择第二个回车,然后现在写 api, 这个是他问我们默认的模型,那就直接选第一个。 呃,这里让是让我们选择聊天界面,因为 opencloud 它本身是一个后台大脑, 他没有自带像拽 gpt 那 样的网页聊天框,他需要挂载到一个聊天软件上。我们这里我们首先选择跳过,这里是让我们选择搜索引擎的提供商,我们这里选择 kimi, 然后继续粘贴我们刚才的 api, 这里问我们现在是否要配置工具,这里先选择 no。 这一步是在问我们是否要开启 hux, hux 就是 钩子相,相当于自动化脚本,它们会在特定时机,比如 agent 启动时,对话结束时,自动执行一些动作。我们这里也是先选择 skip, 然后这里给它重启一下。 ok, 这里没有成功,因为它用的是 onboarding 的 自动安装方式。问题主要出在后台自动启启动链路上,它会尝试把 get away 作为后台服务拉起来,但这条链路上就是在我的环境里没有成功,然后现在我们手动让它启动起来。 好的,然后这里我们刷新一下,就已经启动了,在这里你可以跟它进行对话。 ok, 它有,它有响应,就说明我们已经部署成功了。然后我们打开刚才的 kimi, 这里账户总览,这里就能看到它已经变化了, 不再是十五了。我们已经用掉了一部分的 token, 然后它的免费额度是十五。我这里再展示一下用我们本地 i m studio 部署的模型,如何在 open cloud 中调用它,这样你本地有算力的话,你就不会费费任何的 token, 你 费的只是电。好的,我们现在重新执行刚才那个命令, 和刚才一样,选择 yes, 快 速开始选第三个 reset, 重新设置,全部重新设置,这里我们选这个 custom provider 自定义提供商, 然后这里是填它的 url。 我 们现在打开 m studio, 对 m studio 的 话,没有的话可以先直接去呃这里搜索 m c u 九,然后进行下载,选择自己对应的系统,然后直接下载,下载完之后安装也很简单。嗯,我这里已经安装好了,然后这里没有模型, 在这里去选择模型搜索,这里有哈根 face 上的所有模型,选择模型去下载。我之前已经下载过了一个千万三点五九币的模型,我在我在第二个这里直接去加载它。首先我们要打开这个,然后去 log model 去加载这个模型,这个上下文 open, 它默认的,你这个上下文它不能低于。呃,好像是一万零二十一,一万零二十四还是多少?反正我这里设置一一万三是够用的。其实这里总共八点三五 g, 其实已经超过了我的显存八 g, 但是这是 im studio, 它可以。嗯,用一部分内存, 它是显存内存共用的,所以我还是能够成功启动的。但是启动之后你调用它,它可能就会很慢。这里就是它的 url, 它是默认执行在本机的一二三四端口的,我们等它启动成功之后, 这里改成一二三四,然后还得再加一个斜杠 v 一, 这里让我们填 api k, 但是 m studio 它是,呃,没有 api k 的, 但是你这里不能维控,你得随便填一个, 这里随便输入什么都可以。然后这里选择第一个,然后 model id, 就是 这个必须要严格按照这个才可以。这个你在加载的时候其实自己也可以去改改一个你比较方便的名字, 它现在正在验证,验证成功了,这是给我们起了一个 id, 让我们给模型起一个别名。 跟刚才一样,选择聊天框 skip, 这里设置 provide。 其实我们刚才不是申请了 kimi 的 api, 这里的话,嗯,可以用 kimi api, 然后也可以直接 skip, 问我们现在是否配置工具?选择 no skip, 选择第一个 restart。 好 的,它跟刚才一样是自动启动失败了,我们自己就在这里运行刚才那个命令,手动启动它。 好的,在这里刷新。我们先把这里清空,然后一会输入之后看这里的输出来验证它是否用的是我们这个本地的模型。 好的,它现在已经收到了,这里是它正在加载提示词,其实我们的提示词就是一个你好,但是它这个就是运行的很慢,我们之前用 kimi api 的 话,它响应的就很快,也主要是因为我的显存不够,所以它这里就跑得很慢。 对了,在启动的时候,这里必须把这个在网络中提供服务,把它打开,不然的话他可能就是调用不了。好的,他已经有回复了,这个就是我们本地的模型给他给他的回复,有回复了就说明我们已经部署成功了。

部署本地的 openclaw 已经可以剪视频了,大家都知道了吧, 这个让硅谷大佬每日一封的 openclaw 阿月,我呢也是拉到本地试了几天,现在就带大家把本地部署和接入飞书每一步都走明白。为了防止偶然性啊,我呢也是连续测试了四台电脑,确保每一步都可行,接下来你们只要跟着做就可以。点好关注收藏, 我这里依旧用的是 windows 系统来操作,因为 macos 系统呢,环境相对比较简单,不像 windows 这么复杂。首先呢,我们要确认好 windows 的 安装环境,安装的时候呢,全部都点 next, 一 直到完成即可,建议呢,不要去变更中间的安装路径。 呃,安装完成后呢,我们可以检查一下环境,我们在命令提示符的窗口输入这两个指令,如果输入指令后跳出版本号,那就说明安装已经成功了。这里提到的两个环境文件呢,我在文档里面也全部都准备好了。 好,接下来呢,我们就开始全区安装 oppo 卡使用管理员 c m d 指令输入,这个指令安装完毕后呢,再输入这一条指令, 好开始了。 ok, 这一步跳出来的呢是风险提示,我们直接选择 yes。 然后呢我们选择 quickstart, 这一步呢是选择大模型,我这里呢用的是千万,因为他是国内的,如果大家有惯用的呢,也可以自己进行勾选好,然后我们这里模型选择默认的即可。 之后呢会跳转到大模型的首页进行授权验证,大家验证通过就可以了。那通过后呢,这里也同样有一个选项,我们直接选第一个默认的模型。 ok, 下一步呢,这里可以看到很多的应用选项,这其实呢就是指令输入的终端,因为这些都是国外的,所以我们先不管,选最后一个,跳过,后面呢我会给大家介绍如何接入国内的飞书。 ok, 继续,这里会问你需要配置什么 skills? 呃,我们也跳过,没问题,因为这个不着急,后面都可以手动去配置的。 好,这个也不用管我们用不上,直接跳过。好,然后我们稍等一会,会自动弹出一个网页,然后你会发现这个网页是打不开的,没关系,我们这个时候呢,再运行一个 c m d 的 指令, 好,这就是欧奔 cloud 的 兑换框了,我们来尝试和他打个招呼, ok, 他 回复我了,那到这里呢,其实基本上就成功了,还是比较简单的啊。然后呢,我们再来尝试为大家接入一下飞书,很多小伙伴呢,在这一步呢,其实就被劝退了,因为怎么样都接入不了这里,大家看好我怎么操作。 首先呢,我们进入飞书的开放平台,我这里呢用的是个人版,我们来创建一个企业自建应用, 进到这个凭证与基础信息界面,把你的 app id 和密钥保存下来,这个很重要啊,后面会用到的。然后 我们添加一个机器人,再到权限管理这一步,为他添加一些权限。这里的权限列表呢,其实官方呢是有指导文件的,但是呢就藏的比较深,我呢也是给你们找出来,直接放到文档里面了,你们直接一键复制过来就 ok。 好,然后我们需要配置一下这个事件回调功能,在这里的订阅方式选择长链接这一步呢是必须的,而且是绕不开的,也是大家碰到卡点最多的一步,很多小伙伴呢在这里呢就是一直报错,好,不用担心,我呢,已经整理了一份非常长的傻瓜教程,大家直接照做就 ok 了。 然后选择以后呢,我们添加事件,然后添加搜索接收消息, ok, 然后我们就去点击创建应用,然后再发布就 ok 了。 好了,配置工作完成之后呢,我们就要开始给欧邦克劳接入飞速杀键了。由于 windows 的 系统环境问题呢,所以大家的电脑情况都不太一样,所以会出现不一样的报错问题。网上的很多视频呢,也没有把这个问题针对性的讲清楚,我自己呢也试了三到四台电脑来做尝试,都非常有挑战。 如果你手边也报错的话呢,不用担心,我这里想到了一个邪修的办法。好,那既然 oppo klo 可以 控制我的电脑,那为什么他不能自己安装飞出插件呢?我们来试试看吧,直接和他对话。呃,你自己安装一下飞出插件,然后呢,他就会开始疯狂的工作,并自行去验证安装环境和插件配置 啊。五分钟左右后呢,他就会告诉我,他工作完成了,需要我提供给到他飞出机器人的 app id 和密钥。这个呢,其实我们在上一步已经有了,我们直接复制给他,让他呢继续去工作。这里的工作过程当中呢,我们的机器人可能会下线几次,原因呢是他需要去重启网关, 如果呢,你感觉他下线太久的话呢,我们可以用 open cloud get away 这个指令重新把它呼出来。最后呢,他会要求你在飞车上和他对话进行测试,并为你排除最终的一些故障。 ok, 全部搞定,已经可以在飞车上正确回复我了,并且呢,刚才在外部的对话记录他也全部都记得, 呃,我们这里呢,再用手机给他发一条消息试试看。好,他也同样接受成功了。好了,这里欧本卡接入飞书的配置呢,就完全对接成功,基本上都是他自己完成的,我呢只是配合他提供了一些必要的信息, 妥妥的全能小助理。接下来我们来看看他能为我们做一些什么吧。比如呢,我现在想要订一张机票,我就让他帮我查询一下最便宜的航班,他立刻就给我列了具体的信息,包括航班号,价格以及其他的一些航班信息。不过这一步呢,是需要接入 api 的, 大家可以自行去网上找免费的接入就可以。 好,那现在过年了嘛,马上大家呢也会送礼嘛,那我就让他去浏览电商的页面。呃,不过这里呢,需要先安装一个 oppo club 官方的浏览器插件,我们直接从官方渠道进行安装就可以了。具体的步骤呢,已经放在文档里了,大家直接照做就可以。我让他给我打开。 ok, 成功,呃,然后我继续让他为我搜索燕窝。好,也成功了。 好,那我们现在在拿最近小伙伴在学习的 ai 的 线上作业丢给欧本克,看他能不能帮忙完成。 首先我们要让他找到作业的本地目录,并让他完成里面的题目。他立刻就找到了,并且迅速告诉我,完成了。啊,这速度还是真的蛮快的啊,但是呢,人呢,还是比较懒的。如果呢,你抄作业都不想抄啊?没事,直接让他把填完的东西返回给我。好,他已经做完了,我们来看看啊。 呃,代码呢?全部都完成了,不过呢,我也是看不懂啊。看懂的高手可以来说说他完成的这个准确率怎么样。 好了,那这次安装说明就先讲到这里了,关于 open cloud 的 更多能力,有时间呢我们可以再去测一下。好,那既然已经部署成功了,有兴趣的同学呢,也可以再去深度探索一下 啊。对了,现在呢,各大厂呢,也出了针对 open cloud 的 云端部署,我这个呢,也可以跟大家快速的分享一起。好,这里是阿月,希望我的视频能够帮助到你,让你更了解呀,我们下期再见。

大家好,最近那个 open cloud 大 龙虾实在是太火了,过年的时候我也研究了一下,并且安装部署在我自己的电脑上。 那这个视频就分享一下我的本地安装部署方案,如果你对这个话题感兴趣,那这个视频会对你很有用。首先这个东西它的实际能力肯定是被媒体夸大的,而且也不是买一个 mac mini 就 能搞定的,但 是它确实是一个好的开始,是一个重要方向。那如果你想学习 ai, 这个 open cloud 非常有必要去实践一下。如果你要用好它,就要给他很强的权限,比如说要他操作你的电脑,你就得给他电脑的文件读写权限。如果你想让他帮你收发邮件,或者 读一些在线文档,那你就得给他一些相关的网络账号的权限。所以呢,为了安全起见,这个 open cloud 最好是部署到一台专用的电脑上,让他操作一些网络资源,这些网络资源的账号最好是专用的。那 那么这个 openclaw 对 苹果系统支持是非常好的,这也是为什么之前很多人都去买 mac mini, 然后专门跑这个大龙虾也是这个原因。但是有 mac mini 还是远远不够的。我说一下我是怎么安装的,我是把 openclaw 安装到这台 mac studio 上边的 这个虚拟机里边啊,这是一个虚拟机麦克 s 啊,虚拟的麦克 s 是 用的这个 pd 虚拟机软件,用虚拟机软件的好处就是你可以安装多种系统,从 linux 到 windows 十十一,然后到麦克 s 都可以随便装,随便折腾,然后每一个系统你可以安多个,安多个都没有问题。 然后这个虚拟机整个就像一个黑盒子一样,无论你在里边怎么折腾,都不会影响到外边这个真正的麦克 s 你 的这个生产力。麦克 s 系统啊,非常的安全,就是安全隔离,然后用虚拟机方式部署。另一个好处就是这个虚拟机的内容啊,这个系统本身实际上就是一个大的镜像文件啊, 就是这 win 十的, win 十一的, macos 的, linux 的, 你可以把这些文件放到移动硬盘上,固态移动硬盘上,我现在就是这么放的,所以不占你本机空间,备份起来也非常方便,你只要把这个文件拷配一下,备份一下就可以了,等你想恢复的时候把它拷回去就行了,非常的方便,很灵活。 然后用虚拟机唯一的缺点,相当于又运行了一个系统啊,所以这个 macos 最少也得给它八 gb 内存,然后我这里是给到了十八 gb 啊,其实基本运行给个八 gb 就 可以了。 其实这个 opencloud 本身呢,它占不了多少内存啊,才占了几百兆内存,它本身不怎么占内存,这也是为什么 mac mini 就 能部署的原因啊啊,真正要求配置高的不是它,它占不了多少内存, 只安装好了 open cloud 还不行,还得有一个 ai 大 模型来配合,无论是在线的还是你本地安装的,你得给大龙虾安装一个脑子,不然这个龙虾它什么都不会干。可以把 open cloud 理解为一个插排啊,上面可以接各种设备啊,可以 给手机充电,充电宝充电,插一个游戏机都可以,但是呢,你要给这个插排供电,它才能使用啊。 的 ai 大 模型呢,就相当于给这个插排供电,所以在你使用 openclaw 读写你电脑上的文件,帮你看在线文档,其实都是后面的 ai 大 模型在起作用。实际上你的 openclaw 可以 使用多种大模型啊,比如说在线的千文模型,然后你也可以安装各种本地的开源模型, 你可以通过 opencloud 点 json 这个配置文件进行配置,当前使用哪一个,在这个配置文件里修改一下就可以了。那建议目前这个 opencloud 实际使用起来比较费 talkin 这个问题呢?呃,很多人还都是安装的本地大模型,在本地运行 ai 大 模型要比 安装运行 opencloud 要求的电脑配置要高一些。那如何把大模型安装部署到你的 mac 上或者 windows 上?我之前发了很多视频, 很久以前就发过,你可以去看一下。我这里呢, openclaw 是 部署在这台 max studio 的 虚拟机软件里,本地部署的大模型呢,也是在 max studio 这台机器上,但是是在这个宿主机,也就是这个机器的系统本身基于苹果电脑,安装本地大模型要给到足够的内存。 我这里用 alama 本地安装了两个模型,我实际上用的就是第一个,第二个,这个你可以看到比较大,激活加载之后比较费内存。 我这台 max 六六一共有九十六 gb 的 物理内存啊,你可以看到现在已使用内存有四十二 gb。 现在大模型还没有加载,因为我本身这台电脑上运行了很多 app 啊,包括那个 macos 虚拟机,占了也不少内存。 你现在看到的是 openclaw 激活那个三十 b 的 千万三模型啊,现在的已使用内存已经到了八十三了。现在麦克 s 虚拟机里边的这个 openclaw 进程实际上没有什么变动啊,还是三百多兆,不到四百兆,所以它是不怎么吃内存的。 如果是日常收发邮件、总结文档这些日常工作内容,它已经够用了。甚至我后边想试一下更小的模型,比如十四 b 的, 呃,这个量级的是不是对所谓 ai 员工的这些操作是不是就够用了?这样可以降低对本地机器这个配置的要求。那 open cloud 和大模型都安装配置好之后呢,作为你的 ai 员工呢,你就可以用你的手机 app 来指挥它,帮你 做一些事情。举一个有用一些的例子啊,比如说你是一个公司的 hr, 那 你们公司正在招聘 ai 工程师,呃,每天都有很多应聘的邮件到你的邮箱里,那你很忙,你就可以让这个 open cloud 帮你每天去筛选一些符合你要求,符合你标准的这个应聘邮件, 然后发送到你的手机上。比如说我这里用的谷歌邮箱,那你要想让 open cloud 去读写这个谷歌邮箱的内容, 你就得配置一个叫做 g o g skew 的 这么一个东西。实际上这个 skew 呢,在 open cloud 里是非常重要的,可以扩展它很多个能力。那如果说把这个 open cloud 比喻成一个插排,那这个 skew 在 里边的角色就是相当于插在这个插排上的各种不同的插头。比 说你插一个手机充电器,那这个插排就可以给你的手机充电,你插上一个,呃, ps 五主机你就可以,那你就可以玩游戏,你插上一个台灯,你就可以照明。所以说这个 openclaw 本身它安装是很简单 的,就官方的那一句话就可以安装啊,如果没有网络问题的话,就是一句话就安装好了。重要的是它的配置。 openclaw 运行在虚拟机里,优点就是安全隔离,它是一个黑箱子,不会破坏你的生产力的这 一些机器。呃,并且方便备份和恢复。呃,本地运行大模型呢,也没有 token 焦虑。这个方案的缺点是要有一定配置的苹果电脑啊,特别是内存要大一些。当然你也可以把 openclaw 部署到一台苹果电脑上, 然后本地大模型部署到另一台苹果电脑上。你也可以用 linux 系统来部署,也可以用 windows 系统来部署。 ok, 这就是本期视频,如果你对 openclaw 或者 ai 话题感兴趣,别忘了点赞关注,后边我也会分享更多的关于 openclaw 的 使用细节和配置。感谢收看,我们下个视频见!拜拜!

上一期咱们聊了怎么选大模型,今天咱们就好好掰扯掰扯这个最费钱,也最容易引发家庭矛盾的话题。大模型硬件怎么选? 有人说几百块的洋挖机就能跑,有人又说不上几万块的顶级卡根本没法用。其实你仔细往下看,会发现,这两波人都没撒谎。为什么呢?因为大模型的硬件门槛核心根本不是单纯的贵不贵,而是取决于你到底要用它来干嘛。它主要看三个维度,你跑的模型参数有多大, 你用的计算精度要求是什么?还有你具体要做什么任务,今天我就把这些底层逻辑给你拆解清楚,你就能明白为啥有的模型能用洋垃圾搞定,有的却必须上顶级配置。你有没有想过,好几年前的特斯拉 v 一 百显卡,性能明明远不如现在的四千零九十,怎么到二零二六年还能接着用? 好多人觉得电子产品不都是买新不买旧吗?这里面其实藏着一个你可能不知道的技术。底层逻辑常温本推理的核心,不是看你显卡瞬间能爆发多大的算力,而是看它能不能把显存占用控制好。 啥是推理过程?就是模型逐个 token 生成内容,你输入一个问题,模型一个字一个字的往外蹦。这个过程单次计算量其实不大,不需要显卡一下子把所有算力都拉满。再加上到二零二六年,主流的大模型,无论是 m o e 架构还是 linear 架构,都做了特别多的优化,不像以前那样疯狂压榨显卡的算力和显存了。 所以啊,如果你只是想跑个上下文推理,对生成速度要求不是那种必须秒出的话,像 v 一 零零反而能靠着他的显存优势继续发挥余热,真就是老兵不死。但你要是想玩纹身视频,那老卡就彻底卸载了,哪怕只是生成一个十秒的短视频,老显卡几乎都没法流畅运行,这到底是为啥呢? 首先,计算量级完全不是一个级别的。你想啊,纹身图只需要生成一张图片,而视频是一针一针连起来对竹针生成,还要保证针与针之间的连贯性,这个瞬时算率需求是纹身图的几十倍甚至上百倍。其次,核心技术也不支持,现在的纹身视频模型特别依赖光线追踪和针尖融合技术,这些技术都是近几年才成熟起来的 老旧显卡根本没有对应的硬件核心优化,你强行让他跑出来的视频,要么是帧断裂,画面一卡一卡的,要么是模糊不清,细节全没了,再不然就是色彩失真,跟加了个奇怪的滤镜似的,根本没法看。 所以啊,如果你要做视频生成,多模态融合,或者是做那种高并发的业务,那就必须得上高算力大显存的多卡系统方案。说了这么多,可能你还是想问有没有直接能抄作业的配置方案。别急,我给你准备了两套,你照着来就行。 第一套是入门级的洋垃圾方案,预算五千元以内的搞定,适合个人用户。比如你只是想体验体验 ai, 跑个推理,写个代码,或者平时生成几张图片玩。 cpu 方面选爱奇八七零零 k 或者 e 三二六六六 v 三起步就行。显卡的话可以考虑特斯拉 v 一 零零十六 g 或者 rtx 三零六零十二 g, 内存至少要三十二 g d d r 四,别省这个钱。内存小了,模型跑起来容易卡顿,体验感会很差。这套配置能用极低的投入让你体验到 ai 的 魅力。 第二套是企业级专业方案,预算大概在三万到四万以上,适合专业工作室或者需要二十四小时高强度作业的企业。 企业用户最在乎的是什么?是稳定性。如果机器因为配置不够中途撂挑子,损失的可不仅仅是那点设备钱,更是整个业务的进度,耽误的可是真金白银。所以这类需求建议直接上高性能整机,支持多卡兼容和大容量内存。 最后我想说,其实没有最好的设备争论哪款显卡更好,哪套配置更强,其实意义不大,核心还是看你要解决什么问题。 如果你只是好奇,想体验一下 ai, 那 完全可以先从低成本的洋垃圾方案试水,感受一下 ai 到底能帮你做什么。如果你有明确的生产需求, 比如要用 ai 来赚钱,那最好一步到位。记住啊,技术的价值从来不是追求高端,而是解决问题,理性选型,按需部署,别花大价钱买了一堆昂贵的显卡,最后却因为用不上,只能用来盖泡面,那就太可惜了。

使用欧拉玛可以一键部署本地大模型,我选择的模型是千万三点五九 b, 现在来演示一下, 可以看到 gpu 使用率向升,由于我这台电脑的显卡配置比较低,所以输出的比较慢。 好,终于输出完成了,接下来是 gg 教程。 首先肯定是要下载欧拉玛的这个软件,进入欧拉玛的官网之后,选择 windows 点击下载,当然这个下载起来会非常的慢, 我也给大家把安装的程序上传到了网盘下,下载后双击打开直接安装,安装完成之后就是这样一个界面,可以在这里点击你想要的大模型,比如说这些是云端大模型, 从这里开始就是本地大模型,这个是谷歌开源的本地大模型街吗? deepseek 千问三,还有其他的一些模型啊, 对于模型怎么挑选,得看电脑的配置,比如说我这台电脑 cpu c a m d 二五六零零两根 d d e 二四的一六 g 内存条, 显卡是一六六零 s 六 g 的 显存,这个已经是非常老的显卡了,后续我准备根据我的电源升级成四零六零 t 一 六 g 显存的,所以根据我的电脑配置 选择了比较小一点的模型。那你的电脑适合哪一个大模型?可以把配置发给豆包问问,让豆包帮你分析适合下载部署什么样的大模型。今天的教程就到这,关注我,评论私信。