大模型赛道呢,月月有新王,但是用户呀,却被一个模型给绑死,写方案靠它,写代码还得靠它,效率呢,往往卡在了单一的能力上。九月一号呢,腾讯 mars 搞了一个大动作,上线了自定义模型的功能,让你随时都能给 ai 换脑子。 现在呢,你可以在设置里面自由的接入,采用通用接口,标准的第三方模型,像腾讯云、阿里云、 deepseek、 kimi、 智普这些主流模型全部都能接连,本地部署的开源模型也行, 配置呢,很简单,进模型管理,点几下就好。之后对话中呢,能够随时的切换。写长文本呢,用擅长的写代码呢,就换另一个不用在多个应用间来回的导筒。 不仅如此,哈马尔斯呢,每天送一千万的 tok 免费额度,日常呢,是妥妥的够。但如果你常处理常温档或者是大量的代码额度呢,可能会比较紧张。这个时候呀,可以接上自己的第三方服务用量呢,走自己的账户,免费额度呢,就能够省下来。 更贴心的是呀,如果接本地模型的话,所有对话数据不用经过云端,隐私性更强。而且呢,配置好的模型列表呢,跟着账号走,电脑、手机平板自动同步,出差路上也能够无缝接着用。 迈瑞斯呢,这次把选择权完全的交给你,让 ai 助手和底层模型解绑,正在成为行业的大趋势。新版本已上线,更新后呢,去设置模型管理就能开搞。
粉丝28.7万获赞374.6万

本地部署视频模型,原来可以这么简单。说实话,本地部署这四个字,一直劝退了一大批人。你去网上翻教程啊,跟着一步步搭环境,光是适配版本、安装依赖配置、运行环境这几步啊,,就足够让人头大。。另外,你还极有可能遇到拍层版本对不上酷大装风云买依赖一个接一个的报错的问题。。但我知道,屏幕前的你呢,,可能也想装一个本地视频模型玩一玩。。 本期视频呢,我将带您用 marvis 几分钟搞定本地部署。。那首先呢,,我们打开 marvis, 然后呢,直接对他说,我想本地部署一个视频模型,帮我看一下电脑配置。。 推荐一个能跑的模型,点击发送 numbers。 先理解我的需求,但他并没有自己闷头干,而是把差配置这个活呢,派给了手下的 computer a 进的去跑,很快他就把我这台机器摸的透透的。 it 十六 gb 内存。, rts 三零六零,温度十一。。然后他给出最终结论,就瓶颈在这六 gb 显得上,那首先推荐是一点三 b 的万。 二点一纹身视频过去说这个中文友好,,还给了 congo、 video x l t x 这些备选,同时提醒我六 gb 显存别硬上,五 b 以上的大模型我看完没问题,就让他按照这个方案开始执行。那接下来全是他自己干活,我基本没插手。。 今天在我的 f 盘上开工检查环境,建好目录,把康复 ui 的原码就给拉了下来,,又单独起了一个干净的拍层序列环境跟系统隔看,那真正精彩是接下来这段他干的过程中,其实一点都不顺利,可每一次卡住啊,他都自己想办法绕了过去。。比如在装拍套起的时候呢,由于网络问题,官方原那个三点二 gb 的大包直接超时。, 还立刻切换到了阿里云镜像,遇到多个镜像互相冲突呢,他用一个参数变化,就连安装包有一次下载损坏,教研没通过,他也重写脚本,敢用上海交大镜像完成重下,直到教研通过,那到了下载模型这一步了,,才最让我惊喜的地方,三个文件加起来快。 快十个 g, 老老实下,太慢了,他干脆自己写了个多线程脚本,从摩达并行开下,速度一下就顶上来了,中途网络还断过一次,他接着断点续传,稳稳补完。这一路我基本都是个看个,看完他自己踩坑,自己填坑。 模型下啊,他自动归位,导入工作流,工作流那个文件一开始还找不着,他又翻了一遍仓库,把正确的给挖了出来,,然后拉起 com ui, 顺手按我这六 gb 显存,挂上了第一显存模式。。 最后他不忘自己测试一下生成一段冬日雪景的小狐狸,几分钟后呢,片子就出来了,那整个过程从环境准备到出片,全是他帮我完成的,那本地部署就这么简单的完成了。 好通通这一项呢,说实话还挺感慨的,在当年还没有 marvis 这些本地 aj 的时候呢,无论是找安装包还是安装各种依赖配置环境,再到深圳工作流啊,至少要花费好几天时间,而现在只要几个小时就能轻松搞定。。 ai 让我们可以把重心放到更重要的事情上,,而不是把时间耗费在配环境和准备工作上。。另外, maras 现在每人每天有一千万免费投稿,那你要是早就想玩本地视频模型,又被环境和报错圈推功能真的可以让 maras 体式一下。。

还在研究本地大语言模型怎么破甲破件吗?其实那些方法都没什么用,今天给大家直接介绍一个无限制的 本地大语言模型,这个是欧拉玛的官网里面的啊,这是其中的一个作者,我们直接去拉取它这个模型就可以了,注意它的尾缀啊, on sensor 的 这种啊。 好,那么如果你在这里面去搜索的话,他可能还有很多个这种昂森手的,包括那个加码的,或者说是千万的,我个人推荐用千万的,千万对中文的知识要更好一点,然后它里面有很多版本,二币、四币、九币,这个四币和九币哪怕你是没有显卡的, 在内存里面跑的也是可以很快速的。那具体怎么操作呢?比方说我想,因为我这里面我的这个里面已经拉取了,我拉取了一个四 b 的 一个九 b 的 纤维三点五,还有一个加码的一四 b, 呃,感觉都还还蛮好用的啊,我,我给大家演示一下。比方说我想拉取这个里面的这个二 b, 然后点到这个二 b 的 模型里面去, 它这个里面针对欧拉玛的拉取,它会有已经给你写好了命令提示。行啊,直接选中复制,然后 windows 加 r 键,打开 cmd command 命令行窗口,然后直接复制粘贴进去,就来到这里了,看到没有回车 好,它这个时候就开始拉取了呢,这是我的网速,这个时候它就开始拉取, 呃,这个取决于你的网速,而而且这个是不需要魔法的啊。当拉取完了之后,啊,我这个把这个停掉啊,我这我这把它停掉, 停掉。拉取完了之后,我们来到我们的欧拉玛里面,你就会多一个,刷新一下就会多一个,当然我这个就不拉取了,包括四币啊,九币啊, 在在我这台电脑上,我这个是一个六 g 显存的四零五零啊,哪怕你是核显的,没有显存的也可以,跑速度也还可以,你可以跟他任何交流啊,包括角色扮演呢,或者提问呢,任何特殊问题等等等等等等,大家都懂的, 不会有拒绝回答的情况。这个这个奥拉玛的客户端程序也是在这里下载啊,客户端的程序也是在这里下载, 下载完了之后,安装好了之后,你的属呃,那个系统右下角托盘上就会多多一个这个羊驼的图标啊,然后打开这个 open 就 可以打开它这个窗口啊,大概就是这样,具体的那个过程里面的聊天内容啊什么什么的, 呃,我就不去演示了,他的四 b 和九 b 作为简单的轻度聊天或者角色扮演等等等等之类的,或者仿写扩写一些小短文什么的都是没问题的啊,千万三点五的九 b 榜三说的啊,就这个好。

今天是我们小龙虾养成日记的赫默斯安装和本地欧拉玛部署的配置,赫默斯大家现在称他为爱马仕,和小龙虾一样是一个智能体,作为智能体的大脑,他可以连接我们本地的欧拉玛,实现指令接收,思考决策工具,调用 最后一个结果输出的全连录本地化壁环,完美解决头肯网络以及隐私的问题。我们今天直接演示一下如何安装以及配置,进行一个实操演练。首先我们准备的环境,我们今天使用马克来进行安装, 当然 windows 和 linux 也是支持的欧拉玛本地部署,这个其实我们前面讲过,已经是比较基础的内容了,我们可以直接到欧拉玛的官网, 这就是欧拉玛的官网,点击这个下载,我们就可以直接选择自己的系统进行下载完之后就可以了,在 mark 上下载。欧拉玛安装完成之后 是带一个终端的,就是我们可以直接使用,比如我们这里有个本地的已经部署的千万三四 b 的 一个小模型, 我们直接可以问大家,比如说你好,他很快就会给我们一个回复,因为我刚才发过你好了,他这个是有记忆功能的,这就是欧莱玛的一个安装。 当然如果安装完之后呢,我们我们可以通过命令行来看到我们的欧拉曼的版本,我们现在装的是零点二零的版本,零点十九之后的版本是进行优化过的。面对 mark 系统运行的更快,我们再回到我们这个文文章中, 这就是我们欧拉玛的安装,安装完成之后,我们可以本地的拉取我们一些模型,这是我平常拉取过的,有的也没有删除,这个我们可以在欧拉玛的命令行中直接可以看到,直接拎死他一下就可以看到我们已经安装过的 所有的这些模型。欧拉玛的安装我们其实是相对比较简单的一个,我们下面可以看一下我们赫默斯爱马仕的安装,这个安装其实现在也是非常容易,就这么一条质量就可以了, 我们可以看到这是爱马仕的一个其他的网站,在这上面有详细的介绍,其他的源码,他是开源的,这里我们可以看到他同样是一条指令安装也可以,我们下面进入安装过程。 好,现在我们已经安装完成了,我们安装完成之后可以通过赫默斯沃审看到我们当前的版本,我们当前是零点九点零的版本,四月十三号的 python 是 三点十二,这些都是自动安装的,其实我们的这个赫默斯爱马仕已经安装完成了,你们可以看到我们这个是版本已经安装完成了, 下面我们要进行一个模型的一个配置,我们这个配置我们刚才安装的欧拉玛的模型在进行配置上,我们可以演示一下配置的过程,直接就是 hermes mod, hermes mod 之后呢我们可以看到这里面有一个列表, 我们可以用上下键选选择,我们这选到 custom, 我 们点击回车,这个时候需要我们输入一个地址,这个地址我们就输入我们奥拉玛的地址,奥拉玛的地址就这个默认的这个地址和端口,我们不需要改它,我们直接给它复制过来, 这个后边加一个 v e, 因为是聊天的,这个时候我们要说 k, 这个 k 我 们随机的就可以,没有关系。 这个时候他会列出我们欧拉玛里面已经拉取过的这些模型,我们这里面选一个我们使用的就行,比如我们的千万三四 b, 在 这里它是一个六, 我们直接输一个数字六就行了。我们选择完模型之后是一个上下文的长度,这个长度我们就要手动输一个,输个六十五 k, 大家记住这个地方长度,他的爱马仕的要求最少是六十四 k, 我们可以稍微输大一点,没有关系,如果我们不输,默认可能是一个四 k, 我 们就没有办法去使用,调用的时候就有问题,这个地方记住我们输比这个四 k 大 一些,这个时候我们再输一个显示的名字,我们就叫前文三,嗯,三 四 b, 这时候我们这个模型就就已经配置完成了。回到这个文章里边,就 当我们的模型配置完成之后,我们就可以启动我们的核模式了,就是我们一个 ai 的 本地运行,我们验收一下看它怎么样,我们直接启动我们输入核模式,哎,我们可以看到这个时候已经启动了核模式, 这是一个界面,我们当前的模型是千万三四 b, 就 我们刚才创建的这里有一个基本的介绍,他的一个吐司, 他的一个 skills 都在这里,现在有二十八个图纸,有七十九个 skills 是 可以使用的。 我们先先运行一下,看这个模型有没有成功,我们给他一条指令,那用 python 写一个代码,看看这个函数的运行情况,看一看我们这个爱马仕的运行情况,我们把这个指令贴在这里,直接回车,我们现在等一等, 我们看到现在我们这个爱马仕已经运行完了,我们给他一个指令,让他写一个函数,并且解释这个函数的代码逻辑,这里写了一个函数,有一个逻辑的介绍,你们可以看他运行的还是非常好的。 好了,这就是今天给大家介绍的爱马仕赫曼斯的安装以及欧拉玛的配置,更多内容我们下一期再见。

挑战只动嘴,把一台闲置旧电脑改造成家庭 ai 服务器。我准备在上面配置 agent 运行环境,部署本地模型,再运行一个前后端的 ai 服务。整个过程不用动手折腾,也不用查教程,只用自然语言下指令,让 ai 自己完成。配置 这个任务的难点在于阶段,大多数的 ai agent 写代码能力很强,但是一到系统环境搭建就容易卡住, 因为大部分 ai 没有操作系统层级的权限和理解能力。最近我发现了一款 ai 助手 mars, 可以 完美的帮我完成这个任务。 mars 是 腾讯推出的操作系统层级的个人 ai 助手,自带了六个各司其职的专家 agent, 其中 computer agent 可以 直接接管操作系统层级操作,是一个真正住在操作系统里面的 ai 助手。本期视频是一个手把手的教程,我们全程借助 mars 把一台旧电脑改造成可用的家庭 ai 服务器。 我给这台旧电脑安装了大家最熟悉的 windows 操作系统,电脑上只安装了一个 mars, 完全是从零开始的状态。 mars 十一我一直有一个用不惯的地方,就是桌面上没有我的电脑图标。我们先用这个小任务来试一试 mars 的 实力。把此电脑图标弄到桌面上, mars 接过任务以后,直接上手修改注册表,然后重启了 explorer, 十秒钟就完成了任务。其实这个开关藏得非常的深, 如果手动修改的话,需要进入设置个性化主题桌面图标里面,反正我是每次都记不住,每次都要查攻略,又费时间又费脑子。现在有了 mars, 动动嘴,几秒钟就能完成了。作为一个家庭服务器,最重要的任务就是能够平稳运行,不要动不动就重启, 所以我希望能永久暂停 windows 的 自动更新。这里我让 marvis 暂停 windows 更新, marvis 直接把暂停更新的按钮显示到了对话里面,他告诉我,由于 windows 的 限制,目前最多只能暂停四周,我依稀记得可以通过修改注册表的方式暂停九千九百九十九周。 我继续说,你去网上搜索下,看看有没有修改注册表的方式能实现的。 marvis 搜索到了方法,并且只派了 computer agent 来完成修改,很 快修改就完成,并且给了我一个设置按钮,我点击一下进去就可以选择暂停九千九百九十九周了,非常的棒。作为一个家庭服务器,我最不需要的就是 windows 上的自带广告,我给 mars 输入指令,关闭 windows 上的广告,不到一分钟任务完成,关 关闭了四项系统广告,还有一个任务栏小推送需要我手动处理。 mars 很 贴心的把手动关闭的入口给了我,点击一下就完成了。刚才我们跟 mars 的 对话是在端云协调的效率模式下完成的,设备越好越省偷看,如果电脑配置足够高的话,还可以在设置里切换成本地模式, 本地模式使用本地模型进行对话处理数据,让数据不出本设备,最大程度上保护隐私。 接下来我们给这台家庭服务器配置 agent 运行环境,并且安装一个 ai 编程工具,一般需要先安装 git、 node js、 python 这基础开发的三件套。有了 maris, 我 们也不用一个个手动安装了,我直接跟 maris 说帮我安装 git, node js 还有 python。 很 快 maris 定位到了这三个开发工具通, 同时打开了三个安装窗口,只需要一路点击下一步就完成了安装。然后我们还可以让 marvis 检查下安装是否成功。 marvis 通过命令行确认了三个开发工具都安装成功。有了这三个,我们可以让 marvis 帮我安装一个编程工具。这里我选择 cloud code, 很 快就完成了安装,它提示我可以输入命令, cloud 启动起来。但是我在命令行输入 cloud 的 时候报了一个错,我直接把错误粘贴给 marvis。 这是个非常常见的 power shell 脚本权限问题,之前很多观众朋友们都踩过类似的坑,现在有了 mars, 一 切都容易解决了。很快 mars 完成了修复,我再次输入 cloud 就 能正常启动起来了,非常的棒。 有了这些基础配置以后,我想在本地部署一个离线 ai 模型,这样就可以真正把它变成一个家用 ai 服务器。这里我先询问一下 mars, 我 想在本地部署一个 ai 服务器,你查一下这台电脑的配置怎么样? mars 是 操作系统层级的 ai 助手, 他可以直接进入系统,读取 cpu、 内存、显卡、显存这些硬件信息,详细地列出了这台笔记本的配置。 他告诉我,部署本地模型的关键限制在于六 g b 的 显存。接下来我说基于电脑配置,去网上搜索一个合适的模型型号,我需要模型有多模态能力,我要搭载图像识别工具。 mars 自带了联网搜索功能,有着很不错的信息搜集能力。他给我推荐了开源模型千万三点五四 b 使用欧拉玛部署。 接着我询问我,这台电脑有运行欧拉玛的条件吗?还需要前置安装库达吗? mars 说没问题,配置符合要求,也不需要单独安装库达。接下来就是安装欧拉玛,运行本地模型。 mars 自动安装好了欧拉玛,自动下载,并且运行了千万三点五模型。 最后他告诉我所有的安装都完成,并且他已经发了测试语句,测试通过了我们就可以直接进行下一步了。 有了本地模型,我们就可以用家庭服务器开发运行一些好玩的 ai 应用了。这次我想开发一个拍照显示食物卡路里的 app, 因为我不想让别人知道我吃了啥,所以我准备完全使用本地的 ai 模型,开发一个后端应用,可以上传图片,查看食物卡路里, 并且记录下我什么时间吃了什么,用本地数据库即可。我后端的 ai 服务是本地部署的欧拉玛。 marvis 接入了 deepsea 模型,本身就具备很不错的编程能力,很快就完成了开发,交付了一套完整的后端代码。 接下来我想单独测一下后端代码,这里我让 marvis 安装一下 postman, marvis 帮我安装好了 api 测试工具 postman, 接下来我们来调试一下,先来到后端目录,安装 python 依赖,然后把后端启动起来。我们来到 postman, 填上后端的 api 地址, 标题里面选择 form data。 我 上传了一张测试图片,点击 send 识别出来了,而且数据也存入了数据库,很不错。有了后端应用,我们就可以来开发手机 app 了,使用 react 框架开发一个 pwa 的 手机应用,需要具备拍照功能,可以把实物拍照后发给后端来识别实物以 以及对应的卡路里。应用开发好了,我怎么用手机访问到这个应用呢?这里我跟 marvis 在 讨论一下,你检查下局域网的网络信息,我怎么在手机上访问到部署在这台电脑的前端代码呢? marvis 具备操作系统层级的知识和权限, 可以直接检查当前局域网的状态,并整理出完整的家庭网络拓扑。他告诉我,当前电脑的局域网 ip 是 幺九二点幺六八点三一点幺四五,先启动前端,然后手机访问对应的地址即可使用。 按照他说的试了一下,用手机浏览器打开局域网地址,然后拍摄一个实物, ai 就 会自动识别卡路里,并且记录数据库,在记录里面可以看到今天售的卡路里总量。 使用家庭服务器有一个重要的需求,就是能离家访问,如果想在离家后还能访问到家里的设备,传统方案是内网穿透,不过配置内网穿透的过程繁琐,而且用起来很不稳定。现在有了 mark 四,一切就简单太多了。 mark 四自带了连接手机的功能, 我们只需要在手机上安装一个 mars app, 然后扫描这个二维码,就把手机跟家里的电脑连接起来了。我们可以在手机上跟 mars 对 话,点击右上角的窗口,还能看到家庭服务器的实时画面,甚至鼠标键盘都可以直接操作。比如我们出门在外,临时需要一个文件,就可以跟 mars 说 帮我找一下家里的房屋平面图, mars 不 但能按文件名、文件内容,还能按图片内容进行解锁。即使文件名跟房屋平面图毫无关系, mars 也能根据图片内容定位到这张图片,然后通过手机传给我,直接让电脑变成了可以高效解锁的知识库。 本期视频,我借助 mars 把一台闲置的旧笔记本从零改造成一台家庭 ai 服务器,我只用自然语言指挥 ai 完成了全部任务。 mars 和普通聊天机器人最大的不同在于,它不只是告诉你应该怎么做,而真的能进入电脑,帮你完成操作系统层级的操作。对于电脑小白来说,它就像身边随时有一个懂行的 it 朋友。对我来说,它让一台原本吃亏的旧电脑, 重新变成了可以持续创造价值的生产力工具,这也是我觉得它最有意思的地方。电脑不再只是一个需要人不断适应的工具,而是开始变成了一个更听得懂人话,更容易被指挥的智能设备。好,今天的视频就到这里,感谢大家,我们下期再见!

那么接下来呢,在里面去实现关于 ai 这部分的引擎开发 好这部分 ai 应用引擎开发开始之前呢,我们现在没有模型,刚才其实同学们也试了啊,也说了,就是能不能去对接一些这种线上的模型,能够能不能够用 链接方式去用第三方的模型是可以的啊,但是我们这里呢,直接用本地的那个第三方的模型接入方式呢?其实也有,比如说基于 open ai 的 形式来去接入,那你就需要去安装,在这里去安装什么呢? longchain, longchain openai 啊,可以通过 openai 的 那一套范式来去对接第三方模型啊,可以这样来干啊,但是我们这里呢就不这样去做了,我直接用 oalanama 的 版本一点二点六,你只有有了这个 nunchi oalanama 才能够去调用 本地的 oalanama, 当然 oalanama 云端的这个模型呢也能用啊,这呢我们先来安装,有了这个 nunchi oalanama 以后,其实我们现在就能够去进行开发了,我们呢先把它安装一下 好。安装好了啊,那我们接下来呢,来第一个视例,我们进到这个 base 里面,这个时候呢,其实你可以直接引入刚才安装的啊 long chain alama, 然后呢它的这个 api 其实能够用 t s 的 话是很方便的,直接能够提示出来,然后接下来呢,我们就可以去定 义模型,然后呢调用模型啊,调定义模型怎么定义呢?比如说我现在定义一个模型就直接基于 charalama, 然后我们要用哪个模型呢?这个地方就需要给大家来讲一下如何去用本地模型了啊,当然了,这里还有一个报错啊,他说这个 type layer package 什么什么内容报了这一大堆。那其实是因为你本地的这个 就是规范引起的啊,就这个 module 引起的。那所以呢,你去把 ts 配置里面的有一个叫做这个,把这个改成 force 回来就不报错了啊。好,那这部分呢,我们讲完之后,接下来我们来想这个模型来自于哪里? 我们可以本地,也可以远程啊,我们可以 alama 的 本地,也可以 alama 的 远程, 当然也可以基于 open ai 的 远程模型啊。好,那我们就以 alama 本地, alama 本地的话呢,我们先要去安装一下 alama 他的线上的版本的呢,其实是收费的啊,所以我们也不选择去用他了,我们就直接本地去安装一下这个饿了吗安装的方式呢?这里直接去安装啊,就用这样一个,需要脚本就可以去安装,当然你也可以点这个 download。 安装下来之后,我打开之后给大家看一下,这是他的界面化工具, 当然我们一般做开发的话,很少去用这种界面化工具啊,我会直接,当然我可以看一下我现在装了哪几个。那装了这两个没装的就是一个下载的按钮好,比如我切到它,这个时候我就可以去跟它说话了, 刚开始启动啊,它有点慢,第一次启动之后后面就会快了。嗯, 好,大家可以看到已经出来结果了,这是我们使用的通过界面化的功能来去完成的,那一加一, 好,二,二二加三啊等等,这速度是比较快的,当然这是个小模型,很小很小啊,这个模型很小,零点六 b 的 模型。好,那我们在这儿调会了,我们怎么样去在程序里面调呢?大家来看。好了,这个时候当你把 alama 装好以后,在你的本地就会有一个 alama 的 命令,直接输入 alama ls, 这个时候呢就可以看到有哪些欧拉玛的模型,比如说千问三,还有呢千问三零点六 b, 还有千问三 v o, 这是一个多模态啊,还有这个 mespin, 这个是做嵌入式模型的。好,那我们比如说就用它,我们也可以直接在这儿欧拉玛瑙瑙,千问三零点六 b, 那 这个时候你在这里也可以输一样的结果啊,二加三,一样的结果。好,那我怎么样去在 我的这个项目里面去用呢?注意看好了,我现在如果看到的当前的模型,它的名字叫千问三零点六币, 那我这里呢也写千问三零点六币,这是它的标准化协议啊,这样定义好之后,这个模型就接入了,当然模型接入以后会有很多的参数配置,这些 参数啊我就不一个个给大家介绍了,我们可以点到这里面来看,那比如说有 刚才给大家介绍的像温度啊, temperature 温度,还有 top key, 还有 top p, 还有 seat 啊,这些常见的可以去配置的,包括你如果想让它流逝输出,那就可以接这个 streaming true, 好, 那我们来试一试。

前面的几期视频,我们聊了奥拉玛的相关技术,并在奥拉玛中安装了大模型。今天的话,我们来看一下如何在 openclaw 里面来连接奥拉玛里面的大模型。首先的话我们打开命令提示符。 好,首先的话我们先看一下 openclaw。 好, 这里安装的是二零二六五点幺二。接下来的话,我们看一下奥拉玛 奥利码的版本是零点二四点零,我们看一下奥利码里面安装了哪些大模型, 这里我安装的是天文三八 b。 接下来的话,我们来看一下我们安装的大模型是否支持在其他工具里面来进行调用奥利码 show, 然后我们把这个大模型的名称给它拷贝过来。 好,我们粘贴一下。好,敲回车。好,这里的话我们要看一下那个 capabilities 里面有没有这个 tools, 如果有的话,我们在那个 openclaw 里面就可以直接调用了。 如果没有这个 tools 的 话,大模型是不支持在 openclaw 里面来进行调用的,那么我们使用之前的话,我们先通过奥拉玛秀,然后加上那个大模型的名称,我们看一下有没有 tools, 有 的话我们就可以在 openclaw 里面进行调用了。好,接下来的话我们给它配置 openclaw。 openclaw 好, 敲回车, 这里的话我们选择 local 这一项,这里的话我们选择 mod 这一项。好,这里的话我们选择木,然后我们来找到那个奥利码。 好,在这里。好,我们敲回车。好,这里的话我们就用本地的奥利码就可以了,我们选择最后这一项 local on 这一项。好,那么奥利码的那个本地的这一个地址的话,就是默认的这一个,我们敲回车。 好,经过一段时间的等待的话,我们已经找到那个我们安装的这一个大模型,那么我们选择那个奥乐玛下面的千万三八 b, 这里好,往下面移动,然后我们在那个呃千万三上面我们敲一下空格,选中,然后我们敲回车, 好,这里的话我们选择那个 down, 就是 我们已经设置完成了,我们退出来。好,接下来的话我们把网关给它启动起来, open close get away run, 好, 我们的网关已经启动完成了,我们通过命令行来打开 open close dashboard。 好,那 openclock 已经打开了,我们把这里关闭掉,然后我们选择一下我们的模型,这个是我们通过奥拉玛在本地安装的大模型,请问三八 b, 然后我们选择一下,然后我们来跟它对话。 好,到这里的话,我们用 openclock 连接本地的大模型就已经成功了,那么我们在使用之前的话,首先要安装那个奥拉玛,奥拉玛安装完了的话,我们要下载那个对应的大模型, 那么我们使用之前的话,首先要把那个奥利码给它启动起来,有没有启动的话,我们看一下就是那个右下角这里有没有这一个图标,那么这个是奥利码的图标, 那么启动完了的话,我们要看一下我们下载的大模型有没有那个 toos 的 功能,如果有的话,我们就可以在那个 openclaw 里面来使用,如果没有的话,我们就要换一个版本再来进行使用,那么这个就是在那个 openclaw 里面连接本地大模型的一个简单的步骤。

今天来给家公司上门部署本地大模型,那么你可以看到现在这个本地大模型已经部署好了,那么用的呢?就是 max studio 的 m 二 ultra 的 六十四 g 的 这个机器,那么我们可以来看一下,就是这个本地大模型对于企业来说到底是怎么用,以及为什么好用?那么当你的大模型部署完了之后,你可以直接在手机上去跟他问, 比如说帮我查一下采购订单表,那么你就可以看到他会把所有的全部给你列出来,然后还会问你想查什么,然后你可以也可以给他发语音,没有问题,查一下知识库里面有没有什么合同快到期了,然后他就会帮你去查啊,大概有什么合同快到期了,然后以中以中止,已完成都大概有多少, 然后快到期的合同,这些全部都可以查到, 但他会给你一些建议,然后之后你还可以去问他啊,本月的销售报告,这个是一个很简单的一个财务的工作嘛,然后他就会去给你整理所有的呃订单数,然后去给你报出来, 然后各个平台那么全部都可以看到,这是非常方便的。比如说你去做你的电商啊,又或者是什么你每天数据非常非常多,各种一些,呃,包括你看啊,业绩排名这些全部都可以给你拉出来, 这些都没有问题,这个比人工去做要快太多太多了。比如说你有成千上万的订单,然后有很多合同,那么你让他去帮你挑,比你自己去挑,或者 让你自己的员工去挑要快的多的多。因为你自己人去挑的话,那么人去看一个一个的看是需要非常非常多时间的,但是你让 ai 去做,这也就是十几秒的事情,所以是非常爽的。

很多朋友呢在下载完龙虾之后,非常关心的一个问题,我是不是可以用一些免费的模型,然后去让龙虾进行使用,那这样的话我就可以不花钱了。之前我也给大家介绍了一些免费的厂商,提供了一些免费模型,但是那些免费模型呢,他是会限定一些额度的, 那就会有很多朋友问说,我本地部署模型是不是 ok 的? 那怎么让龙虾去连接本地的部署的模型呢?那这期视频呢,我们就来看一看怎么实现。首先呢在本地模型部署有一个非常牛的软件,就叫这个欧拉玛, 这个软件呢我们可以下载之后,它可以去帮我们去下载对应的一些我们想部署的模型,并且呢在它软件里面可以进行一个启动, 这样的话就不需要我们自己去找对应的模型资源,然后进行一个模型文件下载,然后再去启动对应的模型,所以说这个软件呢非常的方便。那这个欧娜玛的一个安装呢,我们这个地方直接就是给大家提供了下载链接, 就进入到欧娜玛点 com 这个地方,然后点击对应系统的一个下载方式,比如说你是 windows 就 直接点,然后下载完了之后直接安装就可以了。那安装完了之后它是一个什么效果呢?主要是有两个地方,首先呢 安装完之后它有一个文件夹,文件夹里面呢它会有一个 app 的 入口,可以把对应的 app 打开,打开之后呢我们就可以在这个地方跟它进行一个对话,可以看一下它所支持的一些模型,比如说 gpt, 然后 deep sync, 千问的,然后 mini max, 还有一些什么拉玛,然后本期我们就以千问的这个模型给大家进行一个讲解,看对应的龙虾怎么去连接。那我这个地方呢,已经把千问和拉玛的这个模型已经下载下来了, 所以说可以看到如果没有下载的话,他这个地方会有一个下载按钮,然后如果已经下载好的这个地方是没有下载按钮的,大家到时候可以下载一下,一会也给大家说一下怎么去进行一个下载。然后我这个地方就可以跟他在这种格式化的页面进行一个对话,问他你是谁, 那可以看到它现在因为它是一个 think 模型,就是它会思考,然后思考完了之后它会进一个回话,可以看到它的一个速度,在本地的一个部署模型速度还是比较快,当然了这个也是看你本地机器的一个性能,那我当前的这个机器呢,是一个五零八零的显卡,所以说它的一个效率还是比较高的。 然后除了这种方式之外呢,我们还有就是控制台的这种方式,就在这个地方我在文档里面给大家写好了, 就是我们可以在 power shell 里面去执行欧拉玛瑙,千问八 b 就 这个模型, 八 b 这个模型如果我们执行了之后,你本地如果没有去下载对应的这个模型,他会先去当 load 的 把对应这个模型给你下载下来,如果已经下载完了之后,他会直接去启动对应这个模型,那你在这个地方也是可以跟他对话的,你问他是谁, 然后进行一个 syncing, syncing 完之后输出对应一个结果,可以看到还是比较丝滑的,那本地模型呢?已经部署成功了,接下来我们就是要让我们的龙虾接入到这个本地模型。接入本地模型呢,其实也比较简单,那这个地方呢,我给大家介绍的是通过修改 opencloud 的 配置文件, 它里面有一个 open cloud, 点 json, 去把里面对应的一个内容进行一个修改,然后我们先按照上面这个步骤去打开 open cloud, 它对应了一个文件位置,我们就可以先去这个地方,然后 按照我命令执行就行了。先 cd 到点 opencloud, 然后进来之后呢执行这个 start 点,打开对应的一个文件夹,打开之后这个地方会有一个 opencloud 的 json 文件,然后编辑给它,在记事本里面编辑就 ok 了。 那我们可以看到之前呢我们这个地方,因为我是豆包的模型,所以说这个地方会有一个豆包模型的配置,那还有一个 agent, 就是 这个与我们对话的这个 agent, 它对应的模型使用的是什么?可以看到这个地方使用的是豆包, 那我们想去使用本地的欧拉玛模型,其实只需要修改三个地方就可以。首先第一个地方就是我们需要在猫豆子这个里面把我这一段给它拷贝进去, 找一下猫豆,然后与豆包进行一个平行位置, 然后把它删掉,加一个逗号,一定是一个英文逗号,然后加完之后我简单说一下它对应的一个内容,首先它是请求的 url 是 什么?就是本地的 logohost, 然后端口,然后 v e 接口 这个 appk 的 话,实际上它是因为本地模型是不需要这个 appk 验证的,所以说你这个地方随便写就 ok 了,跟我这个一样就可以。然后这个地方模型的话你就是用自己的,我们刚才不是下载的是千万八 币吗?所以说这个地方就是千万三八币。然后配置完这个之后,我们还需要去修改 agent 的 它所使用的模型。首先我们需要在底下去把欧拉玛对应的这个模型添加到它可用的模型列表, 在这个地方添加进去。 ok, 添加完了之后我们还需要替换一下,就是这个地方把这个 primary 给替换成我们下面的这个好的保存完了之后呢,我们这个地方的配置就结束了,就直接可以回到命令行执行一下, 我们把这个地方给关掉,关掉之后执行 open cloud get away。 这个因为我们是命令行之前启动的,所以说我们直接关掉之后呢,就相当于对应的龙虾已经结束了,那我直接执行它重启就好了。但是如果大家是 没有在这个地方直接关闭,它是后台执行的,那大家是需要执行 open cloud get away restart。 大家一定要记住这个点,我们直接启动 可以看到这个地方他有 agent, model 是 欧拉玛的千问三八 b, 那 说明我们这个地方配的还是没有问题的。我们来到龙虾这个地方给他对话一下, 那这个呢?是我之前问他的这个模型使用的是什么,那现在呢?我在问他说你现在的模型是什么?你当前使用的模型是什么? 那可以看到它现在已经告诉我说使用的模型是千问,然后它是通用实验室自主研发的超大规模语言模型, 所以说我们现在就已经切换成功了,这样呢,大家就可以拿龙虾去玩本地的模型了,也就不需要花你一分钱了。但是这个地方大家要注意,一定你的机器性能相对来说会好一点,那这个模型的速度运转会更快一点。然后如果你机器性能非常好的话,因为我这个地方配置的是八 b 的 模型, 八 b 呢代表是它的一个参数量,那三十 b 呢?像这种大参数量的,它的一个效果一定是要比我八 b 的 这个模型的效果会好一点。如果你的机器性能非常卓越的话,那你去下载三十 b 的 这个模型, 当然它需要很大的这种资源,所以说当它运转的时候,它对应的这个思考或者它的一个能力也是要比我八 b 的 强的。所以说这个地方看大家一个机器情况。

这是扎克布格前几天晒出来的办公桌,然后同款给你们看一下,我复刻了鼠标垫,这个呢,是我自己做的,普通,怎么样,还挺像那么回事吧。电脑呢,也是同款 电脑,大家应该都认识,我前段时间刚开箱,我最近终于在开始干一件之前就特别想干的事情了, 就是跑本地大模型,因为做这些事情呢,也是需要花不少时间,所以这么多天我才有空来去录今天这条视频。 先声明一下,今天呢,不讨论 mac 到底适不适合跑 ai 这个问题呢,其实网上已经吵的特别凶了,而且不同的硬件,呃不同推理框架,不同模型,不同量化方式,结论都不一样。 我们只是哦,我只是作为一个小朋友来说啊,给你们去分享一下最近呢自己折腾下来的一些感受,一些感觉。一刚开始进入这个本地推理世界的小白小孩有了自己的观察,所以呢,这个是给小朋友看的,大人们可以划走了,爱学习的留下指挥杠的也可以划走了。 先说明一下什么叫本地大模型,就是平时我们用的叉 j b t 呃, deep seek, 千问豆包这一类 ai, 你 的问题一般是通过网络发送到呃服务器上,然后模型呢,在那里去完成推理,再把这一个结果给返回给返回,回来给你。但本地模型 就简单多了,呃,模型权重直接是在我自己的一个电脑里,哪怕断网了,它也可以照样去回答问题。所以呢,我最近也在接触到了一些呃一堆这样的词,嗯, parameters, 呃 quantization, context, window 还有什么 t t f t 啊,就是 time to first token, 还有什么?呃, t p s 啊, tokens, per second, 还有 keep cash, 呃, perfume, 嗯, decod。 刚开始呢,我遇到这些英语单词其实头挺大的,后来呢,才慢慢发现,其实也并没有神秘,并没有那么难,你可以呃,先去简单去理解成,哎,魔性有多大,把压缩成什么程度,一次性可以记住多少东西啊?刚开始回答问题需要等多久?真正回答起来需要有多快? 差不多。嗯,先把这些东西给弄懂,然后呢,就非常厉害的,你呢,就可以在你的电脑上去玩本机模型了。 我最近呢,嗯,跑了些什么呢?先说说语言模型吧,我最近开始的是欧拉玛里面跑千万,先试了八币,后来呢,又呃装了这一个千万的三点八版本。二十七币版币呢,就是表演十亿嘛,二十七币等于 呃二十七标点 permes, 也就是二百七十亿参数这一个二十七币呢。我现在还在用模型文件,差不多十八 gb 左右。刚开始看到 二十七币觉得还蛮大的,但放到这一个二百五十六 gb 这个统一内存里面确实是没有什么压力,所以呢,就有点不太满足于聊天了。我就想去试试看本地直接去生成图片啊,视频之类这些事情, 所以呢,开始折腾 z image turbo 啊,还有 draw things 呃, comfy ui。 最后呢,又装了 mini max, h 三,结果这个 h 三啊,可给我整明白了。 有几次这个视频的前二十步裁样都算完了,我以为马上就要出篇了,结果呢,最后卡在了 v a e d ko 的 那上面,直接报错什么 m p m p s 呃,后端不支持一个什么什么呃算法之类什么东西,哎,你说气不气人?反正算了好长好长时间,最后一步呢, 没解码出来,我原来以为二百五十六 gb 内存够大啊,这个模型能够放进去就可以跑了。后来呢,就发现,哎,其实并不是这么回事, 一环不对都有可能全体都有出问题,尤其是。呃,有些开源项目啊,主要在 koala 上面优化,换成 apple silicon。 对, apple silicon 的 这个 mps 不 一定能够直接去跑通的。这段时间呢,我就看到这个 github 上面有个挺有意思的项目, 就叫,呃,追的,他号称能让一台只有十二 gb 显存的普通电脑游戏电脑啊,运行呃,一百二十五 b, 也就是说,嗯,一千二百五十亿参数级别的 mo 模型,那好厉害啊。 说到这呢,人家十二 gb 显存都已经开始挑战一百二十五 b 了,那我这么一个 二百五十一,二百五十六 gb 的 统一内存到底应该怎么用啊?总不能买了二百五十六 gb 最后只拿十五 gb 跑个二十七 b 吧,感觉 有点太过于浪费了。所以我最近呢就在研究苹果这套东西,特别是 m l x m l x 苹果呢,呃,是专门针对这个 apple store 做的一个机器学习框架。之前呢,我在 o rama 里面直接去下载模型,点一下运行,其实 我觉得还是有点区别的,它比较有意思的地方是这一个苹果 unified memory 的 这个统一内存的架构啊,当然这个 啊,并不代表二百五十六 gb 统一内存就是等于二百五十六 gb 的 啊,五零九零显存啊。嗯,如果要这么比的话,那评论区估计马上就有人来去给我上课了。 但他有一个特别实际的优势,就是一些单张的显卡显存装不下的大模型,在这台 mac 上至少有机会完整的去把这一个呃放进统一内存里面来去运行, 不用频繁的去在这一个显存和系统内之间来去搬来搬去的。不过呢,能装进去跑得快不快是另外一回事,模型文件几十 gb 甚至上百 gb, 光加载都要花很长时间, 后面还要看内存贷宽,呃,推力框架还有 kb cache 要怎么分配啊?除了多少币啊,还要多看一件事情呢,就是 memory pressure。 呃,中文呢?就是翻译过来,呃,内存压力。我最近经常打开 ipt monitor, 一 边跑模型一边去盯着这个内存来看它有没有占用,那一边看它这一个上面有个数字一点一点的往去往上去升,往上去升还真别说,挺解压的。 另外呢,我也发现了,苹果现在在这个叫什么?呃,往本地 agent 的 这个方向来去做 mx, 呃, to calling local server agent loop 这些东西呢,已经不只是单纯让模型来去回答问题了,可能就会有一个嗯,更现实的一个疑问就都已经有拆开 vt 了,豆包千问之类这些大模型,平时 问点东西直接打开 app 不 就行了吗?为什么还非得在自己的一个电脑上跑一个?可能还没有云端模型聪明的一个本地模型,我现在呢 比较想研究的其实并不是聊天,是 agent, 普通的 chatbot 聊天机器人其实逻辑非常的简单,你问他就答 agent, 它其实完全不一样, 他需要自己来去判断他下一步要去干什么啊,调用什么工具?嗯,读文件,运行代码,然后呢,根据结果来去决定下一步要去干什么事情。这个过程呢,就叫 agintake loop 智能体循环。所以现在 ai 的 发展已经开始认这个模型会不会回答问题, 慢慢变成这个模型,能不能把一件事情连续做下去?这也是为什么我觉得本地模型开始变得有意思的地方了,因为如果模型文件啊,模型文件代码, 嗯,工具全部都在本地的话,很多东西理论上可以直接形成一个比较完整的呃, local work flow, 本地工作流。 不过呢,我也只是刚开始来去研究啊,不要一会评论区问我什么呃,怎么去搭一套生产级的 a 站的?我不会啊,别问我,问那些高手们 折腾这些东西,其实说实话,不是说一定有什么用,其实现在跑这些,呃,本地的模型对于一个小朋友有什么刚需吗? 基本没有叉着 a p t, 对 于一些小学生,呃,特别是对于我来说已经够用了,写作业更不需要什么一二零 b 模型也我也没有什么公司数据要私有化部署的,所以你问我为什么还去折腾这件事情,原因很简单,就是想搞懂呗,好奇心驱动。所以我在想为什么 有的一些模型,比如,呃,二十 b 就 挺聪明的, m o e, 为什么总参数很多,但 active parameters, 但就很少?电话,为什么可以把这一个模型压得这么小? mx 和浪漫点 c p p 到底这个差距是在哪里? 这些问题对于我来说呢,其实是非常重要的,有问题比有答案更加重要。其实 我捣鼓这些啊,父母对我在这个时间的控制上也是有一些要求的,不能其他事情都不干,一心扑在这上面。 这个东西对我来说现在可能没有什么用,但是呢,我就觉得好玩,我现在呢,就是先把整个的基本的概念来去摸一遍。嗯,第一个,呃,参数量量化推理上下文 agent to call me。 但以后模型怎么发展呢?硬件要怎么发展呢?我也不知道, 所以也别问我,可能等我二十岁或者十八岁以后呢,现在这一套东西可能已经老的不能看了,老掉牙了,但至少那个时候别人在说有什么新的 arcade 机制,我不至于从零开始,对吧?

朋友们大家好啊, welcome body! 最新消息,每天可以领一百五十积分啊,每天领一百五十积分,不要错过啊。下来是 qq 啦, qq 啦现在更新了,有一个可以使用本地模型,来,我们看在哪里啊?在这个 lab 里面,然后有一个 本地模型啊,你要有的话可以直接接入,没有的话可以下载并使用一下啊,我电脑比较弱啊,只能使用这个最菜的,我也不想试了。 接下来就是这个之前更新的这个记忆功能。记忆,他每天都做梦啊,他每天我都让他做梦,但是现在没有任何产出啊。没有任何产出?怎么搞的?我也不知道,你们的有产出吗?这个记忆功能 最后给大家带来一个好消息啊啊,我也是养上马了,嘿嘿嘿嘿嘿。 呃,不需要任何什么环境啊,直接就可以用了。我用的是小米的 miimo v 二点五,速度还可以啊,没有问题。

大家好,给大家分享一下如何在 windows 系统上寄予欧兰马部署本地模型。 我把整套操作流程分成了六步,首先准备欧兰马安装包,然后进行安装,尽量别一股脑装 c 盘,装好之后验证程序和服务端口是否正常, 然后再了解一些常用命令,学会管理模型,接着使用欧拉玛部署本地模型,最后再使用 api 的 方式调用模型,新手跟着这套流程就能顺利跑。从本地大模型 我们先来安装一下,这里大家注意,欧兰马达安装程序目前不支持通过页面指定安装路径,所以我们通过 c、 m、 d 的 方式进行安装,否则它会默认安装到 c 盘,占用我们的 c 盘空间。 格拉玛是开源工具,大家自行准备安装包,这边我已经提前将安装包给大家准备好了,然后我们在安装包的所在目录打开 c、 m、 d 窗口, 再来执行安装命令,大家记得把命令中的路径改成自己的, 点击回车,出现弹窗,点击安装,等待程序执行完成。出现这个窗口说明执行成功。我们来验证一下,先使用查看版本的命令 成功,输出版本号,说明安装成功。再来验证本地服务是否正常,我们通过浏览器进行访问,本地 出现这段话,说明服务是正常的。接下来我们再来了解几个常用的命令,比如说欧兰妈铺,它的作用是拉取模型, 欧兰妈撞运行模型,欧兰妈 stop, 停止一个模型,欧兰妈例子,列出已经下载的模型,欧兰妈 ps, 列出运行中的模型,欧兰妈 r m, 删除一个模型,这些是常用的一些命令。 然后咱们在本地使用 deepsea 二一七 b 这个模型演示一下。在此之前,大家可以按需设置模型的存放位置,通过欧拉玛设置页面里面的 model location 进行设置。我们先使用欧拉玛铺拉取一下这个模型, 好,模型拉取成功,接着再使用欧拉玛状运行一下这个模型。 模型运行成功,我们可以输入一段话,测试一下模型成功响应。接下来咱们再用 c u、 r、 l 的 方式来请求一下它的 api, api 成功返回了流逝消息,给大家介绍一下不同参数量的模型需要什么配置。大家可以看到,实际上它是对应了不同参数规模的模型。有一点五 b 的、 七 b 的、 八 b 的、 十四 b 的, 参数越大,对应的模型也就越大。 那么我们应该怎样选择呢?首先是一点五 b 的 模型,它是入门级模型,几乎所有现在电脑都能运行,适合测试体验。而七 b 的 模型建议使用八 g 及以上的内存, 十四 b 的 模型建议十六 g 级以上的内存,三十二 b 的 模型建议三十二 g 级以上的内存。建议先从七 b 起步,验证流程是否跑通,如果显存充足,那么可以进行升级。而一点五 b 的 模型适合嵌入应用做轻量推理。一句话总结, 参数越大,效果越好,但对内存和显存的要求也限性增大。本地部署的核心约束不是 cpu, 而是内存和显存容量。 再来介绍一下肾克开关和外部访问。首先看一下什么是肾克模式模型,在回答之前,他会先进行思考,输出一对他的思考内容就是这段话, 很多时候肾克的内容会影响模型的输出效率,如果我们不想让他肾克怎么办呢?我们可以通过使用 side no sin 这个命令来关闭思考文本显示, 我们来执行一下面令,执行成功,我们再来输入一段文字, 可以看到原来的 shell 过程已经不显示了。当然也可以在一开始选用不带 shell 模式的模型,比如 deepsea v 三 前问二等。关于 api 调用,前面我们已经给大家演示过了。另外,如果想要在外部中访问自己的模型,可以通过下面的工具实现,分别是 open web ui 和佩奇 erace, 这里就不过多介绍了,感兴趣的小伙伴可以自行搜索了解。 后续给大家单独分享。使用 supreme ai 或者 longchin 调用本地模型。最后,如果大家感觉本期内容对你们有所帮助,可以点赞收藏,加个关注,后续持续分享 ai 大 模型干货知识。