继设计师之后,科研人员也要被颠覆了。 entropic 昨天发布 cloud science, 一个面向科学家的 ai 工作台。不是概念,是已经能用的东西,覆盖基因组、蛋白质组、结构、生物学、化学、信息学六十多个科研技能。开箱即用蛋白质结构预测、数据清洗、统计分析、图标生成引文校验。你只需要用自然语言告诉他你要研究什么,他自动编排整条分析链路, 艾伦研究所拿它做文献综述。两年的活压到几周数据本地跑不出实验室,每一步都有完整代码和环境记录,随时可纠述。当分析、校验、出图,这些事, ai 全包了。博士生和资深研究员之间的差距,还剩什么?
粉丝4.2万获赞120.1万

今天给大家带来如何不用魔法安装目前最强的 ai agent, 也就是 cloud code, 并且也是如何接入国内的大模型啊。这是这个从零开始 web coding 的 第一期啊,也就是基础环境的一个安装, 后续呢也是会给大家带来 cloud 的 一些使用技巧。好,第一步上来我们要先安装一个 pro, 这个 pro 很多人不知道是什么,这个相当于一个 apple store 输入了,你在这个苹果官方 里面搜不到啊,或者说需要跨地区下载的,基本上所有的 app, 相当于一个万能的苹果商店。 那这边也是看到一上来就报错了,这个很正常,这是因为缺了一些组建。那我的文档里面会给你一个 command tools 的 安装包。好,我们直接安装一下之后啊,然后我们继续敲刚才的命令。 那整个安装过程也是全中文的啊,跟着选就可以了。安装过程当中啊,会出现一个 get 的, 安装,也是一样是中文的,装一下就行了。 好,这边的话是这个呃,薄的一个安装,他是个全中文的,你只要选,他会告诉你一二三四选什么。这边呢也有一个我的演示,最后这边配置成功之后,会让你选一个圆,我这边选的是这个中科大的,你也可以选清华大学也一样。 好,这个的话就是安装过程中会跳出来一个 get, 安装,直接统一就行了,这也很快啊。 好的,那这边安装完之后呢,下面的话就是安装一个 load js, 这个东西的话是运行 cloud code 的 一个前置啊,我们也安装了 pro, 这个安装也是很简单,直接 pro install 就 可以了,也很简单的。 好,可以看啊,那敲下去之后呢,它就会一顿进度条了,进度条,走走走走走,走完之后就可以了。 好,大家可以看到啊,这个也是很快的。 好,到这之后呢,你可以敲两个命令来看一下这个。呃,安装的有没有成功啊,一个是这个 n p m 杠 v。 好, 紧接放你继续安装这个,就可以安装这个 cloud col 了,那前面我们不就发挥它的作用了,直接不用 in store 就 可以了,也可以看到,也是很简单。 好,那这个地方你装完之后啊,我们就有了这个最强的 ai 电脑了,也就是可洛克的。 那接着呢,就是再给他装上这个手脚,因为他有了最强大脑之后呢,我们就是要把它接入我们的国产大模型这里呢,需要用到一个 cc switch 安装包呢,也在文档里面直接装啊,这里演示的是国产的这个 mini max 的 一个模型,在官网这边呢,把控制台把它这个 api key 点一下复制复制过来啊, 然后 c switch 你 装完之后啊,啊, c switch 过来,你这边呢?新建一个供应商。新建一个供应商呢啊, 打开这个中端啊,好,在 c switch 上面新建一个供应商,然后选 mini max, 然后就是把刚才那个 key 啊给填进去就可以了。那这边有个 mini max 好 选过来,那把 key 呢?给它复制过来,就刚才我们点那个复制好填进去就可以了。 好,在这边的话我们直接添加啊, 我们添加之后啊,那这个时候我们所有的工作都已经完成了。我们这个打开终端之后啊,输入一个 cloud 好 进来,进来之后呢,可能有一些简单的配置, 你可以就直接一路 yes, 没关系。而这边呢,你给他说个你好,我用我们所有工作都给你输入,你好之后打个招呼,如果他给你回复呢,就说明你配置成功了。好,我们来看一下, 好,你看成功了。好,那这个的演示过程的话,就是啊,全程,那不需要魔法使用这个 cloud code 加这个国产版本型的一个全部的演示。 那到这呢,你就 cloud code 就 已经接入了国产版本型,你可以跟他做一些简单的聊天,下期的话会给大家带来这个 cloud code 的 一些使用技巧。那喜欢的小伙伴呢,可以点赞支持。

大家好,我上一条讲风沫的视频爆了,回复超级多。首先先谢谢大家,但是我发现评论区里有好多小伙伴有一个天大的误区,他们一直没用上 cc, 竟然是以为国内用不了,我用的可都一直是国产模型。 来,我给大家看一下我的 cc 是 怎么用的,我目前接了智普、 kimi、 迷你 max, 还有朋友给我共享的四零九零双卡, 我每次启动的时候会选一个供应商,而且一般我会开多个窗口同时用,有时候用相同的,有时候用不同的, 所以你看,我从来没有在 cloud code 里用过 ontropix, 自家的 cloud 模型一次都没有。那我今天就教大家一个方法吧, 怎么样配置 cc, 使用国产模型,怎么样切换模型?虽然有很多工具啊,但是工具都有一些学习成本,我们不应该花那么多时间来学工具,而是要学会怎么样能用 ai 来解决一切问题。所以今天我就教大家就是用 ai 做个脚本,在启动的时候选择。 我们来看一下。首先你得知道两件事,一个是 c c 的 模型供应商和环境变量的关系,还有一个是它的 api 格式。我们先看第一个 c c 配置模型的供应商是通过这四个环境变量操作的, 你可以给它设不同的值, base url 就是 你的 api key, model 就是 你要用的模型, 这个可以不设,不设的时候有的供应商他就会给你用一个小模型,我是一般习惯把这个变量设成跟他模型一样,这样就始终保持用一个模型,基本上就是你把这四个黄金变量填好之后,启动 cc, 他 就会改改变。对, 还有一个关键就是说这世界上 ai 供应商都提供了三种的格式,一种是 chat completion api, 这有大部分的供应商都有,但是 c c 用不了 responses api 呢?这是 open ai 最新的,但是大部分供应商也不支持 c c 也不用 c c 用的都是 iso 自家的格式,现在一般提供 coding plan 的 厂商都会有这个格式,所以,但你设置的时候不要设错了,不能设成这个了,所以你需要去看一下 它是怎么样,但是我觉得我们都不需要这么麻烦,不需要去调查文档来看一下很简单,就你把这个脚本扔给 dbc, 让它去打开它网页调查或和深度思考,让它自己去查就行了,它会给你生成一个脚本。 我这条 prompt 就是 windows 的 或者 mac 的, 它都会给你生成,然后你复制,复制到你的目录就行了。 哪个目录呢? windows 下在这个目录, mac 下在这个目录,这个就是你们自己需要去看一下。 注意一注意一点,就是 windows 下 c c 点 bat 这个文件,你千万不要用 unico 的, 否则会乱码哦。我,我的 prompt 里头要求写的是英文,可能也不会,但是我建议把它改成 a n s i, 然后你用那个 notepad 打开之后选择另存,然后选那个全部文件,当然把编码格式改成 a n s i 就 行了, 然后 mac 就 无所谓,就是这个目录。还有一个很重要的事,这个是好多朋友可能会因为这个原因导致它一直用不上 cc 或者产生误解,因为 cc 在 第一次启动的时候,它会强制要求你登录 cloud 的 账号, 但是实际上我们配置的是完全不应该有这一步的,这个就是因为这个 cloud layer json 这个文件里这个东西没设置好, 你把它设置好了之后,它再也不会弹出那个登录提示了,所以好多朋友不知道这个它就它就误解了,但是实际上我们稍微把它跳过了 cc, 就 可以用本地模型了。 最后呢,友情提示,你入门 ai 的 时候, cloud code 是 一个很不错的选择,但是一定要记住,一定要有一个国产的或者开源的平替,省得哪天他用不了了你就哭吧。 好吧,国产的 kimi code, queen code, 开源的 open code, 这些都是不错的选择,多条路总没错吧。以上就是本期的所有内容了,谢谢大家!

有了这个可乐的扣子,这是打开新世界的大门,看我今天弄这玩意打开,哈哈哈,看着啊啊,就写这个,一块卖塑料原料的,我以为我一个球友是卖塑料原料的吗?点击生成 来了,哈哈哈哈。哦, ok 啊,然后呢?把这个,你要这个素材,这这这是比如说素材放在一个文件夹里,然后点击打开,然后他这个素材,对吧? 素材是独取成功,比如说我朋友刚发我的,他送货的一些素材扔里边了,就选一个声音,选个语言,选个 chinese 就 行了。选个 chinese 之后选这个旁白的男孩女孩,我选个女的,再选个 声音,随便选一个,之后语速选一下,试听一下。欢迎使用短视频工厂,这声音行,见证奇迹的时候到了,开始合成,他就开始合成了,看这速度,正在渲染视频,哈哈哈,成功了,测试视频,合成成功我们再打开这个, 这是刚成功的时间啊。这个是什么?十一点四十八分十一点四十八分,看看怎么样?还在为原料发愁,价格忽高忽低, 质量还不稳定,试试这款进口塑胶粒子,哎呦,字幕呢? tv 认证,耐高温、抗老化,流动性超强,注塑零瑕疵,一吨直降八百元,库存仅剩三十吨,扫码立即锁单,错过等三个月哈哈哈哈。

之前我做过一期如何本地部署 index t t s 的 项目的视频,里面教大家怎么下载准备工具,怎么去项目仓库里找部署步骤,然后依赖安装问题怎么解决,模型怎么下载,遇到报错怎么办等等,大家是不是光是听我现在说都觉得特别麻烦?看屏幕上展示的是这个项目的全自动部署过程, 整个过程耗时不过一个小时,其中大部分的时间还是因为等待模型下载而帮我实现。这个操作的工具叫做 cloud code, 简称 c c。 我 知道很多小伙伴是从去年春节 deepsea 爆火才 开始接触 ai 聊天机器人的,但实际上二零二五年的 ai 早就跨过了只动嘴的阶段,全面进入了能动手的 agent 智能体时代。而真正让我体验到智能体霸道之处的就是 c c。 常看我视频的小伙伴都知道我是一个 jammer 吹, 视频中只要讲解到需要 ai 辅助的地方,我都会建议大家问 jammer, 或者把截图扔给 jammer。 但当我真正用上 c c 以后,突然就觉得 jammer 好 像也没有那么香了。为什么这么说呢?以前用网页端 ai 的 时候,突然就觉得 jammer 好 像也没有那么香了。为什么这么说呢?以前用网页端 ai 的 时候,负责把 ai 生成的东西 过复制、粘贴搬运到合适的地方,如果碰到需要修改或者报错,我们还得把信息搬运给 ai, 让他帮我们出解决方案,一直这样循环,直到问题解决。但 a 智能的核心逻辑是一个完全自动化的闭环,你给他一个大白化的目标,他就会自动在你的电脑里自己拆解步骤,自己敲命令,并且直接运行。 最核心的是,他会自己盯着命令行的反馈结果,只要报错了,他就自己读日制,找原因,改代码,接着重试。说直白一点, agent 把我们和 ai 的 身份互换了,之前 ai 是 指挥,咱们是员工,现在咱们是领导, ai 当员工了。 说了这么多,这个工具应该怎么玩呢?第一步是安装 cc。 这个网上的教程很多,我就不细说了,但是这个 agent 工具是需要调用大模型才能用起来的。而 cc 官方的大模型虽然很强,但是又贵又容易被封号,但它可以通过一些斜修的办法,调用咱们国内的大模型的 api, 性价比直接拉满。那具体怎么个斜修法呢?一般当你装好 cc 后,它会弹出一个强制登录的界面,直接关掉, 然后去你调用的模型的官方文档,里面一定会有介绍怎么修改 cc 的 配置文件的方法,一般都是给你一串包含该模型 api key 的 代码,让你写入到 c c 安装文件的,或者直接给你一个小工具,帮你把 api key 写入 c 文件。 虽然这个操作稍微有一丢丢的技术门槛,但只要成功克服,后面就是一路坦途了,付出这么点学习的成本,绝对值得。第二步,咱们得给这位新员工写一份提示词,里面必须明确几个规矩,首先得告诉他项目的 github 仓库,然后指定好本地的操作路径, 就是在非系统版里创建一个英文名的文件夹,而且整个文件夹路径中不能有中文哈,不然容易报错。最后强制要求他在当前目录下创建一个干净的拍摄虚拟环境,并使用清华园,确保不会污染咱们的电脑的大局环境。这条要求如果听不懂也没有关系,但一定要照做啊!那掌握这个方法, get up 不 就随便玩了? 看到这里肯定有小伙伴会说,这玩意是个啥?黑乎乎的,连个界面都没有。这里要跟大家说明,现在的 a 证的工具分为两大类,一类就是 cc 这类的秘密行工具, 另一类是带界面的 i d e 工具,比如大家耳熟能详的 coser, 还有骨骼的反重力以及自洁的 tree。 不 想折腾的小伙伴可以无脑充 i d e 工具,上手就用哈! ok, 那 以上就是本期视频的全部内容了,我是灵医研究所的风筝,咱们下期视频再续前言。

cloud code, 这名字听着像编程专用,可它其实是普通人也能玩转的。 ai 助手最接地气的用法是帮你在本地搭个 ai 知识库。 毕竟不是人人都要写代码,但谁没点笔记和资料要整理呢?最近, ai 圈的大佬卡巴西在 github 上分享了他自创的本地 ai 知识库搭建法, 一经发布,立刻在国内外 ai 社区火了起来。在这一期内容中,我将延续之前的方法论,为大家带来一份实操指南, 手把手教你在自己的电脑上搭建一个与卡巴西类似的 ai 知识库系统。同时,我还会教你如何在完全离线不联网的环境下,利用 cloud code 来管理你的知识库。对了,本期视频的详细文档版我也已经整理好了, 有需要的朋友可以查看评论区。首先,我们需要把本地搭建 ai 知识库所需的软件都安装好。 总的来说,本次需要的软件有 cloud code、 obsidian lm studio 以及 obsidian webclipper 这个浏览器插件。关于 cloud code 的 安装,我这里就不多说了,大家可以参考官网提供的几种安装方式, 无论你使用的是 windows 还是 mac, 基本上都是一行命令的事,特别简单。 obsidian 是 目前非常火的 markdown 笔记管理软件, 它最大的特点就是所有笔记文件都存储在本地,特别适合用来作为本地知识库的载体,直接到官网下载安装即可,也非常简单。另外,如果你要处理的是一些私密的个人或公司资料,可能需要纯离线不联网的知识库, 那就需要安装一个 l m studio, 它的作用是可以下载各种开源模型,并把模型运行在你的本地电脑上,供 cloud code 来调用。具体使用方式我们后面会说。 最后我们还会用到一个 obsidian 的 浏览器插件,它的名字叫做 obsidian webclipper, 作用是方便我们把网页内容一键导入到 obsidian 中,直接到 chrome 或 edge 浏览器的插件市场安装即可。好,接下来我们讲一下如何在本地部署大模型。 刚刚我们已经下载好了 lm studio, 你 可以直接在 lm studio 里面搜索你想下载的 k v 模型,比如 cream, deep sick 等等。但模型那么多,我们应该怎么选择呢?这里有一个关键公式,模型文件体积加 k v 缓存占用加运行容与空间小于你的可用显存。 举个例子,一个三十 b q 四量化模型,文件体积大概是一八二零 g, 但如果你需要让它处理一百二十八 k 的 上下文,它的 k v 缓存加上运行时的显存容量,随随便便又要额外吃到十 g 以上,加起来至少需要三十 g 以上的可用显存才能让它完整跑起来。 由于我的笔记本是四十八 g 的 显存,所以我这里直接选择的是三十 b 的 gemma 四点七 flash, 在 l m studio 里面点击下载就可以了。 下载完成之后,点击左侧的开发者选项,把 server 这个开关打开, lm studio 就 把本地模型暴露成了一个 api 接口,地址通常是 http, local host。 一 千两百三十四 b 一, 记住这个地址。下一步要用本地模型跑起来之后,接下来就是让 cloud code 和它联通,操作也非常简单,找到系统目录下的 cloud 文件夹,打开里面的 settings json 文件, 在这里我们需要改三个地方,首先是接口地址,直接填我们刚才的 l m studio 那 个地址,然后是延增 token, 随便敲几个字母占个位置就可以了。 最后是下面的三个模型名称,全部改成你刚才下载的模型 id, 搞定之后保存文件,重新打开终端,输入 cloud, 只要界面正常弹出来就说明对接成功了,大家也不用去记这些具体的代码,完整的配置模板我已经放到文档里了,你们直接复制粘贴照着改就可以了。 现在介绍知识库的最后一个配件,一个叫做 claudian 的 obsidian 插件,由于它目前还没有上架 obsidian 的 官方插件市场,所以你需要安装一下 brat 插件, 这是一个专门用来安装第三方测试版插件的辅助工具,在 brat 中输入 claudian 的 开源项目地址,就可以自动帮你装好。 最后别忘了回到插件列表里面,把 claudian 启用一下就可以了。装好之后,它做的事情非常直观, 就是把 cloud code 直接嵌入到 obsidian 的 侧面栏,你的 obsidian 笔记库就变成了 cloud code 的 工作目录,它可以直接在里面读文件、写文件、搜索,甚至是执行任务。这正好完美复现了卡巴西描述的那个工作状态。 左边是你的知识库,右边是 cloud code 的 助手,他正在帮你改文件,你就在旁边审视结果。好到此,所有的环境准备就已经完成了,接下来我们正式步入知识库搭建流程。 首先我们在 opc 店中创建一个空的仓库,然后把卡巴西那篇 rmk 的 原文直接扔进仓库里,接着在 cloud code 里面给 cloud 下达指令,请深度阅读这篇文章,并根据这里面的方法论帮我搭建知识库。 接下来就是见证奇迹的时刻了,它会自动帮你创建好几个核心目录和文件夹,也就是你的收件箱,用来存放所有未经处理的原始资料。 web 文件夹,这个是专属的 r m 的 领地,所有声称和规律的页面都在这里 index 到。 md 是 整个 web 的 目录大纲 log, md 是 一份只增不改的操作日记。更绝的是,它会自动提取文章的精髓,生成一个 colodea md 的 文件。 这相当于是他给自己写了一本员工操作手册,里面严格规定了目录结构、标签规范和双向链接规则。以后只要有新资料丢进来,他就会乖乖按照这个手册的规则去干活。 这套骨架搭建好之后,我们就可以往里面放东西了。卡巴西指出,传统知识库之所以难以坚持,根源在于人类对打标签、建锁影这类枯燥的记账工作深恶痛绝。 因此,我们的策略是只管收集资料,把记账的苦差事全权交给 ai。 具体操作是这样的,打开浏览器,找到想收录的文章,点击 obsidian webclapper 图标, 文章便以 markdown 格式自动存入绕文件夹,一个干净利落的本地知识仓库就此诞生。随后,在 cloud 中指示 cloud code 绕里新增了一篇文章请处理。 这并非简单阅读,而是翻译。 ai 如同翻译器,将绕中的原石资料转化为 wiki 中结构化的知识体系, 它会提炼文章核心,生成摘要,将关键概念抽离为独立实体页面,并利用 opc 点特有的双链语法将它们交叉关联,最后更新锁影目录,写好日记。这一系列行云流水、无需人工干预的操作,正是该系统的精髓。 资料导入后,我们再来体验查询功能,这也是他彻底碾压传统 r a g。 的 亮点。在对话框中,提问这篇文章的核心论点是什么?与知识库中已有内容有何关联? 注意看 cloud 的 动作,他先打开锁影,翻阅目录,精准定位到几个强相关的 wiki 页面,逐一阅读,最终给出一个融合了你个人专属数据库的高质量回答,并严谨标注引用来源。 更关键的是,传统 r a g。 对 话结束即忘,下次需从头再来。而此系统知识会产生负利,你的优质问答本身也会作为一份新的分析报告存回 vicky。 这意味着每一次提问与交互,都在让知识库如生命体般自动生长,愈发智能。 好了,今天的内容就到这里,我们用 cloud code obsidian 加 r m studio 完美落地了卡巴西的 r m v k。 方法论。回顾核心无非三件事,一是写好 cloud me 的 如同员工手册,为 ai 立下规矩。 二是将收集的原始资料统统扔进绕文件夹。三是静观其变,让本地 ai 帮你把知识翻译进 vicky。

把你的一生放进一个文件夹里,你的爱情,你的人际关系,你的旅行经历,你的父母和家庭背景,你过去写过的文字,做过的文档,让大模型对此重新编绘,形成知识记忆网。从此你就有了一个可以不断进化的第二大脑, 这就是卡帕西最近开源的大模型知识库 wiki。 给大模型写清楚规则,把它连接知识库,你再提问它就是一个拥有你全部记忆、喜好、厌恶踩过的坑的超级进化版本。这个时候有人会问, ai, 我 用的挺好的呀,用不着费劲了。 no no no no! 一 般的 ai 从一个项目或者是话题展开,聊完结束聊出来的精髓和结果,也从此不知道丢到哪里去了,再找,很费劲,哪怕是专门的知识库, ai 最高文件数量也只有五十个, 不能足以把你整个人生的数据以及新产出的东西放在一起进行交叉分析,从而生产出新的内容,新的思考。还可以转换成 md 文件,直接帮你存储到 库里。那说了半天,咋搭建呢?第一步,建立知识库。在你的电脑里新建 wiki 文件夹,在里面再新建三个文件夹,分别命名为 ro 放人类的原始数据, skim 放 ai 的 规则, wiki 放 ai 写的数据,使用 obsidian 这个 md 文档管理工具,打开 wiki 文件夹,接下来填充 ro, 根据你的日常习惯,把背景学习、健康、旅行、工作,就像你的工作文件夹一样。把你的人生分类, 再把你的个人背景和过去所有写过的文字,喜欢的文章一股脑的全放进去。有两个省力的办法,这里适合点个赞。一口述经历,用 typeless typeless 语音输入,它的识别准确率很高,可以去语句词二,安装 abc 浏览器插件,它能把网页一键转成 md 文档并存到知识库里。 第二步,选择一个 ai 命令行工具,新建项目,关联 viki 文件夹,并输入卡帕西在 github 上面给的提示词大模型会自己写规则并放进 skype 中。第三步,提问场景一,了解自己 新建窗口问他,请结合我背景里的所有资料,用维时论帮我分析我到底是一个怎样的人,有哪些习气,并把分析结果保存在 wiki 上。他输出的结果会让你知道你平时愤怒和痛苦的来源是什么,帮助你觉察到自己的情绪。场景二,学习 youtube 的 编程课程, 先用 notebook lm 把竹字稿提取出来放进 wiki 里,然后新开一个窗口问,所有你不懂的问题 全都搞清楚以后可以基于项目文件夹转载心得的内容放进 wiki, 文档就这样滚动进化迭代,你们一起成长为越来越厉害的大脑。以上的势例只是抛砖引玉,大家可以根据自己的使用场景和需求去发散使用的创意。但凡能交叉分析的,你都要想到 wiki。 那 么今天视频就到这里了,拜拜!

好,我们开始啊。嗯,九月二十二号。嗯,小米 miimo 发布了 v 二点六这个模型,它的评分很高呀。嗯,部分性能已经领先于 kimi t 三 和 deepsea v 四 pro, 并且它的价格非常便宜啊。如果国内模型最有性价比的,那现在小米 miimo v 二点六当之无愧啊,所以推荐大家都去体验一下。那现在小米 miimo v 二点六当之无愧啊。 我们使用小米 memo v 二点六模型有两种方式,我们打开它的官网 memo 开放平台, 回车,我们进入它的。呃,开放平台这个文档在这里有 token plan, 点一下有,总共有四个档位。呃,一档是三十四,二档是八七,三档是二八九,四档是五七九,档位越高,它的额度就越高。哦,你可以直接点 d g 订阅,然后我这已经订阅过了,所以它自会让你登那个小米的账号,可以先订阅一档体验一下。 这是第一种订阅方式。第二种使用方式是我们直接进入他的空投台,空投台这里面有多根 plan, 这是我们刚刚订阅的,这个我这里还有个账户余额,你可以直接在这里去充余额呀。充余额之后,你就 可以在这里 api keys, 可以 创建一个 key, 然后就拿着这个 key 就 可以去去使用了,就是按量收费的。这个图根 plan, 它肯定是比较划算的。我建议大家去订阅它,然后这里面有它专属的 api key, 你 一复制,然后去你的 c c switch, 去你的那些 a n 的 工具里配置一下,就可以用了。这里专属的 bash, 还有特权权益。好, 那我给大家都来演示一下吧。嗯,我先演示一下 token plan 怎么用,我们可以打开我们的 cc switch。 嗯,这里有 codex, 还有 cloud code, cloud code 里你可以在这里去点击加号,在这里就有一个小米 miimo token plan, 然后这里面都给你配好了。现在是二点五 pro, 你可以把它全改成,这里有它支持模型,你可以改成二点六 pro, 或者是二点六 flash, 在 这里都改一下。比如我改成咪蒙二点六 pro, command c 在 这 command v 全给改一下,替换一下 command v command v command v command v command v command v command v command v。 这里默认兜底模型也用二点六 pro, 这样的话。嗯,在这里再配一下这个投屏 part, 在 这里粘上 part, 我 们复制一下,在这粘一下,我们在这作为下区分二点六 pro。 好,我们点添加,这是我们,这是我之前添加的,这是我刚添加的,我点一下起用,起用完之后你就可以在可乐扣里去用了,用的时候你可以打开一个 可乐扣的插件,我们在 vsco 里之前下过可乐扣的插件,之前有讲过,你可以在这里就筛选一个,打开一个新的对话,这里就有 刚刚配的二点六 pro 的, 在这里你就可以问他,你好,你是什么模型?回车一下,稍微等一下。好,这他已经给出了结果。嗯,他说是啊,他给的是他自己的中单,但是我们配的是咪蒙二点六,他已经可以对话了哦,他是一个多模态模型,我们可以再。嗯, 给我们粘一下这个官网粘一下,然后在这 come on。 v, 帮我识别一下这张图片,回车稍微等一下哦,他这也识别出来了, 图片是支持的哦,这是我们在 cloud wallet 里去使用,你在这是其实终端也生效了,你可以打开一个终端,在这输入 cloud。 回车一下,这里也已经配好了 mini 二点六 pro, 你 可以在这里去问他,你好,你是什么模型?回车一下,这里已经给出了结果,他这个 cloud wallet 的 终端也是支持直接粘图片的,我们在这也粘一下,粘一下这个图,然后在这输入,你好帮我识别一下这张图片。 回车哦,这里也把结果给说出来。另外你也可以在你的 codex 连续使用,由这里我已经配好了,我把它给删除掉,我现在我的 codex 也就是嵌 gpt, 我 们打开一下,那在这里可以用它现在自带的模型,我们 可以配置一下小米的 mini token plan, 在 这里有,我们点这个,我们点这个加号,然后在这里也点点一下,这都给提前配置好了,也只需要切换一下默认模型,还有填一下 key 就 行了。 key 还是在这里去粘一下, 还是这里粘出 ipikey, 我 们复制在这里给 cc switch 粘一下 ipikey 他 们的微,然后这里默认模型是二点五 pro, 我 们用二点六在这里粘一下,默认是二点六 command c, command v, 然后这里会显示的模型,它可以支持很多个我们配的二点六实际请求模型二点六,然后我们再配一个 咪蒙二点六 flash command c 在 这 command v, 在 这 command v 粘一下。好,这样就配置好了,我们点一下添加,然后点一下启动,这里有个检测连通,我们可以检测一下。 好,它是联通正常的,我们也启动成功了,启动完之后,我们把我们的叉 g p t 退出一下,重新进入。好,可以看到这里已经是这两个模型了,一个 mini 二点六 pro, 一个 mini 二点六 flash, 我 们在这和它对话一下,你好,你是什么模型?对车好,它给出了结果,它是 mini, 小 米 的人工智能助手,我们也让它十个图。好,我们截个图,现在选的是二点六 pro 这个模型,可不能问一下,这里显示不支持图片输入,尝试其他模型,我们切到 flash 试一下, 不浪费哦,它这是可以粘进去的,我们让它识别一下。请帮我识别一下这张图片,我回车一下,稍微等一下哦,这里识别出来了。嗯,二点六 pro, 它应该是 cc switch, 在 这配置的时候里面呢,我一个配置文件有点问题啊,我们 可以在这修复一下。嗯,这里是刚刚查到的,问题的原因是需要把 cc switch 数据库里的这个配的 text 变成 text 和 image 就 可以识别了。有一个临时的修改方法,我们先试一下,这个文件是在 code 下面的,我们使用 windows code, 在 这里可以扭一个 window, 在 这可以打开 open 是 隐藏文件夹,可以用 command shift 加点就可以把这个隐藏文件找到。是 codex 下的 cc switch model, 这个 jason codex 下的 这个,这是 switch model, 我 们打开打开之后,这里可以看。看到这里我们配的 mini 二点六 pro, 这个它是配的 test 二点六 flash 配置的是有 image, 我 们在这 给大家修改一下他们的微一下,然后保存,然后重启一下,下载 gpt 啊,这时候二点六 pro 应该就可以正常识图了。我们还粘这张图,粘一下,然后在这可慢的微啊,可以粘进去了,我们问一下,帮我识别一下这张图片,回车哦,稍微等一下哦。这他就给出了结果,也是识别成功的 好好。除了 cloud code 还有 codex。 呃,可以配这个小米的 miimo v。 二点六,我们还可以使用国产的 a 呢,去配一下,比如 workbody 或者是 kimi code 都是可以的,我们试一下。 好,我们打开 work party, 然后在这里点配置自定义模型,点一下,然后在这里去找到这个自定义,然后这里就可以选接口地址,这里是仅支持 open ai 的 协议,我们可以在这去粘一下它的 open ai 的 这个接口协议,在这复制一下,在这 command v, 在 这输一下 key api key 也是复制一下 他们的微模型名称,模型名称我们就叫这个咪某。二点六 pro, 在 这可能的微一下高级配置工具,调用图片输入,这些他都是支持的,我们都勾一下,嗯,默认思考强度, 嗯,选自动就可以,然后支持思考强度,我们也都勾一下,这里有个输入和输出的图标,这里我们可以找到他的。 嗯,二点六 pro, 这里是他的介绍,这里有一个最大输,输出长度是幺二八,上下文长度是一兆,在这里就可以选一兆就是 一千,一兆就是一百万,然后这里是输出是幺二八 k, 那 这里可以选一二八,然后补三个零,然后点保存就可以了,然后我们可以在这里去选中它,然后我们在这里问一下工作空间的话,我们打开本地 文件夹,我们选择这个 word, 打开默认权限,允许完全访问。好,我就在这里问他一下,你好,你是什么模型?推车?好,这他就给出了结果,他说他是 word body, 底层是 mini 五二点六 pro 启动的,这样我们就配置成功了。我们也可以给他 截个图,让他识图一下,在这粘张图。 come on v, 你 好,帮我识别一下这张图片,回车稍微等一下。好,这也是成功识别的。他是小米官网啊,我可巴蒂说话比较有意思啊。他说你截的可能是我老家的官网,呵。哦,可以啊。 嗯,那我们再在嗯 kimi code 里它的桌面端去配一下。嗯, kimi code 也是。 嗯,这两天刚出的,这里也可以选去配更多模型。配在哪配呢?在这里点到左下角的这个头像有设置,这有个模型供应商,可以添加供应商,这里就有 mini max token plan 点一下这里,是啊,都是 mini max 的, 没有 mini 的。 那我们就添加自定义,在这里添加自定义,可以添加多个模型,我们 模型名也一样,在这里去粘一下,就叫 mimo mimo 哦,协议的话, open i 协议,这里可以选 soprocreate, openai, 还有这些我们选 openai, 这里粘一下这个地址,在这粘一下背水 u l 这里粘一下 key key 还是这个。复制一下 command v, 然后这里选模型。可以配两个,一个是二点六 pro command c 在 这 command v, 一个是二点六 flash i c 看到没,在这上下文。嗯,这是幺零四八五七六,你就按他的配吧。幺零四八五七六,你照上下文嘛,就配一下,显示名就显示这个。那谁 come on v, 好 点,保存这个咪猫就配好了。两个模型,我们在外面就可以去更多模型,这里有咪猫,我们可以用这个二点六 pro 在 这里 思考,有 on 和 off, 这默认是思考的。我们在这问一下,你好,你是什么模型?会车啊?这他就给出了输出结果,呃,他是也是 kimi 的 这个桌面端,他说的还是月字暗面,但是我们实际上已经集成了小米的 mini 的 模型。我们也识张图吧,在这粘一下,粘一下这张图,他这可不可以帮我识别一下这张图片? 快车,稍微等一下啊,这也是输出成功了,这二点六 pro 是 可以二点六 flash 就 不演示是一样的啊。这在 kimi code 的 桌面端也成功集成了 memo 的 模型啊。啊,国产的除了 workbody, 还有 kimi code 的, 还有小米它自己的也出了桌面端,我们下载下来是长这个样子,但是它比较有意思的是它这个账号, 它桌面端的这个订阅跟 token plan 的 订阅它没有打通,所以你这里如果想用它自己的 mimo v 二点六的话,你需要在这里重新配一下,我们就配一下,在这配 有个配置,自定义模型,添加供应商,它内置的有咪咪某托管 plan, 我 们点一下,这有他提前填好的一些工商 id 名称,接口地址,接口地址,他用的就是这个托管 plan c n, 小 米 v e 就是 这个,然后用的 open i 的 格式, a p i k, 我 们在这去复制一下,复制成功,在这粘一下, click on the v, 然后这里有测试连接,然后有八个模型, 这个 id 应该是,我们点一下确认添加,确认添加之后它就识别出来了。我们这里可以用 二点六 flash, 二点六 pro, 我 们点一下,再点一下,他就把这两个给配置好了,然后点保存好,保存完之后在这外面他就有了迷魔透空 plan, 二点六 pro 和二点六 flash。 我 们在这问一下,完完全访问工作空间也用桌面的这个 work, 你 好,你现在是什么模型? 回车,稍微等一下。好,他这给了结果,他是咪某小米的 ai 助手,这写在咪某桌面应用中后,我们也让他识个图,在这粘张图片。格林威,帮我识别一下这张图片。回车很快啊,这也是识别成功了。 好,嗯,二点六 flash 它就也是一样的,就也不演示了,所以现在我们的 kimi code workbody code code 都演示了一遍。还有另外两个,一个是 kimi work, kimi work 它是它只能用自己的模型。 k 三啊 k。 二点八 pro 没办法集成外部模型, 还有豆包工作,豆包工作也是只能暂时只能用自己的内置的这些模型没办法集成。呃,这些桌面的 a 键的工具,你发现现在整体长的都是差不多的,都是这个样子。 对,还有一个 jq 的。 呃,就不演示了,这个后面单独出一期视频,去学一下吧。你他的代码现在开源了,我们可以去学一下。好,那演示这么多,其实我们演示都是投跟普兰,就是配个他专属的 api key, 还有他的这个 b c l l 的 协议,然后这是模型,我们,嗯,一档的套餐就这么多, 我们在哪看使用量呢?可以刷新一下这个页面,这里就有使用量哦,这下面有这个 每日的使用量,通过总消耗,还有这个单薄型通过消耗,这都可以看到。二点六 pro, 二点六 flash, 这就刚才我们使用的啊, api key 的 话,你就在这去新建 api, 比如叫个 test test, 我 点确认这它就生成一个 api key, 你 就可以复制一下这个 key, 去在刚刚的那些操作去 配一下,都是一样的,然后他走的是这个账户余额,你如果余额没有的话,他就是用不了的,然后这里面是他的,你的账单的消耗会在这里展示。好,那我把这个先就不演示了,删一下,确认,删除,删除一下。好,为什么要推荐大家使用 小米新出这个 mini 二点六 pro 呢?我们可以看一下它的价格呀,这里有个 api 定价,这个价格它是比 deepsea deepsea, 我 们看一下 deepsea 的 官网, deepsea 我 们去到它的接口文档,这里有它的模型和价格, 我们可以对比着看一下哦,你可以看一下。呃,迷你二点六 pro, 它的输入运动缓存的时候,它只有零点零二五,二点六 flash 的 话只有零点零二哦,你可以看一下 deepsea 现在的它的分 高峰时段还有空闲时段,它的空闲时段是零点零二,也就是说 miimo 全程它的 价格比 deepsea 这个 v 四 pro 它的还要便宜吧,它还不分高峰和空闲,并且它这是输入,输出的话,输出的话二点六 pro 是 六块, 二点六 flash 是 两块。 deepsea v 四 pro 它的空闲时段是十三块五哦。 deepsea v 四 flash 的 空闲时段是四块,它都是比它便宜的,但是它的性能跟它在好分上还略胜于 deepsea, 所以 说它现在当之无愧的是性价比之王了,大家可以用一下感受一下。好, 那以上就是本期视频的全部内容了,我们嗯 介绍了一下小米的 miimo v 二点六 pro 和 v 二点六 flash, 它的使用方法我们在嗯, clockcode code, kimi code, workbody 这些里都配置了,展示了一下它的用法,也对比了一下它的价格。嗯,大家都可以。嗯,订阅一下,体验一下性价比浪漫。好, 那以上就是本期视频,对你有所帮助的话,还请帮忙点个赞,我们下期视频见,拜拜。

朋友们,这是我现在用的电脑,四零九零四十八 g, 二百五十六 g 的 内存,现成撕裂者,我用它构注了一套智能中书。但是呢,我今天要教你们怎么样用一个很低的配置来构注一套同样的系统。可怜的只有三百 g 的 硬盘, 三十二 g 的 内存,一台英特尔 i 五的 cpu, 配上这张四零六零太十六 g 的 显卡,我今天开始教大家如何在这套比较垃圾老的配置上部署一整套 ai 智能中书。 这是一个艺人公司超级个体如何最大化利用 ai 杠杆的视频。在上期我介绍了我自己的 ai 超级智能中书,以及我怎么样用各种模型的组合来解决复杂的问题。而今天开始,我要教大家 如何用一个入门级的显卡,哪怕你只有八 g 的 显存,你也能完成这一整套的配。刚才都看到了,我这台机器配置比较垃圾, i 五八四零零三十二 g 的 ddr 四内存,然后一共两块盘,二五六的系统盘,三百 g 的 数据盘。这一套配置大概就是三千出头的样子。 你需要准备这样的一块 u 盘,把它格式化成 wintoy 的 系统,然后配置上非牛 o s 的 镜像。 如果你不知道 wintoy 和 finn o s 到底是什么,那我建议大家去搜索一下,教程特别多,而且特别简单。我之前视频也告诉过大家,如果你要想利用好 ai, 你 就一定要从构注一个 linux 系统开始。 但实际上所有的 nas 都是 linux 系统,所以我就选择了 finn o s 这个系统,它是一个基于 devin 十二的 linux 系统。好了,现在这个界面已经开始安装了,五分钟后就能完成,它会提供一个网页的配置, 开箱即用,最简单最好装的 linux。 当然这个你是需要作为服务器的,你还是需要另外一台,无论是 mac 也好, windows 也好,需要做终端来使用这些服务。 那么今天这一期呢,是构注 ai 中书的第一部分,我们将完成 fanui os 的 安装和配置, opencloud 的 一键安装,当然我们还得装一个 cloud 的 扣子。我发现好多朋友到现在还没有装好它, 那么这次我就直接给你喂饭了,而且我们还要配置一个谷歌刚刚发布的 jam 四的本地多模态模型。最后啊,我要给小龙虾配置一个基于本地的搜索引擎,这样你的小龙虾的功能就起火了, 你们就知道四零六零态真正的实力了,这是一个含金量很高的教程啊,而且绝对是被饭级的,希望大家能看。本期所有的内容都在我的 github 里边,你们只需要按照提示一步一步地复制粘贴,就可以完整地复刻。 完成了这些配置,你们绝对就是一个龙虾达人,而且绝对跑赢百分之九十九的人,所以拜托耐心看完这个视频, ok, 非牛 o s 已经装好,让我们开始今天的教程好了,用了五分钟不到,把它装好了,现在开始配置啊, 比如说我这个就叫 open 可乐,密码就随便自行选择吧,好保存,先创建一个存储空间,用这个我就用这块盘创建 a c k 就 行了啊。好了,这是完成了,第一步,创建了存储空间,然后我们赶快把 docker 配置好, 我们放在存储空间一好了, docker 服务已经启动了,这是第二步。第三步,我们要把我们的用户把它 s s h 打开啊,它默认是开着的。太好了,在这个位置啊,系统设置 s s a, 把这个打开。好, 我们现在试一下啊,打开一个终端,幺五二,好像对, ok, 好 的,好,我们现在到应用中心,你看它现在有一个 openclaw 就 直接安装了,我也装在存储空间一,它会自动装 notegs。 我 们现在配这个模型啊, kimi 吧,验证信息保存。 哦,好,我现在去 openclaw 点 s h 的 模板, 你在这把你的 token 和 base ui 模型一填,你就可以直接用它来启动 cloud。 如果你经常看我视频,我就是这样用的,然后这是一个一键脚本,但是我决定还是手动给你们过一遍。怎么安装。我们看一下这个 readme 啊,就按这个一步一步来, 非牛一般不会给你创建目录。我习惯是有一个 home 的, 所以我们就这么执行一下,看一下,看一下,对不对?这是这,这个是验证的啊, 看这这个就就已经可以了。好,我们接着来。这肯定没有装这个驱动的,所以不用过了,我们来执行这个这条命令,这是一些编辑驱动时候的一些前置的东西。好了,这是我应该刚才装过了, 接下来我们就装这个驱动,直接把这一段,不是,这是英伟达的库达,然后这个是驱动,这两个是特别关键的,这两个如果装装不成就不行,我们用这个来装吧,他要下载一个这个包,这个包挺大的,三三四个 g。 好 了,库达装完了,我们现在装驱动 这一步,你已经领先了一半的人,很多人基本到这一步就放弃了。 two thousand years later, 好 了,现在驱动应该是已经装好了, 我们现在把这个复制一下,这个就是你每次登录上来的时候,他需要有一个酷大 home, 然后配置这个东西。好了,现在应该有了吧,看,现在我们识别到了四零六零 t, 对 吧?十六 g, 对, 我们还需要把这个 bios profile 搞一下, 现在走到这里超过百分之九十的人了,我们继续安装啊。 uv, 这是个 python 包的管理工具,我们就直接装就行了。 下一个是这个 cloud code, 这个很重要啊,这个就是很多朋友在配置 cloud code 的 时候,想配置国产模拟,但是发现它需要登录,是因为你少了这个文件里的这个配置。 好了,现在是安装 cloud code, ok, 装好了,看一下这个文件,看这个有他有的就没有问题啊。 接下来要装的这个东西,我认为是整个本地 ai 生态最为低估的一个工具,它叫 harbor, 一 句话概括就是一条命令拉起整个 ai 的 技术站。什么意思呢?你跑本地某,你得装推理引擎,你得装搜索引擎,你得装聊天键。面对不对 这些东西之间的配置和互联,真正折腾过的人就知道特别的痛苦。但是呢, harbor 帮你把这些全部都打包好了, 九十多个 a b i 服务,你只需要一条 hibble 这个命令就能全部都部署好。而且最厉害的是它给你全配置好了,这些全部都是互联的。比如说你配置了一个搜索引擎,这时候你打开一个聊天界面,它用的就是这个搜索引擎, 或者说你配置了一个新模型,打开聊天界面用的就是这个新模,它不需要你手动改配置,不需要你修改网络,不需要你懂 docker, mini, 不 需要你懂 linux, harbor app 一 句话就完事了,更重要的是你可以用小龙虾来命令它帮你部署。所以后面我的教程还会利用 harbor 来讲一些场景。 这个 harbor 神器啊,朋友们先直接装,把它先装好,它有个 doctor mini, 它可以自检, 然后我们现在看一下,他自检就是告诉我们你哪些没做,看,我们现在还有这一步没做。还有这个刀克,刀克现在需要用这个,需要把用户加到这个刀克组里。 ok, dock 我 们复制好了,这一箱已经过了。然后就是 nvidia 的 这个 container 二 kit, 这个我们在飞牛上装,给大家说一下,这是容器,它要使用 gpu, 它必须要用这个东西。嗯,好了,是吧? 好了,我们现在再 doctor 一下。好,这个不用管这个,如果你是一个 amd 的 gpu, 你 需要管,我们现在目前是四零六零菜,这个就叉,无所谓。好,我们这步做完了, 我们看一下这个,测试一下这个吧,对吧?哎,看这个,这个出来就说明容器里执行这个命令也能成功,那就说明可以用 gpu 了, 咱们继续部署本地模型。哎,这个就厉害了,看阿伯肯瑞克告诉大家这个是干什么的,这个就是我让他下载一个摩搭上的一个的 e 四 b, 这是个八 b 模型,就是四 b 激活。 好像是是八 b 模型吧,反正这个模型四零六零泰坦跑的不错,然后他用的是 q 四 km 的, 然后同时让它启动一个拉玛 c p p 的 容器,我们来看一下啊,见证奇迹了,它要先拉一些它需要的一些容器镜像,看它现在把欧拉玛,拉玛点 c p p 还有 open web ui 全部拉下来了。 所以这一步走完之后,你就拥有了一个本地 ai 了,用四零六零泰跑起来速度也不慢。我们在执行哈堡 up 拉玛点 c p 的 时候,出了一个这个问题, 这个可能是因为他下载没有下载成功,我们再试一下啊,哎,看这就好了。嗯,我们复制一下这个,这个地址我们要改成本级地址,应该是幺五二,对吧?看,拉玛点 c p p, 这是他已经配置好的模型,他现在占了五点七个 g 的 现存, 试一下,跟他讲个故事,你看这速度可以吧,七十 t 作为一个十六 g 的 四零六零太,我觉得这个就已经很好了。然后大家记住啊,这是他的拉马点 cpb 的 端口, 三三八三幺,就是它这个 harvard。 呃,是 library 点 c p p 的 地址,在这个 script 目录里,就我刚才说的 cloud 点 s h 点 template 的 模板 啊,你用 mv 把它移动到后目录下,并且改成你们喜欢的名字。接下来大家就只需要把刚刚的拉玛点 c p p 的 地址端口和模型名复制进去,随便给一个 key, 然后把 cloud 点 s h 改一下可执行权限,就可以通过这个脚本来启动 cloud code 了。 看见没有,这个模型已经超过了百分之九十九的人。 你现在不仅在一个非牛 nars 上装好了英伟达的驱动,部署了本地模型,你现在还把 cloud code 配好了,我们现在在本地配置了一个 cloud code 的 一个启动的命令,然后还有一个呃拉玛典 c p p 让你可以直接去使用。 我们现在要去搞一下 openclaw 这个三三八三幺,教大家怎么去搞这个 openclaw。 我 把这个模型名复制一下,看 openclaw 打开添加模型服务,这里拉到最下的自定义 open a 兼容 拉玛 c p p 吧,好不好?我们定一个八三幺是吧?然后模型名称我们添加一下,保存一下,它就自动去刷新了。 我们把 openclaw 刷新一下,就看到小龙虾有了刚刚配置的模型,到此为止,我们的小龙虾就完全可以通过本地模型来驱动了, 大家可以用本地模型来摸索小龙虾的功能,完全不需要担心偷根,消耗速度也不慢。但是需要注意的是,这个本地模型智商比较低,要是让它做编码任务的话,我觉得还是不太现实的。 好了,接下来我们需要给小龙虾配置一个本地的搜索引擎,这里我用了 sirx n g, 它是一个圆搜索引擎,可以集成多个搜索, 我们用 harbor up sirx n g 就 可以一键部署,并且它会自动配置好一些默认的搜索引擎,装好之后,你把它地址告诉 open claw, open claw 就 具备了本地的搜索功能了。 好了,到这里我们就完成了今天所有的任务,我们今天做的就是构建 ai 中书的地基和架子。有了英伟达的驱动啊,后面的事都会变得非常简单。在后续的视频里,我会以具体的场景来入手,告诉大家到底应该用什么样的模型来组合,到底能解决什么样的问题, 保证你们今天搭这套环境没有白搭。所以如果大家感兴趣,拜托把你们折腾好的截图发到评论区,也给其他没有折腾好的朋友给一点信心。好了,以上就是本期全部的内容了,我们下期见。

ok, 哈喽,大家好,我紫嫣啊,本期给大家讲一下咱们的一个 mini max h 三的模型的本地部署啊全教程,兄弟们啊,学会了你也可以一样的啊,跟我一样在本地无限的畅玩 ai 视频。好吧,咱们废废话不多说啊,直接教学开始啊。首先第一步,咱们去官网啊,你的浏览器里面搜索咱们的一个 conui 的 官网, 搜索完了之后呢,点点击咱们的一个下载桌面版啊,下载好了之后安装啊,安装之后你自己去,嗯,我的建议不要大家安到 c 盘,好吧,去安到 d 盘啊,或者一个空白的文件夹啊,那个空白的一个硬盘里面啊,然后新建一个文件夹,咱们的一个康复 u i 的 文件夹,对吧?然后把它下载到这个目录里面来,下载完了之后呢, 打开咱们的一个 comu i, 我 先给大家关了,打开咱们那个 comu i, 然后去登录咱们的一个信息啊,对吧?呃,谷歌浏览器去登录啊,谷歌账号去登录,登录之后呢,点击咱们的一个新创实力,名字随便起,比如说我这里紫嫣紫嫣, 然后下面选稳定版,然后选推荐,然后你是 n 卡就选 n 卡, a 卡就选 a 卡,因为那个英特尔的卡就选英特尔的卡,好吧, cpu 就 选 cpu, cpu 估计很难玩。然后呢,目录的话就是你们刚才安装的目录啊,这个不用管,然后点继续 点安装啊,就 ok 了,好吧,我这里安装过了,就不安装了啊。安装好了之后呢,打开咱们的一个刚才安装的一个 cd, 然后准备好咱们的一个 a 镜头啊, a 镜头豆包工作也好,也能搞这个 a 镜头也好啊,这个 a 镜头是最好的。兄弟们啊,能搞到这个 a 镜头也是最好的,不会搞的话进一下粉丝群好不好?进一下粉丝群我这里肯定就不给大家细说这个东西了,那打开咱们的 a 镜头啊, a 镜头之后呢? 比如说这是咱们的一个康复院的工作界面啊,你刚进来肯定是不会有这些工作流的,什么都没有,就一个空白,有一个纹身视频啊,纹身图,纹身图。然后呢?啊,这是咱的一个长视频工作流啊,这是我的一个长视频工作流,最高可以支持几分钟的视频啊, 这个就那几个小时了,就别听他们瞎扯了好吧啊,一般的配置是跑不了的,我这个基本上就是你八 g 的 显存都能跑的啊,一个工作流他是什么意思啊?给大家讲一下啊。这个比如说我要生成一个三分钟的视频,对吧?三分钟的视频, 然后他会帮我分割为几十,就是比如说十秒的啊,分割为十秒的一段,生成六段,然后生成一分钟的这样子,给我一个,然后我只需要写一段 提示词这些啊,然后他会按照比如说你是上传了首张图片,这个是什么意思?这个就是你参考的这个视频的风格啊,这个参考视频风格就是这样子的一个风格,我直接上这个风格,是我那段时间做了一个视频, 然后这个的话就是我们的手帧图,对吧?手帧图和尾帧图的意思啊,上传了之后,他会根据你第一个生成的,比如说十秒的视频的尾帧来生成第二段,就这个意思,然后循环循环,然后合成一段发给我,就是一个长视频。需要这个工作流的朋友们啊,也可以去咱们的一个粉丝群,我粉丝群里面一定也会发的啊, 然后你把我的工作流拖进来之后啊,比如说举个例子,先把 a 键的放一边啊,比如说这是我的工作流,你把直接拖进来拖进来之后,他会跟你说啊,你旁边确实什么模型,确实这样那样的,你不要管,不要管,兄弟们啊, 把这个打开截张图啊,截完图之后发给咱们的一个 a 键,然后把咱们的一个,一定要把咱们的一个 com 的 文件夹给到他,好吧, 哎,等一下啊,一定要把文件夹也拖给他,然后给他写出输入提示词。什么提示词? 来帮我下载图片中缺失的模型,缺失的模型和节点 点到 c u i 的 文件目录下 啊,文件对应目录下,因为模型啊,这些文本描述器都是不同的目录啊,你给他发这句话,我现在图片中缺失的模型和节点到港服 u i 的 文件对应目录下, 然后发送给他,他就会帮你解决这个问题啊,解决好了之后,咱们这里点一下 r 刷新,这些东西就没有了。我这里缺失的不是模型啊,这里缺失的是图片,我还没上传图片,对吧?啊?你看那个 就没有了,对不对啊?然后呢?嗯,还有一个,哦,对,还有个重点没给大家说,你下载这些东西,下载这些模型什么的,一定非常慢啊,几十个 g, 然后你不搞镜像,那肯定下载很慢的,兄弟们懂了吧?然后先去给豆包说一件事,什么事?来,兄弟啊, 我先打开给大家看, 有个东西叫什么呢?叫这个 a r a a r i a 二 c 这个 a r i a 二 c 啊,帮我下载 一个多线城下载器。什么叫多线城下载器?兄弟们啊,就是说你一条网络去跑下载的很慢,对吧?这这时候咱们就需要一个多线城下载器,我知道你们肯定也在网上看到过那种啊, 要用我的多线城下载器下载,然后你要付米,一个月九十九米啊,只验这里只讲干货。兄弟们啊,就这个东西啊, a r i a 二 c。 帮我下载一个多线下载器,这个啊,然后, 然后以后我下载模型,你就使用 这个多县城下载器,然后你就会发现这个速度直接飙升十倍。兄弟们,可能他跟你说,哎,要六个小时才下载完的模型,三个小时下载完的模型,突然一下子啊变成了二十分钟十几分,就这么简单啊,这个东西就是一个开源的东西 啊,你们不懂,所以说,呃,我现在也给大家讲一下啊,我只是给大家讲了之后呢,大家少走弯路好吧,少走弯路 啊,这个东西呃市面上这些人啊,他就会拿出来卖啊,卖也是卖的一样的,只是说他后置的他制作的一些软件啊, 他制作一些软件的模型还是用的这个东西,懂吧懂了吧?只是做了一个 u i 界面啊,然后你付费去使用,就这么简单,就这个东西,好吧,然后发给他之后,就刚刚我说的把那个文件夹以及截图发给他下载模型,下载好之后点二 刷新就能跑了,懂了吧?然后给大家介绍一下三个模型啊啊,这三个模型自己也可以去粉丝群里面领好吧?啊,有什么需求的兄弟们啊,最好是进一下粉粉丝群啊, 这里面我们都会沟通分享一些东西的。一个叫做大十万 mini max 七三啊,一个是咱们的 fl 开头的这个二 v a, 这个是参考成视频的官方的 mini max 七三的模型, 一个是 mini max h 三的 r e f, 这个啊,这个是咱们一个参考生视频的一个模型啊,给大家讲一下啊,这个这个你如果你是要参考生视频,你必须用这个模型,官方的啊,必须用这个模型,比如说你要参考一段视频上一个照片去生一个视频,你必须用这个模型,如果你是首尾帧的,必须要用这个模型, 纹身视频一样的,懂吧?啊?然后呢,这个大丝袜的这个模型什么意思呢啊?就是说你不需要哎,单独去选什么?到底我该择位针还是参考针,你直接用大丝袜纹身视频,独身视频,参考针视频,只需要一个模型,直接全部搞定好不好?就这个模型对不对?这模型怎么去下啊? 很简单一个道理,比如说我要下载这个大四万的微信啊,你,你给你的那个,给你的 a 键的发过去刚,比如说我们刚才已经给他说了啊,那下载一个多验证下载器对吧?直接给他说用, 用我本地的多县城下载器帮我下载这个下载啊,这个我们就换成那个模型的名称,模型到 comfyi 的对应目录下,一定要给他说在对应目录下不能,到时候你提起什么的我跟你讲这些目录。呃怎么说呢也很简单但是你方便的话你直接给他说啊到对应目录下来发送给他他就会开始下载下载完了之后他会告诉你啊 这个东西啊这个豆瓣的话有个毛病啊我要给他讲一下你让他下载一个东西他下载好了他不告诉你是吧?所以你过一会你要问一句你说下载好了吗你要问他知道吧啊他突然就给你说啊下载好了对不对啊。就这个意思然后 咱们下载好了之后按 ctrl 加 r 对 吧。刷新一下咱们的一个 com 的 界面然后去选择咱们那个大师王的模型 啊你不管什么的啊需要这个工作流的兄弟们直接找我拿就行了。这是一个长视频工作流你生成几分钟视频都没问题知道吧。什么意思啊不说一下让你生成几分钟啊。这个低配置的电脑也可以玩他们那种什么无限时长的。这个你不要给我开玩笑好不好你没点配置你玩的了对吧再说了也没有无限时长啊没有这种说法 这个对吧。现在就是要我要做三分钟视频啊我只需要上传一段提示词然后他会把分为啊几十秒的视频最后把这几十秒视频给我整合到一起比如说分为十秒的视频 啊一分钟的视频就是六个十秒来整合到一起发给我就这个意思对吧。那这模型之后这下面有一些文本编码器啊这样那样的你都直接截图发给 a 就 能让他去给你做 啊搞好了之后你就可以直接运行这个模型了啊懂了吧,官方的怎么去下?一样的道理啊,一样道理,你去搞一个模板,比如说纹身视频的模板,这个餐饮视频他会缺,给你说缺失什么模型,你去下什么模型就行了啊,比如我随便点一个,点一个我没下载的啊,比如说这个万象的, 还有哥说,哦呦,缺失这么多模型,还缺少这个对不对?来,丢给他,截图打开 a 键的丢给他。帮我帮我下载缺失的模型到本地 cdove 对 应文件夹目录里。好, ok, 发送给他啊,下载好了之后他会给你说,说了之后呢啊,一样的,点一下刷新他就没有了,这样保存里面就可以正常玩了 啊,这个意思大家都懂吧。好吧,这样之后基本上你就能正常玩了。然后我给他说一声,说一下我用的图层视频啊,我用的图层视频,我用的本地玩的话,我是用的这个 啊,我一般用的 m g。 m g。 m g 是 什么?你们自己可以搜一下啊。我一般用的 m g, 但是本地玩的话我是用的这个啊,千万的 emoji 二点一啊,兄弟们啊,这个是怎么说呢?我大家都能看到我上面有个什么粤语版啊这些啊,开源的。这样啊,粤语版什么意思?就是说没有限制 对吧?你想什么,什么内容都没有限制,限制,只要你能抢到。啊,懂了,都懂。好吧,兄弟们,懂了,都懂啊 啊,懂的都懂。然后这个的话就是找到一个模型,这些东西我都会发到咱们的一个粉丝群里面,有需要自己去粉丝群里面拿。好吧,我这里就不细说了,兄弟们啊,我们都懂,就是什么你图蹭图片啊,蹭视频都是可以的啊,你只要你想的到,都是能玩的。本地就是玩这些,不然我就玩什么本地对不对,没有限制啊。 那差不多这就是我全部的一些啊,模型以及卡原的免费吗? 自己玩懂了提示自己会写了再去玩一些付费,付费的比较好用的。 cd 十二点五确实好用啊。 cd 十二点五确实比那些插视频模型要好用,对吧,但是他收费收费你肯定要先玩的明白,减少大家一个抽卡次数和成本好吧,本期内容差不多就这些啊,就是一些开源的一个 图片的模型,还有视频模型怎么去部署啊。这些直接交给 a 镜头很简单一个道理,有什么不懂的不懂的,不会的就交给你的 a 镜头啊。但是 a 镜头也要分好坏,有些复杂的人物就被交给他了啊,这个东西说实话有有点气人。复杂东西别交给他,简单东西让他去做就行了,下载个什么东西他还是可以的 好吧,然后你能搞这个就能就搞这个,不会搞粉丝群里面也有啊,怎么跟人家怎么搞这个啊,大家都不要去什么那样那样的是吧。 本期视频差不多就分享到这里,记得点赞收藏加关注,兄弟们啊,然后下期有任何问题可以评论区留言。好吧,下期再出一些教程啊,比如说什么一些付费的节点到底该怎么打 api 啊这些啊,我觉得这东西很简单,我说实话,教程我出了,真的比较少,因为我觉得,嗯, 这东西你自己去搜一下都有的不什么重点,重点是啊,给大家避一些坑啊,少走一些弯路,好吧?啊,本期到这里啊,咱们下期再见,拜拜。

前两天啊,有粉丝在我之前的作品下面留言,说他用一个脚本在十二 gb 显存上就可以轻松跑起三十五 b 的 模型,然后还包含了二百五十六 k 的 上下文,还能五十个托克每秒,我顿时就来了兴趣啊,问他要来了脚本。看完脚本之后啊,我决定一定要跟大家分享一下,看看他到底是怎么做到的。 我们先来看一下这个模型啊,是千万的三点六三十五 b a 三 b, 这是一个 m o e 混合架构的模型,总参数呢是三百五十亿,但每次推理呢,只激活三十亿 m o e 有 一个关键的属性啊,就是所有的专家层权重必须同时存在于选存或者是内存当中, 不能只加载一部分。而这个脚本的核心策略呢,就是把专家的办公室从 gpu 搬到了 cpu 里面,让 gpu 呢只负责注意力的计算。 下面我们再来一步一步的看啊,它的第一招就是 gpu 层数卸载,它呢将除 mo 专家外,包括 embedded 侵入层和弹性注意力层的九十九层网络啊,全都塞到了显存里, 因为弹性层占模型总参数量的比例啊比较小,这样呢就用不了太大的显存,就可以装下这些量化后的弹性层和压缩后的 kb cache。 我 们再来看第二招,就是把刚刚提到的 mo 专家层完全的留在 cpu, 这个呢是最关键的一步, 这个模型的总参数量是三十五 b, 加上 c p u m o e 后啊,那么 c p p 会将庞大的 m o e 专家权重全都留在小内存里面,仅靠 c p u 来计算专家部分,而 c p u 呢,只负责计算注意力层和路由网络部分,这就使得啊,显存占用从原本 q 四后,大概是二十 g b 左右的占用骤降至六 g 以内。 还有第三招就是权重和 k v k s 的 双重量化。大家看这个模型的文件后缀是 q 四 k m, 表示呢,模型的权重采用的是四比特量化,相比 f p 十六,节省了大量的显存占用。 而开始 type k q 四和开始 type v q 四呢,将上下文缓存也压缩到了四比特。面对二十六万的长上下文啊,如果不量化 k v k s, 会吃掉大约十 g b 以上的显存。而量化后呢,可以控制在两到三个 g b 左右。 我们现在来算一下总账啊,它分离后的弹性权重大概是三 gb, 而 k v 开始呢,在四比特量化后是两 gb, 系统开销我们暂估它大概是零点五 gb, 总体大概约等于是五点五 gb, 加起来还不到六 g。 这个呢,在十二 g 显存的配置下,这套方案的推理速度预计可以达到五十到六十多个秒,日常使用啊,确实绰绰有余了。 但是这个神奇的表现也是有一定的风险和代价。第一呢就是性能瓶颈,因为它的专家层啊,在 cpu 运行 推力速度会严重受限于它的内存贷款,而非显存。它脚本中的杠 t 十二分别代表了十二个 cpu 现成跑专家 b 幺零二四和 b 五幺二是 p 数里的大小,就是为了保证 cpu 和 gpu 之间的传输啊,不至于太卡顿。第二呢就是长上下文的风险, 虽然设置了二十六万的长上下文啊,但是实际能跑多长取决于它的物理内存的大小,因为 kvm 虽然量化了,但是二十六万 token 的 缓存依然需要占用大量的系统内存。 最后啊,我再给那些想抄作业的朋友们啊,几条建议,第一就是你的 cpu 至少要保证有八个物理核心,然后呢,支持超现成,也就是至少能提供十二到十六个现成,这样呢, cpu 在 分担 mo 模型计算的时候才不会形成瓶颈。 第二,因为三十五 b 模型本身的 g g u f 文件大概有十七个 g, 所以 加载模型运行系统,再加上系统预留三十二 g b 以上的 d d r 四是稳定运行的底线。 第三,由于这个方案里面啊,内存太宽,对拉玛 c p p 的 吞吐影响很大,建议呢,至少组建双通道,比如说用两根十六 g 以上的 d、 d r 四内存,或者直接采用三十二 g b 以上的 d d r 五,这样呢,能够避免单通道带来的瓶颈。第四就是 cpu 不 能太老, 那 cpu 呢,最好是支持 avx 二的指令级,这样呢,对提升推理速度也是有帮助的。总的来说啊,这个脚本整体设计非常的老练,它正是利用了拉玛 cpb 的 mo 易购计算特性,才让低显存的显卡可以硬上大参数的模型。 它本质上呢,是用 cpu 内存来换显存的空间,在速度、稳定性和内存占用三者之间寻求一个平衡。大家还有什么类似的部署脚本也可以来分享给我哦,我是老林,关注我评论区聊聊。

大家好,随着 gpt 五点六的发布, class app 也迎来了非常多的更新啊,那本期视频给大家介绍一下 class app 在 新版本的五个更新,那这五个更新我觉得都非常的好用。首先呢就是以后 class app 这个名字啊,退出历史, class app 正式 编名为 chat jpt, 那 如果你在 mac 里面去搜索这个应用的时候,记得要切换成 chat jpt 的 名字,不然的话你是搜索不到的。那首先我们介绍第一个功能就是 set 功能,从名字上我们可以知道 set 功能其实就是可以部署网站, 也就说你可以把你在 class app 里面写的这个网页啊,部署到这个 open n i 的 服务器里面去,它会给你一个域名,你是可以去访问的,你也可以把这个域名分享给 你的其他人,那么其他人也是可以去访问的,那我们可以看到左侧这边有一个站点,那这个站点的话只要你部署过,你点击过去之后,你就能看到已经部署的这个站点,那在我这边是已经部署过一个,那么我们可以看到这边的话有一个这样的域名,这个域名是一个公开的域名, 那这边的话你可以选择分享给其他的所有人,那么别的人也是能打开访问这个网站的,那怎么来使用呢?点击加号, 然后在这个输入的地方输入 size, 那 么你就可以看到一个 size 的 这个关键词啊,这是一个插件,它是可以发布部署网页, 然后选中它,然后就是输入你要部署的这个你当前这个项目了,然后呢部署完成之后呢,它会给到你一个这样的网址啊,这个网址是 open n i 自己的网址啊,不是你自己的这个自定义的域名。然后的话部署完之后,你可以 将这个网站分享给你的其他人。现在默认部署的话,默认部署是你只有你自己可以打开,那么你可以点击这个分享,然后选择这个互联网上任何人,那么 其他人就可以去打开这个网站了。部署完了之后呢,你可以在这个 site 站点可以看到已经部署这个东西。那第二个更新呢,就是这个聊天了, 那这个聊天的话会把 open i 网页版聊天的数据啊,它都会同步到这边去,也就是说你可以在这边跟它去沟通你的想法,然后生成这样的 p r d 文档啊,然后再把它添加到 啊我们的这个任务添加到我们对话框里面去,你看直接把整个聊天的记录都同步到我们的这个对话框里面去了,这样好处就是你可以在这种网页或者说在这个聊天的这个界面里面去单独沟通,不会消耗你的 token。 然后把沟通的结果直接 同步到我们的对话框里面去,简约的在对话框里去沟通需求,所以这里就非常方便去做这种事情,就是做头脑风暴啊,做计划呀,去沟通一些你的你的有疑问的地方呀,然后让它产生最终的文档, 然后再把它同步过来,这是一个非常好的流程,那么这是第二个更新,我觉得也是非常有用的。那第三个更新,我觉得是这里所有更新我非常非常喜欢的功能,就是浏览器导入默认的这个账号和密码,我打开浏览器,然后在右侧上面,那这边有一个导入 cookie 和密码, 也就说会把你 google 浏览器里面你自己输入的账号密码全部同步到这边去,那么它有什么好处呢?你可以输入这样网址,然后它就会继承你在 google 浏览器里面的登录状态了。那这样的一个非常方便的操作,就是你可以在 cs app 里面去操作所有的浏览器里面的所有的交互的东西,比如说我现在用 在做自媒体,那我用库拉斯 app 去浏览我的这个后台的数据,去查看我的这个啊,粉丝喜欢看什么内容,去分析稿件什么的,就不再需要单独的浏览器,不再需要去处理啊,无头啊,有头啊这种登录的情况了,非常非常方便,就你可以基于这个功能去构建自己的工作流, 所以这是一个非常有意思的一个更新。那第四个更新呢?就是它把这个编码和这个工作,就是 collect 和这个 java jpg work 放到一个入口了,那你可以点击切换,切换到工作模式。如果切换到工作模式啊,它这边会推荐一些插件, 然后的话我会处理一些办公任务,然后呢再切回到 klax 里面去,就是编码的任务,但是我自己用起来感觉就是一些插件的加载和这个提示呃,不太一样,其实处理的工作是完全一样的。那么也是有人总结了这个 work 和 klax 的 区别,比如说可访问的上下文,那 work 模式及 主要是这个文件网页日历,也就是跟浏览器相关的。那 class 呢?最重要的是跟目录相关,跟 get 状态有关系。那常用的工具这边的话就是搜索浏览器, ppt 文档这些,那 class 就是 编码相关,所以从这些变化里面可以看出来, work 模式更强调的去连接浏览器, 连接一些常用的,比如说你这个油箱啊这些操作,那编码的话,咱们的这种线环键啊,像目录啊, get 代码库啊,会做这些变化,但是其实总体来说一些细微的差别, 那么你也可以在 class 里面去处理 work 的 内容,是完全可以做到的。那最后一个更新呢?我觉得是一个非常 open 的 一个功能啊,那么你可以打开设置,然后这里面有一个常规啊,切到常规这个页签啊,这里面有个功能叫做 导入智能体的设置,什么意思呢?就是你可以导入 cloud code 里面 there's m c p 或者一些插件,还有可以把你的项目的上下文都全部导入过来。比如说你在 cloud code 里面去这个项目已经开发的差不多了,或者说你想把 cloud code 里面项目又使用 klex 去开发,那以前是直接去打开这个项目,以前的电话记录就丢失了,但是现在你可以通过这个导入模式导入完成之后, 那么你就在这边就能看到啊,比如说我这些项目就全部是 cloud code 导入过来的,那导入过来之后有什么变化呢?就是你可以在这边能够看到这里面聊天记录,那比如说我这个聊天记录是从在 cloud code 里面进行对话,然后呢它会把这个聊天记录啊放到这个 class 的 上下文里面去,比如说现在进行一个测试,那我在 cloud code 里面出现了一个这样的压缩错误,那么我导入完成之后,直接问 class app 我 发生了什么错误, 那这边它是可以直接知道啊,上面发生什么错误,你说它是在这个上下文里面,就是你的聊天的进度,是不会丢失的,这个对于我们的项目的迁移啊,是非常非常有意义的。比如说你现在 qq 的 额度用满了,那么你直接可以用 qq 去打开,能继续前面对话,能继续进入开发, 这个是非常非常有用的。那官网这边也是啊,列出了它可以导入的这个信息啊,比如说这个文件啊, cloud md, 等到它这边会导入成 agent md 啊,那 settings index 就是 我们的 cloud 的 配置文件,在这里面配置 mcp 的 一些信息,那它也会导到这边去。还有技能啊,插件啊,以及存在的这个项目, 还有钩子啊,还有命令,还有子弹里,都是可以拷贝过去的,相当于完全平移了,平移过之后你就继续去开发了。那以上就是我认为比较重要的五个更新啊,那么他也是更新一些常用的插件,大家可以去尝试一下。 ok, 那 本期视频到这,希望这个视频对你有所帮助。

你有没有发现很多人配 ai 本地部署机器,根本不是来买电脑的,是来许愿的。你问他预算多少,他说一万够不够,你问他跑什么模型,他说越大越好。你问他几个人用,他说先来两三个吧,以后可能更多。你问他急不急,他说挺急的,最好明天就能跑起来。 我每次听到这种话,脑子里面就冒出一个画面,一个人在庙里烧香,跟菩萨许愿,说保佑我今年发大财,身体好,孩子考第一,全家平安。 花了三分钟说完愿望,然后往功德箱里塞了一分钱,对,就这感觉。大家好,我是社长,前两天来了一个人,跟我说他要配机器,我问什么需求,他说要部署尽可能大的本地模型,要能微调训练七币或者十四币的大模型, 还要能做强化学习、监督学习,无监督学习的训练,顺便兼顾玩游戏和其他生产离工作。我说行,那预算多少?他说两到三万吧。然后他补了一句,看了你四张五零六零 type 方案,觉得挺好。我当时脑子里立马冒出一个画面, 四张显卡垒在机箱里呼呼转,旁边啥也没有, cpu 呢?主板的,电源的,内存的。你们知道一张五零六零 ten 十六 g 现在多少钱吗?五六千,四张卡加起来就是两万多,两到三万的预算,光显卡就快干没了。我当时就回了他一句,总不至于机箱里啥配件没有,就挂四张显卡吧。 还没完呢,又来一个人问的特别细,说想要跑千万三点六二十七 b 筹密模型,或者是三十五 b m o e 模型,问至少需要多少钱?我给他算了笔账,跑英特八版本至少得四十八 g 显存,跑 q 四版本也得二十四 g。 他 说那三十二 g pro 四五零零三十二 g 五零九零 d, 三十二 g, 五零九零三十二 g 显卡从一万多到三万多都有,整机还得再加一万多的其他配件。 他说预算只有一万多一点,想跑三十五 b 的 m o e 模型,我当时真的想说,要不你先去把模型下载下来,用一万的电脑跑跑看? 然后更夸张的来了,有位大哥说要部署本地模型,每天并发生成二十万篇两万字的内容。注意啊,是二十万篇,每篇两万字,然后还要生成一百多个一分钟的视频。我问他预算多少, 他说八万块钱,听着挺多的吧,但你们算过吗?一百多个一分钟视频加起来就有六千多秒的视频生成量,这根本就不是一台机器能扛得住的活。我建议他上服务器,他说行啊,放办公室。我说这个预算的话,服务器只能用 ddr 四的内存了,现在一根三年保的 ddr 五六十四 g 服务器内存贵的离谱, 八万预算光内存就吃掉一大块。他说那还是上消费级主机吧。我给他出了个配置,他问我二 t 硬盘够不够,我说你需要的升值量太大了,我也估算不出来。他问我大概多久能跑完,我说这种量级的任务我真的给不了你转化,要不你先买一台回去实际跑跑看?还有一个更让我哭笑不得的,有个人预算两万五, 说要跑深度学习,我给他出了配置,报了个价,整机两万四千五,他看了一眼就说超预算了,不要了,等明年年初的五零八零 s 吧。我说你预算不是两万五吗?我两万四千五,咋超的预算? 他没再回我两万五的预算,两万四千五的报价,他说超了。这真是连想个合适的拒绝理由都懒得想了。还有一个开诊所的哥们想用本地 ai 处理数据,点名要切问三十五 b 的 me 模型, 要求输出速度九十到一百投币每秒,我说那预算多少?他说五千到八千,我说这个预算搞不定啊,他说那微一百能不能用,然后就甩了张截图过来。我一看是某网店的配置截图,我盯着这张配置单看了半天,微一百二零一七年的卡,距今八年了,三张三十二 g 堆在一起显存九十六 g 确实唬人,但你得想想, 一百那可是第一代可以跑 ai 的 祖师爷,显卡连 bf 十六都不支持,它的价格放在今天已经落后了,新出的模型很多优化都是针对新架构做的,你拿三张老显卡硬跑, 速度上不去的,功耗还高的吓人。有人觉得显存大就是一切,但算力呢?驱动兼容性呢?新模型对老卡的适备程度呢?他问我这个配置可以吗?我怕踩坑,我不做评判,大家自己觉得这配置单到底好不好呢?社长就提醒一句,买显卡尽量买最近两三代的产品,不是说老卡不能用,但你要算一笔账, 花两万块买一堆七八年前的二手卡,它能用多久?吸墨性迭代的速度比你想的快的多,你今天觉得显存够大,明天新架构一出来,老卡跑都跑不动,到时候这两万块就打水漂了。你看吧,又来了个。需求是宏大的,预算是有限的, 对硬件价格是完全没有概念的。这些咨询聊下来,我最大的感受就是四个字,没想清楚。既要还要为什么?因为大多数人把本地部署这件事想的太简单了,他们以为就是买台电脑,装个软件,装个模型,点一下运行就完事了。 他们不知道模型有多大,显存要多少,算力要多强,甚至不知道自己要跑的那个模型到底需要什么样的硬件才能带得动。社长跟你们讲,大模型这个东西分很多种,上下文推理模型、纹身图模型、声音合成模型、多模态融合模型、行 业垂直模型。每一类对硬件的要求都不一样,差异大得很,有些模型门槛确实低。上下文推理模型的量化版,你用旧机器也能跑, cpu 用个 e 五显卡弄张为一百, 内存三十二 g, 整机下来甚至不到五千块钱。但那是低精度小参数的版本,你要是想跑那种稍微大一点,精度高一点的模型,显存压力一下就上来了。 社长之前专门做过一期视频讲过这事,你们可以去翻一翻。就拿三十二 b 的 模型来说吧,跑高精度版本,光模型权重本身就能吃掉三四十个 g 的 显存,你再开个长上下文, 这会缓存又轻轻松松占掉好几个 g。 再算上系统开销,你自己加一加,看看得多少显存才够。所以呢,先说一万多预算要跑三十五 bme 模型的五千多预算要跑九十到一百, tokyo 的 速度的,你们自己算算账,这事能成吗?所以每次有人一开口就是,我要跑最大的模型,我要最快的速度,我心里就挺复杂的, 你是真需要还是单纯好奇?你是要解决实际问题,还是想赶个时髦?如果真有这样既便宜又快的机器,就算价格一开始卖五千,说不定不出一个月就能涨到五万去。 社长在这说句实在话,如果你对大模型没有明确的使用需求,先从自己的电脑开始折腾,装个奥拉玛,跑个小模型感受感受,体验一下什么是量化,什么是推理速度,什么是向量。数据库,慢慢发现硬件跟不上了,再往好了配,一步一步来。 如果你就是写写文档,做做计划书,不涉及什么秘密,在线的那些大模型就挺好用的,完全不用折腾本地部署这摊子事。 如果你还没有明确需求,就是单纯好奇,那更没必要了。配的机器大概率就是用过几次,新鲜劲一过就扔,那吃亏了,好几万块钱就打水漂了。不过就现在这行情,你要是真卖了,说不定还能再赚点。技术的价值从来不是追求高端,而是解决问题。所以有明确需求的 先把账算清楚,你要跑什么模型,几个人用,预算多少?对速度和精度的要求是什么。把这些想明白了,不管是硬件配置还是软件部署调试,都可以来找社长聊聊。

它在 open root 上排名第五,仅次于 cloud code, 功能跟 cloud code 差不多,也是本地 a 证的工具,能帮你完成各种日常任务和代码编写。但它凭借开源、极简、极快、极小等特点,已在 github 上累计了七点六万加新标。跟 它配套的还有个开源的派 web 项目,它给派提供了可直观的 web 操作界面。今天我们来教大家怎么在本地去搭建一个基于派 ai 编程工具的,面向智能体 视频里用到的 skill 包和 m c p 工具,我已经准备好了,需要的扣七七七。那么在这个地方我们进入到了这样的一个 pad 官方网站当中,那先来看一下 pad 是 什么东西,这 pad 和 code x 和 code, 或者说 open code 它是差不多的,它都是 ai 编程工具, 但它的一个优势在什么地方?它的一个优势是它的一个极简主义,而且它发同样的绘画,在比如说 codex 或者 code code 的 里面,它整个的一个通宵会更少一点,而且我们想要去开发一些新的功能会更加的方便,因为它是可以去定制的,你可以去自己深度定制,二次开发,可以去切入自己的一些程序等等。 所以这里大家可以看到整个去搜索有很太大到质检超越 codex code code 的 极简 agent, 所以 这个我觉得目前算是我用的 ai 编程工具里面比较好用的一个东西。一个工具,那它整个的安装方式很多,有 c 二 l 的, 有这个终端的哦,有 npm 的, 大家可以自己去选择。我是使用的这个 pro c 二去安装的,大家也可以去用 n p m 去安装,都是可以的,根据自己来去选择,比如说你直接把这样的一个命令打到终端里面去,它就能够去安装了。哎,没有复制成功,复制一下 好,那这边就回车就可以了,就回车它就可以去进行安装了。 n p m 也是一样的, n p m 就 直接去复制,复制过来之后到你的终端当中去给它直接回车安装就可以了。那么安装好之后我们怎么去使用?使用也是一样的,打开终端,比如我们这里输入 c、 m、 d, 进入到终端当中去输入一个 pad, 它就能够正常去进入到这样的一个绘画当中。那当然你们安装好了之后,它肯定还是需要配置很多的一些文件,比如说你要去配置模型,那在哪里去找?比如说我们在在 c 盘用户里面会有一个点派的一个文件夹, 你,呃安装好之后,你按一个新的绘画开一个新的终端,就输入派之后它就会有这样的一个文件夹,那这个文件夹我们可以看到它进去之后是一个 agent 进到这里面来之后,它会有了主要的文件,这里面的文件会有这样的一些文件, 这里我稍微放大一点好会有这样的一个 json 文件,还有这这个文件,还有这个文件,其他的都是我后面去加的,主要我们要在它里面去自己新建一个 models, 点 json 文件这个文件,那么这个文件是去配置对应的一些模型的,那么这里面是放对应的一些 api key 的, 这里可以给大家看一下整个展开,我就不去给大家展开太多了,因为它这里毕竟有一些链接,比如说我们这个地方啊,什么 gbt 的 pi models 有 哪些配置的哪些模型, gork 配置的哪些模型?而 deepsafe 不 需要去配这个,就只需要去放 key 就 可以了,因为它内置的 deepsafe 的 一个配置 啊,这里面就是放对应的一些配置的 api key, 放这样的一些 api key 就 可以去使用了。好在这里其实有教程,大家如果说不会配有教程,在这个地方有个菜单教程,菜单教程里面就这个地方也可以去直接点搜索就可以直接点进去。 在这里会有一个,比如说 modstar jason, 你 可以直接去创建,把这段直接给它粘贴进去,而这个 api key 你 也可以直接放到这个 a u t h 里面去,也行,就直接把你的 delete 的 一个 key 给它放到这个位置就行了。 但如果说不会去配其他模型呢?可以先去把 deepsafe 给它配置好之后带来去干嘛?带来去让 deepsafe 去帮你配其他的模型,这个也可以让 ai 去给你配置,也可以的。好,整个配置完之后,我们还是需要去重新开一个新的终端,就比如说你这个配置完之后,那就重新开一个新的终端,重新去输入这样的一个 pad, 它才能够相当于作用上。 那怎么去选择我们的这个模型?就是斜杆 model, 选择 model, 这个选择模型我们这里可以去选择,比如说 gps v 四 pro, 这个是 v 四点一 flash, 这个是比如说 gpt 的 gpt, 比如说我们这里选个六点一 来去嗨一下,它在这个地方就能够去成功回复,要稍微等待一下,已经是能够成功回复,就说明我们已经配置好了,那如果说你想要去配置一些 skill, 比如说我们这个地方, 我就找一下在我的 d 盘里面工作路径,这里面有这样的一个 skills, 那 我可以把这个 skills 直接给他复制过来,或者说我这里去找我这个版本稍微老一点,我去找我的另外一个,比如说这个也是 skill, 我 发到的这个是经常用的, 加了更新的的,把它直接复制过来就可以了。就我们可以直接去把 skills 文件丢到 pad edit 的 这个路径当中,好让它去复制一下, 好放到这里面之后我们这个地方扫死掉,就让这个 dbisc 去扫吧,它会快一点帮我看一下当前派当中有哪些料,好让他去扫一下,就已经开始去能够扫到了,对不对?能够扫到了,看一次通用立箱入口 m v 八 n v 八阿卡麦的验证码,这个是训练的啊,这个是小程序的等等,这个是一个辅助的,它就能够去直接扫到对应的这个 skill, 这个是 skill 的 配置方式,那如果说你配置 m c p, 想要去配置 m c p, 那 我们就可以直接也是交给 ai 去做,这个就不要去自己手动去配了,因为 m c p 它可能 配的会比较麻烦,最好是让 ai 去配,比如说我的这个 m c p, 我 就直接让它去配这个不要去配其他的了,不然太慢了,给他演示下就可以了,好 粘贴过来,这里有一个路径里面放了 m c b, 需要你,需要你帮我配置到这个派当中,好让他去帮我们配置,就不要去自己首配这个 m c b 的 配置会比较会比较麻烦,所以你需要去让他给你配 好这个地方呢,就开始去开始去做这样的一个事情,等他去实现一下这个地方呢,就已经开始去 已经开始去配在里面去加对应的一些,比如说这样的一个路径,这个是对应的 m c p 路径的好,然后在这里的话呢,来看一下验证结果的 p i m c p list, 能够去找到这样的一些 m c p 要用的是本地的,我们来看一下新开绘画就可以直接去使用了,我们再来去新开一个吧,比如说这里去新开一个,好让它去基于,比如说基于 gs 软件 mcp 打开普通打开谷歌吧,谷歌浏览器进入百度, 百度首页等他去操作一下来看一下,好,已经是打开了,对不对?就已经是打开了这样的一个浏览器页面了,那我们这里也可以去手动操作一下,比如说这里他这个账号登录应该会有一些加密,对吧?我们可以来这边输入一个,输入一个,然后点击登录好这个地方呢,就可以让他去做对联给你想分析了,我这 我已经点,我点击了这个登录,现在密码应该有加密,需要你帮我本地实现一下。 好,他已经开始去做对那些逆向分析了吧,所以我们就整个把这个逆向的这个派的智能体就已经给他配置好了,所以这个配置起来呢也不太麻烦,对吧?就是安装,然后去给他加对那些配置好,那么这种我们就直接停掉吧,就不让他去完全逆向下来了。

大模型本地部署只看两件事,第一,模型强不强。第二,跑得快不快。针对这两个核心问题,这一期我们用一套人人都买得起的硬件,把热门的本地大模型全部拉出来,展开一场巅峰对决,看看低成本部署的最佳选择,到底是谁 比赛的胜者,再跟云端大模型比一比,差距到底还有多大?二零二六年上半年千问三点六和谷歌 gemma 四的开源,把本地大模型的能力推到了一个新的水平, 很多以前只能交给在线大模型的任务,现在用本地部署也能可靠的完成。我前前后后花了一个月,把两大系列的官方模型加上社区的热门变体,还有上月新开源的模型系列,在一台我自己手搓的低价硬件上跑了全套的硬核测试, 从模型能力、硬件配置到智能体实战和性能优化,全网仅此一份,请赶紧收藏好!视频中使用的所有模型和工具都来自开源社区,是我自己实际部署和使用中的经验分享,不跟任何第三方利益相关,请放心观看。 本地部署最大的弱点是速度,大家已经习惯了在线大模型那种几乎秒回的体验,但本地模型并不是装上就能跑的一样快,配置不对,执行速度会让你非常抓狂。 所以第一关就是解决速度问题,需要非常精心的选择硬件,用最贵的显卡当然是最简单的答案,比如直接上五零九零或 r t s 六千,但几万甚至几十万的成本并不适合普通用户。 而这次使用的盖板硬件,在单张 v 一 百显卡上最大的模型只能跑到三 tock 每秒,这种就属于慢的无法忍受,两张卡一起上,有些模型也会在二十以下挣扎,非常卡顿。但大部分模型能跑到五十甚至冲到一百以上,这时候才终于有了在线大模型那种丝滑的流畅感。 说了这么久,测试设备终于登场了。这是一台我自己组装的机器,全套总价大约四千出头。和之前的盖板战神不同,它装了两张十六 gb 的 v 一 百 s x m 二显卡,并都能跑满 pci 三点零乘十六的代宽。这就属于看着很盖,但性能很强。 如果在这台机器上双卡推理达不到二十 toc 每秒,模型就会被直接淘汰。公布参赛模型和最终成绩之前,需要先搞清楚一个问题,为什么非得本地部署在线大模型不香吗? 三个原因,隐私、安全和成本。隐私数据不上传,满足合规要求。比如三星员工就曾把内部代码等泄露给了 gpt, 引发了很多的争议。安全断网也能跑,适合不能随便连外网的场景。向医院处理病例、律所分析合同都需要在安全隔离环境中运行, 成本一次性投入,后面就只花电费。所以很明显,本地模型真正高频的应用场景是内部文档和图文资料的处理。 因此,我设计了一套预赛加决赛的机制,全部围绕本地模型的真实使用场景,从最基础的能力到复杂的高级应用,看看谁的表现更值得信赖。模型按照参数分成三组,十二 b 级以下算入门组,十二 b 以上的稠密模型算进阶组。 mo e 模型单独归到专家组, 每一组先完成三道预赛题,每题十分,筛选出表现最好的模型,再进入最后的决赛。全部的测试统一使用开源的 lama c p p, 具体参数和命令可以看之前的预告视频。 预赛第一题也是很多测评最容易忽视的一项,让模型帮一只小猫竞选小区楼长,一百字以内写一段宣言,标准就两个,不无聊,不套路。别小看这题,我实际测试下来,很多模型的中文问题很大,而资料总结、方案、拷写都离不开一手好中文。 第一轮结果如表格所示,这也是本次比赛的完整名单。入门组五款,猫 e 组五款,进阶组三款,一共十三个模型,没看到你熟悉的模型也很正常,现在的本地大模型实在太多了,如果你发现了更好的,欢迎评论区告诉我。 中文写作得分最高的是 ornis 三五 b a 三 b 的 第二名是 g m 四二六 b a 四 b 的 q a t。 量化版表现比较亮眼的还有 ornis 九 b。 别看参数小,中文写作确实很不错。 再看两个翻车比较严重的模型,一个是模改字谦问三点六三五 b, 把权重裁剪到十四 b 的 学渣。另一个是前段时间在哈根 face 很 火的 jama 四十二 b 社区训练版,两者一个零分,一个一分,主要问题是要求写中文,结果却输出英文或繁体中文,而且质量都很差。 jama 四十二 b 和 qt 四九 b 的 中文也不够好,但远超刚才两个。整体来看,参数越大的模型,中文表现通常越好。但有一点出乎我的意料,二十七 b 和三幺 b 的 稠密模型中文表达反而不如某一组,主要是创意不足,具体原因我也没有完全想明白,知道的小伙伴可以在评论区告诉我。 下面快速看几组作品,最高分的两位学霸和最低分的两个学渣质量如何大家自己判断。每款 g g u f 模型分别使用 q 六 k 和 q 四 k m 测试一次,最后取平均分。 jam 四比较特别,它有谷歌官方的四位 q a t, 量化训练时就提前适应了量化损失,所以 q a t 模型就直接测试两次,取平均分即可。 预赛第二题是逻辑推理,这道题是著名的史上最难逻辑谜题,三个外星神分别代表真话、谎言和随机,只能通过三个问题判断他们的身份,而且还不知道他们的回答中哪个表示是,哪个表示否。 这道题要是推不出来,要么推理能力不行,要么就是大家心照不宣的榜单,刷分的训练做的不到位啊。 这道题的结果非常精卫分明,总餐数量在二十六 b 以上的模型全部满分,而且都经过了两次推理和每一步的验证。二十六 b 以下的小模型则全部失败,只能靠部分正确的步骤拿到一点分数。 这说明阶阶段小模型的逻辑推理能力依然很有限,尤其是 kyoto 九 b 只拿到一分,幻觉非常严重。我原本很期待 jam 四十二 b 的 表现,大小刚好适合十六 gb macbook, 可这一轮只有三分,实际部署后的推理表现怕是不太乐观了。 而且这道题思考和回答都很长,适合测速度,表现最好的模型已经标在屏幕上,后面统一讲,预赛的最后一题是发票识别。给模型一张信息密集的电子发票,要求准确提取商品名称、税费金额、订单号等全部内容。 这是本地部署最高频的应用场景,需要高效准确的识图和信息提取能力。我还写了一个脚本,自动核对二十八项信息并打分。之前的预告视频有具体的演示, 这里就是所有选手的完整预赛成绩,实际测试过程太长,就都不演示了,都发在预告视频里了。发票识别这轮最差的是两个社区微调模型,他们的基作模型成绩是满分或接近满分, 但微调后就只剩下四到五分,犯的错误五花八门,金额编号不对、缺字漏字等等。而且这两个模型一路垫底,总分只有七分和八分,实在太差了。这也让人不得不怀疑,用这么小的数据量去微调最好的开源模型,到底还有没有意义。 gemfort 十二 b、 二六 b、 三十 e 的 发票识别都是八分。这里要说明, gemma 系列模型比其他模型要多设一个视觉预算的参数已经设到最高的一千一百二十,但识别结果里还总是会有一些错误,比千问系列的全部满分的表现差了一档。 说明一下,参赛的两个 ernest 模型的基座都是千问三点五,所以从九 b、 二十七 b 到三五 b, 千问系的模型在各个尺寸上都拿下了视觉最高分,无可匹敌。 现在揭晓出线结果, james 四的十二 b 和 k d s 九 b 总分十六分被淘汰,千问三点五九 b 拿到十八分也很遗憾没能晋级。 r n s 九 b 的 二十分严格来说也不能出现,但他是入门组表现最好的模型,所以破例给他一张决赛门票,在实战中看看他能不能逆袭 捷马。四三一 b 的 g j u f 和 q a t 版本,双 v 一 百最高只有十四 to k 每秒,没过二十 to k 每秒的最低门槛,惨遭淘汰。而千万二十七币双卡能跑到三十六 to k 每秒,以总分二十七分昂首晋级, 说明了什么?不量化 kvatch 的 前提下,双十六 g b 显卡的上限就是二十七币左右。 同样以二十七分晋级的还有千问三点六三五 b 和 jama 四二十六 b 的 q a t 版。 jama 四二十六 b 的 g g u f 版只差一分,而且速度还慢了二十 tok 每秒,只能遗憾出局,让自家兄弟替他征战决赛。 最后预赛阶段的冠军是 ornis 三五 b 鼓掌鼓掌,不光总分距离满分只差一分,而双卡推理速度达到一百一十一 tok 每秒,也是十三款模型里最快的。 至此,预赛五强也正式出炉,入门组出现一个,进阶组出现一个,专家组出现三个,以上五款模型正式杀入决赛。 公布决赛结果之前,先快速介绍一下刚才说的几个概念,例如仇密模型和莓专家模型到底是什么? 筹密模型很好理解,每次推理时所有参数都会参与计算。猫 e 模型则不一样,它会把模型拆成多个专家,回答问题时只激活其中一部分专家,例如千问三五 b 推理时只会动态激活三 b 参数,所以它拥有更大的参数量,但推理速度反而更快。 再谈一下模型量化,大模型开源发布时,模型权重通常会以十六位格式保存,比如一个入门级的十二币模型,光是权重本身就要占掉大约二十二 gb 的 显存,大部分家用硬件连这种入门模型都很难跑起来, 所以就有了量化算法,可以把模型权重压缩到六位、四位,甚至低至一位,让原本跑不动的模型也能塞进显存,但位数不能直接硬砍,压的太低,模型能力会掉的很快。 这次大部分模型用的是最常见的 g g u f 量化格式,使用 q 四和 q 六两个量化级别,低于四位的量化我不推荐,能力损失太大,与其继续压缩,不如换个更小的模型。在 决赛中,为了让每个模型拿出最佳表现, jama 四二六 b 使用唯一的四位 q a t, 其余模型全部使用六位 g g u f, 也就是 q 六 k, 正式进入决赛,满分一百分,一共五个真正的实战项目。第一轮高级识图两张恐龙知识图里包含三十项内容,文字密集、很复杂的图文混排。 我使用了脚本对五款决赛模型统一打分,结果如图,千万三点六、三五币和二十七币都拿到满分十分,另外三个模型各有少量错误,拿到九分,整体差距并不大,说明决赛选手对复杂图片的理解和信息提取能力都是杠杠的。 第二轮,长上下文探针测试,在一份一百一十页约一百三十 k token 的 中英文 pdf 中,查找位于一百页的一篇文章,再通过逻辑推理判断哪个男孩在说谎, 结果五款模型全部拿到满分十分。这说明即使输入超过一百二十八 k, 最好的本地大模型的推理准确率并不会下降。 第三轮,文档生成。从小说素材目录生成 excel 清单,目录中共有一百七十一个文件,包括人物设定、世界观、章节、图片和视频。 模型需要逐一读取分类并填写简介,最后生成一份结构清晰的 excel 文档。这一轮考察工具调用多模态识别和信息汇总的综合能力。千问三点六三十五币继续拿到满分十分,成为前三轮唯一全部满分的选手。另一个拿满分的居然是 olis 九币,其余模型都是九分,主要问题是遗漏个别文件,整体差距依然很小。 第四轮,全站应用满分五十分,这是决赛最核心也是最能拉开差距的一轮。每个模型需要基于上一轮的小说素材库,从零搭建在线阅读站,创建 myico 数据库,导入全部内容, 再完成前端和后端的所有功能。测试框架统一使用 open code, 配好了本地推理服务,并开启二百五十六 k 上下文。但千万二七 b 是 一个特例,它双卡只能跑到一百二十八 k 上下文。 这里是所有模型构建全站应用的评分表。先从最后一名说起, jam 四二六 b q a t, 他 可以说是 jam 全村人的希望,但第一次构建就失败了,整个过程只用了二十分钟,总 token 六百九十六万,速度其实不慢。 随后我给了一次机会,让他在原有代码上继续修复。又跑了十几分钟,第二次 build 依然失败,所以只能用他生成的代码做了静态审查,最终拿到五分。除了这个模型,其他所有选手都是一次构建成功,对比下来,他的表现可以说是非常的渣。 倒数第二是 os 九 b, 这个小模型真的非常努力,一共消耗了三千万 token, 是 所有参赛模型里最多的,耗时一百零六分钟。好消息是他第一次 build 成功了,但最终只拿到十分,因为除了首页之外,绝大多数页面打开后都有各种错误。 一个有意思的问题是,他为啥会消耗这么多 token? 因为这种小模型写代码会写出很多错误,但 open 这种前沿框架会只会他反复检查并修改。也就是说,一边制造 bug, 一 边修复 bug, 时间和 token 消耗的就非常的多, 最后能做到的就只是勉强通过翻译。这也体现了小模型的一个大的问题,我们用小模型往往是为了快,但一旦任务变复杂,它会反复犯错,反复修正,最后反而更费时间。 倒数第三最让我意外是千问二七币,它的推理速度最慢二十八 token, 每秒总 token 三百九十一万,是所有选手中最少的,耗时一百零三分钟,最终成功构建。但和 olis 九币类似,绝大多数页面都存在严重问题,只有首页勉强能看。 我怀疑主要原因是它受显存限制,只能开启一百二十八 k 上下文,严重影响了长城任务的表现。这也说明在智能体框架下,上下文窗口对复杂工程非常重要,至少需要两百五十六 k 上下文才能真正把能力发挥出来。考 虑到这个任务确实很难,我还加入了一款在线大模型作为对照。通过官方 a p i 接入 deepsea v 四 flash, 在 完全相同的环境和提示词下完成测试。 他一共消耗了两千一百四十八万 token, 只用了二十七分钟,最终拿到全场最高的三十四分。不过, deepsea v 四 flash 本身就是一款两百八十四 b 的 猫 e 模型,规模远超今天的所有选手, 所以这次对照的重点不是谁能赢过他,而是看看本地模型在耗时 token 消耗和最终成品上,谁最接近在线大模型。 相比之下,这轮的第二名千问三点六三五 b 消耗了一千四百五十七万 token, 用时四十七分钟。这个效率在本地模型里算得上干净利落。问题主要来自大约一半的页面存在错误,但都不算致命,整体成品算是能用,最终拿到二十四分。 而第一名又又又是 onis 三五币,他的 q 六 k 推理速度达到了九十 token 每秒,总 token 比 deepsea 多了百分之十。用时七十一分钟,比谦问三点六三五币多花了二十多分钟。但这些时间没有白花, 他一直在检查修复,继续完善。 onis 官方宣称的长城任务和自动修复能力提升在这次任务里真正体现出来了。最终的成品拿到三十一分,只比 deepsea v 四 flash 少了三分。 时间有限,前三名和 deepsea 的 作品我一起放在屏幕上,在逐项评分的过程中,我有两个思考,第一, ornis 三五 b 和在线大模型的出品其实差距不大,那以后写代码都可以用本地模型喽, 还不行?真正的差距在于时间,测试可以只看能力,但真实工作里,时间才是最贵的资源。第二, 推理质量和速度当然取决于硬件,但硬件越强,价格越夸张。所以这次猫 e 胜出,不止因为能力强,也因为它更不挑硬件。换句话说,可能就是因为我穷,猫 e 才成了最优解。 最后一轮评分,推理速度满分二十分。这次测试的重点是模型能力,所以速度不会占太高的权重。九 b 模型使用单张 v 一 百,其他模型使用两张 v 一 百, 速度最快的模型拿满分,其余按实际速度比例计分。这里有两个很有意思的结果,第一, arnes 三五币基于千问三点五,推理速度比千问三点六三五币快了不少。第二, arnes 九币单卡推理的速度很接近三五币双卡推理速度,也就是说前者能省下整整一张显卡的成本。 现在公布决赛结果,冠军 ornes 三五 b 五十九分笑傲全场,亚军千问三点六三五 b 五十四分紧随其后。但先别急着抄答案,这只是我这套设备上的结果,真正怎么选,要看你手里的显卡和要做的任务。 如果你显存超过三十二 gb, 可以 试试千问三点六二七 b, 记得拉满上下文窗口。只有一张十六 gb 显卡,那 ornes 九 b 是 唯一的选择,日常办公完全够用,但一上复杂任务,它就容易犯错。想要又快速又稳定,选千问三点六三五 b, 普通任务更稳, toc 消耗更低,是省心之选。而长城任务和复杂工程首选今天的冠军 ornes 三五 b, 它针对这类任务做过强化,但代价就是更费时间。 比赛到这里正式结束,只想知道结果的小伙伴点个关注就可以先撤了。如果你还想知道硬件怎么配, mtp 有 哪些坑?无限循环怎么解决?那就别走!后面还有点花絮。 本次使用的整机总价四千一百八十五元,其中两张显卡加上三十二 gb ddr 四内存就花了三千元。自己搭的话,注意主板要支持双 pci 十六插槽,而且每一槽都必须支持满血插十六带宽。 肯定会有人问为什么不用 mac, 以我的主力 mac 为例,它能跑今天所有模型,但高覆盖下不超过十分钟,推理速度就会掉到三分之一。因为发热问题是无解的,所以真正要做生产力部署,最好像我一样准备专用硬件。想看硬件怎么搭,请在评论区留言,人多我就单独出一期。 必须提一下 mtp, 这是我本次测试踩的最大的坑。它全称 multi token prediction, 是 一种大模型推理加速机制。传统大模型只预测下一个 token, 而 mtp 的 做法是先用一个小模型预测多个 token, 再交给大模型验证哪些能用。本次测试的模型都带有官方训练的 mtp 头,所有的模型我都完整测试了。 mtp 我一直在强调速度,那打开 mtp 不 香吗?但是反复验证测了好几天,最终决定本次比赛全程关闭 mtp。 mtp 不是 不能加速,对二七 b 三一 b 稠密模型提速非常明显,最高一次 jamma 四三一 b 提升了百分之二百四十五, 但到了摩 o e 双卡推理结果完全相反,开启 mtp 后速度反而下降,原因是 mtp 减少的是串行生成次数,而双 v 一 百分层加载会增加跨 gpu 通信。 对于三五 b 来说,通信成本超过了 mtp, 提速收益反而降速了百分之三十以上。而且 mtp 不 只是影响速度,它还可能降低复杂推理的准确率。预赛那道逻辑题开启 mtp 之后,大约一半的测试都会答错,所以追求速度可以开 mtp, 涉及复杂推理,最好谨慎使用。 如果你确实需要运行二七 b 或三一 b 稠密模型,也推荐打开保险一点,参数可以设为两到四之间。再谈下最大上下文和硬件的关系。这次统一不使用 kvatch 量化, 虽然能省显存,也会损失能力。要想不降速不降精度的拉满上下文,要么上双十六 gb 显卡,要么上一张五零九零三十二 gb, 但后者贵了差不多十倍千万三点六二七 b 更尴尬,三十二 gb 显存也只能跑到一百二十八 k, 导致复杂任务上下文不够,而简单任务它又跑的太慢。 最后很多小伙伴都在评论区问,为啥经常发生无限循环?这是一个本地大模型,从诞生之日就有的老问题,我测试中也会遇到,这里统一给下建议。原始模型其实发生无限循环的几率并不高,它是由三个问题叠在一起造成的。第一,量化精度越低,越容易破坏原始权重的关键参数。 第二,猫易更容易中招,它实际每次激活餐数量占比很低,一旦关键参数被量化削弱,更容易出现垃圾输出。第三,长文本任务配上特定提示词,有时候会把模型绕进死胡同,只要你用量化模型就没法根治。解决思路也只有两个,换模型上更高精度的量化,并放弃容易无限循环的提示词。 本期视频到这里就结束了,再次说明,视频里的所有数据只代表我这套硬件和环境下的实际表现,结果仅供参考。未来模型会更新,硬件会换代,欢迎关注,一起探索本地部署的最佳方案。

一个工程师,一台陌生的 gpu 机架,一句看起来近乎玩笑的命令去把这台机器跑起来, 然后他把任务交给 cloud, 离开了办公室。等到周末结束,屏幕上已经出现了一条不断向上攀升的性能曲线。这不是实验室编造的 a m d advance ai 大 会上, antoverty 联合创始人兼首席计算官 tom brown 亲口讲述了这个细节。 amd 此前向 antropic 提供了一套搭载 instinct mi 三五五 x gpu 的 机架,按照传统经验起,用一个全新的计算平台往往意味着漫长的软件适配、 安装、驱动配置、环境迁移、框架排查、兼容性、修改内核,再一轮轮寻找性能瓶颈。 antropic 原本也以为这会是一场硬仗,但实际情况是,他们只安排了一名工程师开始处理。工程师把系统连接给 cloud, 让他尝试完成机器的初步拉起, 然后让任务持续运行了整个周末。最终, cloud 不 仅让 isotropix 的 前沿模型成功跑在了 m i 三五五 x 上,性能还在自动测试与调整中持续上升。 坐在一旁的 amd ceo 苏兹峰听完后补充说,当 amd 团队得知 anthropok 只有一名工程师在处理 m i 三五五 x 时,他第一反应是必须赶紧派人过去支援。但团队得到的回答却是,他们说不需要帮助,已经处理好了。 tom bran 随后给出了一个意味深长的评价, amd 构建了一个足够开放的平台,现在无论是人类还是 ai, 都可以在上面构建真实模型。但请注意,这并不意味着 cloud 已经完全取代了 gpu 工程师,也没有公开证据表明整个过程中人类没有修改任何一行代码。它真正证明的是另一件更重要的事, 过去需要由一支专业团队承担的平台适配工作,正在被压缩成一名工程师加一个 agent 就 能推动的任务。 而这可能比一具 cuda 崩了更加值得警惕,因为过去二十年,英伟达最深的护城河从来不只是一块 gpu。 二零零六年十一月,英伟达推出 cuda, 将 gpu 从图形渲染设备变成了一种可编程的通用并行计算平台。 此后近二十年里, cuda 逐渐长出完整的变硬器,运行时数学库、通信库、调试器、性能分析工具和开发文档。 从 c u blus、 c u d n n 到 cutlass、 天丝 r t 以及庞大的 c u d a x 组建,开发者往往不需要从头实现底层算法就能调用经过多年优化的成熟能力。 c u d a 真正难以复制的不只是代码数量,而是无数工程师在真实项目里积累下来的经验。一个算子应该怎样切分?显存?为什么突然溢出 国卡?通讯为什么随着规模扩大而失速?某个内核在理论上更快?为什么放进完整系统后反而变慢?这些问题很少能只靠阅读一份说明书解决,他们需要工程师不断调试,测试失败再把经验沉淀进框架库和工具链。所以过去的 gpu 竞争中经常出现一种现象, 后来者的芯片参数已经接近,甚至在部分指标上超过英伟达。但客户依然不愿迁移,因为企业购买的不只是一块芯片,他们购买的是一套已经被海量生产环境验证过的软件生态体系,这套体系所构建的迁移成本与惯性优势远远超出硬件参数本身的差距。 当时间跨度不再完全属于英伟达一方,战场本身便开始移动。现在 amd 正在尝试改变这套游戏规则。 在 nz 新 ai 二零二六大会上, amd 发布了 rosom ai, 它并不是简单地给 rocm 增加一个聊天机器人,而是尝试把 ai agent 直接嵌进 gpu 软件站。 其中的 md skills 会把经过 amd 验证的 rocm 知识接入 cloud codex、 cooser 等编程助手。开发者不再需要自己翻篇文档拼接命令, 只需要描述目标, agent 就 可以根据具体硬件 i o c m 版本和官方推荐路径规划下一步操作。 a o c m c l i 则负责真正执行任务, 它能够安装软件检查系统环境、启动模型、服务、更新、组建、生成诊断信息。经过授权后, agent 可以 直接调用这些确定性的命令,而不是只在对话框里给出一段无法验证的建议。 再往下是负责性能优化的 hyperone, 它会先运行工作载,采集 cpu 与 gpu 的 性能轨迹,识别瓶颈,再尝试调整运行参数、并行策略和 gpu 内核。 每完成一次修改,它都会重新执行精准测试,同时检查性能与结果正确性。这意味着 agent 不 再只是写代码,它开始进入一个完整的工程闭环,观察、分析、修改、编辑、运行验证,再继续迭代。 amd 在 大会上展示了一个具体案例,开发者只需要输入使用 hyperloom 优化 mini max m 三系统,便开始读取已有方案分析工作载,测试不同配置, 并为混合专家模型生成新的 gpu 内核。按照 amd 现场公布的数据,在这一特定案例中, mini max m 三的每秒 token 输出提升了百分之三十八。 amd 还提到,一位开发者曾将包含一点四万个模型的测试套件交给 hyperloom 处理, 由系统自动进行优化并沉淀调优信息。诚然,这些数据出自 amd 内部演示,尚未经独立第三方在同等规模下复现验证。百分之三十八的单项提升只能证明 agent 在 这个具体模型与配置组合上找到了优化空间,无法直接推导出 rcm 以整体超越 uda。 然而,比起具体的数字高低,更值得行业深思的是其背后的方法论。即使剔除营销口径中的理想化因素,一个 agent 在 有限时间内便利上万种配置并行执行测试与修正的效率也已远超人类团队手工调优的物理极限。 无论最终实测数值在不同场景下如何浮动,这种自动化探索与验证的闭环模式才是此次展示的真正价值锚点。 事实上,在 amd 大 会前后,多家第三方分析机构已对 iosom 生态的可用性变化给出了观察。半导体分析机构 sammy analysis 在 其二零二六年七月的报告中指出,尽管 iocm 在 开发者工具链的成熟度上与 cuda 仍有差距, 但 agent 辅助编程正在显著降低从 cuda 迁移至 rcm 所需的工程成本,这一趋势可能在未来十二至十八个月内为 amd 带来实质性的企业客户转化率提升。 科技媒体的 information 则在其大会报道中评论称, antropic 的 周末实验虽然不构成量产级别的验证,但其象征意义不容低估。当最大的模型提供商之一开始用自主 agents 消化硬件适配流程时,芯片平台的切换门槛将不再完全由人力成本决定。 真正值得关注的也不是这百分之三十八本身,而是芯片说明书第一次迎来了一批非人类读者。过去硬件公司编辑文档是为了让工程师学习架构,未来他们编辑文档还要让模型能够理解架构、调用工具、分析日制,甚至生成接近指令级别的高性能代码。 amd 高管安东什叶兰 govin 在 会后采访中表示, amd 正在与前沿模型公司深入合作,不只是让模型偶尔生成一个内核, 而是希望这些模型能够原生的理解 amd 编程。这句话背后的战略非常清晰, amd 不 准备完全依靠人类工程师一年一年地追赶 cuda 积累下来的经验。他希望把 rocm 知识、硬件接口、性能工具和指令级信息整理成 agent 可以 直接消费的能力, 然后让 cloud codex 以及未来更强的模型成为 amd 软件生态的新开发者。很快,这场周末实验就从一个故事变成了一笔真正的大规模基础设施订单。 amd 与 entropix 已经宣布建立多年战略合作, entropix 计划在 helios 机架级系统中部署最高两级瓦的 amd instinct mi 四五零系列 gpu。 首批一级瓦级部署预计从二零二七年上半年开始, helios 将采用 mi 四五五 x gpu, 并搭配 epyc venus cpu、 pango 网络系统和 rosc 软件站。更关键的是,合作并不只是买芯片,双方还将使用 cloud 优化 amd instinct 工作载加速 rocm 开发。 摩登 d 也计划在自己的工程与产品团队中更广泛地使用 cloud。 换句话说, cloud 既是 amd 芯片未来承载的工作负债,也在参与改造成载自己的那套软件系统。这构成了一种过去很少出现的循环芯片,为模型提供算力模行为芯片编辑和优化软件, 更好的软件释放更多硬件性能,更多性能又被用于训练更强的模型。一旦这个循环真正跑通,竞争的时间尺度就可能发生变化。过去软件生态的追赶通常按工程师年计算,培养一名熟悉 gpu 架构、编解器、算子和分布式系统的高级工程师需要漫长的训练与实践。 而 agent 时代,部分工作可能开始按任务次数计算,一个 agent 尝试一种内核,另一个 agent 排查险存问题, 第三个 agent 分 析通信瓶颈。只要真实硬件能够提供反馈,这些 agent 就 可以并行测试,并将成功配置失败原因和调优轨迹迅速复用。他们不能让二十年的工程经验凭空消失,但他们可能显著降低调用这些经验的成本。这才是英伟达原有防御体系真正出现变化的地方。 二十年积累的软件壁垒没有凭空消失,但跨越这道壁垒的工具突然从人力施工队变成了自动化工程机械。 当然,英伟达并不会站在原地。事实上,就在 a m d 大 会前后,英伟达也已围绕 agent 完成了一整套布局, 从软件工具链、内核生成算法到硬件架构,每个层面都有实质性动作。在软件工具链层面,二零二六年七月二十七日,就在 a m d。 大 会结束仅四天后,英伟达宣布扩展 nba agent toolkit, 将 physics nimon 物理 ai 库与 cuda dx 系列数学库重构为 agent 就 绪的工具和技能。这意味着开发者可以直接构建能够调用 cuda 加速求解器执行物理仿真和量子化学计算的自主 ai 工程。 agent 具体新增的 c u d a x 组建包括用于大型稀疏限性系统的迭代求解器 c u i s, 直接稀疏求解器 c u d s s, 以及面向量子化学模拟的 c u e s t 库。英伟达计算工程副总裁 tim multocaster 对 此评论道,工程已经到达一个拐点, ai 现在可以与物理仿真和设计的工具协调工作。在内核生成算法层面,二零二六年二月,字节跳动与清华大学联合研究团队发表论文 c u d a agent large scale agile r l for high performance c u d a kernel generation 提出了一套大规模 agent 强化学习系统, 用于自动生成高性能 cuda 内核。该系统在 colonelbench 精准测试的三个难度级别上,相比 torch compile 分 别实现了百分之一百、百分之一百和百分之九十二的加速。 colonelbench 是 一个专门用于评估 cuda 内核生成能力的标准测试级难度分级,代表了从简单算子到复杂多级循环嵌套内核的递进挑战。 在这项测试中取得接近翻倍的性能提升,意味着 agent 有 能力替代人类专家完成大量日常内核开发工作。这类工作原本需要三到五年经验的 gpu 工程师耗费数天甚至数周完成。在最高难度级别上,该系统甚至超越 cloud ops 四点五和 gemini 三 pro 约百分之四十。 研究团队指出, cuda agent 的 成功标志着一个范式的转变,通过为基础模型配备结构化环境和执行反馈, llm 可以 从被动的代码生成器进化为主动的系统优化器。 值得注意的是, cuda agent 是 首个已知的通过强化学习训练,在高性能 cuda 内核生成任务上超越 cloud ops 四点六和 gemini 三 pro 等先进专有模型的系统。 在实战验证层面,二零二六年七月十八日,一支研究团队在 m l s e s。 二零二六 flashinfair 竞赛中提交了 ai 辅助优化的 gated delta net 方案,在英伟达 b 二零零 blackwell gpu 上实现了官方认证的一点五八倍加速 flasher 费尔竞赛要求参赛者在真实 ai 推理工作负债中优化端到端的性能表现。 b 二零零是英伟达当前主流的 ai 训练与推理 gpu 平台,被广泛部属于超大规模数据中心。在该平台上取得可量化的加速倍数, 说明 agent 辅助的代码生成与调优已不仅在学术基础上有效,更具备了在生产级硬件上落地验证的可行性。该案例表明, agent 辅助的 cuda 优化已从实验室走向真实竞赛环境,并取得了可量化的性能提升。 在硬件架构层面,二零二六年七月,英伟达首次系统批落下一代 rubin gpu 架构,明确宣布该架构是面向 agintic ai 重新设计。 rubin gpu 在 硬件层面引入了 tensor memory accelerator、 第三代 transformer engine 和自适应压缩等针对 agent 工作负债优化的技术。据英伟达公布的数据,相比 blackwell 架构, rubin 在 单位能耗下的 agenix ai 推理吞吐量提升最高可达十倍。 rubin gpu 采用台积电三纳米工艺制造, 集成三千三百六十亿颗晶体管,叫 blackwell gb 三百,增加约百分之六十二。英伟达官方表示, rubin 的 优化目标已从单纯提升峰值算力转向提高整体系统吞吐率、能效以及美 tokin 成本。 这标志着英伟达不仅用软件 agent 优化现有生态,更从下一代硬件架构层面预判并拥抱 agent traffic ai 时代。 与此同时,英伟达在二零二六年七月还详细介绍了专为 agintic ai 设计的 vera cpu, 并与 lancashine 联合发布了 nvidia nemo cloud deep agents 蓝图,为企业提供 ai 智能体参考架构。 这些动态说明英伟达并非被动应对 amd 的 挑战,而是从软件工具链、内核生成算法到硬件架构三个层面同步推进 agent 驱动的算力生态进化。 c u d a。 现有的开发者规模、框架兼容性成熟酷,部署经验和生产稳定性也不会因为一次周末实验突然归零。而且把一个模型跑起来, 与在数千块 gpu 上长期稳定的训练和推理是两件完全不同的事。生产环境还要面对数值精度、通信拥塞、故障恢复、工号管理、供应链服务支持以及总体成本。 agent 可以 缩短迁移路径,却不能跳过工程验证。 amd 官方也明确表示,部分 amd skills 目前仍属于技术预览,名称范围和可用性都可能继续变化。因此更准确的结论不是 cuda 已经崩塌, 而是 cuda 过去最重要的优势之一,让竞争对手必须依靠大量人类专家重新走完。漫长的软件积累过程,正在被 a 阵子削落。 未来决定一块 ai 芯片竞争力的可能不再只有峰值算力、显存容量和互联带宽,还要增加几个新参数, 它的文档是否足够清晰,工具是否可以被 agent 安全调用、系统能否输出完整的日制和性能反馈,修改之后能否自动验证结果?底层知识是否能够被模型理解、解锁和附用?谁能让非人类开发者更快的读懂自己的芯片,谁就可能获得更快的软件迭代速度。 如果这场攻防转换只在两家美国巨头之间发生,中国团队或许只需旁观,但 agent 改变游戏规则的方式 正在对每一个参与算力竞赛的生态产生相同的影响,这对于中国 ai 芯片和软件团队同样具有启示。它并不意味着国产 gpu 能够依靠几个 agent 在 一夜之间补齐所有生态差距。但如果硬件接口足够开放、文档足够机器可读、变异器、性能分析工具和真实硬件反馈能够形成闭环, 那么规模较小的生态也可能用 agent 压缩适配和调优所需的时间。反过来说,如果底层工具不完整、文档混乱、错误无法复现、测试标准缺失,那么 agent 只会更快地产生错误,而不是更快地解决问题。 所以 ai 不 会自动填平所有技术鸿沟,它只会奖励那些愿意把知识开放出来,把工具标准化、把反馈数字化的平台。 一个周末,科奥的没有摧毁 c u d a, 但它让整个芯片行业第一次清楚地看到一条由二十年代码经验和人才构成的深厚防线。未来或许不再只能依靠另一代工程师慢慢跨越,它可以被拆解成文档、工具、接口、日制和测试,再交给一群永不下班的 agent 持续推进。 真正改变 gpu 战争的,也许不是某一块芯片突然快了多少,而是从这一刻开始,芯片公司争夺的开发者,已经不再全部是人类。下一场算力战争,既要赢得工程师,也要赢得 agent。

我用了一下午,做出了一个完整的网页应用,还部署上线了,任何人都能访问。关键是我一行代码都没写。今天我把整个过程拆解给你,跟着做你也行。整个过程就四步,第一步,明确需求。第二步,生成圆形。第三步,圆形转代码。第四步,部署上线。接下来我一步一步给你说清楚。 先说第一步,头脑风暴,明确需求。这一步是整个流程中最重要的一步,很多人会忽略它,但我必须告诉你,你最终做出来东西好不好,百分之八十取决于你这一步做的扎不扎实。具体怎么做呢?打开 excel, gpt、 cloud 或者 gemini, 随便选一个你顺手的就行。然后把你脑海中那个模糊的想法告诉他, 不用担心说的不够清楚,你就像跟一个朋友聊天一样,把你想做什么给谁用,大概用什么功能,一股脑说出来就行。关键在于你不要只聊一轮就结束了,你要多跟 ai 聊几轮,让他反问你,你没想到的地方,他会帮你想到,你不确定的地方,他会帮你分析利弊。 就这样一来一回聊个十几二十轮,你会发现你的想法越来越清晰了。聊到什么程度算够了呢?最好是能明确到你的应用有哪些模块,每个模块有哪些功能,一共有几个页面,每个页面上大概有什么内容,用户操作流程是什么样的。 当然,如果你觉得一次性选不了,那么全也没关系,你可以先只明确两三个核心的功能,先做出来,后面再慢慢加。 最后让 ai 把你们所有的讨论成果汇总成一份文档,这份文档有个专业的名字叫 prd, 就是 产品需求文档。 好,拿到这份 prd 之后,我们进入第二步,生成原型界面。这一步我们需要用到一个工具,叫 google stitch。 你 把刚才那份完整的 prd 文档扔给 stitch, 它会根据你的需求自动帮你画出应用的 ui 界面。生成之后,你看一下,如果觉得哪里不好看,或者不觉不合理,你就继续跟他说,让他调整。 比如你想要暗黑风格,你就告诉他,你觉得某个按钮位置不对,你也告诉他,就这样反复微调,直到所有页面让你 满意为止。这一步结束之后,你手上应该有一套完整的覆盖所有页面的应用原型。这个原型看起来已经十分接近最终成品了,但他还只是一个壳。接下来我们要把它变成真正能跑的代码。 进入第三步,原型转代码。在 stitch 里面有一个功能,可以直接把你做好的原型导出到 google as studio。 导出之后, google as studio 就 会基于你的原型文件,自动生成一整套可以运行的前端代码。它默认使用的技术栈是 react 加 type script, 你 不懂这些也没关系,不影响你使用。 如果你的项目比较简单纯,前端不涉及什么后端服务器之类的,那你甚至可以在 google as studio 里面就把所有事情做完,在里边预览、调试、修改都可以。 这里特别提一句, a s noodle 里可以一键把代码推送到 github。 这一步一定要做,相当于给你的代马上了个保险,改崩了随时能会退。如果你的项目比较复杂,需要接后端服务,或者需要更精细的调整, 那你可以把代码从 github 拉到本地,用专业编程工具继续开发。这里推荐几个工具, cloud code、 cursor tree 都可以, 选你喜欢的就行。遇到报错不用慌,把报错信息直接扔给 ai, 让他帮你修就行。记住一个原则,小步迭代,改一点,侧一点,不要一次性改太多东西。好!代码搞定之后,我们来到最后一步,部署上线。这一步超级简单,打 开 word 这个网站,用你的 github 账号登录,然后选择你刚才推送到 github 的 那个代码仓库。如果项目需要环境变量,比如一些 api, k 之类的,在部署页面填一下,然后点击部署, webster 会给你生成一个专属的网址,任何人通过这个网址能访问你的应用。到这里恭喜你,你已经拥有一个完全属于自己的网页应用。从一个模糊的想法到一个真正上线的产品,整个过程你可能一行代码都没有手动写过。 最后快速回顾一下,第一步,用查找 gpt 跟 ai 聊清楚需求,输出一份 prd 文档。第二步,把 prd 扔给 google switch, 生成完整的 ui 原型。 第三步,从 stitch 导出到 google a s 九九,自动生成代码推送到 github。 第四步,打开 word, 一 键部署上线。我知道你可能觉得些工具名字听着就头大,但你真正上手之后就会发现, 每一步其实只需要点几下鼠标,跟 ai 说几句话的事先照着做一遍,做完你就懂了。我把完整的提示词、工具链接、原代码全部整理好了,拿到就能直接用评论区扣个六,我免费发给大家。

变天了,变天了,给你分享个好玩的东西啊,就是目前我们当前玩游戏那个电脑可以部署本地 ai 大 魔仙,而且是千亿规模的,而且这个模型非常聪明,非常智能,意味着你部署完之后,你家里就可以有一个免费的 人工智能大模型,而且能力很强。来我给你讲一下,来,我们看一下这个模型,千万三点八 flesh next, 它的能力还是非常靠前的啊,简单一句话概括一下,这个模型呢,目前是处于半年以前, cloud ops 四点七的能力,我点开看一下, 它其实属于领先行列的,能力很突出,它是同类模型中远高于平均水平。这个模型 还是不错的啊,而且是开源的。我们看一下当前这个项目啊,这个项目就是叫它叫 strata, 近期刚出来的啊,四大数也很高,我也关注他了,我玩了好几天了,他就是可以让咱我直接看这个吧,看瑞的密吧, 说白了一句话就是可以让你自己的游戏电脑运行一千两百五十亿参数的 ai 大 模型,就这就这个, 它其实部署非常简单,我跟大家说一下啊,其实部署不用不用担心,咱可以把这个地址就是复制一下,交给你的任何一个正题,比如说 codebase 啊,什么 deepsea, 呃,那个 hynes 都可以。 你,你把把链,把链接发给他,你把链接发给他。你说帮我部署一下这个项目,部署一下这个项目搞定,然后你跟它那个呃。一步步引导你去操作就完事了。部署完之后呢?你跟它那个呃一步步引导你去操作就完事了。部署完之后呢?之后呢?你跟它那个呃,一步步引导你去操作就完事了?部署完之后呢?之后呢?你跟它那个呃,一步步引导你去操作就完事了? 经典的提壶提壶骑自行车,对不对?我来看一下。哎,这个给大家弄出来了。这个,这个是我刚装完之后给他发的第一句话,就是这个,嗯, 就这个生成一个网页,提壶骑自行车的动画,就这个一句话,没有任何更改,就一句话,你们可以看一下这个效果, 看这效果往下往下滑,他会一些一些各种介绍吧,然后拿什么轮组什么车铃,而且这个车铃还能响,能听到吗?还能响。 当然了,这这个他不完美,而且他这个,他这个这个水跟这个路上这个这个条条纹,他是反方向的。有一个逻辑错误,再往下,再往下他就是介绍了一些这这乱七八糟的东西, 你们觉得这个能力如何?一句话啊,就这个的,今天的时候我又让他,又让他再来了一次,再来了一次是这个,你看这一次呢?他跟上一次风格就不太一样了,但他那个方向是对了,包括按零,按零,然后按空格,可以起跳,也可以控制速度,也可以控制速度, 而且他还可以换一个,比如说这个,这早晨,这是晚上,这是中午往下滑,下面有一些他的一些信息。这地方有一个小小的问题,小问题就是看不到文字,你是用鼠标放上之后才可以看到。 再往下你这个地方他还给了一个涂装,你可以选一个这东西这是褐色,他也变成褐色了。他这个网页设计的吧,我觉得还是挺好的,一句话情况下,你看下面这些动效还是不错的, 给他虚拟了一些东西,你看我觉得还挺好的,真挺好的,就这个模型一句话搞定的啊 啊?再一个呢就是他部署完之后呢,你可以不止可以就在网页里面沟通啊,你还可以就是让他比如说理解一个一个。呃,图片呀,什么东西?我给他来一个吧,你随便来一个随便来一个。你比如说这个吧,这是什么?它可以断网运行啊?这是什么? 用这个墨镜 lux, 当然了,我现在电脑上配置的就是起的服务特别多啊,要不然的话其实挺快的,我现在你看底下开了很多东西,要不然会会快很多,一般是大概是在六十六十度左右, 我开太多了,开录屏,所以说有点慢。作者是用的是五零,他用的是五零七零 t, 哎,在这他用的是五零七零 t, 大家可以去参考一下这个速度啊。五零七啊,不是,他用的五零七零,可是十二 g 显存,我十六 g, 六十四 g 内存,他用的是哪一个? 嗯,对对对,你看三零九零二十四 g 是 一百到一百四十度看, 你们可以参考一下这个啊,而且 amd 显卡也可以,我后面的机器就是 amd 这个二九七零零也可以运行,而且二零三零四零五零都可以玩。写完了没? 还在还在,还在思考。哎,我开服务太多了,所以导致它这个速度会慢一点,就给你们演示一下,它可以,它可以师徒, 而且它还可以接接住,比如说你的 agent walkbody, walkbody 也可以看。我也我也接住了,很简单,比如说 deepsea hobbies 也可以接,我要简单简单演示一下吧,比如说你点设置,然后模型, 嗯,我想我想复制一下啊,把这个复制一下,你如果配置的话也可以这样。配置很简单,就是你点设置,然后模型,然后添加供应商,然后自定义模型。 呃,这 api 地址就是这个是你本地的名称的话,你可以随便弄这个,这个默认就可以妙,随便来一个一二三,然后获取就能看到了模型,然后添加左旋, ok, 这个显示名称的话,你可以把这个复制一下,粘过去就完事,就这样就 ok, 一 保存就那样了。我因为我已经保存了一个了, 因为我已经保存了一个了,就就这个跟这个是一样的,能看到吗?它可以驱动你的各种 a 帧, 这完事了没?哦?还没完事。这是一套测量 usb 数据内阻,现在是对吧?能看到吗?确实,这是我用来测一个数据线内阻的, 没有任何毛病。都对,七十八,七十三,七十八,七十三,包括它这个品牌它都能读得出来, 还可以吧。呃,我看看它这个接上了吗?对吧?我接的也是这个,包括我的 codex 也接了,它也接了。它这个不是我的主力啊,我是给大家演示一下。我的主力不在 windows 上使用。我的主力是在 mac 上,只是给大家演示一下而已, 而且这个服务你起来之后你还可以。就是,呃,不,就是暴露接口给你局域网用其他的设备,比如说我另一个房间的电脑也可以借用它。这个服务就是驱动各种 agent, 沃克邦德啊, codix 啊, deepsea hardens 啊等等都可以, 大家可以去体验体验哦,我觉得还是不错的。你看这个大模型,你看在阿里上,其实它的定位里面不是有这个吗?你们可以看一下它在线都还在卖这个东西,看到没?三千八 flash 就 在卖这个, 预测一下啊,我个人感觉目前这个大模型,大模型甜点的一个显卡配置就是大概多少五零六轮胎, 我觉得五零六轮胎可能后期这个价格还会保持一个比较稳定的一个,一个一个啥或或者还会稍微升高一点,而且内内存的价格,内存条的话应该还会涨一点,可能近期还不会降下来, 因为这个大这个框架一出来之后,各各种玩家都来了,就是咱们,你看有显卡,你哪怕你有个十二 g 的 五零七零,五零零 ten, 十六 g, 或者说三零八零,三零九零,什么二零几零都可以玩, 这就是给了很多很多玩家一个呃,比较好的体验吧,之前玩这么大模型的话,简直不敢想象,你需要多少内存,多少个显卡,对吧?就这个刷卡,大家可以去看一下这是这是那个地址, 你看一下三数很很很高,而且又更新了,又更新了,他这个这个项目的作者基本上一天能更新一两次,两三次,我开始玩的时候是前天吧,应该是他,我是从一点三四开始玩的,短短一两天更新了这么多版本,你们可以体验一下, 非常香,而且有了它之后意味着什么?你把一个超级智能放到你的家里边,而且哪怕断网都可以用, 就本地部署的意义,我不需要讲很多,大家你们可以去搜一下就明白。有很多人可能会说,哎,本地部署有什么意义啊?或怎么怎么着,它在线模型很好用。什么东西的?我觉得大家可以去了解一下本地部署的一些玩法,或者一些。呃, 各种其他其他意义。不多说啊不多说啊,这这不是今天分享的目的,就给大家分享一下这个框架,推力框架好。