大模型和agent的最强搭配
这个 a i a 的 项目运行起来是这样的效果，可以给它进行提问，要大模型，根据我的提问给我规划一条完整的旅行路线， 这个项目怎么跑的啊？大家拿到代码之后注意啊，这里面是分前端的部分和后端的部分，我们是基于 long chain 和 long graph， 后端是 nice g s。 这是一个全站的项目啊，都是基于最新的版本。在这个点英文文件里面有两种运行方式。第一种方式我们本地要用欧拉网模型， 部署千万的模型也好，或者其他的模型也好，而且怎么部署，你之前也讲过啊，在这里面我们可以选择我们的模型在本地安装，这个 tokyo 是 免费的，本地的。还有一类是我们调用云端的，云端的话我们可以调用 deepsea 啊， deepsea 的 话，那你这地方你要配置你的 k， 创建你的 k 啊，这你里面得有余额，要不然调用不通的。然后这里面要配置你这个 k， 配置完了之后我们直接启动就行了，启动完了之后就运行起来就是这样的一个效果。第二天提问可把这个所有内容都给你返回到这里面来了， 对吧？所有的整个旅行，包括你这个饮食预算，景点推荐，天气情况，整个这个项目的完整的工作流程。说一下，这是一个 agent 啊，用户在这里面去输入，输入你的问题，输入完了之后，这时候会基于 long graph iex 模式，然后调用我们大模型对话，然后分析意图，然后再决策调用哪些工具。对工具的话，比如行程的工具，天气的工具，预算的工具，那么这时候再给流逝的输出给前端，整个流程是非常简单的，那我们这里面大概有十一个接口， 整个项目你可以作为公司的项目包装到简历里面，也可以作为找校招啊，找实习啊，也可以作为自己 学习的项目包装到 g m 里面，你可以直接应聘 a 业前端， a 业应用开发 a a n 的 a 业全段的岗位啊，那就是在 nice g s roundabout 大 模型，还有香香裤前端是用 v 三脸内里面，你就这么描述就行了，直接这么去描述。还有我们整个的项目的难点和亮点都给大家整理了， 怎么样包装，具体怎么样实现，这里面都有，包括这个原码，大家一定要跑一跑整个核心时间，就要整个 ai 的 项目的话，大家可以评论区留言。
粉丝4.9万获赞44.9万
相关视频
07:29查看AI文稿AI文稿最近不少朋友在问，想用 openclaw， hammers agent 这类本地的 ai 框架，本地跑大模型，自己搭建 ai 服务器，无成本的养虾，到底该选用什么样的显卡，配多大的内存才够用？ 大家好，我是根五，今天一次性给大家讲清楚，主流的开源大模型分别需要什么样的显卡和显存，搭配多大的电脑内存，新手也能照着直接配。本视频仅提供硬件的选型参考，不构成任何构期的建议。我用三个最主流的模型，一个是 deepsea， 一个是千万三点六，还有一个是 j m 四， 这满四档，然后六六个精度档位，一个计算公式，争取一次性把本地极限大模型的显卡该怎么配讲清楚，本地部署模型的优势也就不言而喻了。一个是一次性投入，永永远不需要花钱啊。第二块就是这个数据的隐私可以得到保证，第三的话，呃，更低的延时响应，因为他无需网络啊。 那显存的这个耗损该怎么计算啊？最最重要的就是模型的权重，也就是说我们的参数量乘以每参数的质结数。我举个例子啊，我这里用 j 买四二十六 b a 四 b 杠 it 这样一个模型来举例子啊，我 j 买四 二十六 b， 这个二十六 b 是 代表两百六十亿的参数，这个 it 是 代表他是一个就是没有经过量化的一个基础大模型， 正常他是 f 啊，他后面他还有一个参数叫 f b 十六位，你十六位的话，我这里应该就乘以乘以个二，也就是说二十六 b 乘以二是大概首先就要占三十多 g 的 这样一个 显存啊，我把它加载去啊，什么都不，什么都不做，那就乘以二二六一十二，那就是五十多啊，五十二 g 的 这样一个显存， 然后再看前面，再看这里，然后再看到这个计算公式啊，模型的权重，也就我已经加了个五十二 g， 然后再加上 k v 缓存，大概是三到七 b， 再加上激活缓存，那大概就是六十多 g 的 一个总显存。我们来看一下活动监视器，把它调度出来，你看这里快花到了七十个 g 了， 六六十九个这个显存，六六十九 g 啊，大概稳定在这个七十 g 以内啊，七十 g 以内，大概是稳定在这个六十八 g 左右啊，六六十八 g 的， 这个可以说今天 你能干什么吧？就让他说一些话，是吧？可以看现在已经超过七十 g 的 七十 g 的 显存，然后呢？如果你没有这么大的显存，该用哪些模型呢？这里其实有需要做这个量化，比如说假设我这个这买四量化，量化到了四比特啊，这里是， 这里是它的原声模型，原声模型是十六位，十六位的话，它精度特别高，如果你把它降到四比特的杠四 b 这个这个意思，它就除以二，大概就是我的二分之一的这个显存就可以了，也就是三十多 g 显存就可以跑这个界面试。所以说你的显存如果我的显存不够三十多 g， 只有二十 g 怎么办呢？它会， 它有个叫 mlx 的 一个量，它它有个推理框架，这个推理框架它可以用你的那个内存作为部分显存，它，它代价就是会慢一些，慢一些。假设我在算这个千万三点五啊，假设千万三点五四 b 的 这样一个模型，那我这里算计算公式的是三十五除以二，也就是十七 gb 的 显存，再加上不到十七， 那就是二十多 gb 的 显存，我可以试一下。这刚刚一下子请求那四个，他这个在病房呢，好，然后你能干什么？然后应该现在是好了，好， 大概是他装载模型会有一段时间啊，就是我刚切换模型了，大概是稳定到二十一 g， 所以 说，所以说你还是最好，如果你的显存不大的话，用千万三三点六，千万不要用 jb， 这是五十多个 gb， 五十多个 gb， 它的计算公式核心就是显存的权重啊，这个占百分之八十五以上的这个显存，然后什么 k v 缓存啊，什么激活显存啊，拢一样，这个都占的不太大，不太大。 还有啊，还有一个 d f c 特别提一下，所以 d f c v 四 flash 算是最近开源的最强的一个模型，它是，呃，基本上 接近闭环的这个 g p t 四 o 的 水水水平啊，就是你要下这个全的全能力的话，要把要硬盘准备五百六十 g， 然后它大概显存是怎么算的呢？ 那是二百八十四乘以二。那首先这个一定逃不了啊，首先六百 g 的 这样一个显存是逃不了的，是吧？就是你把它量化到四 b 的 话，也也至少也至少需要一百 一百四十多 g b 的 这样一个显存，再加上日常任务，再加个二十二十 g， 我 估摸着也是要一百六十 g 这样一个显存才能跑得起来的， 对不对？所以说你起码是要去配那个企业级的，企业级的方案了，那这里推荐是用八八个这个这个英伟达的 a 一 百的显卡， 或者是四乘以 a h 一 百的显卡，那才会获得一个比较好的推给大家，他已经非常强大了，非常强大。所以说最后的总结就是你玩一玩的话，个人的话玩玩龙虾呀，或者悍马仕啊，这个差不多有一个 呃，七八十 g 的 这样一个血橙就就够了，但如果是你要做这个服务器啊，对吧？或者是做一些比较复杂的长生任务啊，那肯定是要几百 g 的 这样一个血橙， 那所以说它全精度大概是要五百六十 g 显存，所以说不是普通玩家能驾驭的，我试过了，就我把一个这个精度四 b 的 这样一个 dvd 下楼，肯定我跑都跑不起来，那他直接就报错了，或者你要是强行运行起来，你这个电脑就踏实了， 所以目前来看，千万三点六啊，三十五 b 也是高性价比之王上，大概我这个电脑测试了二十一个 gb 的 显存是最小的，如果你说我只有 这个十六 g 的 币的怎么办呢？那只能你去捡这个大概你只能跑十六币的杠，四币的一个参数，大概你是十 g 左右的这个线分，但基本上你就是一个玩具啊，就是只可以玩一玩，或者我估计养个虾都够呛了 啊。这个模型还是消耗的这个显存特别大，因为我这个是没有量化过的，因为它可以把我这个电脑笔记本一百二十八 g 的 显存把它压干，因为因为我大概是全程是要跑到六十多 gb 是 吧，接近七十 gb， 然后大概内存会占个三十 gb， 也就一百 gb， 所以 说一百 gb 这个是差不多的啊。 好，那不同的预算该怎么选呢？我刚刚说的主要是入门级的就是三零六零啊，一定至少是三零六零，呃， 至少是四零六零 t 吧，因为四零六零 t 它支持是抠抠打技术，抠打的技术还可以帮你节约一些显存啊。所以说你是十六 gb 的 这样一个显存，再加上你的三十二 g 的 内存呢，基本上能够刨起十三 b 的 这样一个模型。 如果是你呃经济比较好的话，建议你去买那个呃服务器，就是最近那个六千对吧？那个六千的那样一个大概是二十三十六 gb 的 一个显存，我觉得就可以跑得起这个 j 满了。 j 满是因为他在那个英伟达的，在这个这个 c u d a 技术的话，他不需要像麦克这么烧钱，这这么烧钱存对 苹果的话，建议你如果要做服务器的话，一定是要选择 max studio 啊，千万不要选这个个人那个电脑，那个 mac 的 这个笔记本那个不是很稳定，就是我一天跑个几小时还可以的。如果你二十四小时都挂了机的话，就千万不要去买这个笔记本，一定是要买工作站的。 最后就是记住这三个话，总结吧，显存性大大于算力，显能算力一定是要大于内存，所以说跑大摩羯先看显存够不够，再看你的抠打核心数。第二的话，量化是神器，四 b 的 话可以帮你降，其实比这个降的要多，我实测大概是降了一半左右啊，质量损失不到百分之十， 所以说平民级的就有些量化更极端，量化到二 b 他 基本上会降百分之七十五，是要降百分之五十吧。最后是看配显卡，对对， 这二十 gb 我 觉得是一个比较合适的中档位啊，也就是说，呃，五零九零、四零九零都是一个起步的这样一个配置，所以说你要是四零六零啊，基本上就是玩一玩而已啊，就做不了什么比较重要的任务。对对对，本次分享就到这里，希望能帮到大家。
189根谷
04:28查看AI文稿AI文稿做 engine， 如果你选错了框架呢？基本上就是白干三个月。结合我给客户做智能体的一个实战经验，我分享四个主流的智能体框架， 我现在做智能体其实基本上已经不用冷颤了，这句话其实挺反共识的，但是我这一次替你整理了四个主流的智能体框架，我来逐个介绍一下， 今天就花大概两分钟左右的时间，你到底应该选哪一个？我先说一下我踩过的坑啊，狼铲我基本上是用了两年，那么它最大的一个问题呢，就是它不是难，是抽象太多了。比如说一个版本，简单的 一个工具调用那套了，有三四层的封装，大家有这种感受吧？版本更新迭代的还非常的快，半年前能够跑的代码，今天如果是引爆他一些仓库跟类， 你直接就拉闸了，对吧？那他适合干嘛呢？他适合做一个 demo， 三天搭一个，比如说能跑的一个智能体出来给老板看一个演示没有问题，但是如果你直接扔到生产环节，那么你天天准备被产品经理，被客户啊反馈 bug， 然后你天天在，就 第二个呢是狼寡妇，它本质上呢是基于一个状态图的一个编排，你把 agent 的 每一步都画成一个节点连成图，逻辑呢，清晰多了，复杂的多 agent 协助循环，回滚分支它都能够接得住。那么代价是什么呢？就是 你还在是狼山的生态里面，底层的那些抽象你是逃不掉的，但如果你的流程超过了五步以上嘛，那你就要管状态要中断恢复，要 check a point， 对 吧？狼格奥目前是没有替代的产品， 那么它其实是一个非常好的一个框架。第三个呢，叫帕拉丁 ai， 那 么这东西做得很干净，是那个 fast api 的 那个团队搞的全程的强类型，你定一个帕拉丁的数据类型，它直接就 帮你做一个结构化的输出工具，签名的一个校验依赖注入。写起来是什么感觉呢？就是像是在写 fast api 啊那种，就是是没有那种我到底在调什么呢？那种迷茫的感觉，因为它每一步都很清楚，那么它的短板是生态还比较小，复杂的工作流编排，还不如 robert f。 那 么 pedantic 这类方式更偏向于一个流程驱动加 约束类型，你要做那种轻量的单一的任务类型，安全的一个智能体，它现在是我的第一选择。 那么第四个呢，就是 cloud s d k， 也就是说 alsoropik 的 原声 s d k 这玩意没有任何抽象层，模型有什么能力？ s d k， 它就给你提供什么样的能力。二是用工具调用， 比如说是一个电脑的操作调用，然后一个提示词的缓存，一个呃流逝输出，全都是一手的，而且出新功能第一时间你定义的边界和权限越清楚， 那么它完成的效果能力就越强。那么问题也很明显，它是跟那个 cloud 的 大模型就是强绑定的，你要切换模型的话，其实就是不一定新的模型就不一定适配这个 cloud s t k 的 一个能力了。所以应该怎么选呢？我给你一条决策路径 啊，咱们可以记录一下，比如说你要做 demo， 给老板做演示，一个狼倩，三天交付，多步骤复杂流程，要状态直接要在某个节点，比如说中断啊，每个某个节点进行恢复，那就是 wrong graph 目前是最成熟的 批量单一任务的工作流，要类型的安全帕拉丁啊，写的最爽，要榨干模型的能力，各种调用工具的齐全，要做自动化执行任务的一种智能题，那么 cloud sdk 那 就是你独一无二的选择。 最后我说一句真心话，其实框架的选择不是最重要的，你能够解决什么样的一个问题才是最重要的啊？我见过太多的人花了两个月时间研究，比如说框架的对比啊，结果最后就是连一个 mvp 啊，最小可塑化产品都没有跑好。技术的选型本质上就是能用就好，而不是说 最好。我自己手上的一个项目，底层的 cloud s d k 边盘用 long graph 结构化的输出，走 panatic 混着用也没事，工具是给你用的，而不是说你对某个工具，某个智能体的框架你是有信仰的。那么最后在评论区聊一下，你现在用的是哪些框架，然后你踩过哪些坑，我们在评论区跟大家分享一下。
2368诚哥AI一人公司
03:17查看AI文稿AI文稿觉得专门做 a 证的公司，未来可能大部分没什么前途。这是我最近在实践的时候得出结论，这句话可能有点得罪人啊。其实一开始我也想搞 a 证的，但是最近研究了一圈和我们做一些落地项目之后， 呃，这个感觉就越来越强烈。因为很多人没有搞明白过去一年 a 证的为什么爆发，很多人以为 a 证的等于 ai 的 终局，其实根本不是，真正的原因是过去的大模型实在是太弱了，以前三十二 k， 一 百二十八 k 呃，都已经算超长上下文。于是行业开始卷卷什么 rag 啊， retailer 啊， emading 啊这些东西， 呃，最后会有一个各种各样的呃， agent， planner agent， execute agent 对 吧？群教统直接上，现在回头看，特别像什么就是一个记忆不好的人啊，靠着 各种各种条子呃，记便利条呃，或者记模型记不住。行业只能靠外挂补丁化。还有早期的 gbt 啊， gemini 啊，它常练推理，不稳不稳定，容易这种幻觉，容易这种逻辑跳跃 呃，于是行业可能搞 agent a， 思考 agent b， 检查 agent c， 修复 agent d， 再检查。 现在很多 a 阵的 workflow 我 感觉很高级，其实，呃，特别像一个本来可以自己走的人，绑了四个轮椅，模型现在变强了之后，你比如说以前画画可能还就生成 prompt， 然后画画，现在随便给模型输一个指令就 ok 了。 以前就是感觉整个行业会有比较黑色的幽默啊，四个 agent 加十八个 workflow， 加什么一堆 rug， 然后加 memory， 加 graph， 现在的话直接就一句话就基本上完事了。其实某种意义上讲，大模型在吞食这种中间层。 呃，我以前也说过，你可能 agent 这种能力未来肯定都是在大模型能力。举个例子，你现在用 gemna 也好，操作 gpt 也好，你会发现它其实已经集成了这种 agent 的 能力。 我觉得现在还有很多人在卷这种。呃，做 dag 啊， workflow 啊， multi agent， 我 觉得是模型可能真的不需要准备，特别 cloud 最近也是也搞了一堆东西出来，我觉得做 agent 的 好像没什么用。 呃，这这这这有点像什么呢？就过去的电脑性能不够，所以的话你就必须得疯狂的优化代码，现在芯片性能爆升之后，很多这种优化技巧直接变成这种时代的眼泪。 呃，某种意义上，现在 agent 公司现在也有这个味道。当然 workflow 不 会消失啊， workflow 会越来越基础设施化。呃，真正之前的东西可能是重新回到这种模型推理啊，推理能力上下文。 呃，其实企业最后真正关心的问题，呃，是问你到底能不能解决问题，到底能不能给我省钱，而不是你大概有多少个 agent。 我 觉得这才是最一轮的 ai 的 真相。
283一介草民
03:22查看AI文稿AI文稿我们知道今年呢一定是哈尼斯的一个元年，因为所有的人都在做哈尼斯，因为我们发现把哈尼斯做好之后，整个 ai 自动化控制是非常顺滑的，而且就包括你在做 a 阵的，其实你做的也是哈尼斯加模型， 所以你同意模型下不同哈尼斯下的表现，其实远大于不同模型下同意哈尼斯的表现。那这句话其实就来源于这本书，那我最近一直在出差，那出差这几天我就把这本书看完了，所以只有特别好的书呢，而且看完的情况下，我才会推荐给大家看一看啊，就里边呢会我画了很多角，然后 呃记了很多笔记，那这些内容呢，我认为都是非常有价值的。那这本书呢，其实是以 cloud code 作为一个主框架的一个 harness 进行一个分析的，它分析了主框架 cloud code 里边的几大组件，它的形成是怎么样的？那后边呢，又讲了关于记忆啊，关于 cloud 的 书写规范的一些内容， 那后边呢，还会讲到我们说关于 skills 的 一些工程实践，那这些工程实践其实有很多也是我在用的一些最佳实践，就比如说我们 get commit 我 们怎么来做？然后包括 skills 有 哪些设计模式，然后它包括子智能体和我们的哈尼斯怎么来做？上下文的困境是什么？包括子 智能体的本质是什么？它其实是从一个呃原理，然后一直拉近到我们研发的，包括我们设计哈尼斯这样的一个视角。那这里边呢，还包括一些子智能体和 skills 是 怎么来做扩展的？ 然后后边呢又会讲到一些工程化的一些实践案例，还有关于 mcp， mcp 记者，我大家也跟大家讲过，就是 mcp 以前是 m 乘 n， 现在到 m 加 n 的 这样的一个标准化的能力，然后 mcp 是 什么？它产生是什么？它的架构是怎么样的？ 然后整个全面呢去讲解这些。之后呢后边又去讲了一些关于 c i、 c， d 工程化集成相关的一些内容。还有呢，如果我们结合我们真实的项目中呢，我们可以把 a 阵， s， d， k 呢？我们怎么融入到我们的项目中，然后正常的跟我们的系统呢进行一个对接。 呃，那 plunks 是 什么？它其实就是一个打包的一个策略，那这里边呢讲的也都是非常清楚的。边呢还讲了一些关于工程一些最佳实践，就比如说，呃，成本的一些控制啊，调试啊，还有安全准则等等这些东西，那还有包括一些大型的代码库，还有一些团队落地的一些实践，然后包括我们最近呢都在使用的一些 s、 d、 d 的 一些方式，我 认为都是深入浅出，非常好理解的。呃，我们没用到哈尼斯的本质呢，可能我们只用到了它的一些 对话的一些能力，然后真正的 cloud code 的 这种 harness 工程呢，它其实做到可编程、可扩展、可组合相关的一些方式。然后后边呢还罗列了它的一个整个的一个架构的一张图，包括它的记忆啊，是如何设计的。然后还有后边呢， 关于如果 git commit 结合整个 harness， 我 们是坐在哪一层非交互模式下的杠 p 模式的话，我们能做哪些场景？那这些呢，我认为都是非常有价值的一些点，我就把它记下来了。然后这边呢还有一个结论就是 agent 呢，其实是等于 model 加 harness， 所以 有这个逻辑之后呢，我们就有更多的思考在这个里边 边对于记忆模块呢，其实还在讲到了一些配置驱动开发，还有声明式规则，一些设计模式。这边也讲到为什么我们要用一个 cloud code 去给模型这些建议，让它自己去查不好吗？所以它讲到主动查询的时候会带来什么样的问题，比如说主动探索呢？它其实会带来宝贵 talk 的 消耗和一些上门窗口的一些问题， 然后等等这些东西我觉得罗列的非常清楚，然后会给人很多的一些思考，我们在做自己的 a 政策也好啊，我们再做啊，抠钉也好啊，这些都是我们非常宝贵的一些经验和规则。 那所以呢，后边我不给大家翻了，那就希望呢这本书呢，大家可以去深入的去了解了解，然后可以把这个哈尼斯呢真的能吃透，吃透之后呢我们逐步的把它呢运用到企业里，那也希望呢今天的分享呢对大家有帮助，关注雷哥，关注 ai 工程化落地。
169雷哥AI
00:41查看AI文稿AI文稿真心建议大家，在有条件的情况下，一定要用一下世界上最强的 ai 模型，比如 oppo 四点七、 gpt 五点五这一类顶级模型。因为你不用的话，很可能会同时低估三件事，低估 ai， 低估自己，低估未来一个人能做多少事。第一，你会低估 ai。 很多人觉得 ai 也就写写文案，总结总结文章，但那可能只是因为它用的是普通 低配的体验，会让你误判技术的天花板。第二，你会低估自己。很多你以为自己做不了的事，可能不是你不行，而是你过去缺一个足够强的协作者。顶级模型会帮你把模糊的想法拆成结构，变成方案。第三，你会低估个体杠杆，一个人加上顶级模型，至少拥有一个小团队的雏形。调研 文案、代码、方案，你第一版你都能够先推起来，所以尽可能去用一下最强的模型，你会重新叫准你对 ai、 对 自己、对未来工作方式的理解。
7502李铎Luka｜企业AI落地
19:34查看AI文稿AI文稿假如你从二六年六月开始转型大模型应用开发，多久能上岸？只要你不是三分钟热度，三个月足够让你转成为 ai 领域高手。接下来告诉你一条最快的学习路线，建议收藏，避免以后走弯路。第一阶段，死磕基础， 把 python 基础和简单的 api 调用吃透，千万别小看这些基础，这是和模型打交道的根本。第二阶段，掌握两大框架和 lambendix， 一个用于构建 agent 逻辑框架，另一个用于构建外部数据缩影。 三大技能是指 r a g， agent 模型微调，这三项技能直接对应了当前 ai 岗位的核心需求。最后阶段，实战项目选择常见的大模型应用场景，结合前面所学知识做二到三个项目，如 r a g， 医疗问答 agent、 智能客服、 股票分析，掌握这些足够让你胜任百分之九十以上的 ai 岗位。如果你还不知道从何开始，这里整理了大模型系统学习路线以及配套视频教程。实战项目，留下大模型暴走。 本期视频带大家深度解析 ai 常见术语。首先我们要先打好地基，核心就是 n n， prompt， context 和 memory。 接着我们进入第二章能力扩展，我会重点攻克 r g 和方身 calling， 简单说就是教 ai 怎么查资料，怎么调用外部工具，还有 m c p 协议，这一直是行业的热点。搞懂了它，你的项目瞬间就能连接各种的数据库和 api， 去面试绝对是个加分项。然后来到这个形态进化和流程控制，这也是很多小白最容易晕的地方。 workflow、 skills 和 agent 有 什么区别啊？ long chain 又要怎么用呢？我会把它们都串起来。学完这一章，你就知道怎么把一个只会聊天的 ai 变成一个能真正干活、能执行复杂任务的超级员工。最后，我们要探讨一下 agent 的 终极形态和未来的技术红利在哪？那你在这个快速变化的时代，找 找到那个最值得投入的甜蜜点。好，那我们就正式进入第一章。这一张的标题叫做基石构建。为什么叫基石呢？因为我们要讲的这四个词， liam， i m， prom、 context 和这个 memory 是 整个 ai 应用世界最 底层的概念。后面所有那些听起来很厉害的东西，比如说什么 agent 呀，还有 r g 呀，其实都是在这些基础之上搭起来的。所以我们先把这几个最基础的概念搞明白，后面的内容你就会发现，哎，原来都是这么一回事儿。嗯，那在讲具体的概念之前，我们先快速看一下背景。大家看这张图 是不是有点眼花缭乱？这里面密密麻麻的全是各种大模型的名字， gpt 啦，拉玛呀，还有千问等等。你们不需要去记每一个名字，这张图就告诉我们一件事，从二零一九年到现在二零二六年，大模型的发展速度是爆炸式的。 你看，从最早的 gpt 三，到后来的叉 gpt， 再到现在的 gpt 四、拉玛三，几乎每隔几个月就有新的更强大的模型出现。这种快速的迭代，就是我们今天能讨论所有这些应用的前提。可以说我们正处在一个技术浪潮的中心。好， 背景了解完，我们再看一下这个浪潮的核心 l o m 它到底是个什么东西？我们来聊一下 s i 人民的本质。其实在最开始，语 言模型干的事特别简单，就是文字接龙，你给他床前明月，他就能给你接上光，就这么简单。但是很有意思的事情发生了，当模型的参数规模越来越大，数据越过越多，达到一个临界点之后，他突然就开窍了，能理解指令，能推理了， 甚至能写代码了。这种现象，学术界管它叫涌现，而涌现日后的大模型，我们就称之为 l l m， 也就是大语言模型。虽然它看起来智能，但是我们得清醒地认识到它的本质。大家可以看下面这个图， 我们可以把它想象成一个关系，我们用户是老板， l m 呢，是我们的员工。这个员工啊，他能力很强，但是有个非常核心的限制，他只能够一问一答，不能够主动追问。你给他一个任务，他做完就完了，不会说老板。各地方呢，我不太明白，你能详细再说一下吗？而且 他无论表现的多么聪明，他最底层的工作方式啊，依然是在预测下一个词。这点非常重要，是我们理解后面所有问题的关键。那么 面对这样一个一次性的超级员工，我们该怎么用才能把它的价值最大化呢？这就引出了我们下一个话题。既然 l l m 只能一问一答，那我们作为老板，就得想办法把每一次提问的效率提到最高。那具体又怎么体效呢？首先，我们得学会更好的下达指令。我给 l m 的 每一次提问，专业术语叫做 prompt， 也 也就是提示词一个高。这样的提示词其实可以分为两个部分，一部分呢是 context， 就是 上下文，相当于你给员工布置任务时的背景信息。比如说，我们现在呀，要为一个年轻用户群体做推广，就是 context。 那 另一部分呢，是 instruction， 就是具体的指令。比如，嗯，请根据这个背景写三条广告语，你看他就把背景和指令分清楚， a n m 的 回答质量会高很多。这算是第一个技巧。但很快我们又遇到了新的问题，刚才我们也说了，来完他不能够连续的互动，聊完一句他就失忆了，这在实际使用中非常的不方便，对吧？那怎么办？ 工程师们想出了一个非常巧妙的办法，既然他记不住，那我们就帮他呗，把之前的对话，把之前的对话历史全部打包 在进下一次提问的 context 里面。比如说，你第一轮，你问他北京天气怎么样，他回答了第二轮，你想问，那上海呢？你就得把第一轮的问答也一起发给他，变成第一轮北京天气怎么样？ 回答晴天。第二轮，那上海呢？这样一来， let them。 看到完整的对话历史，他就能够假装自己还记得之前的内容。这一部分被特意保留下来的对话历史，他有一个新的名字，叫做 memory 记忆。所以你看， memory 本质不是什么神秘的技术，它就是一段特殊的，包含了历史对话的一个 context。 甚至为了节省空间，我们还可以让 n l m 自己把涌长的历史对话去总结成几句话，再放进 memory 里面，这就是更进阶的用法了。好了，到这里关于 n l m 是 什么 form？ 怎么用？ context 和 memory 又是怎么回事儿？我们就全部拆解完了。你会发现这些概念其实并不复杂，核心都是为了解决 a l m 自身的一些局限性，接下来我们就可以在这些基石之上进行一些能力的扩展了。这一章我们要讲的这些，其实都是在给 a l m 装手装脚， 让他从一个只会聊天的大脑变成一个能动手办事的员工。什么意思呢？我们先看一个问题， l m 有 个特别致命的短板，就是他不上网，你问他今天北京天气怎么样，或者昨天苹果公司股价多少，他要么瞎编，要么告诉你我的知识，截止到某年某月某日，为什么？ 因为他训练完就断网了，脑子里装的全都是旧数据。那怎么办呢？很简单，让他去查查的话呢，有两种主流的方式， 一种叫做 search， 就是 搜索，你可以理解成写个小程序，代替人去谷歌或百度搜一下，然后把结果喂给 l m m。 比如说你问最近有什么新发布的手机程序，自动去科技网站抓几条新闻，再让 l m 总结给你听。这个过程呢， nm 它本身没有变，只是多了一个外挂搜索引擎。第二种方法是 r r g 解锁增强生成。听起来很高大上，其实逻辑也是一样的，只不过呢，不是搜全网，而是搜你自己手里的文档或数据库。比如说你们公司的内部的产品手册啦， 还有客服记录以及合同模板等等，你把它们存进向量数据库里，当用户提问时，系统先语义匹配，找到相关的段落，在塞进 prompt 里，给 给这个 a n m。 你 看，不管是 search 还是 r g， 核心思路都是一样的，把外部信息搬进 context 里，让 n n m 基于最新最准的数据回答问题，这对我们实际工作意味着什么？举个例子，如果你是个电商运营，用 r g。 接入商品库和促销的规则， n n m 就 能够实时回答这款衣服打折后多少钱， 库存还有多少，而不是靠记忆瞎猜。不过呢，我们说的这个 search 和 i r z 虽然有用，但是有一个问题就是还得靠人来触发。比如你想查天气，你得先告诉 lan， 你 去查一下天气，然后他说我需要调用天气， a p i， 你 再手动执行，这太麻烦了，对吧？于是有人想了个办法，干脆写一个中间程序，专门负责 t i m 来跑腿。这个程序就叫做 agent 智能体。再看这个流程图，用户不再直接跟 a m 对 话，而是交给我们的 agent。 agent 像是一个管家，他知道什么时候该让 a m 思考，知道什么时候该调用工具，比如说搜索工具、 打数据库的工具，还有发邮件的工具， l m 负责动脑， toos 负责动手，人就负责传话加调度。早期的一些 agent， 可能就是多加了几行 prompt 而已，后来慢慢发展成独立的程序模块。那本质是什么呢？就是一个自动化的协调器，它减少了人类反复干预的次数，让整个流程更加顺畅。想象一下， 只需要说一句，帮我订一张明天飞上海的机票， agent 就 能自动调用航班查询笔架、支付接口，最后把确认单发给你，全程都不需要你插手，这就是 agent 的 价值。好了， 现在有了 agent， 也有了好多工具，但新问题又来了，大家沟通容易乱套啊。这里其实有两个不同层面的问题，需要两个不同的解决方案，它们是方声、 calling 和 mcp， 大家千万不要把它们混为一谈。首先看左边方神拷领函数调用，这是大模型自身的一种能力，你想啊，模型是个大脑，光想没用得，能够把想法变成程序能听懂的指令。方神拷领就是规定 l m 必须按照特定的格式输出， 通常呢是 jackson。 这就有点像是前后端约定接口文档一样，前端不能随便传数据，后端也不能随意返回格式。方神拷领就是 l m 和 a j 之间的 api 器约，解决的是沟通混乱的问题。但是 每接一个新工具，比如你要查数据库，要读文件，工程师都得专门写一堆代码去适配，特别麻烦，而且工具之间数据不通。这时候右边的 m c p 就 起作用了。 m c p 全称是模型上下文协议， 不是模型的能力，它是一个通用的连接协议，你可以把它想象成 ai 界的 usb 接口。它定义了两个核心操作，第一个是托尔斯，告诉 agent 我 现在有哪些工具可以给你用。然后第二个呢，是托尔斯 call， agent 说我要调用那个叫做 getweather 的 工具，嗯，参数是北京，那托尔斯就可以执行并且返回结果。有了 mcp， 只要工具的开发商遵循这个协议，做一个。嗯， mc server， 任何支持 mcp 的 模型或应用都能够直接插上，用不用重复开发？ 更重要的是， m c p 还能够传递上下文信息，比如说把用户之前的对话历史、当前的任务背景一起传给工具，让工具做出更智能的响应。所以啊， m c p 解决的是工具藕合的问题，让工具变得可插拔、可扩展、 可空想。所以呢，方胜拎是 a m 对 agent 说的标准口令，确保意图不被误解。那 m c p 是 agent 对 兔子发的标准公单， 确保工具能被统一调度，两者配合，才能让整个系统从各自为战变成协同作战。我们前面讲的这些都不是为了炫技，而是为了让 ai 真正落地，变成我们能用的生产力工具。 ok， 我 们解决了 ai 能干活的问题。 接下来第三章，我们会讲到交互形式的演变， long chain， workflow、 skills， 还有 sub agent。 不要被这些词给吓到， 其实它们都是为了解决一个共同问题，当任务变得复杂的时候，如何让它干得稳、管得住？先看上面这几个图标，左边是命令行 c i l i， 中间是编程工具 id， 右边是现在流行的通用的桌面助手。我们可以明显地感受到， ai 的 外表越来越好看，入口呢，也越来越低。以前你得会敲代码才能够用，现在点个图标说句话就能搞定。像 call、 code 尔巧巧、 minus 这些产品，底层架构其实都差不多，但用户体验天差地别。但是无论这个界面有多漂亮， 他们都有一个统一的致命缺点，面对复杂的长流程的时候，极其的不稳定。举例子，比如说，你想让他把一份英文的 pdf 翻译成中文，再转成 markdown 存起来，这听起来简单， 但中间涉及提取、翻译、格式化、保存几个步骤。如果全靠 agent 自己发挥，他可能第一步就选错工具，或者是翻译一半忘了格式要求。最要命的是，他每做一次都要重新推理整个流程，非常的浪费， tock 成本很高，这里有个很关键的洞察。其实呢，提取 pdf 和保存 markdown 这两步啊，完全是确定性的，根本就不需要 ai 插手，写几个固定的脚本就能搞定，又快又稳。只有中间这个翻译的这个环节需要 ai 的 智能。所以呢，我们的思路应该是，该固定的固定， 该智能的智能，别让 ai 去干那些他不擅长也没有必要干的脏活累活。具体怎么做呢？这就引出了流程固化的三个眼镜阶段。为了避免 a 制的每次都自由发挥，人们尝试了三种办法。第一种，纯代码，这是最彻底的方案，直接把整个流程写成代码，完全不让中间智能体插手。 优点是最稳定，缺点是没有灵活性，改了需求就要改代码。第二种是朗颤，这是一个专门为程序员设计的框架，他把 prompt 记忆工具都封装成了组建，你可以像搭乐高一样， 用代码把它们串起来，这可比纯手写代码方便多了，但是呢，还是得懂编程。那第三种， workflow 工作流，这是照顾非程序员发明的一个第一代码方式，你在界面上拖拖拽拽连连线就能把流程画出来，门槛极低，跌误人员也能用。听起来很完美，对吧？但是这里有个新的瓶颈， 就是排列组合的爆炸。你想，如果输入格式有这三种输出呢？又有这三种，你得画多少个工作流？三乘三等于九个，如果再加几个选项，比如说是否压缩，是否加水印， 那组合数直接爆炸，为所有可能的排列组合去画工作流，既不现实，维护起来也是噩梦。而且啊，如果你在代码里面写一堆的 excel， 来判断用户想要哪一种流程，又会破坏那一种，我说一句话，你就懂得一个无缝的体验。所以呢，我们需要一种更聪明的方式，既能附用能力，又不需要预设所有的流程。这就是我们要讲的最近非常非常火的概念， skills 技能 use， 它是一种标准化的能力封装单元。大家看这个图，当用户下达一个执行任务的 指令的时候，系统不是让 a 阵从零开始响，而是先去加载一个对应的 skill 点 md 文件夹，这个文件夹里面有什么呢？在下面这个代码块必须有一个 skill 点 md， 这里面写着这个技能的核心元数据，它是干嘛的？需要什么输入？ 产出什么？有哪些流程限制？这就好比给 agent 发了一本操作手册，还可以有 script， 放一些可执行的 python 或者是 bash 脚本，比如说刚才说的提取 pdf 这种确定性的操作就放在这里。还有呢， references 和 assets， 放参考文档、模板、 图片等静态资源， agent 在 执行的时候可以随时查看。这样的好处是什么呢？好处就是不管是谁开发的这个 skills， 只要符合这个结构， agent 都能看懂，能调用。通过 skill 点 m d， 我 们可以告诉 agent， 在 这个任务里，你只能做这三件事，别的千万别乱碰。而且呢， skills 是 很灵活可复用的，今天做翻译用这个 skill， 明天做总结，还用这个 skill， 不 用重复开发。简单来说， skill 就是 把确定的流程和必要的约束打包成一个插件， agent 拿到任务之后，先插上对应的插件，然后在插件划定的圈子里面发挥智能，这就实现了灵活性和可控性的一个完美平衡。不过，即使有了 scale， 当任务特别大、特别复杂的时候，会出现一个上下文爆炸的问题。大家看左边的图，如果所有事情，比如说写代码、修 bug、 查资料、做分析，都塞进主 a 阵的一个上下文窗口里，很快就会挤爆模型，记不住前面的信息，注意力分散， 甚至会把不同任务的线索搞混。怎么解呢？当然是分而治之，引入 sub agent 子智能体，把大任务拆解成小任务，每一个小任务都交给一个独立的 sub agent 去处理。比如说主 agent 负责统计，他说这个项目需要代码审查、调试， 然后呢，还需要数据分析和网页的调研，然后他召唤出这四个子智能体，每个子智能体都有自己独立的 sub agent contacts 子上下文。 sub agent 的 本质是什么呢？注意，它并不是创造了四个新的大脑，它仅仅是做了一个上下文的分区，就像是你在浏览器打开了四个标签页，每个标签页跑不同的网页，互不干扰，关掉一个，其他的还在。这样做的核心目的只有一个， 那就是确保子智能体它的上下文不会污染主智能体，实现信息隔离，调试时的报错日制，不会干扰写代码的思路，调研时的海量网页内容，它不会挤占核心任务的内存，这样一来，无论任务多么复杂， 系统都能保持清晰稳定且高效。好，那我们第三章的核心思想就是不要试图用一个超级大脑解决所有问题，而是要构建一个分工明确、各司其职的一个协助系统。最后我们就来拨开所有技术外壳，回答两个终极问题， agent 到底是什么？ 以及它最终会变成什么样？先看这一张终极 pk 表，左边这个红色箭头很重要，从上到下是从刚性稳定到柔性灵活的光谱。首先，纯代码在最上面，它是完全写死，固定逻辑 步都不能错。优点呢是最稳定，缺点是毫无灵活性，改一个需求就得重写。然后呢是 workflow， 通过拖拽格式化，边看流程，业务人员也能够上手。但是他有一个致命伤，一旦遇到如果用户要 a 格式就走这一条路， 要 b 格式就走这一条路的这种分支流程图就会变得像蜘蛛网一样乱。未来他可能会被封装成基础的能力包， 逐渐被边缘化。第三个是 skills， 这是目前最适合普通人的方案，既有预设脚本，保证稳定性，又留给 agent 的 一定的自由发挥的空间。但我认为啊，它只是一个过度产物，因为怎么说呢，它的结构还是太过于 人工设计感，未来会被更直觉的方式取代。那最底下是纯 agent， 完全交给大模型自由发挥。听起来好像很酷，实则最不可控，最费钱，每一次执行都像开盲盒车啃，消耗还巨大。所以你看， 没有完美的方案，只有当前阶段最适合的选择。而我们的目标就是找到那个既稳又灵的甜蜜点。那既然这么多方案都有，更有优劣，我们能不能问自己一个更根本的问题，这些技术的背后到底有没有一个统一的本质？现在我们抛开所有框架、工具和协议， agent 的 本质到底是什么？ 答案可能让你惊讶， agent 其实就是我们和大模型之间的一个提示词的包装器，你看左边，它自动帮你 夹上下文。呃，搜索网络，查知识库、读技能文档，这些都是为给大模型更多的背景，让他别瞎猜。那右边更关键，他把那些确定性的逻辑外包给了传统的程序，比如说，如果文件是 pdf， 就 调 o c r r 引擎，如果是 word， 就 直接解析。像这种 excel， 根本就不需要 ai 参与，交给代码跑得更快更准。所以 ag 呢，并不是一个全能大脑，而是一个聪明的管家，他知道什么时候该自己思考，什么时候该喊程序员写的脚本来帮忙。最后一句点睛之笔， ag 呢，是由不需要智能的部分构成的。什么意思啊？意思是 真正有价值的地方，恰恰是那些不用问大模型的地方。我们用固定程序解决重复劳动，让大模型只专注于他擅长的创造性的部分。最终的目标从来都不是炫技，而是两个朴素的愿望， 就是节省人类时间，降低使用的门槛。那你想想，为什么 a 阵一定会进化？它的驱动力来自哪里？我们来看这个天平，左边是技术优雅性和 token 成本，右边呢，是用户的便利性。结果很明显，便利性碾压一切。过去我们总纠结这个架构够不够优雅， 这次调用花了多少 token。 但现实是，只要用户觉得好用，哪怕背后是一团乱麻的代码，哪怕一天要烧掉几百美元的 token， 市场也会买单。而且呢， tokyo 成本正在快速下降，今天你觉得很贵的推理费用，明天可能就微不足道了。想象一下，当你能在本地的笔记本电脑上跑一个媲美 gpt 四的模型的时候， tokyo 这个词本身都会消失。就像我们现在不会说我的硬盘用了多少 kb 吧，只会说还剩多少 g。 还有一个很重要的规律，叫做 便利性至上定律。我们参考 spring boot 和 uv 的 经历， rain boot 出现之前，甲方开发要配一堆的车命，同样的，在 uv 出现之前，拍洒虚拟环境的管理让人头秃。它们都不是技术上最先进的，但都是最容易用的。所以啊， 任何技术无论多么精妙，只要让用户多点一次鼠标，多记一个命令，就会被淘汰。最后，我们来聊一下那个最近刷屏的名字， open cloud。 它凭什么这么火呢？难道它的技术比 cloud code 更先进吗？其实扒开底层来看， 它和 cloud code 在 技术上几乎没有本质区别。那它的赢在哪呢？赢在它做对了三件事，却彻底改变了用户体验。第一，你不用打开复杂的 id， 直接在各种社交软件里面就能指挥它。第二，它支持定时任务，它能像秘书一样每天早上八点自动发邮箱， 而不是只会被动地问答。第三，格式化 skill 管理，你可以像装手机的阿皮一样，给他一键添加新功能。就是这三点，第一次让普通人觉得，哇，这不是一个冷冰冰的代码工具，而是一个能真正帮我干活的一个智能体。所以 基于 opencloe 成功，我们可以大胆预测 agent 的 终极形态，未来一定会出现打包好的超级 agent， 到时候所有复杂的 m c p 协议配置， sub agent 的 分工调度，通通的都会被隐藏在后台，用户根本不需要知道背后发生了什么， 只需要说一句，帮我安排一下，下周我要出差，剩下的全都交给 agent， agent 会走到这一步，零配置，开箱即用，越用越懂你。这不是科幻，这是正在发生的现实。 ok， 这期视频就到这里，我们下期再见。
07:07查看AI文稿AI文稿咱们从面试的角度把知识点给它讲清楚，通用型智能体怎么去设计？像我们知道的 open cloud、 小 龙虾、可乐叉 cloud， 还有 tree 这样的智能体，如果让你去做开发，你怎么去设计？ 那么在讲这个之前，我们先了解一下目前我们市场上主流的生态，就是我们的对话式的机器人，工作流行的智能体，通用型的智能体，目前就这三类。我们知道的就比如说像这种聊天框， 这种是最基础的，就是一问一答，单流或者多流对话，你可以生成文案，生成图片，生成视频，这种最简单了，代表的就是像 dbc 的 聊天叉， gdp 的 对话框，这种 是最简单的。还有一类是介于通用型智能题之间，叫工作流的智能题，这类智能题的代表就是我们这靠住 the fear in mind， 这种就是我们把固定的流程给它定义好，用节点拖拽的方式实现编排 这种适合用固定的 sop 的 场景，比如说 ai 知识库的问答内容生成，比如说我可以用它去抓取抖音上呢，或者其他平台上的这个视频转成下载到本地，然后转成文案，文案定改写这种标准性的这类智能题哈， 对我们普通人来说，上手还是有这个成本的，就真正懂技术的从成员的角度来说的话，我们更关注于第三种通用型智能机， 完全不懂技术的用户，我们可能就用这种对话说的卡在这两个中间呢，就是工作流行的智能题，就类似这样，普通用户上手也是比较困难的，我们讲的是我们要开发这种东西，要去开发这样的智能题，你会开发，那么其他的智能题也不在话下。 这种智能题就类似于我们可乐扣的编程的这种方式，比如说我在这里面可以打开可乐扣的进行对话，他接受一个自然语言的描述，然后把任务进行拆分，然后执行。还涉及到比如说我本地的， 呃，我本地的文件的读写改写，还涉及到文件的操作代码执行，还有我们 sku 的 调用，还有回退失败。那么这样的代表的产品我们知道的像小龙虾、 qq 叉，什么阿、阿里的、悟空、百度的、秒答、可乐扣的， 那么这三类智能体他的一个对比，大家可以看一下，这种是最难的，因为他涉及到任务的拆解，多工具的协同，是 qq 钓鱼、文件的读写，还有回退。那么咱们看一下通用智能体它整个的核心的架构，第一层是用户 业务，也就是说在这个地方我们先接收用户的输入的命令。第二层就是持久化， 这句话是什么呢？因为大模型它没法保证连续的记忆，所以说我们是要存储的，这个存储的话，我们这地方要要用到这种对应的数据库，这种你可以理解为就是说我们知道卖售后，但是我们真正的这种体它用的都是向量库啊。比如说像 p r c 核苷、 d b miners， 然后到了第三层就是编排，就说用户的一句话要进行拆分，我拆分成多个任务、多个子任务、多个子智能题，每个智能题干不同的事情，三和四。第五我可能会调一些工具 啊，会调 skill， 就 比如说我们之前的，之前我们讲 m c p 的 时候，我们可以去定义一张的工具，比如这个工具是什么？这个工具是查询税务的工具，这个是读取本地文件的工具，这个是调用天气的工具。 然后我在这个像代码类的这种题，它还给我自动的能给我创建文件，文件的读写，也就是我们第五层 就工具的调用 skill 执行 m c p 的 服务的调用。还有第六层模型，那就说我们的模型，你是用云端的模型还是用本地的模型？你像我们这地方的模型，我们是用的本地的，我拉马部署，哎，也可以用云端的都可以，每一层他干的事情 是不一样的，第一层我们可能根据用户输入的语言进行校验。第二层我们是对这个短期记忆，当前上下文存在内存里面，或者存在库里面，官行税库或者销量库都可以。第三层对我们的这个任务 要进行编排，它自动的去做裁剪，它和我们这种工作流逝的这种题不一样，因为工作流逝的它都是固定的，我们都给它人工给它编排好了。第二步干嘛？第三步干嘛？那么通用型的是需要 智能体自己去做，做决定了任务怎么拆，拆完之后谁来做，如果做了功能出错怎么办？那第四层就是指指智能体，指智能体他会比如说分配不同的任务，每个智能体做不同的任务，负责 搜索的，那就负责搜索，负责写代码了，负责写代码，负责设计 ui 的， 那就负责设计 ui。 那 么第五层就是我们所说的工具，工具就是真正的 干事情的地方，比如说工具，我可以调用具体的函数执行代码我可以调用封装好的 skill， 如图片生成，视频剪辑，还有爬虫。第六层 大模型的选型就最底层我基于云端的模型还是本地的模型，整个其实就是一二三四五六七八，就这六点。然后核心设计的要点，第一个就是我们的这个沙箱 啊，这个沙箱不是我们无前端的沙箱啊，我们的沙箱是我们的智能体，适合我们宿主环境，比如说你是本地环境， windows 麦克不同的环境，那么你要做一个隔离的， 要做文件映色的，本地的目录和沙箱的目录的虚拟。还有比如说你智能体，你如果要删除本地文件，那你需要人工接入的就是黑曼英的 logo， 黑曼英的 logo 需要这种方式去接入的， 比如说你要改生产环境的环境，你要执行部署，你要删文件，这些东西是需要我们人工来确认同意还是拒绝的，如果同意那就继续执行，如果拒绝，那就停止。当然我们的智能体和我们 sku 之间他们的区别就一般的智能体开发，他会在我们的 根部下会创建这样的一个文件，比如说我用的可拉，他会创建一个可拉这样的点的文件，那么所有的 sku 我 可以在下面自己去定义这样的格式 去执行啊。 skill 就是 markdown 格式，那么整个的主智能体的写作，主智能体， 各个主智能体，主智能体我要接收用户的输入，做这个规划啊，拆解任务，每个任务分贝给不同的智能体 a、 智能体 b、 智能体 c， 那 么每个智能体它会做它那一块独有的业务，它有自己的 skill， 它有自己的搜索工具返回结果， 这个他有自己的 sql， 然后调用代码执行，这个可能还有其他的，然后最终返回主智能体，对结果进行汇总返回。当然这里面这一道与智能体之间他有一些对话的记忆啊，流逝的输出啊，这个记忆你存到内存里面还是存到我们限量库里面？ 好，整个的这就是我们整个的投影型智能体的一个设计核心，这思想是非常简单的，但是真正在下面落地，我们怎么样去落地呢？接下来我会给带大家做一个类似于这样的，我们知道的主流的这种智能体他们是怎么样做的？
00:50查看AI文稿AI文稿真看不下去了，有人二十岁靠大模型进大厂年薪百万，有人二十五岁靠开源项目被谷歌挖走。而你二三十岁的人了，一打开电脑就只会打周打瓦，现在就去打开电脑跟着死磕这三件事， 三个月后，你绝对会追着谢我。第一，别想着一步登天，先把提示词写顺 transformer， 懂的大概能把 api 调通，就算过关，慢慢学，别急。第二，踏实学学 r g， 搞明白怎么洗数据， 我们用向量数据库，再顺便看看 a 阵和知识图谱，路子会宽不少。第三，真正上手做个小 a 阵，搞懂 react 这种套路，让 ai 能自己调工具，再试试多 a 阵，一起配合。这套练下来，搭个聊天机器人，或者给公司出个 ai 方案，基本没啥问题。三个月后，直接简历比学历还亮眼 去面试，每个企业都抢着要这个，你说你差哪？要是你也想翻身，但是还不知道如何下手。这套入门到进阶的全套大模型视频教程都整理好了，不管你是想转行做技术，还是只想工作轻松一点，留言学习直接拿走。
110吴恩达-AI大模型
01:44查看AI文稿AI文稿这个 ai 大 模型的服务器马上也是装好了啊，就差显卡要装上了，那么显卡是用的五零九零的 d v 二，那么一个二十四 g 的 显存五零九零 d v 二，我们通常呢这个配置，我们配的是一个二十七 b 的 千万的模型，那么因为二十七 b 的 千万模型是个 dance 模型，那么其他用起来的， 呃好用程度其实比三十五 b 我 觉得还要再好用，因为毕竟三十五 b 是 个 mo 一 模型。像这台设备呢，我们通常会装几个不同的 agent， 比如说千万炮啊，然后爱马仕啊，还有 openclaw， 大家的养虾养马说的就这几个，然后不同 agent 去去干不同的活，包括我们会去内置一些，我们自己创建一些 scale。 呃，其中一个 skill 呢，就是我们的 erp， 因为这个的老板呢，他是一个做服装外贸的一个老板，那么他的 erp 系统是非常复杂的，然后我们可以把他 erp 直接接到这个 ai 的 模型里面，然后他任何时候去 想问任何事情都是非常方便的，包括他可以根据你的 erp 的 呃销量去给你些建议，然后还可以给你一些，比如说这个货哈，我需要多备一点，因为可能要双十一，双十二了，或者国外的黑五都是有可能的 啊。然后还有就是我们会装一个关关于 wps 的， 比如说帮你去做文档啊，做呃 word 啊，这些都是没问题的。我们还会内置好的一个 skill 呢，就是关于知识库，就是我们公司所有的信息 啊，比如说我们的行为习惯，然后一些公司的理念，然后包括公司一些产品，或者一些产品有售后的问题怎么解决？我们全都可以放到这个知识库的文件夹里让大家去学习。那么之后你问他任何事情，或者你的员工去问他，他都可以第一时间去给出你答案。包括啊这个 ai 系统去给你审核一些合同啊，去看看 对我们有哪一些不太合，不太合理的一些合同条款，这都是没有问题的啊。所以这套马上就要装好了，装好之后我们去安装好模型，安，安装好一些工具，那么调试完成之后我们就可以直接发到了。
16老K的Ai服务站
03:01查看AI文稿AI文稿我新换的本地大模型已经准备好了，然后我给他准备了三个问题来考一考。他现在就来测一下我新部署这个大模型的聪明程度和他吐字的速度怎么样。好点完回车之后，那他就已经开始思考了，这个是他思考的后台运算过程。 下面这个是我我台式机硬件的使用情况。那它现在的吐字速度是七点六， to 肯每秒也就是每秒钟五到六个字。那现在 cpu 是 使用率是百分之 百分之八十左右，内存使用率是百分之七十三， gpu 使用率是不到百分之五十，明显就能看出来 gpu 跑得快，要等着 cpu 和内存。他现在已经思考了将近四分钟了，前两个问题已经思考完了，就是最后一个写词，这个会慢很多。 好的，经过了七分钟的等待时间，他终于回答完了那第一个问题，他回答总共是十个人。这个 回答错误，因为喜羊羊不是人，总共是九个人。第二个问题是第二名是没有问题的，你超过第二名还是第二名， 那第三个它生成一些文字符合我的要求，那么它总的生成速度是七点三。一，偷看每秒每秒钟五到六个字我都能接受。那第一个问题我再让他重新回答一遍。 好，那，那第二次又问完了，他回答的依然是十个人，这让我很失望啊，我这次准备和他硬刚，我看看问多少次他能回答正确，应该有戏啊。这人说了，喜羊羊是 actually， 一个卡通的羊，不是一个人。我原本很失望，因为他算出来的还是十个人。 不过后来你看他说的原因啊，就是说这个。呃，如果严格按人类计算确实是九个人，可是这道题的命题意图明显是考察是否记得加自己，因此十仍是公认的正确答案。 我觉得他这个回答吧有自己的态度，然后这个逻辑能自洽也不能说他错了是吧。就是他这个狡辩吧。我觉得 还挺聪明的回答确实是没回答对我心中答案啊，但是这个狡辩还是可以了，还是给他赞一个啊。我之前部署是千万二点五千零币， 这次是千万三点六最新版本的三十五币。上次那个模型呢是你问他一个问题，他每产生一个字就要把他四十个 g 的 数据库都扫一遍，扫一遍产生一个字，扫一遍产生一个字，然后这个混合模型呢总共是二十二个 g。 就是说你问他一个问题他只他是先确定你问的问题属于哪类的数据库先定位定位以后这个数据库也就是一到两 g 他 每产生一个字就扫描这一到两 g 就 可以了。所以呢他这个是一个很聪明的一种工作方法，那也就是说在你的老旧电脑上，在相同硬件上他能既聪明又快的回答出你的问题，这就是他的聪明所在。然后呢也通过一些方法去增加我的大模型的短期记忆力， 也就是通过量化缓存的方式让我大模型的记忆力又上一个档次。那下一步呢那就是把我本地的文件夹或者文件去和这个大模型去绑定，让大模型先去理解我的日记啊和工作方法，然后我再去问他问题看他回答怎么样，有兴趣的朋友呢，也可以从评论区来一起探讨一下。
50范te析
30:28查看AI文稿AI文稿嗯，最近一段时间啊，在本地部署运行这个语言大模型是非常火的，然后我个人认为的话，可能在未来的两三年、三五年的这样的时间里，所有的这个创业者，包括上班的啊，上班族 都会需要去具备这样一个能力，就是去理解大模型的使用，然后去熟练的运用大模型。 所以说今天我就跟大家分享一下在本地部署语言大模型的话的一些经验，然后我不会去讲具体的一些安装的过程，就是怎么安装的啊？这个模型怎么安装的，这个平台怎么安装的 这样一些东西。在抖音上面很多，今天跟大家分享的话，主要就是说什么样的模型，它能够在你的电脑上跑起来，能够流畅的跑起来，它能够帮你去解决什么问题？这个是今天跟大家分享的，然后 简单说一下，就是在本地部署大模型的意思，就是把这些语言大模型安装到你的电脑上，这样子不管是你有网络还是没有网络，你都可以跟他去进行一个问答，然后让他帮你去干活，或者是让他去解答你的问题。呃， 和传统的像我们像豆包或者是 deep deepsea 啊这种语言大模型的话，那它的区别就在于说，呃，豆包这样的语言大模型，它是运行在云端的，没有在你的本地，然后 嗯，如果没有网络的话，你是没办法使用。第二个就是你跟他的聊天的记录，包括你上传给他的文件啊，嗯，他是会上传到云端服务器的，没有私密性。然后对于很多的一些企业来说，包括个人来说，我想保证我自己的一些客户资料或者是自己的私密信息 不上传到这个云端服务区的话，那么这个时候就不建议我们去用这个云端的这些啊模型， 嗯，这个时候我们就会用到在本地部署这个语言大模型，然后目前本地能够部署语言大模型也是非常的多啊，也是非常多。然后我经常根据我的电脑情况的话，我现在目前话主要是用这三个啊， 一个是千万三点六、二十七 b 的 这样一个模型，还有千万三点六、三十五 b 的 专家型的一个模型，还有一个佳马仕啊，佳马仕是谷歌的， 这三个模型是在我的电脑上，我觉得速度和质量都还是比较好的。然后目前整个这三个模型啊，他的实际的一个评测也是在本地模型里面靠前的。 当然这里有一个概念，大家一定要知道啊，就是说对一个大模型来讲，他前面代表是他的名称啊，千万三点六，这个是千万公司的，然后三点六是阿里出的这个模型啊，杰尔玛是谷歌出出的，这个是他前面的这个名字，然后这中间这个就很关键了啊， 呃，三点六和四十他的版本哈，这个不用去管他。然后最中间的就是这个带 b 的 啊，二十七 b、 三十五 b、 三十一 b， 这个表示这个模型他的一个大小，也就是说这个模型的呃，他那个规模什么意思呢？ 举个例子就说他如果是人的话，这个就表示了，就表示了你的一个脑容量越大的话，你可能就会更聪明，如果你的脑容量越小的话，那可能你就 不那么聪明一点，然后能够回答的问题就有限。所以说一个越大的模型，那么它的智能程度是非常高的啊。 像我们家用的话，部署的话有啊，四 b 的， 有八 b 的， 有十 b 的， 有十六 b 的， 然后有二十多 b 的， 也有三十多 b 的， 还有七十 b 的， 这样一些模型都是可以在家用电脑上进行一个配置的。 如果你要追求啊，像很多的一些大公司，像阿里啊、腾讯啊、百度啊这些公司，他们在服务器部署的这个模型，那我们在本地电脑上是肯定跑不了的，他们都是千亿级的这样一个参数，在本地是跑不了的啊。 嗯，所以说我们能够跑的基本是在七十 b 以下的，如果说你是非常顶尖的一些专业的工作站，那你可能会跑到七十 b 的， 然后普通家用电脑的话，基本上能跑到三十五 b， 二十七 b， 就 就基本上是一个天花板了，所以说大家可以一定要去注意看。然后 第二个需要注意，就是说啊，模型还有一些后缀啊，后一个后缀的话，主要是它的一个量化的参数，比如说像杰尔玛这个模型，它这个 i q 四，这个表示它是以四比特去量化的，这个参数会非常重要。我们看这个模型文件，它也会有 像三问千问三点六二七比特的话，它是写的 q 六 k， 也就说它是按六比特进行量化的，量化的程度越高，量化它表示一个模型的压缩率， 如果说压缩的越狠，那他的数字就会越低，比如说四比特，那就是压缩的非常厉害的六比特，压缩中等的巴比特就基本上轻微压缩，十六比特就是完全没有压缩， 完全没有压缩的模型，它质量是最高的，然后稍微压缩一点啊，也是可以使用的，精度没有太多的影响。但是如果是四比特以下的这个压缩率的话， q 二 q 一 啊这种， 嗯，我建议大家就不要用了，这种压缩率太低的话，他会失真啊，就会产生模型的一个幻觉，说这也就是这个意思啊。 q 二 q 六 q 四， 但是不是说越大就越好，这个要看你的电脑能不能装，嗯，至于这个模型能不能在你电脑上去部署，能不能流畅的跑起来，有个很重要参数，非常的简单，我教给大家就是什么呀？就是你去看这个模型文件的一个大小 啊，这个模型的话它是二十二个 g 的， 然后我还装了一个千万三点三点六三十五 b 的 这样一个 q 四的模型，它的大小也是二十二 g 的， 然后这个 g 码三十一 b 的 模型的话，是大概是十六个 g 啊，十六个 g， 对， 然后 这个什么意思呢？如果你的显存是三十二级的显存，或者是你的显存是十六级的显存，你一定要记到一点，就是这个模型文件它的大小绝对不能够超过你的显存，如果说它超过你的显存，也就意味着这个模型不能够完全的加载到你的这个 这个显卡的呃显存里面去，如果不能够加载进去的话的话，然后他就会通过这个内存和 cpu 去进行计算。我们都知道啊， cpu 它是一个多任务的啊，多现成的这样一个处理器，它是干很多活的，但是 gpu 它是 专门去干一件事情的，所以说它的计算速度会非常高，而且这个显存的宽带比内存的宽带是要快很多的， 所以说当你的模型全部加载到你的显存里面的时候，它的进行计算就是通过显卡去计算，那么速度就会非常快。如果说你把它放到内存里面去，通过 cpu 去进行计算的话，那么这个速度就会非常非常的慢啊，所以说大家一定要记住这一点，就是你的这个模型的尺寸， 它的容量大小绝对不能够超过你的显存啊，这里我是配置了两张显卡，呃， rtx 的 五零八零和 rtx 的 五零六零钛都是十六 gb 显存的，加起来就是三十二 g 显存，那么这个显存叠加的话，是在这种语言类大模型是可以去进行一个呃， 叠加的，使用的就是平台会进行拆分，但是你去跑一些像 comfyui 这样的一些生图生视频的软件，它就没办法啊。好，这个我就不讲太多了，大家一定要记住，就是说这个模型能不能在你的本地部署，首先第一点去看它的大小，大小不能够超过你的显存。 第二个很多朋友可能会问，那我是十六 g 的 显存，我去下载一个十五 g 的 一个模型没问题吧？当然没问题，你可以装进去，但是你一旦和他对话说成两句话， 你就会变得非常慢，为什么呢？就是在本地部署模型，还有一个很重要的概念，叫做上下文的一个大小，什么意思？就是你每跟他对对一次话，你，你告诉他的问题，他就会占用一定的容量， 随着你在一个窗口里面跟它对话的次数越多，这个容量就会越大。如果这个容量加上它本身的模型的这个容量，最后超过你的显存，它就会加载到你的内存里面去，加载到你的内存里面去的话，然后这个时候速度就会变得非常慢了。 所以说我们要确保就是说一个模型在自己的显存里面去，不能够到内存里面去，不能够让 cpu 去运行它，不然速度就会非常慢。 所以说大家现在知道了啊，就是你去装一个本地模型，第一要素是它的大小不能够超过你的显存，第二要留足够的空间去给它运行上下文，这个空间大概是多少呢？嗯， 大概一万啊，字节的这个上下文的话，需要的显存，嗯，应该是在一 g b 左右，所以说我们普通的对话的话，基本上你设个嗯三万吧左右的上下文，如果你 用这个电脑的 ai 的 a 检测去帮你干活的话，三万的上下文一般足够用啊，那么三万的上下文的话，然后 呃就需要大概三 g b 左右显存。如果你是去除处理这种长的上下文，比如说几十万这个小说啊，怎么怎么样，那你就需要设置非常长的上下长长的上下文，比如说六十四 k 的 或者一百二十八 k 的， 那么就会需要占到七八个 g b， 甚至包括十多个 gb 的 一个显存容量，那么这个时候你在显存里面一定要留够这个容量，如果没有的话，要么你就去压缩你的上下温，把它这个容量变小一点，要么就是下载更小一点的模型啊， 所以说我的三十二 gb 的 一个显存的容量，呃，那么我去跑一个二十二 g 的 这样一个模型， 我的空间容量还有十 g 左右，十 g 左右当然也还需要减掉两个两到三个 g， 这个是系统需要用的啊，就是你加载这块显卡，系统会用到 的，所以说，嗯，可能我能够用到的容量就是八个 g， 八个 g 的 话我就八个 g 的 话，我就大概能够设置三万到啊，六万这样一个一个上下文的一个长度吧。 好，这个知识大家清楚之后，然后我讲第二点非常关键的什么呢？就是说你下载一个模型，嗯， 它能够装到你的显卡里面去，就是我刚刚讲的就是它的容量绝对它的大小不能超过你的显存。第二，你要留够足够的上下文的空间，然后第二这个模型在你的电脑上跑得快不快，这取决于什么呢？ 嗯，首先第一当然是你的硬件啊， cpu 这个型号越高，它的这个扩大啊，不要去选择 amd 或者是英特尔的这个这个 gpu 啊，英英特尔和 呃，这个 amd 的 显卡，它们目前在进行这个大模型的计算的时候，没有没办法去开这个扩大加速啊，它的速度会非常的慢， 所以说现在恩威达的这个显卡，它的市场占有率已经达到百分之九十多，就是因为它不光是它的库达啊，还有大力水手啊， d l s s 这个在游戏方面表现很好，它的库达在这个大模型计算方面也是非常的有用， 所以说，嗯，建议大家如果真的是想去学 ai， 然后去跑大模型的话，一定要选择这个 omega 的 显卡，然后，嗯，型号越高的啊，就是像四零九零或者五零九零，然后五零八零、四零七零啊，四零八零这种型号的话都是可以的，就是型号高一点。 嗯，但是最重要是什么？就是我刚才想跟大家分享，就是说，嗯，显卡要用 n 卡。第二就是你去跑个大模型的时候，嗯，他的一个平台会非常重要，我现在跑的大模型的话，这个平台是用的这个立马点 c p p。 呃，什么意思？就是说立马点 c p p， 就是 他去跑这个大模型的一个原生的一个环境啊，就是一个环境去跑它， 嗯，但是这个立马点 c p p 的 话，它会复杂一点，你需要在这个命令行 c i i 里面去进行一个部署。如果说很多啊，新进入这个这个领域的小伙伴 啊，想简单一点也有办法，就是去下载一些像 l m studio 啊之类的这样一个呃平台，这样平台它是直接可以在文档上面进行一个安装的，就不需要去输命令，然后安装好打开这个界面就可以加载这个模型，就非常方便。 那么但是有一个问题，什么为什么我现在不用这他们这些平台，就是因为这个 lm studio 啊，我测试过之后，它的速度比原声的立马的话是，呃，每秒钟升升升成那个托肯的，这个速度是会慢慢很多的。 呃，所以说我基本上就是用原声的立马啊。怎么样去装这个东西我也就不讲了，大家可以去了解一下，我今天给大家实际跑一下吧，跑一下这个 好，需要打开一个命令行，然后去输入到我们的一些启动的命令啊，输入到我们的启动一些命令，这些命令的话也不是很复杂，嗯，基本上在在这个在网上都有。 然后这个命令加载的命令的话，主要是就是加载你模型的这个位置，然后一些启动的参数我就不展开讲，现在我去启动一个这个二七 b 的 千文的一个 q 六的这样一个模型啊，把这个命令输进去，然后回车就可以了，然后它现在就是一个加载模型的一个时间， 然后我的两张显卡的话，因为有一张的这个贷款比较低，是 pcie 的 一点零啊，我现在还没有去改它，所以在加载的时候会速度会比较慢，但是跑起来的时候完全不影响啊，就生成这个托肯的这个速度还是非常快， 然后加载的时候可以稍微慢一点，但是已经完成了啊。在加载完磨成模型之后，就会生成这样一个地址，在本地的一个访问的一个端口啊， 幺二七点零点零点一八零八零在一个端口，然后我们在浏览器里面去打开它就可以了。然后这个因为我本身我是已经啊把它收藏起来，现在我就直接打开它，这是立马点 c p p 的 一个基本的界面，我们就可以跟它对话了，你是什么大魔 模型，这样对话的话，他就已经用这个千万三点六二十七 b 的 q 六 k 来进行一个回答，然后速度大概是在三十 to 肯斯每秒左右啊，有时候会快一点，比如说来到四十 这个时候呢，注意看一下，就是我的两张显卡的显存啊，基本上十六个 g 用了十三点六，然后另外一张的话是十六 g， 用了十五个 g 啊，这里面我做了一个权重调配， 然后我的 cpu 啊，它的运算率是非常低的，就基本上它是靠显卡和显存在进行计算，这个就是非常好的，所以它能够保证它的一个速度啊。现在这个大模型的，呃， 评分比较比较高的有哪些 好？然后提些问题，他就可以去跟你进行一个一个解答，然后 我们就可以在本地去使用它，然后本地使用这个大模型的话，好处就在于说，第一如果你没有网络， 你没办法去使用豆包或者 deepsea 的 情况下，你是可以在自己的电脑上去跑这个本地模型的，一样的话是非常智能，像千万这个二点，嗯嗯，千万这个，嗯，三点六，二十七 b 这个模型啊，我实际测过，他比豆包的这个快速的这个模型 是要聪明很多的，和豆包的这个思考模型的话差不多，当然专家模型就没有办法更详细的去进行一个测试了啊， 他也他也的自然程度也是非常高的，所以说你如果没有网络的话，你就需要去部署一个自己本地的模型。第二点就是对于很多的企业或者个人来说， 嗯，因为云端的模型向豆包我提一些问题啊，把我的企业的财务数据我需要去发给他看，然后把我企业的员工的一些信息，或者是我的一些核心商业机密中标的一些东西，我需要发给他去看， 那么这个他会把这个文件上传到一个云端服务器，这样确实私密性不太强啊。但是在本地的话，比如说我上传啊，他现在已经生成完了，我上传给他一张图片啊，上传随便啊，上传给他一张图片我让他看，呃，你看一下我的电脑 配置啊，这样图片给他的话，他在本地进行处理，那么这个，这个你的这个资料，你的呃所有的资料不需要去上传到云端啊，私密性非常强。所以说很多企业 和个人，然后包括一些商家，他的不需要自己的这个客服资料的流失的话，建议都是去做这个本地的部署，然后他在跑的时候大家可以看到啊。 嗯，显存啊，两个显存还没有用完，十六 gb 的 十五点一，然后十六 gb 的 十三点六，也就是说我现在还有大概呃三个 g 左右的一个空间去跑这个上下文，然后不会报显存，不会报显存的话，一个代表就是一个，一个一个表现就是你的 cpu， 你 看 我这个 cpu 的 话，它的一个运行的一个，嗯，占用率的话是比较低的，这样呢不会去影响模型的速度，主要是靠显卡啊，靠你的显卡进行一个计算 好，然后这个就是在本地跑模型的话，嗯，在平台选择的问题，建议大家如果确实不太熟悉这个命令行的话，就可以去选择这个像啊， 然后 a m m studio 之类的这样一些啊，非常简单的桌面平台，然后下载即安装，安装就可以使用。如果说你懂一些电脑的这个呃操作，然后又想去体验这个大模型的一个速度的快速的话，那么就建议大家像我一样去下载一些啊，这个纯底层的， 呃，跑模型的平台，像立马点 c p p， 还有 v l l e m 之类的啊。然后这个就是影响模型速度运这个计算速度的一个很关键的地方。那么第二个点就是什么呀？就是在大模型上，嗯， 下载大模型的话，像你用这个，嗯，像我用这个，立马 c p p， 它比我用这个 l m studio 最好的一点就在于什么？就在于它可以去支持这个这三个字。大家看到没有，这个叫 m t p 啊， 去支持这种 m t p 的 一个模型，但是像 l m studio 它现在还支持不了，这什么意思呢？ m t p 的 话是一种加速的方式， 一种加速的方式，有 m t p 的 模型的话，它的速度会非常的快，没有 m t p 的 模型的话，速度会慢一点啊。这个具体的原理和机制我就不跟大家讲太多，大家可以在网上去了解一下。所以说你想去跑这种 m t p 的 模型的话，建议最好就是用呃，里马，包括这个 v l m 之类的 这个原生的平台去跑，像一些，有一些啊，像这个 l m 丢丢之类的，它现在还用不了这个 m t p 的 模型， 呃，这个也是对模型速度影响非常关键的。然后最后跟大家分享一点，就是说，嗯，我目前啊经常在用的话，主要是有三个，这个人工智能这个智能体啊， 第一个豆包我会也会经常用，有些简单的问题我会问他，因为第一他是纯中文的一个环境，第二在用他用到国内的这个搜索网络的话，去搜索一些东西，速度也是非常快的， 那么我要去学习大模型，要去掌握大模型，要去用本地的一些搭建知识库的人之类的事情的话，让本地模型去不消耗托克的情况下啊，啊不，不是不消耗托克，就是免费，有托克用的情况下 只消耗算力，你的电力的情况下去去用大模型的话就可以用本地的啊，这样一个部署的。呃，还有呢，就会用到这个，像这个 谷歌的这个啊，机密里啊机密里，然后这个是我觉得我用到的这个，呃，怎么说？这个智能体验 非常聪明的一个，非常聪明的一个，然后建议大家如果有这种条件就是科学上网的环境的话，大家可以去试一下啊，这个机密里我觉得是非常聪明的，然后，嗯， 所以说就是本地部署模型的话就是这样一些知识点，当然还有很多很多的一些知识点，然后我希望大家都慢慢去学习，比如说在本地模型的话会加很多参数，这些参数里面最重要的我觉得就什么呢？就是有一个这个参数叫做 f a， 嗯，这么个参数啊， f a 什么意思？就是你在本地去跑大模型的时候，在那个语言环境里面，你一定要去装两个东西，一个叫做 flash attention， 一个叫做 sega attention 这样的东西，然后 flash attention 的 话它主要是去加速这个本地的语言大模型的，你打开它之后啊，你的量化模型会跑得更快 啊。嗯，我在这我在这边再给大家演示一下，我跑这个千问三十五 b 的 a， 三 b 的 这个模型大家可以看一下啊， 哦，我这个模型都是去开启了这个 flash attention 的， 然后，所以说，呃，再加上我用的是 m t p 的 模型啊， m t p 的 模型，然后开启了 flash attention， 所以 说我这个，呃模型生成的速度，这个这个吐字的速度 还是非常的快， 大家可以看一下这个纤维三点五啊，纤维三点六，三十五 b 啊，这个模型是个 mo 模型， mo 是 个专家型的模型，它每次加载到你显存里面的计算量 会小很多，所以说速度会更快，非常的快啊。然后，但是我实测过它和二十七 b 的 模型比起来确实有一点， 怎么说不严谨，或者说有一点傻啊，同样一件事干出来，嗯，它的智能程度，比如说我写了一个围棋的游戏，我用二十七 b 写出来的话啊，我觉得是 ok 的 啊。 除了有一些这个嗯嗯对战的 ai 还需要调整之外，我觉得这个围棋游戏是 ok 的。 但三十五 b 写出来之后，它那个棋盘首先就是非常小的啊，它就不是那种标准的围棋棋盘，是一个可能九乘九的一个棋盘，然后 ai 的 话也是没有反应，需要你自己再去调试， 但是它作为市场的问答是没问题的，我们现在已经打开它了，这个千万啊，我们先去再去试一下，再去试一下，然后 看一下这个三十五 b 的 一个啊，大家可以看到它是千万三零六三十五 b a 三 b， 然后呃一个 q 四 k， 然后杠叉 l 的 这样一个模型也是有量化加速的。我们先问他一个问题，呃，中国从小学到高中的数学教学教育体系 好，我们来设这个问题啊，我们现在看到的，嗯，他的预思考时间会稍微长一点点，这个是因为我显卡插槽的问题啊，是我显卡插槽的问题，我有个显卡的话，他插在那个 pci 一 点零上面，所以说这个加就是预思考的这个速率会稍微慢一点， 如果调整过过后之后，他是是非常快的啊。然后现在他已经在进行一个思考和深层了，然后大家可以看到这个数据大概是在六十四左右。我，嗯，我觉得现在有点不对啊，我平时跑这个数据应该是在 一百左右吧，啊？一百左右吧，所以说九十多一百，所以说这个这个三点六三十五，比这个是很快的啊，是很快的。 然后一些常见的问答，日常问答的话，这个模型是非常推荐大家用的啊。嗯，我说的傻傻的是在做一些非常专业的这个数学，或者是一些啊这个领域的一些计算的话，他可能会比二十七币啊，因为二十七币那么多。专家吗？他毕竟 这个三十五币，毕竟只选了几个专家来回答你的问题，可能说没有那么全面，没有那么深入，但这个模型日常用是非常好用的，非常好用的。嗯， 所以说就是我们现在可以看到我刚才加载这个模型的时候，它会有一些基础的信息，里面有一个很关键的就是在于这个 flesh attention， 我 给大家找一下这个，这个，这个在哪里啊？ flesh attention 没，没看到，这个在命令行里面，有时候你会看到它，然后加载的话是在这个， 我现我现在有点找不到啊，有点找不到。呃，我是没有开启吗？应该是开启了，开启了也可以让看一下这个命令行，也可以让。 对，嗯，我是开启了，但是在这个里面好像没有看到啊，没有看到，现在我也，我也不再去找它了。然后我想告诉大家，就是说 这两个东西啊，一个是 flash attention， 一个 sega attention， 它都是这个本地的一个平台，你必须要去跑本地模型，必须要去装到两个插件啊，这两个插件会让你模型的速度升的速度会非常的快。然后 flash attention 的 话，主要是在跑本地语言大模型的时候加进行一个加速， 还有一个叫做 sega extension 的， 那么主要就是在跑这个，呃， comfy y， 也就是说我们说的这个， 嗯，生成图片或者生成视频的这样一个平台啊。嗯，这样这样的一个模型，一些图上视频，纹身视频，然后嗯嗯，这样一些模型呢，他就会去用到这个 sega extension， 说这两个东西你是必须要去装的，然后还有一些环境， 嗯，像拍缝啊，然后库达这些东西，基本上，嗯比较适合一些老手啊。我们去部署它，在用这个 c u a 这个命令行去部署它的话， 都必须要这样去装，如果确实新人入门的时候你觉得太难了，没关系，你就用这个 l o m studio， 这个也是可以的，它除了就是稍微慢一点点，然后不能去加载 m t p 的 量化模型之外的话，它还是非常好用的。 然后当我们部署这些语言大模型之后，我们还可以去跑一些 ai 的 agent， 然后这这些 agent 的 话，他就可以去帮你干活。像我现在用的这个 anything l l m 这个 agent 的 话，然后 他能够帮我生做什么呢啊？嗯？能帮我做什么？我现在已经连到这个三点五啊，纤维三三点五，这个纤维三点六三十五 b 这个模型上面了，然后就可以直接问他啊，我是配置好的，然后 他就告诉我他能够做做哪些事情。但实际上啊，这个 a 剪子的话，他的这个功能还是比较多的，我们可以看到他的一些这个代理的技能啊，比如说去 进行一个呃资料库的搭建啊，就是我们说解锁生成，然后长期记忆，这个是 ok 的。 然后文档的总结没问题，去网站上抓取一些数据没问题，然后访问你电脑的文件系统，然后能够在你的电脑上去创建一些文文档 图标，包括 ppt， 然后能够去进行联网的搜索，然后还可以连接你本地的这个 呃 s q l 的 这个数据库啊，然后去调取一些，比如说你做商家的，对吧？你的你的数据库里面有很多你的商品的价格，你每次在改动的时候，它可以自动的去进行一个连接帮你调整，然后它还具备了一些什么邮件啊、日历啊，然后呃 outlook 这样一些连接的一些功能去，就就能够去帮你做一些 用 ai 的 这个本地模型去帮你干一些事啊。如果你不是用本地模型，比如说你用到这个他们养龙虾或者是跑这个爱马仕的话，呃去用到这个呃 deepsea， 或者是这个 呃谷歌的这个经理的话，他就会按 talk 给你收费啊，这个费用就比较高，所以说如果你只只是做一些简单的日常工作的话，你就可以在 自己的电脑上去部署这样一个本地的模型，然后用自己的 a 技能去跑，就没有一分钱的花费，他只会消耗你的电费啊，以及你刚开始前期的一个硬件投入成本啊。嗯，这边给大家再看一下啊，就是说，嗯，举个例吧， 嗯嗯，比如说我用，哎用 用浏览器去亚马逊网站帮我 查一下二零二六年，嗯，二零二零二六年四月的热销， 热销电子产品啊，这样一件事情，我生成给他之后，然后这个 agent 他 就会调用你本地的模型进行计算， 然后你可以看到他他的一个计算过程，然后他同时会用到他的 agent 的 功能，就去用他的一个内置的或者是你自己电脑上安装的一些浏览器去搜索这个网站，然后去 找寻这个结果，然后反馈给你，反馈给你之后，你还可以让他去生成一个什么 excel， 威尔，威尔的这样之类的一个表格，储存到你的电脑上，就相当于帮你干一些简单的活，这个是没问题的， 所以今天跟大家分享一下，就是说本地这些模型啊，我不讲安装，我就给大家分享一些经验，就是他怎么样跑你电脑上，大家一定要记住这个模型的大小不能够超过你的显存，而且你要留一一一定容量的这个上下纹， 然后同时的话去选择模型的话，呃，最好选择量化模型啊，量化模型，然后带 m t p 加速的那样些量吗？量化模型，然后平台的话，如果你呃 比较精通电脑，就去用这个 c u i 的 命令行去部署一些这个底层的一些跑模型的平台。嗯，如果你不太精通的话，如果是一个电脑小白的话，就直接去网上去当了这个 l m studio 之类的，这些啊，一个桌面版的模型平台就会非常简单。 然后，嗯，今天就跟大家分享这么多吧。然后如果后面会有一些教程的话，也是把我以后在跑模型方面的一些经验给大家分享一下， ok， 拜拜。
101东岳游隼SC
00:40查看AI文稿AI文稿你觉得搭单个智能体很容易，但任务一复杂，需要多智能体协助时，就容易出现延迟、无响应、降至结果对不上。这还不怪大模型不好用，是你没有做任务编排，谁负责，什么执行顺序怎么定，失败了怎么查，结果怎么传递，这些没设计清楚，就始终是个玩具项目。你看这本丛林构建 ai agent 第八章，专门把多智能体实战讲 透了。从任务拆分到角色分工，从写作流程到执行链路设计，还配了完整的 long graph 实操案例。更关键的是啊，它清楚地告诉你，什么时候用中心化编排，什么时候用点对点写作。这一步就是你 能力进阶的分水岭。如果你已经不是纯 agent 的 小白，你要做的也不是一次性的玩具项目，这本书强烈推荐你来一本。
66摸鱼队长小王
09:56查看AI文稿AI文稿ai agent 是 一个小程序，它负责在用户 ai 模型和功能函数之间进行传化。比如说我们想要让 ai 帮忙管理文件， 但模型本身没有办法直接捕取咱们的硬盘，所以我们需要提前写好一系列的文件管理函数，再把这些函数注册到 agent 里面， agent 就 会把这些函数的信息啊，通过 system prompt 或者繁星 call 的 方式啊告诉 ai 模型， 于是模型就可以返回指令，引导 agent 去调用相应的函数啊，去完成用户的请求。现在我们回到代码，今天我们要开发的是一个简单的 ai agent， 它负责管理 text 的 文件夹下面的文件内容。在当前文件夹下，我们目前一共实现了五个文件，那么它们分别使用不同的编程语言实现了一部分代码， 其中包括像 python， java， c 语言，还有 gs 等等。那我们要实现的 ai agent 能够啊通过代码的内容啊，去识别到它对应的编程语言， 然后再修改对应的文件，给他添加上对应的编程语言的后缀。那这个就涉及到本地啊文件资源的这样一个修改和读取， 那到底应该如何去实现？接下来我们先给大家去分享我们的第一个代码，也就是我们的 tools， 咱们的这个工具。 那我们前面讲到过 ai 模型，它本身是不具备修改我们本地文件的这样一个能力的，所以我们需要把这样的能力啊通过工具来实现。 所以在这里我们现在已经实现了三个功能函数，第一个就是 read file， 然后第二个 delete file， 然后第三个是 relive file。 那么对于这三个功能函数啊，它们的作用，首先第一个 read file， 那 么它接收一个参数啊，叫 name， 也就是我们的文件名，然后它会去打开这个文件，然后去读取它里面的这样一个内容， 然后 list files， 那 么它会来到指定的这个文件夹，然后去循环地去读取啊这个文件夹下面所有的文件， 然后 rename file， 那 么它的作用的话是有两个参数啊，一个是 name 啊，就是我们原原文件的这个名字，然后是一个 new name， 那 是我们一个新的这样一个名字啊，所以它能够去完成这样一个名字的这样一个修改， 那么这个代码啊，就是我们通过排序语言来实现的。那么在这里我们需要去注意的是，对于不同的功能函数，那么对于我们的参数的名字，我们应该要尽可能的啊，符合我们的这样一个功能的这样一个含义，包括 name， 那 么它指向的是什么， 对吧？ read file， 它指的是什么？以及我们在功能函数当中啊，我们所编写的这一个什么 description， 那 我们的这样一个功能函数的描述，那也要尽量的清晰简洁，那这样的话能够方便让我们的大语言模型啊，能够去进行这样一个识别。 好，所以我们在了解完这一个 twos 这个工具文件之后啊，接下来我们来到咱们的主文件，也就是问文件当中啊，那么在问文件当中的话，那么我们是通过这个 piect 啊，那么通过这样的一个 工具啊来实现呢，我们的模型的初使化啊，以及我们整个 a 镜头的这样一个创建。那么在这里的话，我们首先来看第一个，也就是我们这个模型的初使化，那么我们采用的是这个呃， deepsea 啊，就我们用的是 deepsea 的 这个模型 啊，大家可以看到啊，这个地方是我们的一个接口，然后那我们的 api k 的 话，我们是把它放到这个，因为这个文件当中的，所以大家的话可以自行去添加啊，然后模块的话就按照这个一样的去进行使用就 ok 了啊，那我们在创建好咱们的这个 大别模型这个 model 之后啊，接下来我们就来创建咱们的 a g 的， 那么在 a g 的 当中啊，我们一共给到了三个参数， 第一个参数就是我们的模型本身 model， 然后第二个是我们的 system promise， 是 我们给的一个系统的一个提示词，就是告诉我们的 a 检测，那么你是怎么样的一个身份？ 然后接下来我们把我们的整个的这样一个工具啊 tools 哎传进去了，那么在这个工具的列表当中啊，咱们一共是有三个工具啊，就是我们前面已经实现的 read file， 然后 list files， 还有这个 rename file 啊，一共是这三个。好，然后接下来那么我们的主函数的话是这个 m 函数啊，那么在这里的话，我们是实现了一个 while 循环啊，就是我们可以通过不断循环的方式啊，去反复的和我们的这个模型啊，来进行沟通啊，或者叫咱们的 agent 来进行这样一个沟通啊，那它的这个调用的方式啊，就是这个 agent 点 recent 啊，那么这个就是 实际啊，执行的这样一个方法，那么它接收的参数就是咱们的这个 user input， 就是 我们的用户的一个输入啊，咱们接收到了， 好，接收到之后啊，那么我们的这个结果啊，是在这个 out put 当中，那么在这里的话，大家可以发现我们写了一个列表啊，叫 history， 那 么用来记录什么？用来记录我们的 历史的交流信息啊？那么这个数据的话，我们是用来完成我们的多轮对话，那否则的话，如果没有这个这个历史对话的话，那么你每一次执行这个功能，它 或者说你每一次需求他都要去重复的去执行一些功能，比如说文件我前面读过了，后面我又还要再去读啊，所以他就会有反复啊，所以我们那张把历史的这个对话也给他加进去了啊。 好，那么接下来的话，我们就来运行咱们整个程序啊，我们看一下那么他的一个实现的一个效果。那首先我们运行咱们的代码。好，那么第一个就是列出所有的文件啊，我们先让执行第一步。 好，那么我们可以清楚的看到，那么现在他自己啊去调用的一个方法，叫什么叫 list file 啊？也就是列目录啊，但是这个地方我们看一下有没有问题了，好像有点问题，因为我们地方应该是 list file， 好 像是少写了一个 s。 来，我们看一下。 好，当然我们这边打印的话，是啊，没有手写啊，那这个是他自己去执行的一个结果啊。好，然后我们可以看到，那么他在这里我们列出来的这样一个文件列表有没有问题？没有问题啊，是正常的。 ok， 好， 那么接下来我们让他读取啊，分别 读取文件中的内容，好，那么文件内容我们其实前面已经讲到过了，就是通过不同的编程语言啊来实现的。好，那么我们可以看到，那么他一共啊调用了五次这个 read file 的 这样一个方法，分别去读取了 a、 b、 c、 d 啊，这个几个文件啊， 好，然后每个文件它的这个内容如下，当然我们可以看到，那么它针对于什么？它针对于我们的每一个文件啊，它的这个输出啊，它其实有把对应的编程语言有给我们做一个输出，比如说 a 它是用 python 写的，然后这个 b 它是用 java 写的， 然后这一个 c 的 话，它是用 c 语言写的，对吧？还有这个 d 呢，是用 go 语言写的，还有这个 javascript， 哎，都已经念出来了。然后接下来那么它既然已经识别到它对应的这个编程语言了，然后我们再让它根据 啊对应的编程语言啊去修改文件的后缀名， ok， 好， 那我们同样的再把这个需求提交给我们的一个 a 级的，那我们其实通过现在啊，这几次的这样一个啊执行，我们其实可以发现啊，那么对于我们的 ai 来讲， 如果说他在不具备部署这个工具的能力的情况下啊，那么他是没有什么，他是无法去读取咱们本地的文件，也没有办法去修改咱们本地的文件的。但是现在， 哎，我们会发现啊，他可不可以了？他其实已经可以了，包括在这里我们可以看到，对吧？已经修改好了，那我们现在把这个暂停掉啊，退出掉，好，退出掉之后来，我们现在看咱们这个一个文件来，各位 能看得到吗？好，那么现在啊，我们所有的这个文件啊，都已经自动的加上咱们这个后退，也就是说啊，他已经具备去修改咱们本地文件的这样一个能力了，所以这就是，哎，我们的 ai agent， 他 不光啊能够去 告诉我们应该怎么做，那他还能帮你去做啊，比如一个很简单的需求，对吧？我不知道这个代码是用什么写的， 对吧？那以往你去问这个模型，他只能告诉你，对吧？这个是用 java 写的，那如果说你要改户对，你要自己去改，但是现在他可以自己去改啊，这就是我们通过 tools 工具的能力啊，去增强了啊，这个模型啊，他的这样一个 可以去完善的这样一个功能啊，所以这就是一个最基础的 ai agent 的 架构啊，逻辑并不复杂，但背后的机制啊，却很有意思啊。那所以希望这个视频啊，也能够帮助到你啊，更加清楚的去理解整个流程。
245懂点大模型
