企业一旦基于 c u、 d a 深度开发,整套代码很难直接迁移到国产加速卡。从英伟达转向国产芯片,往往意味着数据中心、基础设施、软件及工程流程的全面重新设计。二零二五年,英伟达在中国 ai 加速卡出货份额约百分之五十五, 按机构预测,二零二六年将萎缩至百分之八。华为升腾 c i n n 已全面开园开放,国产替代正加速放量。市场需要的是一套有完整工具链、能解决锁定与易购兼容难题的算力生态加运维加资产盘活三位一体,才是算力服务的未来。
粉丝1.2万获赞23.6万

逼自己三十天学完,其实你很会 agent 警告,本视频耗时三个月,制作共计六百分钟,一口气带你从入门到精通课程讲解部分都有清晰的标注,请放心使用。普通人做 agent, 上下文一报就直接调 api 做全量总结,结果不仅要卡顿干等几十秒, 关键的代码细节还全丢失了。生产级的工程团队根本不会搞这种粗暴的操作。今天我们就来拆解顶级 agent 的 背后默默执行的这一套多层级的压缩机制。 本期视频我会带你从最底层的 kv 缓存的原理开始,一层一层往外拆,重点是第二章和第三章,我会帮你把生产环境中最实用的五种上下文压缩模式彻底给拆解清楚,看看顶级系统是怎么在毫秒级清理过期代码 减掉废话是错,甚至靠派生代理在不破坏缓存的前提下做全量提炼的。接着带你看这套架构在遇到连续报错时,是怎么靠垄断机制做到确定性降级的。最后呢,我们再提炼出几条可以直接用到你项目里面的工程启事。不管你是想解决自己项目里的 token 爆满问题, 还是想在下一次 ai 架构面试里经验面试官这期视频都会给你一套可以直接抄作业的方案。我们先说背景,很多人第一次做创下文管理,往往呢会卡在成本和性能这两个硬指标上。 现在大家都在用几十上百万 togg 的 大窗口模型,乍一看空间挺大的对吧?但真道的生产环境,比如说写个复杂的 agent 去重构代码,那个消耗速度简直会超乎想象, 每一次请求发过去,可不仅仅是打进去的那两行字,系统提示词、工具定义,嗯,还有项目记忆文件这些静态配置,先占掉一块,接着模型读了一个八百行的服务类文件,小测试吐出了几百行,日日再改一下代码,产生了一堆 diff, 这么折腾个十来轮, 那十几万头梗就没了,窗口很快就会见底。很多人遇到这种情况,第一反应呢是顺手调个 api, 让模型把之前的对话全量总结一下。这其实是一个坑,全量总结不仅要干等数十秒,更要命的是, 那些原本重要的代码细节,在总结之后就再也找不回来了。要避开这个坑,我们需要先搞清楚大模型底层的一个计费和缓存的逻辑。 现在的 api 服务商普遍是采用了 kv 缓存技术,它的工作方式特别像数据库的联和锁影,是从请求最开始一个 token 一个 token 往后精准比对的。只要发过去的文本前缀跟上一次完全一致, 那么服务端呢,就会直接附用这个缓存,不仅响应是秒级的,计费也便宜的多。反过来,如果我们在中途擅自改动了历史消息里的某一个字,哪怕只是删了一行过期的控制台日制,那么服务端就会认为从改动了这个地方开始,后面的缓存全都失效。 这就导致十几万头梗重新重算,花钱不说,速度还非常慢。所以整个架构设计的最高准则就是历史消息,能不改就不改,能往后追加就追加,能标记删除就要标记删除,一定要捍卫前缀的绝对一致。 好,我们搞清楚 k v 缓存的保护原则之后,我们再来看具体的工程落地。在实际项目中,有一套从轻到重层层递进的一个压缩模式。首先是第一招, 延迟加载与决策冻结。我们再让 agent 读取大文件或者长日期的时候,最忌讳直接把几千行的代码硬塞进这个对话历史里。更合理的做法是,先把完整的文件呢暂存到本地词盘里, 消息里面只留一个包含原数据的锁影卡片模型,需要细节的时候拿着锁影去读本地文件就可以了。这里面有一个特别关键的细节,叫做决策永久冻结。就是说,一个文件第一次进入到历史记录的时候,系统就会决定它是保留完整的内容还是压缩卡片, 一旦定下来,这个形态就要永久锁定,后续绝不二次修改。因为一旦改了形态,哪怕你只是把卡片展开,后面的前缀缓存就全废了。 顺着这个思路再往下走,除了文件内容,对话里面呢,还有很多过程产生的废话,比如说,嗯,路径错了,我再换一个找了一下,发现报错了这种试错的记录。对于这一类已经被证明无效的尝试,我们可以直接来做物理裁剪,把尝试失败 纠错这一整段逻辑数从历史里剪掉,只保留最终修正后的正确指令模型不需要记住失败的过程,他只需要知道当前对的方案就可以了。 点完之后,系统会立刻更新本地的空间指标,这样不仅直接腾出了 token 空间,还能避免因为容量误判过早去触发后面成本更高的一个重度压缩机制。然后第三招针对的是那些过期的文件快照和命令日制 代码被改了好几版之后,最初读进来的那个代码快照就已经过期了。这个时候清掉旧结果。我们有两种完全不同的处理策略,取决于当前的缓存状态。如果用户一直在连续对话,处于热缓存状态, 为了不改动本地文本导致前缀失效,那系统就不会直接去删本地的消息,而是向服务端发一条独立的编辑指令, 只抹掉服务端内存里的旧文件内容。这样本地发出的请求前缀一个字都没有改,缓存仍然是百分之百命中,但是服务端占用的空间被成功的释放了, 那如果你中途去喝了杯咖啡,上了个厕所,连接超时,导致缓存本身就已经失效了,也就是冷缓存状态。这个时候就没必要客气了,本地直接触发滑动窗口,只保留最近五次的执行结果。更早的旧快照全换成内容已清除的占位符, 那么当前面的清量手段都用完,空间还是会触及红线的时候,就需要用到重量级的手段了。这就是第四招,代理克隆。 按照常规的思路,全量总结会触发一个全新的 api 请求,这会导致呢,历史缓存全部失效。但是这里哦,做了一个非常巧妙的伪装,系统会派生出一个克隆代理,把它发出的请求前缀复制的和主干流程一模一样, 只在整个请求的最末尾偷偷追加上一句,请对上述内容进行总结。因为前缀完全重合,那这一次全量总结就直接享受到了近乎百分之百的 k v 缓存命中。这里必须要加一个非常严格的限制,就是工具封印,因为克隆代理继承了全套的工具定义, 那模型一看到工具列表,那他就很容易手贱去调用搜索或者是读文件,导致总结任务失败。所以提示词里面呢,就必须写死,仅限纯文本输出, 任何工具调用,直接判别为任务失败,从根源上杜绝幻觉。那他拿到了总结之后,输出的内容不能是一篇随意的散文,必须是严格的九段式结构。这里面要包含最初的目标技术战,动过哪些文件,踩过什么坑,以及当前的一个进度。其中有一个强约束, 就是在写下一步的时候,模型必须一字不差的引用用户最后的那一句原始指令,防止模型在提炼过程中把业务语义给曲解了。 总结生成完最后一步叫现场重建,系统会重置系统级提示词,从词盘里捞出最新被修改过的最多五个核心文件贴上去,把全套工具声明重新装载好,最后把九段式总结附在最下面,同时还要附上一条衔接指令, 直接接着干,不用复述。对用户来说,整个上下文切换是完全无感的,体验非常丝滑。其实前面四招呢,都是战时机制,最后一招才是日常的防范手段,后台亦不增量提取。我们如果在每一次需要压缩的时候,都需要模型去通读数十万 token 的 历史, 那算力开销太大了。更优雅的方式就是在用户日常对话的间隙,逗留一个后台微模型, 每当对话积累了新的增量片段,微模型就悄悄把这一小段要点提取出来,追加写进本地的笔记文件里,这个过程化整为零,成本非常低。等主线真的触发全球压缩的时候,直接挂载这个笔记文件就行了,完全免去了几十万头等的通读开销。好 讲完前面那些压缩技术,如果不配上一套硬核的融错和协调机制,那么生产环境分分钟会出事故。 接下来我们就来看一下系统是怎么做到确定性降级,以及这五种模式是怎么组合流转的,以及这五种模式是怎么组合流转的。在复杂的自动化系统里,最可怕的不是单次失败,而是死循环。比如我们要触发克隆代理去生成。总结, 万一模型幻觉,强行调用的工具或者是连续报错怎么办?这里面就设计了双重的安全底线。第一重叫确定性降级,如果克隆代理违反禁令去调用了工具,系统会立刻剥离伪装,直接阻断克隆流程, 降级为一个不带前缀的标准权量。总结请求,虽然这一次牺牲了缓存命中率,但是能够保住业务交付,拿到最终结果。然后第二重叫熔断拉闸, 如果是网络或者模型服务异常,系统会启动重试计数器,只要连续失败达到三次,熔断器直接拉闸,强制停止当前塞室内的所有自动化压缩,尝试,转为人工干预。这个设计非常关键, 曾经有个项目因为没有写熔断模型,在后台疯狂的死循环重试压缩,一晚上好像烧掉了上千美金,有了熔断就能彻底杜绝这种算力灾难。接下来我们把这五种模式横向对比一下,你会发现他们的工程取舍非常明确,延迟加载和无效裁剪 属于零成本或者极低成本的手段,缓存命中率百分之百,信息几乎无损,在绘画初期和调试阶段要频繁的触发,然后安全擦除则是在热缓存状态下,用极低的编辑开销去抛弃中间太快照。而克隆压缩呢,是属于重量级杀招, 它的算力成本和信息损耗都是最高的,所以只能在触及容量红线的时候作为危机手段来使用。至于后台亦不增量,他走的是独立进程,对主干对话的 k v 缓存零打扰,通过平时化整为零,大幅拉低了局压缩的成本。 我们底层架构就是根据这三个维度,缓存、生命周期、算力成本以及这个信息损耗度,在运行时动态选择最优解。 最后呢,我们把这些组件给串起来,看一下一个完整的上下文,生命周期是如何流转的?请求刚进来的时候,输入层会先做分流,超大文件直接走延迟加载,斜入磁盘,紧接着进入监控层, 实时评估当前的托管容量,只要空间比较宽裕,就直接交付模型执行。如果发现局部有溶于,比如说有连续试错或者过期快照,监控层会在后台无感触发、无效裁剪和安全擦除,把水面降下去。当水面彻底见底进入危机层, 系统会先调取后台溢不累积的一些笔记文件,然后触发克隆代理,进行结构化重构。重构成功以后,主干流程恢复正常执行,如果中途失败超过三次,或者违反了权限规则, 直接触发兜底层的确定性降级和垄断。这套五层嵌套互相兜底的组合拳,才是生产阶 agent 能够几千轮对话不败的底层真相。聊完了整体的架构设计,我们最后来提炼一下这套机制能给我们的 agent 的 工程实践带来哪些真正的启发。大家做 agent 的 开发到后期就会发现, 一个卓越的 ai 系统往往不在于怎么去堆砌复杂的 prom, 而在于对底层算力和内存管理的精细掌控。 这里呢,有三个硬核的工程点,第一个是分层与分片管理,我们要彻底摒弃那一种一股脑把所有上下文塞满窗口的懒惰设计架构师必须像设计数据库多级缓存一样,把静态的 prompt 配置、运行时的快照数据以及历史对话进行严格的分片隔离, 给后面的局部清理留下空间。第二是把保护 k v 缓存当成第一生产力。我们要像关注数据库所以命中率一样,关注大模型的一个前缀命中率。所有的历史交互必须遵循追加或者标记删除的原则,绝对不能轻易的去篡改这个历史数据。最后是核心计算列录的结偶, 主干对话必须要保持极度纯粹,专门用来做关键决策。至于权量总结、记忆压缩、自我反思这些高耗时的任务,全面下放到低级别低权限的子在里去异步执行, 不占用主干的上下文空间。 ok, 回顾一下我们今天讲的内容, lotcode 的 上下文管理本质上就是在性能、成本和体验三者之间裁钢丝,还有一套渐进式的压缩组合拳, 让用户感觉 agent 永远能够记住上下文,会,永远不需要为重复的计算多花冤枉钱。希望今天分享的这套生产级工程经验,能对大家接下来涉及自己的 agent 系统有所帮助,我们下期再见! 去大厂面试 ai 架构岗,面试官要是问你,你们的 agent 记忆管理是怎么做的?你可千万别张口就答,用限量库和 r a g 捞历史记录拼 prompt。 我 保证,你只要这么回答,面试官心里就已经给你打了个大叉。 为什么?因为懂不懂!生产级的记忆架构就是年薪三十万和六十万的分水岭。今天这套大厂都在用的分层记忆系统设计,绝对是帮你拉开简历差距的降维打击。 本期视频我们先来聊聊项链库加 r a g 在 真实项目里留下的两大工程盲区,把这些让人头疼的病音给一次性揪出来。 然后我们会直接给出解药,手把手带大家设计一套四层记忆架构体系,教你用内存和结构化数据库做分流,把 token 消耗直接砍下来。 紧接着我们会拆解大厂常用的 lvp 工程骨架,看看怎么做敏感数据的脱敏和状态控制。最后也是最硬核的部分, 我们会解锁双时间机制和程序性记忆,解决让人抓狂的持续冲突,让你的智能体真正学会自我进化。在视频的末尾,我还专门整理了一套递进式的答题套路, 帮你把这套架构变成面试和简历里的吸金利器。好,我们先来聊第一个让人头疼的硬伤。在计算机的世界里,语义相似度真的不能代表强一致性的精准匹配。我们可以用日常生活中一个非常接地气的例子来理解,比如我们去快递驿站取快递,我们要的是什么? 是精确到每一个数字和字母的取件码,对吧?这个码少一个数字或者中间错了一位,我们都是拿不到快递的。在我们实际的商业项目里,这种需要绝对精准的信息简直太多了。像是企业的纳税人识别号、精密设备的字编码,或者用户的身份证号、 优惠券代码,这些数据都有一个共同的特点,那就是需要百分百强一致性的精准提取,错一个制服,整个业务流就跑崩了。但是我们回过头来想想向量数据库它是怎么工作的? 它是把文字转化成像量,然后去计算彼此在空间里的语义相似度。这时候如果你用向量检测去查这些确定性的信息,它就会开始犯糊涂。它可能会觉得岁数 a 和岁数 b 看起来差不多,甚至自作聪明地给你匹配出一个相似的 id。 结果就是 整个系统里引入了大量的噪点和逻辑错误大模型,拿到了错误的数据,当然只能胡说八道了。这种用模糊匹配去解决精确问题的做法, 在生产环境里就是一颗定时炸弹,避开了第一个坑。还有一个更隐蔽也更难解决的问题,那就是时间维度的盲区。我们来模拟一个极其常见的业务场景,假设我们有一个智能助手, 在 t 一 时刻,用户跟他说,我下个月要搬去杭州住,这时候系统老老实实的把这条物理状态存进了项链库。过了几个月,到了 t 两时刻,计划赶不上变化, 用户又跟他说,因为工作变动,我现在改去成都居住了。同样,这条新状态也被存进了项链库。好了,现在智能体需要帮用户订机票或者推荐外卖了, 他在后台去项链库里解锁用户现在的居住地在哪?哎,这时候灾难就发生了。因为住在杭州和住在成都这两句话在语义上是不是高度相似? 向量数据库是没有时间观念的,他只看语义像不像。于是他开开心心的把这两条记录同时捞了出来,一起塞给了大模型。智能体看着手里这两条打架的信息,彻底傻眼了。他根本分不清哪个是现在进行时, 哪个是已经失效的过去完成时,最后的结果要么就是他产生幻觉开始乱猜,要么就是带着过期的错误信息继续帮用户做决策。 这就是为什么只靠传统 r a g 的 agent 永远只能在测试阶段跑一跑的原因。所以,在动手写代码之前,我们必须在观念上做一次重构。记忆真的不是简单地把聊天记录找个数据库桶丢进去就完事了。一套合格的记忆系统,核心任务是协助智能体 把那些零散的原始交互沉淀,转化成可以随时调用的经验以及可以执行的知识体系。要想实现这个目标,我们在工程设计上必须死磕三个维度。一个是读写策略, 我们要根据数据的易构属性进行分流,决定什么样的数据该存到哪里,什么时候用什么样的方式读出来,绝对不能再搞一锅炖的粗暴设计了。另一个是时态管理,我们要让系统建立起对状态变更的敏感感知, 能精准的区分哪些是已经成为历史的过去,完成时哪些是代表当前最新事实的,现在进行时。还有一个是经验附佣,我们要把用户和 ai 之间那些有价值的零散的对话 转移,并固化成标准的操作流程,只有这样才能赋予智能体越用越聪明、不断自我进化的底层能力。顺着刚才说的三个设计维度,我们经过多次项目迭代,总结出了一套非常实用的四层记忆架构体系。 你可以把它想象成我们人类大脑的存储机制,分工极其明确,各司其职。我们可以把它横向切成两大模块。首先是临时交互层,它是内存级别的,专门用来处理那些变化极快、 生命周期很短、不需要长久保存的临时信息。这里面包含了第一层的绘画源数据以及第二层的滑动窗口。接着是核心状态层,它是需要写入硬盘做持久化存储的, 负责维护智能体的长期核心认知。这里面又分成了第三层的用户结构化档案卡和第四层的近期对话摘要。 通过这种分层,我们把不同诉求的数据完美隔离开,彻底告别了以前单一向量数据库带来的存储混乱。 好,我们先来剖析第一大模块,也就是临时交互层,这层在设计上的核心要求就是四个字,清亮、高效。我们来看看这里面的第一层 绘画源数据,它完全是驻留在内存里的,比如当前这次聊天的 session id, 用户是从微信进来的,还是从官网进来的渠道来源标记 或者是当前对话的临时控制凭证,我们的处理策略是随用随弃,绝对不占用宝贵的数据库存储去持久化它们,以此来保证整个系统运行的极致清亮。 紧接着的第二层是滑动窗口,它充当的是大模型的短期工作记忆,因为大模型的 context window, 也就是上下文窗口是有限的,而且随着字数变多, token 的 费用也会飙升, 所以我们只在这个窗口里保留最近几轮的原始交互。我们的策略是严格执行先进先出原则,一旦新的对话进来,导致总长度触碰了设定的最大上限, 系统就会默默地把最老的那一轮历史丢弃掉,这样既保证了聊天不中断,又把上下文控制在了一个非常高性价比的区间。 那么那些需要长期记住的高频的关键信息该怎么处理呢?这就需要依靠核心状态层来斗敌了。来看第三层用户结构化档案卡,比如用户的首选语言是中文,他的账号级别是 vip 客户,这些高频的静态的 k v 属性, 我们会选择存在关系型数据库或 nosico 数据库中。关键在于我们读取这些核心数据时,完全绕过了向量检索,我们直接通过精准的 key value 方式去读取,这样 就从最底层的物理层面上彻底杜绝了向量匹配可能带来的任何噪声。还有第四层近期对话载药对于那些已经超出了滑动窗口,但又包含重要业务线索的长篇对话, 我们不会傻乎乎的把原文直接存起来。我们会用一个小模型或者后台任务,把它们高度压缩,提炼出核心主题、核心意图和关键实体,用这种高度压缩的栽药去代替永长的原始上下文,既保留了长期的语义走向,又帮我们把大模型的 token 消耗和调用成本压到了最低。 有了这套分层架构之后,在工程落地时,我们又会面临一个很棘手的挑战。大模型其实是非常脆弱的,它没有办法直接消化底层的庞大杂乱, 甚至有时候互相矛盾的原始日滞流。为了解决这个矛盾,我们必须引入一套被称为 l v p 的 工程骨架,它的核心思想就是把底层的审计底座和上层模型读到的即系完美的,也就是不可变账本。 用户的美剧输入智能体,调用了什么工具、执行了什么动作,都以事件的形式单向追加到这个账本里,它是只争不改的,数据源头永远不会被覆盖, 这就保证了任何一次决策都可以安全回溯。中间的 p 叫做 policy, 也就是控制策略,它就像一个精密的拦截网,定义了记忆在什么场景下能写、 怎么规则下能读,以及遇到隐私数据时该怎么拦截。最后的 v 叫做 views, 即任务派生,试图这就是专供大模型获取的状态卡片。 policy 策略会根据当前的具体任务, 从不可变账本中动态的提取,并聚合出最干净、最相关的,试图直接递给大模型,引入了 l v p 股价之后,你在做企业级开发时, 会发现很多以前觉得无解的合规和隐私问题,现在都迎刃而解了。比如我们经常会遇到用户或者监管部门提出这样的隐私合规要求,我想注销账号,或者请把我刚才输入的公司机密密码、银行卡号在系统里彻底擦除。 这时候传统的架构就很尴尬,如果你去底层的物理账本里硬改硬删,不仅开发成本极高,而且会直接破坏整个系统底层审计的完整性,万一以后出了安全事故,你连查都没法查。 但如果我们采用 lvp 架构,这个问题就变得优雅极了。底层的来者,也就是包含原始敏感对话的账本,我们完全不去做任何物理修改,依然保留最完整的底层审计链条,只允许最高权限的安全审计系统访问。 当上层需要生成 views 试图给智能体工作时,中间层的 policy 策略会立刻介入,它会自动执行脱敏和屏蔽规则,把敏感字段 全部替换成红色的被遮蔽标记。这样智能体拿到的工作上下文是绝对安全合规的。而底层的安全追溯又完好无损,兼顾了合规与追溯。刚才我们一再提到时间维度的冲突,尤其是像用户搬家 地址变更这种棘手的问题,在工程上,我们是通过引入双时间戳机制来优雅破解的。简单来说,就是系统里的每一条事实记录,都必须贴上两个完全不同维度的标签, 帮智能体精准感知数据的生命周期。一个是系统时间,在工程上叫做交易时间,他记录的是这条信息写入数据库的物理绝对时刻,通常对应我们代码里的数据库创建时间字段, 这个时间是只争不改,用来做底层物理存储标记的。另一个是业务时间,叫做有效时间,它代表的是这条客观事实在真实的物理世界中成立的起始时段。 它是用一个时间区间段来表示的,也就是从什么时候开始生效,到什么时候截止失效。有了这两个时间戳,底层的运行机制就变了。当 agent 需要去解锁某个信息时,查询器会自动过滤, 强制通过有效时间轴进行当前状态筛选,只调取在当前这个时刻成立的数据。刚才我们聊了半天理论,现在我们把刚才用户居住地变更的例子拿出来实战演练一下, 看看在底层代码和数据层面到底是怎么跑通的。首先第一步,我们要做旧状态的闭环。当系统收到用户要搬家到成都的消息时,我们绝对不删除原先住在杭州的那条历史记录。相反,我们去更新那条历史记录的有效截止时间, 把它的截止时刻修改为用户搬迁发生的那个绝对瞬间,这样旧状态就安全闭环了。接着第二步, 我们做新状态的开启,我们在数据库里新增一条记录,写入用户住在成都,并将这条新记录的有效起始时间设置为当前这个时刻。最后第三步,当 agent 去解锁用户地址的时候,查询扫描器会自动在后台附带一个当前时间的过滤器, 因为当前时间只落在成都这条记录的有效时段内,所以系统只会精准匹配并召回成都这条数据。 住在杭州的那条历史记录虽然还在数据库里,但因为它的有效时间已经截止了,所以绝对不会被捞出来,彻底避免了新旧状态并存导致的与易交叉污染。解决了状态冲突,我们再来聊聊怎么让智能体具备真正的高级智慧。这 就不得不提程序性记忆了。我们可以用日常学开车的经历来打个比方,我们刚去驾校学车的时候,脑子里必须时刻绷着一根弦,现在该不该踩离合,怎么挂挡?打方向盘要打几圈? 这时候我们的每一个动作都需要经过大脑极其融长的推理和思考。但是等我们开熟练了,所有的动作都变成了肌肉记忆, 一上车就能自然启动,根本不需要再动脑子去想。我们对 agent 培养也应该遵循这个规律。当 agent 遇到一些高频复杂的长链条任务时,比如去排查自动续费异常,处理复杂的退票规则。它一开始可能要经过七拐八绕的长链条推理, 艰难地调用各种工具,犯错好几次才解决。这时候我们的系统会悄悄抓取它这一次成功的决策轨迹和工具调用链, 经过优化和提炼,把这一串复杂的流程封装成一个独立的、可附用的 skill 技能。下一次如果再遇到同类型的任务, 智能体根本不需要重新去推理规划,它会直接加载这个固化好的 skill, 跳过昂贵的推理过程,直接按标准步骤干活。这不仅帮我们省下了大量的调用成本,更让智能体的表现像个经验丰富的熟练工。 聊到这里,我们不妨从一个更高的高度来俯瞰一下整套生产级系统设计的通关路径。构建一个高可用的 agent 记忆系统 从来都不是一蹴而就的,它是一个非常严谨、循序渐进的系统工程。如果你正准备在团队里启动这个项目,建议也按照这个递进式的架构全景来做。 我们的第一步是要明确痛点,必须摒弃对项链库的盲目迷信,直面向链解锁在精确匹配上的无奈,以及在时间维度上的盲区。 紧接着的第二步,我们要构建起四层防御线,通过绘画、滑动窗口、结构化档案、近期栽药这四层,把易购数据进行精细化存储和分流过滤。在第三步,我们要搭建起动态股价 l v p 工程模式和双时间戳机制,引入进来, 去优雅的解决状态冲突、持续混乱以及隐私合规的难题。只有做好了前三步的铺垫,我们才能在第四步顺利实现闭环自我进化的终极形态,也就是沉淀和赋用程序性记忆,让自能体具备像人一样的自眼境能力。 好了,今天的内容分享到这里就接近尾声了,在结束之前,我想把这句在实践中交了无数学费才换来的感悟送给大家。一套优秀的 agent 的 架构,它的本质从来都不是去盲目的无脑的堆砌大模型的能力,更不是去读哪个大模型的参数更大,而是要通过我们今天讲到的 极其结构化的记忆设计,以及严谨克制的工程边界,把那些混沌不可控的语义转化为确定可靠的生产力,只有这样,智能体才能真正的在企业级生产环境里落地生根。非常感谢大家能听到最后, 如果你觉得今天的硬核分享对你的开发工作或者求知面试有所启发,欢迎点赞收藏,我们下期视频再见!

很多人看到 c 加加工程师,会以为是做底层开发,但这个岗位本质不是写 c 加加,而是把 ai 模型真正跑在手机或嵌入式设备上。这个岗位到底在干什么?这滴表面写的是 算法部署 c 加加优化模型轻量化, arm 设备实时推理。翻译成人话就是,你要把原本在服务器上跑的 ai 模型压缩优化,适配到手机或边缘设备上运行, 而且要求低延迟、低功耗、小内存实时响应。这不是普通开发,这是工程化落地能力。真正的能力门槛儿在哪里?这个岗位要求的不是会写 c 加加,而是 性能思维。你要非常敏感,内存怎么分配, cpu 怎么调度,是否触发缓存失效,推理延迟多少毫秒,这类人往往对慢有强迫症。系统级理解, arm 架构交叉变异多现成,你不是做页面,是在跟硬件打交道。 ai 工程能力,模型量化减脂、 o n n x 转换推理框架优化,这是 ai 算法加系统优化的交叉岗位, ai 会不会影响这个岗位反而相对安全?原因很简单, ai 可以 帮你写代码, 但他无法替你做性能权衡、架构选择硬件调优。移动端 ai 部署是高度工程化工作,不是深层代码就能解决的,真正会被替代的是写普通业务代码的岗位,这种偏底层加性能优化的岗位,权内很难被 ai 完全接管。发展前景,这个方向属于 边缘计算端侧 ai 智能设备自动驾驶,未来几年模型越来越往端侧迁移,这个岗位反而是增长方向。但问题在于, 他技术门槛高,学习曲线陡峭,不是短期速成港值不值得入场?适合,喜欢底层,喜欢性能优化,能啃文档,对系统架构感兴趣,不适合只想写业务逻辑,不想碰底层调优,不喜欢 debug, 对 性能问题没耐心。这不是普通 c 家家工程 师,而是移动端 ai 落地工程师,难度高,但技术含金量也高,短期累,长期值钱。

lanchain 和 lan graph 有 何区别?同样是大模型开发框架,为啥有的项目用 lan 券顺风顺水,有的却非得用 lan graph 才能落地?这背后的底层架构逻辑差异究竟在哪儿?今天直接讲清楚。 lan can 对 比 lan graph 流水线 vs 流程图现在大模型行业已全面进入工业级 a 阵爆发期,要 是还分不清这两者区别,架构选型时很容易掉坑。这里梳理了一份大模型 a 整开发的系统学习路线及配套教程,留下大模型就发视频,分五步,先看透 link chain 的 流水线法则,再拆解 lan graph 的 图计算状态机,接着聊聊二零二六年这俩框架对行业的影响。最后来个硬核差异对比, 还会送大家架构师专属选型口诀。先看第一块什么是 line chain, 如今它进化的很稳健,就像工厂里精准的单向流水线做基础文档问答,也就是 r r g 流程,接受用户输入剪辑资料,让大模型生成文扁解析数据,流程固定且单向向箭离弦不回头,这叫 d a g 模式由 像无环图数据像流水线上的零件,过一个工位就到下一个,优点就是快,没有中间循环的逻辑损耗。但要是模型发现解锁资料不对,想退回去重搜,在啷欠标准模式下很难,因为它是瞬时状态,跑完一步销毁一步记忆的手动添加是极致的。流水线任务变复杂, 像模型要抵败个重跑或多个智能体讨论流水线就不行了。这就到第二块 land graph 会思考的循环状态机 land graph 牛在哪里?再引入图计算焊全区状态架构图中间的全区持久化状态很关键,像游戏存档点, ai a 证处理复杂,跨部门审批逻辑,突然断电,或许人工确认不想从头跑。 land graph 的 check point 机制能让任务随时暂停或恢复,还支持时间旅行,能回历史节点重跑决策智能体发现工具执行报错,能迅速转回去,重新规划二零二六年金融、法律等严谨领域。 ai 算完的听着等人类确认,人机协同才是工业级落地。再看行业现状,单纯跑 demo 没意义。多智能体携做成标配,每 连 lan graph 这种图计算框架玩不转,涉及信任危机的行业。 lan graph 状态中断机制,让 ai 计算人类把控决策,扫清大模型进入核心生产线的最后障碍。对比一下 lancon, 最优场景是单次问答 企业标配 r a g, 文本翻译响应快,代码量少。 long graph 战场是代码修复自动化工单需多不规划的复杂中台,定义节点稍繁琐,但容错和灵活性强。关键点来了,如果追求秒回答案且流程固定,选 luncheon 要模型自己想办法找工具,还需人类审批的任务,选 long graph。 今天分享快结束了,送架构师选型避雷口诀,任 物线性明确,一次性选 long chain 任务需纠错,循环时间跨度长上 land graph 涉及老板审批、人工干预业务,借助 land graph 断点持久化。记住,技术选型没有最好,只有最合适。

朋友们大家好,今天我这个野生城学员再来给大家分享我的编程经验。之前几期我讲了项目的整体架构,也讲了数据库里面的模型是什么。今天的主题是数据模板层,也被称为 schema 层。虽然这种技术类的东西比较枯燥,但是如果你用得到,建议你先收藏起来,避免之后找不到。 很多人在刚开始学后端的时候,接下来就会遇到一个很大的疑问,模型都已经建好了,为什么还要写一个 schema? 这个东西到底是干嘛的? 这一期我就专门给大家讲清楚, schema 到底是什么,它在项目里起什么作用,它是怎么运转起来的。先说一个简单的结论,如果模型是数据库层的结构, 那 schema 就是 接口的数据格式说明书。这个解释非常重要,特别是你在 ai 编程的时候,如果你之前没有开发过 ai, 可能直接帮你省略这一层。 ai 一 开始很可能会把这两个东西混在一起,以为数据库里怎么存接口就怎么收, 就怎么吐出去。但真正做项目的时候根本不是这样,数据库关心的是怎么存得下,存得稳,查得到,所以模型里更在意的是自断类型表、结构、关联关系、锁影这些事情。 但是接口不是给数据库用的,接口是给前端给客户端调用的,前端在意的是我该传什么字段,哪个字段必须传哪个字段不可以传这些字段,应该传字母串还是数字后段,最后又会怎么返回给我?这些事情其实都不是模型层最擅长管, 所以这个时候就要用到 steam, 你 可以把 steam 想成一个数据管理员,他专门负责管接口这一层的数据。比如在我这个项目里,很多发布资源的场景,像商铺、办公楼、厂房、活动场地这些业务,都会有一堆的资产。 假设前端现在要调用一个发布商铺的接口,他会传一个请求过来,里面可能有商铺名称、面积、租金等等这些信息。 这个时候,后端不会立刻把这堆数据直接丢进数据库,而是先让 simon 过一遍。那为什么要先过一遍呢?因为前端传的数据不一定是对的。比如商铺所在的城市没有填,面积没有填,或者是本来应该填数字的填成了文字, 这些字段明明不该让前端传,他却传了进来。这些问题如果不在入口先拦住,后面的业务逻辑就会越来越乱。所以 simon 的 第一个作用就是做输入较验。也就是说,数据一进来,先看格式对不对,字段全不全,类型合不合理,如果不对就直接报错, 如果对了,再往下走。这就是 schema 的 第一个身份,他向门卫负责进门检查,但他不能只是门卫。他还有第二个身份就是翻译官。因为数据库里的子段和前端真正需要看到的数据不一定完全一样。比如数据库里可能还有很多内部子段, 包括创建时间、更新时间,还有和发布人的关联啊,审核状态等等,甚至还有一些系统自动生成的数据。这些字段有些前端不需要看,有些不能直接看,还有一些需要改个名字,或者整理一下格式再返回, 这时候 schema 又会出场一次,当后端把业务处理完之后,不会把数据库原始内容一股脑全返回给前端,而是先经过响应, schema 把真正要返回的字段整理好再发出去。所以 sima 其实管着两头,前端传进来的时候他负责检查, 后端返回出去的时候他负责整理,你可以把它简单的理解为,进门的时候他是安检员,出门的时候他是包装员。那 sima 在 整个系统里面到底是怎么运转的?你可以把流程理解成这几步,第一步,前端发送请求。第二步,数据模板先检查这次请求的数据格式。 第三步,检查通过后,数据交给业务逻辑层,也就是服务层。第四步,服务层处理完任务,再去调用模型跟数据库打交道。第五步,拿到结果以后,再经过一次响应, schema 整理数据。 第六步,最后才把结果返回给前端。所以在整个系统里,数据模板其实是夹在前端请求和后端业务中间的一层, 它不是用来存数据的,也不是专门写业务规则的,它是专门负责接口数据长什么样子的。这个概念一旦理解了,你就能明白为什么很多后端项目里都会把模型和 schema 分 开写, 因为这两层解决的是完全不同的问题,模型解决的是数据库怎么存, schema 解决的是接口怎么收,怎么验、怎么回。所以在一个稍微正规一点的项目里, schema 其实不是可有可无的,它就是接口这一层的规则中心。总结一下,这一期你只要记住一句话, 模型是给数据库看的, schema 是 给接口看的,前者负责储存结构,后者负责数据进出。明白了这些之后,再讲到服务层、路由层,整个项目分层就会一下子清楚很多。 我是阿崔,如果你对我是怎么从零基础搭建起了自己的 app, 有 兴趣的话关注我,我会完整分享我的开发逻辑,以及如何指挥 ai 帮我干活。

我问下你啊,你们团队现在写代码用这个 ai 写吗?嗯,用。嗯, cloud 哈萨了都在用的需求让它深层那个效率确实高。 ok, 那 你有没有遇到过一个问题,就是简单的需求 ai 它写的很好,复杂需求来回改了十几轮还是不对,它问题是出在哪里呢?只求描述不清楚的话, ai 很 容易跑偏,每次都以为改好了,实际上还是不对。这就是 ai 时代归约驱动要解决的个核心问题啊。过去是人写代码,归约是给人看的一个接口文档,现在 ai 写代码,归约是给 ai 的 一个 执行指令,角色的一个变化,导致归约的个性质也变了。我用 open s, p c 和 superpowers 这类工具的一个经验,跟你拆三个转变,我专门整理了一套最新两百万字的 java 加 ai 的 一个学习路线图, 想要系统学习提高竞争力的小伙伴,扣六六六直接暴走。第一个转变呢?归曰从描述文档变成了可执行的一个任务拆分。你给 ai 说帮我写一个用户注册接口, ai 生成的东西大概率是不符合你那个预期的,因为这句话太模 a 的 自由度,它太大了。正确的个做法是把需求拆分成一个归约文件,每一个归约文件定一个小任务的一个范围和约束。比如注册接口的一个归约里写清楚字段,它有哪些调用规则,是什么密码,用什么加密算法,失败的时候返回什么错误码和错误的一个信息数据库表的一个结构,它是怎么样的?这个归约文件本身就成了 交给 ai 的 一个执行入口, ai 拿到归约生成代码,你 review 的 一个标准就是 ai 的 一个代码是否符合这个归约,不用去凭感觉判断好坏了。第二个转变呢?反馈的一个沉淀方式变了,你跟同事配合他写的代码有偏 差,你口头告诉他这个地方改一下就行。但 ai 每次对话都是独立上下文的,口头改一遍,下回他还是记不住,所以返回必须落实到归约文件里面去。 ai 生成完代码,你跑通后发现了三个遗漏,去修改归约文件,把遗漏补成约束,再让 ai 基于新的归约重新去生成。就 久而久之,归约越来越完整, ai 的 一次性生成的一个准确率也会越来越高。工具层面, open s p c 就是 做这个事情的,它管理归约文件的一个版本和变更的一个历史,让你每次对 ai 的 一个反馈沉淀到归约里,不会飘在对话的一个记录里。第三个转变呢? 从怕需求变到归约变,就自动适配。传统开发里,需求变了就要改一堆代码, pm 改了,需求开发就头疼。但在归约驱动的一个流程里, 你把需求变化直接更新到归约文件里面, ai 基于新归约重新生成受影响的代码,用 superpowers 可以 在归约变更后自动触发对应模块的一个 ai 重新生成。你指 review dev 确认 ai 改对了,没有需求变化从灾难变成了正常流程。所以 ai 时代 s d d 的 核心是 把 ai 的 需求写成结构化的归约文件,迭代反馈沉淀到归约里面,需求变更 自动触发, ai 重新生成。对,过去我们纠结 promont 怎么去写,是因为把 promont 当成了一次性口令在用,归约驱动是把 promont 工程升级为归约工程,你追求的是一次写出完美的 promont, 还是在建立一个可以持续引进版本管理自动执行的一个归约体系?两者的一个上限完全是不同的。 ai 写出来的个代码质量上现在你归约的一个完整程度不再模型它本身。

世界杯 ai 预测接连命中比分和细节,真的有那么神吗?很多人以为是 ai 开了天眼,其实在软件开发从业者里,他和爆火的 ai 短剧底层架构完全同源。第一步,输入赛事数据、球员状态、场地信息,就等同于写结构、话题、诗词。 第二步,数据建模分析,对标数字人特征驱动。第三步,大模型推演概率相当于视频逐帧渲染, 最后再整合结果批量处理所有赛事,靠的就是后台任务队列。其实所谓的精准预测根本不是玄学,只是成熟的自动化 ai 系统。想挖掘技术架构,搭建系统,不妨点赞收藏,持续了解。

ai 用开发如何从零干到四 k? 今天这条视频不看就是你的损失。无论你过去是零基础,还是前端加码,产品测试等等,只要你想干 ai 行业这一整套体系,都会对你有所启发。我将会从核心方法论开始,以及你们如何准备 学历要求,要学哪些东西,整个零到四十的阶段,毫无保留分享给你们,你会发现我的理解跟所有人不一样。首先,你们想上四十,得先知道这个四十从哪里来。记住我这两个点, 领先产生溢价什么意思啊?一六年移动互联网兴起,我刚好是这个时间入了行,人家玩解宽瑞的时候,我玩 react, 所以 人家六 k 八 k, 我 十四 k。 同样的道理,人家还在玩 supreme 的 时候,你在玩 supreme bot, 这就是领先,你才会溢价。第二个叫深围,你们在面试的时候要做到维度提升,这是我经常讲的。 很多人拿着项目中的一个小点,在面试里反复说我写了一个什么 excel 中间件,我对数据库做了一个分不分表,你反复说就是在反复证明你只是项目中的一颗小螺丝钉。你没有权衡思维,所以你的定位撑死了就是一个熟练的流水线功能,你的薪资撑死就是多少十五 k, 你 要深挖,把维度占高,整个项目我来负责我该做什么,整个团队我来负责,我该做什么。你在面试中体现这些玩意,那你的角色就提高了,你是项目负责人,你是架构师,四十 k 才会来呀。 ai 岗位的薪资范围,大家可以打开 boss 去搜一下,请注意,一定要把你的期望岗位改成大模型相关学历,大专起 ai 岗位没有低于十五 k 的。 如果到今天为止,还有人在说,哎呀,搞个 ai 要博士要硕士,直接把我视频划走,拉黑。 我们是在大模型的基础上做业务开发,又不是让你从零到一,造个 deepsea, 要什么博士硕士啊。如果你想转 ai 业务开发,你需要具备哪些前置知识?首先第一个编程基础, 你至少得会个拍摄,不难吧,一两个星期就学会了,但是想转应用开发,对零基础来讲非常非常难。为什么?因为 ai 的 项目他对综合能力要求是很高的,他需要你精通 ai, 懂一些前端,懂一些后台。所以零基础同学最难的地方在,哎,我学了个拍摄,但是 ai 我 不知道怎么上手,其实就是因为你们缺少了一个衔接过渡的阶段, 因为你去找市场的任何资料,一个前端,一个后台,上来给你几百节课,你都不知道从哪里开始学起,所以这里就需要有个人帮你从开审然后到 ai 开发这个过渡梳理清楚。很多小白入了这个门,就是因为缺少这个过渡。 如果你已经是前端或者后台,那我相信在 ai 时代啊,你去学力门上手很快。所以说转个 ai 对 于干过程序员的同学来讲,没有什么太大难度。接下来我再说一下产品或者测试啊,我就说一个点啊,比如说你要找 ai 产品经理, 那么我请问在一家公司,无论是产品还是项目经理,你想做到总监这个位置,大概率是什么?是不是技术出身?因为只有懂技术的产品,才能更好的理解业务,才能知道程序员他能做个什么玩意出来,不会提一些伪需求。像产品、项目经理、测试这种岗位想走的更远,是不是得懂技术, 所以这个就叫升维,你是做开发,你要升维技术领先别人,你做产品你也要升维,你懂技术的产品会更有竞争力,薪资也会更高。好, ok, 接下来我们来讲第一个阶段选什么啊?第一个阶段主要是打技术基础,为后面的项目做准备,比如说首选一元拍摄,你不要听人家说什么 java、 node 也可以干 主流是拍手,我们干就干主流啊。啊,记住我一句话,扎瓦漏斗,狗肉不能上正弦,你不要听人家说什么哎呀,小龙虾不就是漏的弦吗?但是它不是主流啊,主流还是拍手啊。然后 log 减走,增强向量数据库, long, jump, graph, ig 的 流程,停止工程,大拇指 ip, 包括模型微调训练,这些都是前置支持。 一切都是为了第二个阶段搞项目做准备。比如说我们设计项目的时候,你要去考虑一个是业务匹配度,第二个是技术匹配度。我举个例子,比如说你做几个非常冷门的业务,比如说医疗啊,全国都没有几家公司,人家一看,哎,你 这方向跟我们不匹配啊。所以在项目阶段就要设计尽可能所有公司都能用到的,比如说客服啊,知识库啊, 运营系统啊,你要去找这种几乎所有公司都能用上的,那你的匹配度才高啊。第二个叫技术匹配度,很多人一上来对这个囊腔的项目死做,你做十个八个有什么用呢?那万一你去面的公司,人家不用囊腔呢?人家用拍摄原声的写怎么办呢? 所以项目阶段我们要考虑业务匹配度跟技术匹配度,比如说你拍摄原声的能不能搞一个囊腔的,能不能搞一个模型微调训练的要不要搞一个?万一人家要训练模型呢, 对吧?那你在做的过程中就要考虑我的项目整个流程怎么从零到一的, ai 的 服务是怎么编排的?包括 tuas 啊, skas 啊, mcp 的 服务是怎么部署啊,怎么设计的?还有项目的健全啊, 包括整个全流程。因为 ai 用开发这个岗位,很多公司上来就是让你一个人全干的啊,前端后台 ai 的 服务。但是现在有个 ai, 大家都不要慌, 未来所有的程序员干活是最简单的,难的是你的思维啊。第三个阶段,那我们项目做完之后,你是不是得对整个项目去做持续的优化?因为一个真正稳定运行两到三年的项目,他一定是不断迭代,不断优化的。那我们在优化阶段,首先你得去学习大模型的原理, 原理是啥?原理就是你的方法论,在你后面做优化是需要一套理论知识去支撑的,你不懂原理,那什么都扯淡。比如说 cpu 缓存全对缓存混合解锁怎么提升召回率,以及我们项目做到一定阶段,可能还得模型微调强化,学习 sft、 dpo 以及我们为模型的数据,你要不要做数据清洗,包括评测级。最近很多企业问的也非常多,你怎么保障你的大模型输出的结果符合用户需求?这个就要评测级去解决啊, 以及制度系统整个链路的追踪,我要找到问题啊,以及 rap 呀,大模型的性能优化、并发垄断, 以及我们项目再降级,这些都是,对吧?所以我们要从稳定性、性能各个方面去考虑项目,那这里就到了第三个阶段,那第三个阶段基本上就对应市场的三十 k 没什么问题。第二个阶段能做项目,那就是二十 k, 第一个阶段不能干项目,找不到工作。 所以我怎么说 ai 起步就是十五 k 呢?比如说你本科到第二个阶段能干活,现在就是二十 k, 你 大专学历低一点,你少要一点行不行?要个十五 k, 用技术弥补学历啊?但是你总不能说,哎呀,我大专想跟本科同起跑线,不行, 谁让你年轻的时候不努力呢?学历劣势是永远存在的,但是不是没有弥补的机会,把技术搞上来。好,接下来我们来看第四个阶段,这是真正的能够让你们上四十 k 的 原子弹啊,也是我们跟所有人不一样的地方啊。前面我们说了叫升维, 第一个阶段打杂,第二个阶段你是项目骨干,第三个阶段你是项目负责人,那到了第四个阶段我们继续升维。你如果说作为一个团队的总监,你该考虑哪些问题?比如说我举个例子, a、 b、 c、 d、 e, 那这些项目我怎么统筹规划?比如说我们要考虑你公共设施上面要有 m、 c、 p 的 集群,你的 skills 包括业务设施,你的整个业务的集群, 那在这些集群你是不是还得考虑些问题?比如说我们的 a 型的路由,那假设我们 m c p 的 服务有八十个啊,我们这五个服务,那我们项目 a 运行的时候,它依赖哪些 m c p 的 服务? 我不可能把八十个全部拉进来吧?所以这里就需要电信的路由。第二个跨电信的记忆,什么意思呢?我一个公司,他是一个产品矩阵,比如说我有了客户,他进了 a 系统, b 系统、 d 系统,那不可能说,哎呀,我用户进了 a 系统, 说我是谁,我是谁,那 d 又不知道 a 是 谁, a, a 又得说一遍,哎呀,我是谁我是谁,那这样是不是显得很业余?你们做的不够好, 那我们还是要去做跨 idea 的 记忆,也就是说只要客户进了我们的系统,你进任何地方,我们的 ai 都能知道你是谁。第三个叫可观性测试啊,因为前面我们讲的整个认知链路,最终它是对于一个项目来讲, 那如果说我们有多个项目, m c p 的 集群,业务的集群,当业务调度上出现问题的时候,我们是如何监测、测试以及解决的最后一个问题健全,那我们这么多的项目啊,我们这么多的 m c p 的 服务如何去健全?比如说,哎,有没有权限调这八十个中的多少 m c p, 那 包括 b, 那每一个项目跟 m c p 它的权限都不一样,那我怎么把它统一规划起来?对,这就是整个爱情的集训要考虑问题。人家友商只停留在第二个阶段的时候,不好意思,我们已经到了第四个阶段,所以领先才能产生溢价,这也就是我给大家能够上四十 k 的 底气。人家出来只是让你说,哎呀,我做项目厉害,但是我让你直接出去吹 风口来了,你不干自然有人能干,清华北大不如胆子大,出来就跟我说我是总监,辅助给我要四十,辅助要八 k, 就 这结束,这就是 ai 的 本质,你学会了吗?

面试官问,已有 function calling 和 blankade, 为什么还需要 m c p? 如果你也有这个疑惑,那说明你思考了。 但今天我要带大家跳出写代码的视角,从架构师的视角来看这个问题。本视频的代码笔记,我整理进了一百万字的 ai 大 模型学习笔记里了 a j n t 智能体开发项目的与一百多个企业落地项目实战笔记。 ai 大 模型学习资料可以在主页置顶群里。大家好,我是彭宇。来,我们往下滑,我们先看左边这张图, 这是咱们现在大多数人写 ai 应用的现状,我把它叫孤岛模式。大家看场景 a, 这是典型的行性调用,你仔细想想你是怎么用的? 你是不是得把查询数据库、发邮件这些逻辑死死地写在你的客户端代码里?这就有个大毛病,高藕合。哪天你想换个模型,或者你想把这个查库功能搬到另一个 app 里去?哎,你会发现搬不动,得重写。再看场景 b 来,而且很多同学爱用,觉得封装得好。 但大家想过没, long kind 的 two 本质上是啥?它就是一段 python 代码,如果你团队里后端是写 go 的, 或者是写 java 的 怎么办?或 你现在想在 ctrl 这个编辑器里直接调用你写的工具 long kind 就 傻眼了,因为它不仅跨不了语言,还出不了它那个框架的圈子。这呢就是我们现在的痛点,代码是一次性的,没法通用。那怎么解这个问题呢?来看右边,这就是 m c p 架构,如果不理解, 大家就把它想象成计算机界的 usb 接口。大家看下面这排 server post gchat slack 在 m c p 架构里,工具不再是代码片段,它变成了独立的服务进程, 这就意味着什么?意味着下面这个 server, 你 可以用 go 写,用 raw 写,用 node 点 j 写,无所谓,只要你接上了中间这根 usb 线,也就是 m c p 协议上面的 cursor 就 能直接用, claud 桌面板也能用,你自己写的 agent 也能用。 看到底下这句话了吗?一次开发,处处运行,这就是为什么我们要费劲部署独立 server 的 原因。为了自由, 我们把工具从业务代码里硬生生拆了出来,让它变成了可以插拔的组建好。讲到这,如果你觉得细节有点多,没关系,最后这三点,作为架构师,大家一定要印在脑子里。第一,架构解偶,别再把业务逻辑塞进 ai 的 肚子里了。 m c p 让 server 变成独立进程 以后,数据库团队写数据库的工具, ai 团队写 ai 的 逻辑互不干扰,这就叫节藕。第二,生态赋用。这才是降本增效的大杀器,你辛辛苦苦写好一个连接公司内部 a p i 的 工具,有了 m c p, 全公司全平台的 ai 都能供用,这就是 n 乘 m 的 网络效应。第三,安全与标准。 大家注意, m c p 不 仅仅是调工具,它还能挂载资料,挂载提示词,它甚至可以部署在公司防火墙后面,作为一个统一的安全 ai 网关,让大模型在安全合规的前提下访问数据。所以同学们回到最开始的问题,为什么是 m c p? 因为它不是在重新造轮子, 它是在给 ai 时代修路,路修通了,标准统一了,咱们的应用才能跑得快。好,关于这个架构图,大家理解。

现在 ai 越来越火了,上个周进了两个 ai 开发的项目,第一个 ai 项目是做一个 ai 知识库,然后进行 ai 的 各种提问,完美的打造了个人的 ai 知识库。开发周期的话是六周,开发费用的话是五万块钱,采用的开发技术站是 uh 步特加 v u e, 三 加 p s, 然后用到发售的 api, 数据库采用的是埋设口,搜索引擎的话采用的是 es, 然后本地部署模型的话是用的欧拉玛,然后还接了一个 ai 客服的系统,这个开发周期的话是两个月, 然后开发费用的话是八万,这个是面对的是一个电商的一个公司,他们就是客服比较多,现在有二十多个客服,我们要给他做二十多个场景,包括购买就是引导用户去购买,用户咨询某个产品,我们可以给他推荐一些优惠的政策,然后还可以 给他自动回复,然后还有一些退款的政策,假如用户想退款,我们可以调我们的 ai 智能体,引导用户去退款,这样的话就不用我们的客服了,包括我们我们一些电商的政策也都是可以给这个用户去推荐的。 现在 ai 真的 改变了各行各业,各种 ai 的 定制单,我们也在不断的开发,如果你想开发 ai 相关的业务,包括一些智能体呃大模型,我们这边都是可以开发的, 帮助企业提高工作的效率,帮助企业去减少呃人工的成本。奥利给,然后作为程序员呢,也是必须去拥抱 ai 的, 现在可拉我的和 jimmy 去生成代码也是非常方便的,如果你还是想搞技术的话,必须要全站搞起。

人工智能时代唯一可用的数据库只有 postgraduate, 而且呢,今年一定要学习的数据库也必定是 postgraduate, 因为在整个 postgraduate 的 学习体系中,你可以清楚地看见 java、 python、 go、 ruby、 c rust 等开发技术的完整融合, 也可以看见无限扩展的可能性,例如持续数据、向量数据、地理数据。基本上,只要你项目中需要的数据内容,在 posgrid 中万物都可存。 我从去年开始呢,录制整个一套课程,一直到今年啊,才刚刚录完了二十套课程, 从最基础的使用、生产环境配置、底层存储的逻辑分析、各个扩展服务、数据库监控、数据库集群进行了全方位的分析与实战。 但即便讲了这么多的内容,其实总体来讲也只能包含 posgrid 数据库百分之八十的内容。太大了呀! 这套课程啊,预计还有五六套的子课程,在这两个月呢,能够录制完成整个一套课程,可以为 dba 开发人员、运维人员带来全方位的技术提升,也是你今年必须要升级的技术战。 等我们即将开始 postgraduate 课程的学习体系讲讲之后呢,咱们大家就可以清楚了。总而言之,今年的技术主题依然是 java、 pysin、 posgridico、 大 数据运维、前端、人工智能,这些都要系统性的掌握吧。当然,我们一起掌握后呢,又可以一起见证 ai 时代的下一年是什么样的情况啊!

当被面试官问到如何去设计一个基于当前 gs 的 ai 问答系统的时候啊,并且呢,他还要求你说支持多人对话,记忆管理,包括工具调用等等,让你去核心说一说他的设计思想跟技术选型,这种问题怎么回答呢? 这种就是偏项目场景题的问题啊,在实现的时候一定要先考虑他的考察点,这个问题其实你去梳理的话,你会发现这一个问题里面涉及到考察点还是很多的,第一个就是对于当前的核心概念,你掌握了没有啊,这个呢叫考察点, 第一个 nonchain js 的 核心概念有哪些核心概念呢?首先就是模型,第一个嘛,最重要的就是模型再是其实词啊,再然后呢,缩影, 再包括内存存储 memory, 再然后呢,念式调用以及 agent 智能体开发,这是最核心的概念啊,对它核心概念的理解,然后呢, nunchin js 的 最佳实践啊,有没有去用它来做过对应的智能体开发,有没有用过?有的话说一说你具体是怎么用的? 再然后呢,就是 function expression language 的 使用场景跟优势,这是它对应的几个考察点。好,那么我们在解决这个问题或者给面试官回答这个问题的时候,我们先要具体的把思路捋清楚, 有时候同一面试呢,就是看情况,看心情啊,随意的去面试,这种我建议大家后面呢一定要多去准备一些题目,把它理解之后变成自己的话,后面呢在面试的时候给面试官要有意识的去引导。面试官说啊,我做过这个 ai 问答系统, 那面试官是不是会感感兴趣呢,就问你 ai 问答系统是什么怎么做的?就是呢,你就可以一条一条的把你提前准备好一些内容给它说明,相信你自己去自我彩排了一遍才去真正的面试,这样的胜算更高。好,那么考察点我们说完了,接下来就是解析的思路, 解析思路,解析思路的话呢,其实包含几点我们首先要明确啊, nonchin js 它的整个核心理念来说,其实是可组合性,它本身也是基于这种插件化体系的设计啊,所以多个模块把它组合起来,变成一个最终的复杂应用。 所以呢,在架构层面,我建议大家严格的去把它分为这样几个层次来开发,首先是业务层,再然后呢逻辑编排层, 再然后到组建层,再到核心层,最后一步的话到模型就是看你选什么模型啊。那我们一点点来看,业务层呢,其实就是你的上层业务开发,你到底是选用 next 的 js 还是用 node js, 还是用 next 的 js 啊?还是用 java 还是用 python, 这是你业务层的考虑。 业务层考虑完之后,接下来其实就是组建的编排层,编排的话,那肯定是基于 non graph 来去做编排处理,编排处理没问题了,那么在 non chain 中间呢,它提供了很多的内置组建,可以供你去使用,比如说 non chain 里面的链式调用机制, 记忆机制, rack 机制,都是属于组建层的内容啊。那再到核心层,就比如说它的可执行链路执行的机制,这些呢,都是属于 random 啊,这些都是属于核心层的结构。再然后到模型层,模型层呢,你可以选择远程模型,远程模型其实最标准的接口呢,是 chat open ai 这种方式,或者呢,你还可以 chat astropic, astropic 这种形式,或者另外你还可以基于 chat alama 这种形式都没问题,基于 alama 本地部署的方式都可以。这是模型层的 接入,好,很清晰了。你从下往上看,是先有模型再呢它提供的核心层来去调用这些模型,再在组建层来去通过记忆,通过 rag, 通过工具调用来去把你的这些模型内容呢组装组装起来,再通过一个编排把它编排成复杂的应用,再通过业务层的封装,把底层的这些 ai 的 能力提供给外部去使用, 就是一个标准的字顶向下看也可以,字底向上看也可以的一个思路啊。那对于核心组建这块的设计呢? models 模块需要处理大模型相关的啊,包括呢, open ai, cloud 等等提示词这个模块的话,其实就需要去做提示词的模板化管理,支持插呃这个动态变量的注入啊等等啊, 那个 memory 模块呢,就是做多轮对话的关键啊,因为你需要有记忆策略嘛,你不管是 buffer memory 还是呢一些这个其他的这种对话模式的存储记忆啊,都是需要去做处理。另外呢,还有长对话的战役叫 conversation summary memory 这种呢也是属于记忆的一种,对于核心组建的设计来说,这一块儿直观重要。 另外呢,在前端集成的时候,你还要去考虑的就是,呃,如果是在前端调用啊,那会涉及到比如说整个前端安全杀伤机制 呢? webworker 跟 ai 的 一些计算的结合啊,但我们一般其实在前端端侧去实现,这个内容呢比较少,大部分可能都是在服务端来完成,服务端来完成的话呢,其实就是你考虑业务层到底是用 next node, ness js 或者 java 或者 python, 然后再往下的 non graph 一 点一点往后。所以大家去学智能体开发的时候也是一样。当然如果说你要去做通用型智能体, 通用型智能体开发的话,那你就需要再去学习一个主流的框架,比如说 devient, 然后通过它来做什么呢? harness engineering, harsh engineering 这个概念呢,大家先有一个印象,后面在我们的 vip 课程内容中间会详细给大家去介绍,去说明啊。当然如果说大家有新同学呢,加入进来,跟着我们一起来学习成长呢,会更快。 harsh engineering 呢,其实就是现在的最新的智能体开发的一种方式。另外呢,我们把最重要的核心代码给大家做一个整体的梳理啊,就是在 nanchang 这个环节,不管是做 提示词的模板管理,还是做它的记忆管理,包括呢它的格式化这个标准化输出,我们呢给大家去整体的梳理一下它的核心层代码的实现分为几个部分啊?第一个呢是整个模型的接入使用,再然后呢到 应用层,我们呢把这部分提前给他准备代码拿过来。我们可以看到在当前,假如我们接入的是 open ai 啊,那所以我们用的是切斯特 open ai, 像这里说的模型层接入的话,我们用它,如果你这里用的是欧拉玛的话,在这里呢基于切到欧拉玛来接入, 然后我们的模板的管理,基于 chat prompt template 或者是 placeholder 来去管理的这个提示模板,这样的话你就可以按照这种形式来构建一个标准的提示词模板的输入输出,整个管理内容都放在这儿啊,这样一来呢,你也可以在里面去通过你提前有的这个 message placeholder 来输入获得你的提示。 在对话记忆这一块,我们基于 buffer memory 啊,一个最简单的短期记忆的内容。获得到这个 memory 以后呢,需要在我们后续的内容中间去接入,比如 memory 点 load memory variables, 把网过往的这个变量和内容输入进来,得到最终的题词。往期的调用的历史啊,往期调用历史 包括我们在做这个呃沟通模拟沟通的时候,调用完这个结果以后,我们要把这个结果呢给它保存到记忆中间啊,叫 memory 点 save content 保存进去,指包装对话函数,自动地去保存过往的记忆。 好,这是第一步基本的配置跟模型抽象。那我们呢,接下来可能需要去通过呃这个念式调用的方式,包括呢结构化输出来去获得我最终的代码,那我们同样呢,可以基于这个 chat 服务器来组建起来这样一个代码分析工具的提示词。有了这个提示词以后, 我们就可以去分期去使用它,通过这种方式呢来去调用,这样我们就能够获得这个最最终 result 的 结果。那对应到我们这个 random sequence 跟 random number 的 它们的用途是什么呢?在这里我们可以通过当前调用这个调用链,把它们组成一个链式调用的形式啊,接下来我们就可以直接去通过 invoke 方式来调用这个函数了, 因为我们可能调用它以后,你看还需要去调用浏览器,浏览器我们还可以去调用更多的这个管道组合的这种应用啊,那这是一种集成形式。第三点呢就是在应用层接入,应用层怎么接入呢?比如说我们有了 conversation chat 和 memory 的 逻辑了,那我们就可以加载历史记录,然后呢通过流式来执行这个 conversation chat。 最后呢通过 sse 或者通过这个 chunk 的 方式来返回这些结果,并且返回的时候呢,我们要把对话记忆也要去存储保存。 另外我们提供一个清除历史记录功能,可以把历史记录呢当前所有的绘画历史清掉啊,这是三个端的开发,最重要的这是 ai 层的开发,这个呢是执行层的开发,这个是属于界面层或者叫应用层的开发。

应该有了吧。啊,好,那这就其实就是我们第一个大的一个探头点啊,那我们再去细化一下, 细化一下啊,就是如果是 view 的 同学,你的整个 ai 全站的体系, ai 全栈的进阶体系,应该是什么样子的?好,我这里快速给大家去梳理一下前端的框架,那这个不用说了, view 对 吧,因为都是 view 的 同学嘛。然后呢,在前端到服务端中间的这一层桥接和过渡,你就用 next g s 来去过渡 next g s 过渡 啊,那你的这个打包构建呢?这些呢,你都可以先不考虑,那这个是在前端那一层去开发的时候需要考虑的,比如 wait, 现在你就直接把 wait 学精通就完了,不要学 webpack 学 wait 啊,把 wait 学精通, wait 的 打包构建,优化,那个插件化开发,还有 wait 的 原理全部了解就行了。好,然后再在这个基础上 next 再去进阶。哪几部分呢?一个是数据库, 数据库的应用层啊,数据库应用层我们一般称之为 o r m, 这是最大目前最低成本的学习的一个方向。在呢,数据库的选择,大家无老去压 postgrad circle 啊,现在直接去往 postgrad circle 去学习就行了,不要去看什么 mongol db, 还有什么 my circle, 大家千万不要相信了啊,直接相信我的 postgrad circle。 为什么大家去看一看 github training, 还有呢?看一下整个技术圈的一些趋势大家就知道了, pg 现在是毫无疑问的 number one, 然后呢,你想一想, pg 的 一个 d 代码我不知道大家听说过没有,就是有个 pg 的 那个 pg d 代码就是 no code, no code platform 叫什么呢?叫 superbase, 我 不知道大家有没有听说过的同学, superbase 啊? superbase 应该大家听说过吧, superbase 啊,好,所以呢,大家一定啊,就是相信我的往 pg 这个方向去学,因为 pg 它不仅是能够做业务的数据存储,业务的叫, 呃,那个 circle 存储啊,我们就称之为 circle 存储吧,还可以去做业务的 no circle 存储, no circle 大家应该知道什么?一个是关于数据库,一个是非关于数据库这些点啊,还有呢,包括向量型 p g vector, 它就是个六边形战士啊,这个一个精通,个个通,这种感觉。你再如果说在特定的领域,比如说你在向量数据库矢量存储这一块儿,你要去考虑最优的方案,那可以啊,你还有别的选择,比如说我们再给大家去讲这个内扣子 defy 的 这个项目的时候,给大家讲了 qugent 啊,讲了这个 qugent, 然后呢给大家还讲了,比如说像,呃, mevis, mevis, mevis, 这个我好像打错了, mevis mevis, 那这个其实就是更厉害的了啊,做这个向量存储的,大家就往这个方向去学习去看,当然了,如果说你现在你的阶段具体到了哪一步,如果说跟我这里说的呢,其实有 有超出的这个情况的话,那大家如果说加入进来之后,还可以有更多的帮大家去做一些你现在已有的 ai 方向或者业务方向的一些探索和探讨啊,给大家一些比如说,呃,以我过往 这个近两三年啊,基本上前前后后呢,有负责过了将近一二十个 ai, 直接去那个嵌入的,或者说有 ai 相关业务这种产品啊,到时候可以给大家去呃,探讨探讨,给大家一些方案。好,这是在数据库层,然后呢,再往底层绝对的要学习的一个东西是什么呢? docker, 当然这个上面呢,我忘记还说了一个点啊,这个其实是每位同学,如果,如果你现在还在纠结我到底还要不要学 type script 的 话, 那你有这个想法的,这这一刻你就已经落后了啊,因为什么呢?大家可以看现在的所有的 ai 的 这个框架,我给大家看一眼啊,比如说我随便给大家打开一个 ai 框架啊,比如说我们看一个 nunchaku 吧, 我不说话,大家只看语言支持就行了。同学们,卡吗?卡的同学扣个一,不卡的同学扣个二, 不卡吧,不卡的同学扣个二啊,不卡的同学扣个二。好,那应该不卡啊。同学,如果你卡的话,可以刷新一下,或者检查一下你的网络之后重新再进一下啊, 咱们看到了吗?像比如说 nunchain, 那 python 跟 python 这两个方向,这这两个是官方推荐,也是官方维护的 python 版本和 python 版本跟 python 版本,所以你看,不管是 nunchain 攀 graph 版,你看 python 攀, 大家知道 typescript 重要性了吗?如果你还不知道的话,那我还随便给你来一个第三方的 ai 框架,比如说这个 master, 你 看看这个 master 它用的什么来去开发,那同样也是用 typescript 来开发,对吧?也同样是用 typescript, 你 看 next 也可以, next 也可以啊,这些选择 就是按照我们给他去讲的这个方向,那安装包括呢?最后开发开发的这个过程怎么来去实现?怎么来做?怎么来去定义这些?那个 test agent 来去做这个 agent 的 开发,包括结构化输出等等,大家可以看到啊。所以如果你现在还在纠结要不要学 t s 的 话,那我给你一个建议,或者直接给你下个结论,就是百分百要学 这个,不学的话,那真的会落伍的啊。你现在可以看到开源的那些 ai 的 项目,比如说大家现在知道的,我随便给大家再举个例子啊,大家最近听说过 open code 很 火吧? open code, 那 你看 open code 是 不是源码用 type script 来开吧,它不会用 javascript 的 啊,不会用 javascript, 你 看百分之九十八十六是用的 type script, 对 吧?这种 open code 的 我给大家简单的演示一下都可以。我打开一个项目 啊,比如说我直接 c d 到我,我现在这个项目啊,我现在这个项目叫妙码,呃, 好,在这个项目里面,然后比如说在这儿我直接新,呃,打开 open code, 我 直接让它编码啊,比如说 编写一个,呃, hello world, 不是 not just hello world, 好,直接边写,那这个百分之八十六的代码都是用的它的来写的。然后其次是 cs, 这个呢是它的打包工具,这跟它无关啊, rust 零点五的成分,所以大家知道了这个 t s 的 重要性了吧。大家看下这个 star, 大家就知道这个项目到底火到什么程度,现在只要是涉及到 ai 的 项目呢,都很火,但是 ai 跟前端结合的那也非常多。 好,他现在正在创建这个项目,正在帮我编辑,我来看一下这个编辑完了没有。 helloworld js, 你 看是不是帮我写完了啊?当然这就是个简单的事例啊,帮,我已经写完了。好,那我现在比如说再给他改成 type script 版本,他自己再重新帮我写,我们待会儿等他写完之后我们直接来看就行了啊,这个项目是用的 type script 来写的。那大家知道的还有一个叫 cloud bot 啊,这个是号称可以直接去 那个硅谷的,硅谷最近开发了这个,这个发布了还没多久,叫 cloud boot。 这个呢,可以直接去操控你的电脑完成任何事情啊,比如说操控你的这个 mac, 或者操控你的 linux 来去做任何事情。那你可以看一下这个项目点进去之后,你其实也会发现它的 type script 成分也很高,看到没有八十二点五 啊,这个项目也是八十二点五,里面呢只也只是用了少量的这个,其他的什么 swift 和这些就是做 micros 端的一些差异化的抹平,其他的都是基于 type script。 好,那这里我不再不多说了啊,再不多说了,这个项目呢,同样,呃,开源呢,也才可能一周左右的时间吧,应该 现在 star 数六万多啊,大家也可以去下的试一试。虽然说那个用起来的感觉就好像是只会一个七十岁的老头来操作你的电脑,但是呢,这也是未来一个趋势,等到你哪一天不需要去考虑 tucker 的 消耗,不需要考虑算力的消耗的时候,这种产品终将是未来的一个趋势 啊。它能够去帮你做任何事情,帮你处理 word 文档,帮帮你处理 pdf, 帮你剪视频,帮你回邮件,帮你去发信息,什么所有所有的你只需要在手机上面发个指令,它在电脑端全部帮你去完成啊,就这样的一个项目,这也是基于这个 astropic 跟 open ai 的, 这个大家也可以去了解一下啊。 那所以这个我用实际的例子来告诉了大家,为什么现在要学习 ts, 就是 实实在在的这个例子啊, ts 百分百要学,然后再比如什么 docker 等等啊,那 docker 这个例子呢?也毫无疑问,你看每个项目都会有自己的 docker file, docker file sandbox 和 docker file sandbox browser, 一定会有他的打包构建,所有的这些逻辑都是基于多克,因为大家要想好啊,以后在开发的时候呢,以前啊,同学们,同学们开发不会关注怎么将那个项目设计的好, 我跟你说设计的好的几个标准是什么呢?第一个是环境无关。好,这个环境无关,那就相当于在我的这个环境和在你的电脑上面可以立马能够跑起来,它最终的产物啊,产物环境无关,那这个必须得上虚拟化技术,比如说我们说的容器化技术,对吧? 容器化技术,也就是这个 dk 好, 还要考虑点呢,就是能够尽量的去微内核。什么是微内核呢?就是你本身的主体框架, 主体框架少量代码,然后呢定义对应的插件接入规则,这样的话相当于你可以把你的生态的定制,生态的一个扩展 交给开发者,或者说交给插件开发。有哪些势力呢?我随便举个例子, webpack 本身它的内核很小,但是 webpack 的 内核很小,但是 web 的 插件一大堆, bbc 的 内核很小, bbc 的 插件一大堆。好,然后我们要联系到 ai 相关的一些技术了,大家都听说过 m c p, 对 吧? m c p, 那 其实啊,从早期的 tools 啊,从早期的定义一系列的工具,这些就是 ai tools 工具,它其实也是微类和设计的一种体现。在这个基础上,如果你想把这些工具做到远程,做到服务端,做到远程调用,远程的拉取,或者远程的这个使用,那你就需要上 m c p, 对吧?上了 m c p 以后,如果说你想能够更灵活地通过这种自然语言,或者说通过极设的一些 prompt 来去做它的优化,这就是前段时间火起来的这个 skills 啊,这几个点大家一定要学会,这样去把你的整个思维从前端贯穿到服务端,再从服务端再能够又体现在你的 ai 的 这些体系的开发上面,这个其实才是真正的 提升啊。不是说我学一两个框架,学一两个技术,你就把自己的任督二脉打通了,不是,而是你要去把这些技术点,把它的设计思维,把它里面的架构的这些要点能够融汇贯通,你甚至你随便换个语言,换一个新的表现形式,他底层的原理你是相通的 啊,好,那所以我认为的啊,就是如果从两个点来去概括的话,第一个是容器化技术,第二个是微类核架构,这两个是最重要的。所以呢,容器化技术这个在我们的像那个整个客人的介绍里面呢,也有关于 docker 这部分的介绍啊, docker 准备 docker 的 使用,我们所有的项目的部署和开发和相关的一些那个内容呢?都是基于 docker, 都是基于 docker 啊, 然后呢还有就是这里给大家说的微类和架构设计思想这块呢,也是,如果说要去呃更好的去开发,那我们其实就需要有微类和插件化设计思想的这个储备啊。如何去设计 微类和插件化啊?整个核心的思想是什么?还有呢它的应用包括呢一些开源的优秀的微类和插件化设计思想的一些实力啊。好,这是这部分给大家去说明的点。

我面试了十三个 ai 应用开发岗,有一个惊人的发现,这条视频可能流量特别差,而且很枯燥。你如果也想在今年转行或者进入这个门槛不算高的 ai 领域,可以反复看,甚至是把视频丢给 ai, 让 ai 去教你。 在面试的十三家公司里面,无论他开的薪资是十五 k、 二十 k 还是四十 k, 其实面试官基本都是不懂 ai 应用开发的,因为他们都是在内部搞 ai, 以前都是前端后端,老板说要接入 ai, 干着干着发现有效果,就需要去招一个更加专业的人。所以你今年去面试,很多面试官其实自己都不懂, 他们也没有系统学过,只是知道一些概念,他们也是通过 ai 跟 webcoding 生成的系统,他面试的时候也深挖不了。我毫不夸张的说,你系统的学一个星期就是和他们同一起跑线,如果你好好学一两个月出来就是这些企业需要的专业人才,因为他们是零零散散的知识,你是有系统学习过,相当于你是黄埔军校毕业的。 但是要注意的是什么?一个字,快!现在都在转 ai, 前端 java 测试,运维,侵入式互联网小白。一个行业是有生命周期的,以前的 java 是 五年的上升,五年的下滑,但 ai 是 不一样的,前期可以说是在急剧上升, 因为有各大互联网的人才直接转行到 ai 里面来。任何一个行业发展到消亡,都会经过四个阶段,第一个阶段,风口上真就是你进去就能捡钱,比如说一六年,一七年的 java, 只要你稍微培训一下,进去就是一万起步的薪资。到了第二阶段,你就要开始懂一些运营思路了。 第三个阶段,你就要有非常专业的技术,你才能赚到钱。到了第四阶段,谁来也只能说这个行业到夕阳了,这不就是前端和 java 的 缩影吗? ai 应用开发现在就正处于第一阶段,只要你是个人,说你会 ai, 把我后面说的第一阶段掌握,你找个工作有手就行, 后面的内容纯技术很干。听到这里,如果你不想转行或者入行 ai 的, 可以划走了。我把 ai 应用开发这个岗位分成四个阶段,分别对应了 ai 应用岗的十五 k、 二十 k、 三十 k 和四十 k。 第一个阶段主要是打技术基础,具有做项目的能力。语言首选 python, 如果你还会 java 或者 c, java 也会是你的加分项,学个 python 也不难。 然后 iag 解锁,增强向量数据库, line chain, line graph agent, 流程提示词,工程大模型 api, 包括模型微调训练,这些都是前置知识。当你掌握了这些,在应聘市场找个十五 k 已经够用了, 但是在公司只能算个流水线工人。我也是把这四个阶段要学的内容整理成一份学习路线,先学什么,后学什么,看什么教程,练什么项目,还有对应的学习教程可以看一下。 第二阶段是对项目流程的编排,你在做的过程中要考虑我的项目整个流程怎么从零到一的, ai 的 服务是怎么编排的,包括 tools, skills、 m、 c p 的 服务是怎么部署,怎么设计的,还有项目的健全,包括整个项目的全流程。 因为 ai 应用开发这个岗位要懂一些前端后台 ai 的 服务,不过现在一文公司的概念也有了,大家都不要慌,未来所有的程序员干活是最简单的,难的是你的思维,到这里,你已经是一个项目组里面的技术骨干了,二十 k 那 还不是轻轻松松? 第三个阶段,一个真正稳定运行两到三年的项目,一定是不断迭代、不断优化的。那我们在优化阶段,首先你得去学习大模型的原理, 原理是啥?原理就是你的方法论,在你后面做优化是需要一套理论知识去支撑的,你不懂原理,那什么都扯淡。比如 k v 缓存、前缀缓存、混合解锁,怎么提升召回率,以及我们项目做到一定阶段,可能还得模型微调 强化,学习 s、 f、 t、 d、 p、 o 以及我们未模型的数据,你要不要做数据清洗?包括评测机,最近很多企业面试问的也非常多,你怎么保障你的大模型输出的结果符合用户需求?这个就要评测机去解决,以及日制系统整个链路的追踪,以及 r i g 大 模型的性能优化,引发熔断,以及我们项目容灾降级, 这些都是,所以我们要从稳定性、性能各个方面去考虑。接下来第四阶段,就是冲击高薪的分水岭,核心就在于要拔高站位,以总监角度去调度 a 证路由。面对数十个 m、 c、 p 服务,怎么精准调度项目? a 到底该调用哪几个服务?怎么才能实现按需路由? 第二个是快 a 证记忆,要实现用户身份全域互通。第三个是可观测性测试,在多项目、多级群的复杂链路中,怎么实时监测故障,快速定位并解决问题? 统一健全中心?面对多个项目与 m、 c、 p 服务的交叉调用时,要怎么建立统一的权限体系,精准管控每个项目对特定服务的访问权限?所以,你现在处于哪个阶段?很多人被公司优化了,不是懒,也不是没有认知,而是一直在讨论下一个风口是什么。好像是谁猜对了,谁就能抓住机遇,成为下一个风口上的人。 实际上,这只是他们逃避执行最高级的方式。我之前的 ai 教程火了之后,很多人过来问我要怎么去学习 ai, 我 也会把我的学习路线和方法分享给他们,但是他们往往只停留在想学习阶段。 他们也知道今年 ai 应用开发就是风口,他们想要的不是一个行动路径,而是一个确定答案。比如我学习了提示词工程,我就能拿到十五 k、 二十 k 的 薪资,只要这个答案还没有确定,他就会继续去寻找答案,实际上一步都没有动。 今年在面试 ai 应用开发岗的时候,你的面试官可能是一个自己也不是很懂 ai 的 人。到了明年,那肯定已经系统学过 ai 人来面试你,而且已经错过了最好的风口。

可拉拉扣的原理有多重要?我毫不夸张,几乎所有的 ai 应用开发高端岗位一定会问,三十 k 以上的面试一定会问。如果你自己去琢磨,可能一年都搞不清楚 它的原理,但是接下来我将用十分钟的时间让你彻底理解 cloud wallet 的 价格和原理。全程我将用一个真实的案例去贯穿。 cloud wallet 大家都用过吧,其实就是一个对话框啊,你去输入,平时他就给你干活。我们将用一个重构评论区功能 去贯穿整个电路。视频有点长,但是非常重要,认真听啊。首先 clod 它的核心设计思想,先记住我第一句话,它在模型和上下文这两块下重注。然后框架做的非常轻,非常薄, 我在上一期 clod 架构中讲过,大家可以翻一下我前面的视频,但是传统的硬件它却是反的,非常重框架, 非常重工作流,实际上没有充分的利用到模型和上下文的能力,但是 克拉克的模型他又是自己去训练的,我们作为开发者是没有办法去介入的,所以我们的重心应该放在他的上下文管理。可以这么说,你把克拉克的上下文管理搞清楚,你就把他的原理 搞懂了。好,接下来开始我们的案例。那假设你输入一条提示词,请帮我重构评论区功能,接下来会有四个板块配合你去工作。第一个是阻碍性的,也就是这个 命令窗口就是左键的,那左键的在背后工作,你看不到,然后他内部还有一个外部存储。第四个板块就是工具调用,库尔斯那可拉的扣的,他的工具做的非常的清亮,他的工具你可以理解只有四个板块, 一个是写录文件,一个是读取文件,还有命令行,你在用 cc 的 过程中是不是哎?输入一个命令,请帮我改这个文件,他能帮你去读,去改,然后甚至帮你自动的去执行命令,然后把你的环境启动,包括去进行搜索,就这 没了四大板块啊。当你发送一条指令之后,帮我重构评论系统功能,那这个时候主按键呢?他就开始工作了。首先他第一步会去 读文件,读什么文件呢?假如说你的项目中评论的功能有一二十个文件,他会把这些文件全部读取出来,那这个读的过程呢?请注意是在 g i n 的 中去读的,读完之后,好,这个时候你在命令框发了一条指令, 请帮我重构评论系统功能,然后点击发送,这个时候主 id 呢?他就开始干活了,他第一会干什么呢?首先我们要去完成这个评论功能,他会首先去读你的整个项目中跟评论相关的代码,假设有二十个文件,那这个时候是谁读啊?是只挨着的去读, 他读完之后会返回个结果,这个结果其实就是文件列表。一句话,比如说我看了关于评论有文件一,文件二,文件三,他会写一个总结, 不会把具体的文件内容输入到主页界面,他会告诉主页界面关于评论的这些功能,文件在哪里。好,接下来主页界面他就拿到结果之后就开始干活了。这里首先在 clark 的 中会有一个上下文的概念啊, 他是通过分级去处理的,这里分为了 t 一 到 t 五五个阶段,这里的百分比其实就代表你在这个窗口他有个小圆圈,其实代表就是他的一个上下文的占比。 t 一 到 t 五,你可以理解为叫压缩程度。 关于上下文的管理啊,在我们业内一般有两种方案,你要么是全量, 要么是压缩。全亮的好处是什么?全亮的好处就是哦,上下纹完整,但是容易把上下纹撑爆。那压缩的好处是哦, 上下文减少了,但是会损失细节。那实际上克拉的扣子,他的整个上下文管理用的是压缩的方案,但是他用的是 t 一 到 t 五的鉴定式。你可以这么去理解,这个 t 越小,他就压的越轻,越大压的就越猛。好,接下来我们继续啊,那 我们开始干活的时候,左脚开始去读文件,他读了一大堆文件,那读完之后,上下文可能这个时候已经 抵达的第一,也就是百分之三十以内。好,到了百分之三十以内上下,我们把你这些文件读到,读到之后他就会做第一个版本的,叫微压缩。微压缩具体干什么呢?你们在用 c c 的 时候有没有发现他会有一个思考过程 啊?我刚才读了文件一,文件一里面写的八八八八八,然后有一些工具列表,哎,列出来他就会把这些无关紧要的信息 给过滤掉。请注意,这个时候他没有用到任何大模型的能力啊。那这里还有个概念跟大家去讲啊,就是格拉库的背后,他有两套大模型,你可以理解为大模型 a 和大模型 b, 大 模型 a 的 工作主要是干活, 也就是写代码,那大模型 b, 他的主要作用就是去上下文管理,所以我们在看他的整个上下文管理过程中, 我们就看他有没有调用这个 b 的 这个模型在 t 阶段是没有的,他完全是通过脚本去过滤,过滤完之后 多一个星期去掉。好,接下来在干活的过程中,你们用过 cc 就 会知道,他实际上干一个任务,他会干完之后去叫验,所以他哎干了一个版本方向,哦,不对啊,跑不通,又干一个版本, v 二又跑不通,最后,哎,干到 v 三成功了。 那这个时候上下文是不是已经开始有点长了呀?但是这个功能已经做出来了,那做完之后呢?上下文这个时候可能哎已经到达了 t 二,也就是百分之三十到百分之六十之间,那到了 t 二这个时候 他又会去压缩。比如说你刚才 v 一 的失败和 v 二的失败是不是占用了大量的上下文,他就会对这一块去进行 压缩,把失败的干掉。那干完之后是不是只剩成功的上下文,他把 v 一 和 v 二没有直接去删除,而是进行了外部存储。 你可以理解,这个外部存储就是在你的本地硬盘中有一块有有,有一块空间可按扣的帮你存进去了。为什么存?后面我会讲啊, 接下来成功之后,你要去验证这个功能呢?你开始去看,你打开界面哎,看一下,哦,我刚才这个评论功能做好没有哎,结果你发现啊,你有 bug 给我改,所以左下角又会去开始去改 bug。 那接下来改 bug 又进入下个阶段啊,先抵 bug, 我 查一查日期,报错信息八八八。好,那再看第二个版本啊,我再看一下控制台有哪些问题,就改了三个版本,哎,终于改好了。当你把 bug 改好,这个时候可能上下文又触发到 t 三,也就百分之六十到百分之七十五之间, 到这个阶段他又会去触发压缩以及外部存储。逻辑是一样的,他把中间态微一微二,失败会干掉,然后将上下文压缩进行外部存储。 接下来功能做完了,教练也通过了,你继续上你的上下文,哎,又给他去提要求,你给我接着干好主,而且又开始干活,那干着干着呢,就发现,哎,我靠,上下文有点顶不住了,到了 t 四, t 四也是百分之九十, 那这个时候已经快满了,快满了,这个时候就会去进行 t 四阶段的压缩,然后加上外部存储啊,请注意, t 四这里就会运用到我们刚才说的上下文管理的这个大模型的能力去写一个 叫摘掉,他会把前面的所有的上下文统一写一个总结啊,一共会有九大类,比如说举个例子,第一个用户提示词是什么,上下文是什么?前面我做来工作,八八八八八九个类别, 这就好像完成填空一样,给力,一个标准的模板,然后按照他的这个形式去填,就可以尽量的保证 压缩的情况下,哎,还留有完整的上下文信息。那到这个时候将上下文摘掉之后,接下来继续干活好,干着干着发现,哎, 爆了,炸,那这个炸,他可能说,啊,我干着干着发现由于前面的压缩,我的这个上下纹缺失了,导致这个活干不下去了,所以这个时候就会去触发 t 五, t 五实际上叫都底机制,他会干什么呢? 你这里丢了对不对?好,我就去外部存储里面去进行查询刚才遗失的信息到底是什么,然后恢复。所以这就是 cloud 的 它的上下文管理的 整个过程。这里我画了张图嘛,其实千言万语总结成这一张图,你就能瞬间明白,他在每一个阶段都做了一定的上下文的优化。比如说第一阶段我刚上下文增长一点, 然后我在 t 阶段做一点点优化,下降一点点,然后 t 二再降一点, t 三再降一点, t 四,哎,猛降,所以在 t 四这里降是最猛的啊, 因为他干什么,他会将上下文去写一个栽,要第二个大行去写栽了。所以这个时候可能说,哎,从百分之九十会直接降到百分之三十五,也是有可能。所以 cloud code 它的核心就是上下文, t 一 到 t 五,数字越大,压的越猛,就这么简单,你去研究,去琢磨,得墨迹一年还抓不到其中的核心。这就是友商为什么毕业啊?说要三个月,要六个月,我们为什么很多同学一个月、两个月,为什么这么快?这就是原因。 你跟猪肉龙学打拳和跟叶问学打拳,那结果当然是不一样的,下课。