如果你学 ai, 总有一种感觉,每天都在看新东西,但脑子里没有一张完整地图,那这个项目可能正好补上这一块儿。它叫 ai engineering from scratch, 四百三十五节课,二十个阶段,从数学基础、机器学习 transformer, 一 直走到 l l m 包城 agent n c p 多智能题和生产部署。但真正吸引我的不是规模,而是学习方式。每一个都要求你先理解原理,再熟悉实现,最后弹出一个可附用的工具。 这意味着你不是停在我会 go 用模型,而是开始知道模型帕加 a j 系统背后为什么这样做题。所以我会把它推荐给一群会写代码上习库布 ai 过程的人。它不是 second 组成,但如果你想把知识连起来,这个路线很直。
粉丝51获赞858

妈妈,这也太牛了,太牛了,你也来看一下。我看一下,怎么了?这就是最近清华大学出的那一个开源项目,在 github 上面 open m a i c。 他 怎么牛了?以后你学什么项目都可以在这上面,不用去报补习班了。那你试一下,我看一下。那你想学什么? 基督徒龙吧,我直接输入我想学习基督徒龙,然后我们这边点击进入课堂, 你看这边有四个角色让我选,你要选哪一个?那我就选这个逻辑精吧。好,那你选吧,我们点继续 等一等,他一会就生成了。很牛是吗?很牛,以后在家都可以学习了。来看看他什么样的哈,他到底有多牛?他首先给我们介绍了一下古代是怎么形容极速同龄的,今天我们将开启一段跨越千年的奇妙数学之旅, 现在我们要一起穿越回一千五百年前的南北朝时期。你看这边都有声音的,非常好听,我们点一下下一页。首先呢,他先告诉了我们解决鸡兔同笼的第一个方法是最土的方法,是不是?嗯?直接列出来吗?直接列出来?对,在外面 要是学的话,要学奥数才能学到爬奥数班是吧?嗯,好,那么继续看一下哈,这个是简单的题目,你们觉得要选几只?我就选二十六只吧。 好,来看一下对不对哈?哇,对的哈,很牛,我们继续来看一下吧。后面开始就越来越难了,它主要分为三个核心步骤。 第一步,我们先大胆假设笼子里全是鸡,这样我们就能算出一个假想的总角数。 刚才我们通过手动调整感受了数量的变化规律,现在我要教大家一个更神奇更快的独门秘籍,一步, 既然大家已经掌握了这么多厉害的解题绝招,现在就是大显身手的时候了,他通过一步一步的最后教会了我们基督同笼的问题。如果你觉得太难了,你可以在前面加上一个 我是三年级的小朋友,他就会用三年级的方式来解决。现在 ai 真的 太强大了,太强大了,清华真的做作性真的是非常好,对不对?嗯。

今天 github trending 第三个是 ai engineering from scratch, 别被名字吓到,它不是卖课页面,而是一套免费的 ai 工程自学路线。 它把学习拆成二十个阶段,四百三十五节课,从数学机器学习到大模型 agent 上线运维,一路往上搭。每节课不是只看概念,而是暗读问题,推思路,写代码,跑测试,留下成果。这个节奏走,适合想真正不底层的人, 上手也不复杂。你可以先在线看,也可以 clone 仓库运行,市里还能用 fiveu level 先测自己该从哪里开始。它最近还在更新,昨天刚合并了课程和目录相关的提交。不过它很长,不适合十分钟速成,更适合长期打基础。

好,这节我们想看一个开源项目,在 github 上目前斩获了十二 k 的 star 接近了,然后仅仅开源三天的情况下,就已经被 deepstack 的 官方收入了,对吧?可以看到这是官方的文档,接入 raylex。 好, 我们直接开始正题啊。首先,呃,把它下载下来之后呢,会有一个这个东西的 raylex, 那 我们可以在左侧去新建绘画。那第一次进来呢,会要求你输入一个 api 的 key, 那 你把这个 key 呢?给它填进来,完事了所有配置就好了。 那接下来我们可以在这边新建一个绘画,那你新建完绘画之后,接下来就这边输入框输入你的任务,比如说我要开发一个学生管理系统,能开发完成了,对不对?开发完成了之后呢,啊,可以看到对不对?这里呢就已经完成了,我们点下效果,点一下 还是发现还不错,对吧?你看这个效果是吧?实现了,对吧?那我们再看下编辑有问题吗?没问题。是不是删除有问题吗?也没问题啊,虽然是静态的,但是给大家演示啊,方便快捷啊。第二个,对吧?比如说我想开发一个类似圆形图,我开发完了,你就点这个按钮点一下,你看效果也出来了,是吧?也是一样的, 那我通过这样的圆形图快速的开发,大家其实可以看到这个模型非常的优秀,工具也非常优秀,真是完美的配合,就不需要。嗯,去切来切去的也比较简单。那我们在这里呢可以选择导入我们外部的一个工具,比如说我们之前习惯使用这个 这个 codex, 对 吧?那我们可以在这里呢选直接把我们这 codex 呢给它导入进来点这个地方,然后你可以选择一个导入绘画,我们可以选择 cloud cloud code, 你 可以选择 codex。 那 我还是喜欢用用 codex 啊,你看这个六百九十七个绘画,你选择继续,它就会自动的给它导过来,那我这里现在先不导, 然后呢我们再看一下怎么使用它。首先通过斜杠可以看到,可以查看所有的秘密,新建一个绘画清屏以及复制绘画切换模型。那它模型很有意思,它只提供了 deepscape 的 选项,就 deepscape vs flash 和 vs pro, 目前有五个推理强度,这是我见过最多的。嗯,最简单的这个 也是最快的,就选择这个模式,这个模式就是使用 deepscape vs flash 的 最快的模式,但推理比较少。然后这平衡高度以及最终版, 那你还是选择 pro, 对 吧?那最高就是这个选择,这两个组合就是最强的了。好,那我们看完它的模型选择之后,我们再看这个地方如何切换。如果选择第一个选项就是 plan 模式,比如说这时候你要开发任何东西呢?它会计算,比如说还是一样开发一个,呃,就是物流 系统,随便跟他说,这时候它检测到你是 plan 模式,它的系统题词呢,会要求你去做一个完整的这种计划好之后再去开发。那第二个模式叫做 winnu 模式,就是每一个工具调用之前呢,就是给你进行 winnu, 对 吧? 啊?这是分析,那我们先把这个模式停了吗?第一个是 play 模式,和传统的计划模式没什么区别,第二个就是审查你的代码。第三个就是自动模式,但是这个模式呢,它还是会有一些风险的选项,会让你去询问,当然命中白名单之后,它会自动批准, 用模式就全自动,相当于什么?相当于你这里的完全审批啊?好,那我们再看这个,呃 mcp 模式, mcp 很 简单,点击设置,那这时候我们可以看到这个 mcp 服务器, 那我们点击 m c p 服务器,如果这时候你要添加 m c p 服务器呢?你可以直接从 context 复制一下,比如说我要复制一个 context 七的,对不对?那你就把这三个命令给它组合一下,比如说我直接选择 github, 等于啊 n p x 跟上第一个参数,再跟上这个参数,点击添加,添加之后你可以看到这个之后它就会添加一个已调节,我们可以等待一下,就这个工具呢,它会直接而去,你看告诉我们它是不是配置好了,对吧?我们可以等待一下,它配置完成就显示已调节,代表我们的 m c p 配置完成了,那 skill 也是一样的,对吧?包括它的记忆程序,那这里呢,都是支持直接去配置的, 目前提供四种主题模式,这里我们除了在设置里面切换之后,我们还可以在这个地方切换,比如说,哎这个浅色,或者说这个深色,对吧?啊?可以在这里切换,而在我们的这个,呃,左侧我们刚介绍完了,对吧?除了切换目录之外,还可以导入我们的这种绘画,还可以选择新建绘画,也可以按住 command 加 n, 对 吧?去切换。那完事之后呢,我们还可以按住 come on 加 k 去切换这个命令面板,然后呢我们还可以再看到我们的右侧有一个,我们每一次对话命中了这个缓存,比如说像我这一次呢,你看命中了哪些缓存,对不对?剩余多少缓存?这个缓存呢,就是说它执行过一次之后呢,第二次会直接从缓存里面取,不是重复的走一遍完整流程,这样耗时间又耗 token, 对 吧? 然后呢我们可以看到这个工具,这里呢也有我们刚刚调的 mcp 服务器,你看这就说已经可以了,它这里亮了,亮了一个绿灯,说明我们刚刚的工具配置,是吗?没有任何问题,对不对? 再看这个记忆,这里这就是我们长期的记忆,跟 codex 有 点像。还有规则,那我们的规则就是每个工具调用之前,它会有一个规则的啊,配置,对吧?那当然了,这里也是支持队列的,比如说我们可以同时输入多个任务,然后这时候就会发现它在排队当中可以看到排队五,排队四,排队三,然后同时会输出这个思考时间,因为我这里是 u 路模式呢,我可以直接可以看到这时候它的一个执行,对吧? 可以看到是非常优秀,同时我们还可以任意选择不同的附件啊,我觉得是一个很好的设计啊,那整个这个工具是非常简洁的,大家看到就已经完了,还这是图片,这个图片也是使用在改的人力, 那我们也是一样,按住艾特符号,可以选择某一个文件,家里面的某一个文件,比如选择某一个文件去对它进行修改,比如说继续优化,对吧?啊? 那哦,我觉得这是一款非常优秀的工具啊,就是这是为什么他会被 deep stack 的 官方所收入的原因。哦,这里我们可以选择导出我们当前的这个绘画,方便我们继续去跟其他的模型沟通,还可以选择直接中断,对吧?好,那我们整个项目的这个功能就已经介绍完,这是这整个客户端的所有功能,对吧?我觉得是非常的, 嗯,优秀的,非常的简洁,对吧?嗯,好,那如果让我对他做一个评价的话,我觉得如果说你是一个 deep stack 的 爱好者,那我非常向你推荐这一个工具,因为他对 deep stack 的 支持真的是非常的友好,并且呢,仅仅开园三天就已经完成了一些核心的功能,就是所谓的核心 mvp 的 开发,对吧?这个核心 mvp 的 开发都支持了。 最后呢,我们再看前后的对比,也就是说如果你在使用 deep stack 模型的情况下,它这个模型缓存可以看到前后对比, 普通的 id 呢,它缓存有时候会失效,并且呢前缀命中是不稳定的,那如果说你使用这个 relax, 那 我们可以看到,对吧?那稳定的 perfect 前缀对不对?并且呢成本只有原来的什么五分之一,那你看到是吧?非常的 perfect, 对 吧?完美。那所以呢,我如果是做成本控制的话,我强烈推荐大家。 那目前它有两个版本,第一个是客户端版本,我们客户端版本的话,直接从 tab 上下来就行了,就我们现在看到这个效果。第二个是终端版本,就我们可以通过终端的工具去安装这个 relax, 那 大家可以直接用,好吧? 好,那就是本期视频的全部流啦,大家如果对这个项目感兴趣的话,赶快去试试吧。那可以点个 star, 真的 是一个非常好的开胃项目。我是小六,我们下期再见。

这周 github trending 前排几乎全被 ai agent 相关项目占了,重点不是又出了一个大模型,而是 ai 编程的底层工具链开始集体爆发。 code graph 是 给 cloud code, cursor codex 这类工具用的代码知识图谱,让 ai 不 用每次都重新翻项目。 openhuman 想做的不是聊天机器人,而是一个有长期记忆的个人 ai 助手。 academic research skills 把研究写作、审稿修改做成 cloud code 的 完整技能流。 understand anything 更像是代码库可化理解工具,适合接手陌生项目和代码审查。 ai engineering from scratch 是 一套从零学 ai 工程的开源路线, 适合想转 ai 工程的开发者。 ruoio 最特别用普通 wifi 做空间感知和生命体征检测,偏研究,但想象空间很大。 agent mori 解决的是 ai 编程最大痛点,每次开心绘画都要重新解释项目。所以这周热榜真正的信号是 ai 编程已经进入下一阶段了。 不是单纯让模型写代码,而是给 agent 的 配知识、配记忆、配工作流。这七个项目,你最想先是哪个?我个人最想是 photograph 和 agentamory。

上交大一出手,直接引爆 get up 了!起因是上海交大张卓胜教授团队在 get up 上开源了一套动手学大模型的教程,结果全球技术宅们都炸了!讲真,这可能是近几年 ai 圈最有诚意的开源项目,实战性强到吊打市面上百分之九十九的教程。从 ai 零基础到进阶,张卓胜教授团队是真心想教会大家。这个教程最牛的地方 就是把大模型掰碎了讲,并且整套教程完全免费开放,无论你是零基础新手还是进阶开发者,都能轻松掌握大模型核心系统。 甚至有网友说,就算是我八零老奶奶了,都能搭个模型出来。考虑到大家在网上翻的辛苦,就把完整的学习路线、视频教程、实战项目全都整理好了,留下学习双手奉上,助你从入门到精通,真正实现动手就能学会!

听得到吗?呃,我来分享一下那个我的学习路线。其实之前我对智能体开发这个东西其实也是一窍不通的,我之前去毛过那个支付大模型的,它的学习路线, 其实我感觉毛伯图林的他们其实的学习路线其实感觉都很像,因为这个排版有点错乱,我看一下他们是怎么排版的。就是第一步是学习 ai 大 冒险基本原理,如果有这个基础的话就不需要去学习,如果只是做智能体开发的话,可能对这个东西其实需求不大, 但是你如果想进一步往前面发展的话,呃,这个东西你还是要懂一点。对,然后我们看他的第二步安排是怎么样的,其实跟着他的这个路线学其实也挺好的。这是二五年的十一月的那个课程基础,课程基础这个确实也需要,然后后面是那个 friend 的 工程优化和设计,这是提示词嘛?这个我们要懂,然后后面就跟着 这个做,然后这些硬件的其实也不用很懂,然后 a、 b、 s 调用。其实大家都知道 后面有一些基础的,就是 rack 了比较重要。然后库式编程,以前大概是 code x 和 code, code 还没出来之后,但其实用这个比较多,然后公司也在用这个之前慢慢去去向用 code。 编程化嘛,就是开始用了。这个后面 就是 embedding 和向量数据库。什么是 embedding? 那 些和向量数据库这些大家需要了解下,向量数据库其实,嗯,学习 manuals 其实就够用了,不用去学的很急,其他了解一下就可以了。然后后面是 reg 的 技术, 嗯,这个它没有细分,可以看一下,给大家看一下图林的,嗯,对,图林的 reg, 嗯,这儿它的 rack 其实是先讲一下是 rack 的 基础,什么是 rack, 然后后面就跟着 rack 框架学习,然后去使用 rack, 相当于是在 rack 的 基础上我们再用 rack 去使用它,然后顺势面对 rack 也进行了一个学习。第一部分就是 rack 和 rack 这个路线, 然后怎样才算学会 rock 呢?就你要懂得去。呃,在基础阶段怎么去提升它的解锁的精度?就比如说,嗯,以往的话比较老的就是复制快。呃,我比如说我自己的项目而言的话是, 嗯,我是做了一个强一个调研的一个项目,就是需要一个很全面的上下文的记忆。 呃,所以说就要需要复制块去做一个切分,然后,嗯,获取一个完整的语义嘛。对,然后你们自己的话也需要去了解这方面的东西,就比如说我自己整理了一下这个 rgg 的 基础,一个思维框架吧,就对于我自己而言, 嗯,就笔记,对,我学完这个视频之后就进行一个总结。就哪些不懂的啊? round map, 嗯,就它是做一个并且处理的这些东西呢?在当前的基础你会讲到, 然后还有一些处理幻觉的东西。呃,其实 rag 最主要是处理幻觉的,然后里面有预解锁和后解锁阶段,预解锁主要是对我们的问题啊这部分,或者我们的灾那个封块的部分做一个处理,就比如说灾要封块 这些,然后查询通行、查询、扩展这些东西,就是还有掌心问题这些东西主要就是对问题和切片切块这方面的设计,后面就是后处理件,后处理件呢就是把我们召回的分块进行一个压缩, 或者判断它的相关性,进行一个筛选,就是作为一个筛选的帮助吧。然后后面,嗯,有一个从排序,然后排序是把得到打分的一些节点进行一个排序, 嗯,他会首先返回前五十个,然后前五十个之后会有一些算法吧,再去前十个,后面还有个节点后处理,就忽略这些 store, 然后又重新模型进行计算,再进行排序,这个就还可以用 r i n 的 算法去做相关细节。所以对 后面有一些高级的 rap, 而且其实大家想在深化的话,可以想成为 rap 编程师或者架构师或智能体架构师,就需要对这些论文也进行一个了解,就比如说 creg 这些东西,然后后面就是 reg 的 评估,这些你也是需要懂怎么去评估它的性能, 后面就比如说精确度和召回率这些大家看一下就行了。然后还有一些 reg 的 工具,比如说 regs, 因为这些我都知道,所以说我就没写在上面总结,然后响应评估,有一些忠诚度,然后答案相关记,这些就比较重要,这样才会有一个在这些学完之后,你再去做一个 reg 的 解锁的系统, 然后进行一个评估测试,那么这就是这就是我的第一步,有一个小程序把它直接跑出来,嗯,当然这个只是我自己做了一个 demo, 没有上线,后续肯定是智能体为主,因为后面的 reg 其实相当于是一个小的智能体在集成到多智能体里面,对, 然后后面的步骤就是,后面的步骤就是,嗯,智能体,智能体,其实,嗯我们需要去了解一下,主要的就是 numbing text, num graph, numbing text, 如果时间不充足的话,大家其实可以省略的,可以去看文档去学习,但是主要是我们 numbing graph 需要去很好的了解一下,然后 呃需要学习下拉瓜子的状态流这些是怎么去处理的,因为它是主要是把我们的节点进行一个隔绝,然后记忆隔绝, 拉瓜子做的不错,然后后面我们就去学习。嗯, m c p 和 fast a p i。 为什么要了解电信?因为我们网上的资源调度最主要就是 i o 流的,它主要是有一个异步等待,那么我们就要学习 fast a p i 去使用它。如果是以前的电信, oppo 的 话, 嗯,那个东西就偏向于任务的东西,那个就不需要等待。所以说还有 m c p 企业,以前的 m c p 企业就分为本地和远成,本地就是需要用我们本地的 coser 软件或者这些 呃网站进行一个处理。如果是,嗯想做一个远程的话,就有一个需要去呃将远程服务器的一些东西,嗯,那个东西的话就有一个, 嗯,以前老的那个 m c p 企业,就是你需要去再先 get 一个地址,然后地址返回给我们的客户端,客户端客户端再传输一个请求给呃另那个地址地址再返回你需要的那个截图的是信息,但这边比较麻烦,现在更新了, 现以前是二六年一月份,现在是呃已经六月五个月携带了有些新的东西出来了,所以说这个就比较老,新的就是不需要一次性给你返回。对, 然后后面这个就没有 skill 这些东西,因为他那个时候还没涉及到,所以说我们需要去了解 skill 怎么构建,然后才有 skill 文档, skill 点 md 文档去怎么去写 这些?学习完了之后,我们再去做一个多重体,把我们的理想的框架拉通多重体。呃,去怎么去设计?这里的话建议大家去看一下从零开始构建这种体,它的 ages 这个给他网站, 然后里面有项目分享,然后我们把这些项目进行一个模改就可以了。对,你看 后面,就比如说旅行助手后续的实战。嗯,这个这个其实大家可以自己根据自己想法去扩展这些东西,然后智能体净化这些东西。对,怎么发挥呢?根据自己想法去看一下网,网上有什么好的思维这些东西,然后把融合进去。说白了就像 说的不好听的是研究生阶段写论文就是观察融合,把人家的观点和项目的基础,然后先融合达到一个自己的项目。然后这么具体怎么做呢?就是我们可以在 wechat 里面继承一个 codex, codex 里面,嗯,根据自己的需求去写,然后写的时候是每一步慢慢慢慢来的,不要一次性让它写完,就你想想写一个就是,呃, 计划解析节点,那么你就要想设置好这个节点里面有什么东西属性,把它提前设置好,不能一下子给他一个东西慢慢来。然后如果出现了异常报错,你需要去慢慢看代码,保把核心代码搞明白,然后问事的时候你才能 呃搞懂,然后其实多身体最重要的还是我们的记忆还有幻觉这些东西。嗯,对,目前是我的自己的学习,就是这样的,可能不够详细,我也没做一个 ppt 啥的,我就把我想说的全部说了一遍,就这样。 其实 github 上还有很多类似的学习东西,可以去小红书上看一看。我也,我也收藏了一些东西,但我忘了那个网站是在哪。嗯,后面如果想要视频这些链接的话,资料的话,呃,我可以放到群里面,我看我会创一建一个群。好, 嗯,有些人都不知道模型微调需不需要去学习。嗯,其实在智能体这方面的话,模型微调需求其实没这么大,主要是运用在什么场景呢?就是在比如我举个例子,就 我们在意图路由判断的时候,比如说他也算个智能体吗?对,意图路由判断智能体他会。呃,第一步就是会根据我们的那个关键词去进行一个匹配,如果有关键词,那么我们就走多智能体,如果没有的关键词,我们就走直接回答,对吧?但是有的时候可能复杂,问题比较复杂, 那么那个时候可能大家有些公司就会呃用模型去判断,有的可能大模型可能,但是对于这种基础问题去判断可能有点浪费,所以说他们就会对一些小模型,这种分类模型,就 fast text 模型进行一个微调去判断这些问题。 嗯,用应用的场景是有的,但是看自己的时间长短去看要不要去学习一下。对。

分享一个开源项目, understand anything m i t 协议可以免费商用。一句话说清楚它是干什么的,把任意代码库变成可交互的知识图谱, 装进 cloud code codex 这些 ai 编程工具里用。先说它解决什么问题?你有没有遇到过这种情况,接手一个项目,几十万行代码,不知道从哪里读起,只能靠 grip 和反复打开文件,花好几天才能建立基本认知。 understand anything 就是 解决这个问题的, 它用 ai 自动扫描整个项目,把每个文件函数类依赖关系提炼成一张知识图谱,让你可以点击搜索、搜放地看整个项目结构,而不是盲读代码。它不是独立运行的工具,它是使用在 cloud code 这类平台上的插件, 定位是代码理解层,介于 ai 帮你写代码和你自己读代码之间。为什么需要它?三个判断,第一痛点,真实存在, ai agent 接手大项目时, ftp 又慢。 第二核心,假设成立代码的结构关系比代码内容本身更有助于快速定向架构图确实比竹行阅读高效。第三,技术路线合理,它选择预计算图谱,而不是每次实时分析图谱可以提交进代码库团队共享,不用重复花钱。 记住一句话,它解决的是大代码库人类看不懂的问题,不是 ai 效率问题。底层怎么做的?三层架构,最下面是入口层,你输入的斜杠命令都在这里定义。中间是 ai 层九个 agent 的 prompt 模板,每个 agent 专注一件事。最下面是引擎层,这里才是真正的代码逻辑, 完全不依赖。 l l m 用 cmd 解析语法术支持四十多种语言,关键分工是, cmd 负责读懂代码结构快准 免费, l l m 负责理解代码意图慢花 token, 两件事分开做,互不越界,这是这个项目最聪明的设计。再说九个 agent 怎么协同,减五个是必须跑的,第一个,扫描文件建立清单。第二个是最好 token 的, 让 l l m 给每个文件写白话摘药,最多五批并行。 第三个,判断每个文件属于哪一层,第四个,按依赖顺序生成导览路径。第五个较验图谱完整性。后面还有三个可选的 agent, 用于业务域分析和 wiki 知识库分析。第九个不是执行 agent, 是 格式规范文档,保证所有 agent 输出格式统一, 执行顺序就是追 sit, 静态解析不花钱,然后五个 agent 依次跑,最后合并输出一个 jason。 文件安装只需要六步, 进入项目目录,启动 clockcode, 添加插件,再在斜杠 plug in install 重新加载,然后 understand 加上 language g a 参数,生成中文版本。最后 understand dashboard 打开可示画面板。就这六步,完全不需要自己写代码和提示词。 好,重点来了,我们实际跑了一遍克隆这个项目的开源源码,让他分析,结果是消耗了日额度的百分之八十八, 我们用的是五倍套餐 a p i 调用时长将近五十分钟, token 消耗合计约一千两百八十万。跑完之后,分析了三百八十二个文件,生成了六百五十五个节点,六百九十一条依赖边。还有十三步导览路径, 图谱教学零个问题。图谱建好之后,后续只需要增量更新改动的文件费用会大幅降低,不需要每次都重新跑。全量分析, ai 把整个项目自动分成了十个层,每个层是一类文件的集合。右上角标了 simple, 是 它评估的复杂度。右侧列出了文件类型、编程语言框架,节点类型分布。 ai 不 只是按文件分,连函数级别都识别了。复杂度分布,连接最多的节点节点平均连接数分析时间点进分析引擎核心这一层,它把这层的所有文件平铺出来,每个卡片就是一个文件, 上面有它是干什么的。中文摘药,还可以查看源码。以前接手项目要一个文件,一个文件,打开看它是干什么的,现在直接读摘药,一百三十七个文件扫一遍只需要几分钟。仪表盘 u i 你现在看到的这个网页本身,七十五个文件标了 complex 技能流水线,所有斜杠命令的定义, understand, understand chat, 这些都在这儿。 七十二个文件 agent 定义,九个 agent 的 prompt 文件标了 complex, 是 整个 ai 流水线的大脑主页 understand anything 点 com 官网 est 做的十七个文件测试, vist 和 python 写的测试用力。九个文件, c, i, c, d, get up, actions 自动化流程,六个文件构建与工具独立脚本,比如大型图谱性能生成器,一个文件配置 package 点 json, check and figure 这些配置文件。十七个文件 文档, readme 和各语言翻译四十二个文件。接下来我们跟着 ai 生成的十三步导览走一遍。第一步,它先从 r e, a, d, m, e 开始,你看它右边已经写好了。解说, 一个将 l l m 智能与静态分析相结合的工具,这是 ai 读完 readme 之后自己总结的。左边这些卡片是文档层的所有文件,你看下面 cluster c 那 一组。 这个项目的 readme 有 六七个语言版本, ai 把它们自动聚类在一起了,因为它们互相 related。 第二步, ai 带我们来看技能流水线层,也就是所有斜杠命令的定义在哪里。他自己写的解说是 understand。 技能是将代码库转化为图谱的编排器, 阅读它可以让你在深入各阶段实现代码之前先掌握高层流水线。这就是为什么导览第二部来这里,因为它是整个系统的总指挥。上面一排,你看到 e, m, o, m, d, n, d, m, d, z, i t w d, m d。 这是安德森命令的多语言输出指南,说明这个工具支持生成不同语言的图谱描述。 下一步,技能包入口克拉斯四十九那一组最关键。 c q 点 m, d 是 主命令定义,这些就是真正干活的程序,不是 ai, 是实实在在跑的代码。你看这些连线都标了 documents, 说明 skill d, m d。 引用了这些脚本文件,它们是主命令和具体执行之间的关系。每个方块是一个文件,连线是 import 关系, 箭头方向,告诉你谁依赖谁。重点说连线,你看这些线有多密,说明这些文件互相依赖很深。如果你要修改,顺着连线就能看出会影响哪些文件,改之前心里有数, 这就是它最核心的价值。改代码之前,先看影响范围。下一步,扫描并对项目分批它便利仓库检测语言解析 input, 并将文件切分为可管理的批次。下一步,分析每个文件批次,对每个批次先进行结构化提取,再做语义化。 l l m 分 析, 铲除图谱的节点和边。下一步,核心引擎及其词汇表。第七步,用 cmd 解析源码。第八步, l l m 分 析与斯蒂玛较验第九步,规范化并合并进图谱。第十部,分层与引导式导览第十一步,直角化与搜索图谱变得可交互,最终持续集成。 最后和同类工具比一比。 understand anything 的 核心价值是让人类看懂项目。 code graph 是 让 ai 少走弯路,两者不冲突,可以配合用适合用它的场景接手新项目。写入职文档可去化省代码架构。希望本期视频对您有帮助,我们下期视频再见!

字节跳动最近开源了一个专门给 agent 的 设计的记忆系统,叫 open viking。 我 翻了他的原码,发现他的设计思路跟目前主流的做法完全不同。 今天聊一下他解决了什么问题,以及他是怎么解决的。先说当前 agent 的 记忆系统的实际现状和痛点。目前主流的 coding agent, 比如 cloud code 记忆系统的做法是这样的,记忆存成 markdown, 文件解锁的时候,递归,扫描目录,读取每个文件的前几十行元数据,拼成一个清单, 然后让一个便宜的模型从清单里挑出最相关的几条,读取全书,注入上下文。这套方案在编码场景下够用,记忆量通常不超过几百条,每条都是高价值的、不太会变的信息。 但当你把 agent 的 应用场景扩展到更复杂的领域,这套方案就开始暴露问题了。第一个痛点,记忆量有硬上限。 cloud code 的 active recall 机制,扫描上线是两百个文件,超过的直接忽略,对于编码场景够用。但如果你的 agent 需要管理大量的项目文档、用户历史领域知识,两百条远远不够。 而且随着记忆量增长,让模型从一个两百行的平面清单里挑选,准确率会下降,因为清单太长,模型的注意力会分散。第二个痛点,检索是单次判断,没有探索能力,模型看到一个招标清单,做一次选择就结束了, 他没有能力说这个方向看起来相关,让我深入看看这个类别下还有什么。如果最相关的记忆的摘药恰好写的不够好,或者用户的查询跟记忆的表述方式不同,一次判断就可能漏掉,没有递归,没有回溯,没有多步探索。第三个痛点,所有记忆平铺在一起,没有结构, 不管是用户偏好、项目背景,还是工具使用经验,全部混在一个平面清单里。模型需要从一堆混杂的信息中同时判断类型和相关性。如果记忆能按类型和主题组织成层级结构,模型可以先定位到相关的类别,再在类别内精确搜索,效率会高得多。 第四个痛点, token 消耗没有精细控制,要么读取完整文件,消耗大量 token, 要么只看摘要,可能丢失信息,没有中间力度。 一个记忆文件可能有几千字,但你当前只需要知道它的核心结论,不需要看全部细节缺少,先看该要判断值不值得深入,再决定是否读全书的分级机制。第五个痛点, agent 的 执行经验不会自动沉淀。 cloud code 的 记忆系统主要记录用户的偏好和反馈,但 agent 在 执行任务过程中积累的经验,哪个工具在什么场景下好用,哪种解析策略有效,哪些错误模式反复出现,这些不会被自动提炼和存储。每次新绘画, agent 对 自己过去的表现没有记忆。 open viking 针对这五个痛点,给出了五个对应的解法。解法一,用虚拟文件系统统一管理所有上下文。 open viking 不 把记忆资源技能分开存储,它把所有东西映射到一个虚拟文件系统里,用统一的 u r i 标识。顶层有三个目录, resources 放外部资源,比如项目文档、代码、仓库、网页。 user 放用户的长期记忆, 包括偏好实体记忆、事件记录, agent 放 agent 自己的学习记忆,包括案例、模式、技能。 agent 的 操作记忆就像操作文件一样,用 ls 列目录看有什么,用 find 搜索特定内容,用 tree 看层级结构。这不是一个比喻,是真的可以这样操作。为什么用文件系统?因为文件系统天然有层级结构, 层级结构意味着上下文,即一条记忆不是孤立的,它在某个目录下,这个目录有自己的描述,描述告诉你这个目录里的所有内容是关于什么的,相关的信息自然地聚集在一起。 解法二,三层分级加载,按需获取不同力度。这是 open viking 最核心的设计之一。每个目录节点都有三层内容。 l 零层叫 abstract, 大 概一百个 token, 就是 一句话,摘要用来快速判断这个目录跟我当前的问题有没有关系。 l 一 层叫 overview, 大 概两千个 token, 包含核心信息和使用场景,用来做决策。我需不需要深入看这个目录的具体内容? l 二层是完整的原始内容,只有在 agent 确定需要深入阅读的时候才加载。 源码里的实现是,每个目录下有一个叫 abstract 的 markdown 文件存 l 零,一个 overview markdown 文件存 l 一, 实际内容文件存 l 二,写入的时候,三层同时生成,读取的时候按需选择层级。 这个设计的效果是什么?在集成测试中,输入 token 成本降低了百分之八十三到九十六。因为大部分时候 agent 只需要看 l 零和 l 一 就能做出决策,不需要加载完整内容。 解法三,目录地归剪索,替代平面向量搜索。传统做法是查一次向量数据库,返回最相似的几条结果。 open viking 的 做法是一个多步的地归过程。第一步,全局向量搜索,在所有 l 零和 l 一 节点上做一次搜索,找到得分最高的目录。 注意,这一步找的不是最终答案,是哪些目录可能包含答案。第二步,在高分目录内搜索子节点找到的子节点,如果还是目录,继续递归下钻。如果是叶子节点,收集为后选结果。第三步,分数传播。 子节点的最终得分不只取决于自身的向量相似度,还会继承副目录的得分。一个高度相关的目录下的所有内容都会获得位置加成。 第四步,收敛检测。如果连续三轮搜索,结果没有变化,停止地归,防止无线下钻。为什么这比平面搜索好?因为它利用了层级结构提供的鲜艳信息。 如果一个目录的摘要跟你的查询高度相关,那这个目录下的所有内容都值得看一看,即使某些内容的向量相似度不是最高的。这就像你在图书馆找书,先找到对的书架,再在书架上找具体的书,比在整个图书馆里主本翻要高效得多。 解法四,解锁轨迹可示化。因为所有内容都组织在层级结构里,解锁过程就是一个从根目录逐层下钻的路径,这个路径是完全可追踪的,你可以看到 agent 先看了哪个目录的摘药,然后决定进入哪个子目录,最终选中了哪些内容。 出了问题的时候,你可以直接看解锁轨迹。是第一步局搜索就没找到对的目录,还是找到了对的目录,但在子节点搜索时漏掉了,还是分数传播的权重不对,每一步都是可诊断的。 解法五,自动记忆提取和自我迭代 open viking 有 一个 session commit 机制,当一轮对话结束的时候,系统自动从对话中提取。记忆分成八个类别存储用户。测四类, profile 是 用户画像, preferences 是 偏好, entities 是 实体记忆, events 是 事件记录, agent 测四类, cases 是 具体问题加解法, patterns 是 可付用的流程方法, tools 是 工具使用经验, skills 是 技能执行策略。 源码里的 memory extractor 类负责这个工作,他用大模型分析对话内容,提取后选记忆,每条记忆都生成 l 零、 l 一、 l 二三层内容,然后写入对应的目录。 还有一个 working memory 的 设计系统,维护一个期段式的结构化工作记忆,文档绘画标题、当前状态、任务目标、关键决策、相关文件、错误记录待解决问题。 每次更新的时候,大模型对每个段落做保持更新或追加的决策,而不是重写整个文档,这保证了工作记忆的结构稳定性。效果数据 open viking 在 集成测试中的表现,任务完成率比基线提升百分之四十三到四十九,同时输入 token 成本降低百分之八十三到九十六,任务完成率提升将近一半, token 成本降低超过百分之八十。 这两个数字同时改善,说明不是靠塞更多信息来提升效果,而是靠更精准地找到需要的信息。 一句话总结, open viking 的 核心思路是把 agent 的 所有上下文组织成一个有层级结构的虚拟文件系统,每个节点有三层力度,可以按需加载。 解锁的时候沿着层级结构地归下钻,而不是做平面搜索。层级结构提供了平面存储没有的鲜艳信息,让解锁从在所有记忆里找最像的变成先找到对的目录,再在目录里找具体内容。 最后说一个他没解决的问题。之前有一篇论文叫 man, 测试了 a 阵的记忆系统在急连更新场景下的表现。当一个上游事实变化后,依赖它的下游事实能不能自动更新?比如你搬家了,每天骑车十五分钟到公司,这条记忆还成立吗?结果是所有系统的准确率只有百分之三。 open viking 能解决这个问题吗?从源码来看,不能直接解决。它有一个 relations 机制,可以存储 u r i 之间的关联关系。但这个机制的设计意图是解锁时发现相关内容,不是写入时触发急连更新。 写入新记忆的时候,系统不会自动检查已有记忆是否受影响。不过它的层级结构部分缓解了这个问题,因为相关事实自然聚集在同一个目录下。 住在望京和汽车通勤可能都在用户记忆的同一个实体目录下。当 a 阵通过地归解锁进入这个目录时,它能同时看到这些相关事实,从而有机会在读取时发现不一致。 但这依赖 a 阵的推理能力不是系统层面的保证。急连更新仍然是一个开放问题,目前没有任何记忆系统从根本上解决了它。 open viking 让相关信息更容易被一起看到,但看到之后能不能正确推理出依赖关系,还是取决于模型本。

哈喽,大家好,我是石志,今天给大家带来一个我们国产 ai 的 这么一个编程智能体的一个工具啊, 专门适用于 tipsik 的 一个 ai 编程智能体,然后目前在 github 上是有一万一千新,我们来看一下它的一个中文文档,它是 tipsik 原生的终端 ai 编程代理工具啊,围绕前缀缓存稳定性设计, 常绘画下 token 成本始终低位运行,可以一直开的。就目前能够使用 codex 还有 cloud 的, 如果用的是官方正版,就是速度会比较快一点,响应比较准确一点的,你如果只开最基础的订阅,是完全不够用的, 尤其是这个 cloud, 可能一两个项目没跑完,本周的就已经用完了,特别的夸张。 gpt 的 可能稍微强一点,能多跑一会儿,但是对于现在的这个 ai 代理来说啊, gpt 五一四的功能基本上是可以达到 gpt 或者是 cloud 它的一个百分之八十的这么一个效果的啊。除了一些特别难的研究型的一些东西,或者是一些支持多模态的 deepsea 可能会差一点,但是应对我们日常的一些生产,写一些简单的工具,或者是像我这样的研究一些 t p g t hub 里面的一些开源工具的时候,我觉得这个 deepsea 就 完全是够用了的,使用程 使用起来的话,这个成本是非常低的,然后也能帮助大家尽早的去熟悉这个 ai 编程代理,然后它的一些能力的话,基本上是跟我们现在常用的 codex 啊,或者是 load code, qoser 这些开源的 ai 编程工具是差不多的啊,这些没有什么去好讲的了,包括它的一些对比,对吧? cloud qoser 基本上都是闭源的啊,然后单任务成本高, 然后其他的基本上都是大差不差的,这个成本怎么说呢?因为 deepsea 的 话我们都知道之前是临时的一个降价对吧?现在是宣布永久对这个 v 四进行一个降价了, 十支,这个月用的一些消费,这个月 tiffany 也就是这两天才开始用的,之前一直都是 pos 叉在用,你看 tiffany 微四 flash 百万 token 一 元,你一个 token 的 话也才一百块对不对? 但是你如果是缓存命中了的话,相差了将近是多少?五十倍。然后这个工具的话,最厉害的地方就是 deepsea 前缀的一个缓存, 专门进行的一个工程化的设计,就是你输入的一些新词是 deepsea 之前没有见过的,但是意思的话跟其他 有缓存的那些贴字词意思是差不多的,他会将你自动的替换成那些既不是一个认识的贴字词去进行一个提交,但是又不影响你的一个效果啊, 这个就感觉特别厉害了,节省不少的一个成本啊。然后其他的好像也没有什么好说的了,如果不是做一些特别难执行的任务,些基础的任务或者是简单的编程任务,都可以交给这个工具去进行一个使用,然后可以 有效的降低这么一个使用成本啊。这个东西怎么说呢,仁者见仁,智者见智。那么今天的分享就到这,感谢您的观看,我们下期再见,拜拜。

上班摸鱼无聊,顺手用 deepsea 搭建了个自己的知识库,简直好用到爆!这段时间搭建知识库特别火,早就想在本地部署大模型,趁着周末休息,本着学习的目的直接开干,发现大多数人还用的是在线 ai, 自己的信息隐私没保障。 所以这次我专门花了三个小时搭建了个自己的大模型知识库,把所有文档都丢进去,想问啥问啥,不用担心数据泄露。其实代码并不复杂,在搭建的时候顺便把步骤捋顺,程小白也能看得懂的教程,按照步骤就能在本地电脑跑起。大模型搭建一个专属的知识库。如果你也想搭建一个自己的知识库,留下知识库直接抱走。 为什么你在本地测试的 r g 应用评分很高,但一上线,业务方还是觉得效果不好呢?原因很简单,因为你只关注了最终答案,却忽略了中间的处理过程。 大模型生成了不准确的内容,往往不是模型本身的问题,而是你提供的参考资料啊,质量不高。现在使用开源工具搭建一个 r r g 的 应用并不难,但真正的技术挑战就在于,当线上系统出现问题或者是生成错误内容的时候,你能够快速定位问题的根源, 是底层向量检测不准确,还是大模型本身出现了偏差。本期视频我就带你掌握一套企业级的 r g 评测与诊断方法。整个内容分为四个部分。首先,我们会先推翻你以前做测试的时候的旧思维,重新建立一个真正适合大模型的一个分层评测理念。 第二部分,我会带你搞懂解锁和生成这两个阶段最核心的几个量化指标。接下来第三部分是今天绝对的重头戏,基于交叉指标的系统故障归音,学会这一手,线上系统翻车的时候,你能通过指标组合一针见血的反推定位,到底哪里出了 bug, 这也是最能拉开技术差距的地方。最后第四部分我们就不谈理念了,直接落到实处,聊一聊怎么把这些评测自动化跑起来,以及怎么用最终的业务指标去向老板完美交差。 好,我们直接开始。其实很多做大模型应用的朋友,经常会遇到一个情况,就是自己在后台跑出来的准确率看着挺高的,但一上线你的业务方还是觉得很难用。 这其实是因为一开始我们的评测理念就没有对齐,所以第一部分我们就来理一理到底什么是 r g 的 分层评测理念。 以前我们做传统的 n l p 任务,大家很习惯把系统当成一个黑盒,输入一个问题,就直接等最后的答案, 然后再去算一个准确率,或者是不漏分。但这一套黑和逻辑在 r r g 里面是行不通的。为什么呢?因为一旦指标变低了,业务方问你哪一环节出了问题,你其实根本答不上来。 这就好比你去体检,医生只丢给你一句话,说你不是很健康,但是他不告诉你到底是胃病还是感冒,这就完全没法对症下药了,对吧? 所以现在的一个诊断思路就变了,我们得拿一个听诊器,把 r g 当做是一个连续的数据流,把检测上下文组装模型生成一个个节点,拆开来监测 好,那既然要拆开,那么一个 r g 系统一般会在哪里翻车呢?说白了,其实就两个原因, 第一种情况是输入端失效,也就是用户的问题进来了,但是最前面的解锁组建去知识库里扒拉了半天,根本没有把正确的参考资料拿出来。你想啊,大模型连对的参考书都没有答错,也是很正常的 好。第二个处理端失效可能更气人,就是资料明明找对了,正确的文本已经喂给大模型了,结果呢?大模型他不好好读,自己在那里一本正经的胡说八道,产生了幻觉。 同样是给出一个错误的答案,背后的原因却是不同的,这也是为什么我们反复强调评测千万不能指定的最后的一个答案 好顺着刚才的思路,实际落地的时候呢?我们一般会搭这样一个三层评测架构,就像套娃一样。最底层的 l e 是 组件级评测, 这其实就是在测试底层的零配件,比如我们选的 embedded 模型到底行不行,加了 re rank 之后效果有没有提升?这里看的都是很硬核的解锁指标,像命中率之类的, ok, 往上一层, l 二,端到端列录评测,这时候就不单看零件了,而是要看整个流水线跑不跑得顺。 这里核心就顶两件事,也就是前面找的对不对,以及后面答的好不好, ok, 最外面这一层也是最容易被忽视的。 l 三,业务级评测, 这一点其实特别重要,因为对于业务来说,哪怕我们的技术指标跑的再漂亮,如果放到真实的线上环境,用户一用觉得解决不了问题,那就全白搭了。所以最后兜底的衡量标准一定是用户的 at case 触发率。 好理清了,要拆开看这个思路,那具体怎么拆呢?怎么量化呢?接下来我们就进入第二部分,看看剪辑和生成阶段到底要盯紧哪几个核心指标。 我们先来看前半部分,也就是剪辑阶段,这里的核心任务就三个字,准与全。我们先来说这个准,对应的是左边这个叫做上下文精确率 context precision, 它衡量的是什么呢?就是系统给你捞回的这一堆的文本块,也就是 chumps 里面到底有多少真正有用的干货?打个比方,嗯,比如说用户问退款多久能到账,结果系统呼啦啦抓回来一大堆的,嗯,发票开据规则啊,还有什么会员等级权限等等, 这些内容对回答问题有用吗?完全没有用。这就叫精确率低。它带来的后果很直接,既白白浪费了 api 的 token 钱,那些废话还会干扰大模型的注意力,让它抓不住重点。 ok, 我 们再来说这个群,它对应的呢,是上下文召回率 context recall, 他看的是回答这个问题所必需的关键信息,你有没有一字不落的全给找回来?好,同样举个例子,用户其实问的是一个复合问题,他需要知道退款的条件和具体到账的一个时间, 结果解锁系统很粗心,只抓回了到账时间,把这个退款条件给漏掉了。那后面的大模型再聪明,也只能给出一个残缺的答案, 所以召回率低直接等于答案不完整。那么假设我们前面解锁做的很完美,资料又准又全,那我们就可以进入后半部分,看看生成阶段大模型的一个表现了。 这里我们也要盯两个指标。左边这个叫做忠实度。这个词很好理解,就是看大模型老不老实,他的回答必须百分之百的基于我们未给他的参考资料,不能自己在那里瞎脑补。 比如参考资料里面明明白白写着退款一般要三到七个工作日,结果呢,大模型为了讨好用户,自己编了一句,最快当天就能到账。这就是典型的不忠诚,也就是我们常说的幻觉。 在严肃的业务场景里面,这种睁眼说瞎话是绝对要命的好。那么另外一个指标叫做答案相关性,它主要防的是什么呢?防止大模型太急, 也就是事实是对的,但是完全没有回答用户真正关心的问题。比如用户很着急我该怎么申请退款,他想要的是一个具体的操作步骤。结果呢?大模型给他洋洋洒洒背了一大段什么是退款规则,退款的一个历史渊源等等 内容好像是没错,但纯属答非所问,这就是相关性没有做好,没有精准的切中用户的真实意图。 ok, 解锁和生成的四个核心指标我们讲完了,那这些指标算出来之后呢?难道就是截个图放进周报里交差吗?肯定不是的。所以接下来第三部分,也是整个系统里面最硬核的一段,我们要玩点高级的,看看怎么通过这些指标的交叉组合,像老中医把脉一样去反推系统到底哪里出了问题? 好,你看这里,优秀的工程师绝对不是一个无情的跑分机器,单一的指标往往说明不了大问题,如果你只盯着一个分看,就很容易被带偏了。真正的诊断就是把前面说的四个仪表盘拼在一起看,通过他们高低分的不同搭配,我们就能精准锁定 r r g 系统的一个薄肉环节。 这就好比看验血的单子,单看一项可能觉得挺正常的,但几项指标一交叉,医生立马就知道病根在哪里了。 接下来呢,我们就具体看几个平时最容易碰到的疑难杂症。先看第一种场景,假设你跑完测试,发现中层度很高,但是答案的相关性很低,这说明什么呢? 用户的那边感觉就是这机器人,他虽然没有瞎编,都是按原文在念,但扯了半天根本就不能解决我的问题,这时候该谁背锅?其实是前面的解锁阶段, 这就好比巧妇难为无米之炊,那模型其实很听话,看着你给的资料去总结了,但是你未给他的参考资料本身就是偏题的,所以归因下来,这是解锁召回的质量太低。 那么再看第二种情况,刚好反过来,上下文的召回率很高,但是忠实度却很低,这其实是平时排查的时候非常让人抓狂的一种情况。你想啊,正确的参考资料明明都已经找回来了,都已经喂在大魔星嘴边了,可他还是答错了,又开始瞎编了。 那这就不用怀疑了,绝对是模型端或者是策略端的问题,要么是选的大模型本身能力太弱,听不懂指令,要么就是这个 prompt 约束的不够狠。 其实还有一种很常见的原因,就是你塞进去的参考文本太长了,大模型读到后面忘了前面也就是我们常说的注意力丢失。 最后来看第三种情况,精确率和召回率双低。遇到这种情况,用户端的感知呢,就是这个系统完全是个智障,抓取的内容一塌糊涂。这时候你千万不要去急着换大模型,因为第一步解锁就全盘崩溃了,后面的模型能力再强也没有用。 这时候我们得往最底层的基建去查,是不是一开始的 in bend 模型选的太差劲了,或者文本分块的策略太粗暴了?再或者是不是没有加上金牌机制?总而言之,这是地基没有打好,不要怪大模型。 ok, 前面呢,我们把理论和怎么把脉诊断都讲了,那落实到敲代码做工程,这套评测到底该怎么跑起来?最后怎么跟业务方交叉呀?这是我们最后要解决的问题。工程落地和业务闭环 做评测,第一步也是最基础的一步,就是手里得有粮。这就要求我们必须要构建一个黄金数据集,千万不能几个程序员一拍脑袋随便造两个问题,测一下就算了。在项目初期,我们至少得老老实实攒个十几个到一百个高质量的人工测试样本。 那一条合格的测试样本必须要包含三个要素,第一是真实的 query, 也就是用户到底会怎么问?第二呢,是专家人工写好的标准答案, ground truth。 第三个要素,也是很多人做评测容易漏掉的回答这个问题理应被找出来的。原文档片段, references、 chunks 这三样东西凑齐了,才算是一条能用来跑自动化的精准数据。 当然了,很多人可能会头疼说项目刚启动,根本就没有真实的用户提问怎么办?这时候呢,我们可以走个捷径,就是做数据合成, 可以直接让大模型对着我们的内部文档反向生成一些问答对来做冷启动。但是这里有个很重要的风控原则,你看下面这里, 那模型呢?他其实很容易自嗨,搞出一些看似合理,看似很专业,但是原文里面根本就没有依据的假问题,纯属是伪需求。如果把这些脏数据直接塞进测试级,那整个评测标准就被污染了。 所以呢,在合成的数据入库之前,必须也一定要经过人工的审核拦截,这一步还真的省不了。 ok, 有 了数据集,接下来就是跑自动化工具了,现在市面上工具还挺多的,下面我们就来看一下如何选型。如果你的项目是刚起步,想快速跑个分看看效果,那我推荐用 rags, 非常清亮,开箱即用,基本上调个接口,就能够把刚才说的精确率啊,忠诚度啊那些指标给跑出来。 那如果项目到了深水区,是个正儿八经的企业金用了,我建议看看 deep evo 或者是业界的 r g 四件套这一类工具,它的工程化程度很高,特别适合接在我们现有的 c i c d 流水线里面做自动化回归测试。 比如今天改了一段代码,跑分跌了马上就能卡住报警。最后一种像初恋斯和 lms, 它们其实更偏向于线上的监控,等系统真正上线了,用它们来记录每一次用户请求到底花了多少 token, 在 哪个节点上卡住了,看列录分析,非常直观。 最后是整个系统的终点,我们要回到业务指标闭环上。其实大家做技术做久了,很容易沉迷于刷榜刷跑分,但说实话,技术指标再好看,如果没有转换成业务价值,那这个系统就是不及格的。 所以上线之后呢,我们必须紧盯这两圈指标。上面这一圈是直接的用户反馈,比如站台比例。还有一个很关键的就是用户追问率,你想,如果用户问了一句,马上又连着追问了好几句,大概率是你的系统没能一次性帮他解决问题,对吧? 下面这圈呢,是运营层面的风控,比如触发了多少线上 bad case。 但对于很多真实的业务方来说,最最核心的其实是右边这一个指标,克服转人工率。大伯星搞了半天,他到底帮公司挡了多少人力成本?这才是你的 r g 系统最重要交出的成绩单。 好,我们整个企业级 r i g 的 评测和诊断体系就讲的差不多了。最后简单总结一下,其实今天讲的所有内容,归根结底就一句话,告别黑盒,拆解链路以后,你再给大拇指应用做诊断,可以记住这三步,第一步是看准指标, 要看你解锁阶段的上下文找的准不准,全不全看生成阶段的回答是不是忠实原文,有没有答非所问。 第二步是交叉诊断,我们不是无形的跑分机器,遇到了问题,要把高低指标组合起来看。 第三步别忘了回归业务,我们搞了一套黄金数据集,拉了自动化的测试工具链,这些技术层面的努力,最终一定要落到真实的业务数据上面,把这一套闭环跑通,做出来的 r g 才叫真正的可用可落地。好,那今天就先聊到这里,我们下期再见。

想学 ai agent 开发,别到处乱收藏了。刚发现一个开源仓库,七天时间涨了一千三百星,把 agent 学习路线整理得清清楚楚。 data will 社区做的叫 agent learning hub, 不是 堆一堆乱七八糟的链接,是实打实可以照着做的 to do list。 从基础概念到多智能体系统,分阶段推进,每阶段都有明确的产出要求。 四个阶段带你走完全程。阶段零理解 agent 是 什么?读完 antropic 和 open a i 的 官方指南。 阶段一,写一个最小 agent 循环,能选工具,执行工具,返回答案,几十行代码搞定。阶段二,学工具调用、知识检测和记忆系统,做出能搜资料出报告的研究助手。阶段三,深入多智能体协助和技能协议,搭建完整系统。 重点来了,他们最新推荐的学习方向,编程智能体排在第一位,因为真实代码库的权限上,下文测试是最好的工程样本,那些老式角色扮演框架可以了解,别当主线。 想学 agent 开发,跟着这条路线走就行。 github 搜 agent learning hub, 收藏了,现在就开干追星,不盲从实测出真知。

想系统学 ai, 却总在零散教程里来回跳。我发现了一个超过一万八千 star 的 开源项目, ai engineering from scratch, 它就是用来帮我系统学习 ai 工程的。 从数学基础、神经网络到 transformer 大 模型 r a g 和 agent, 它把原本零散的知识串成一条能动手实践的路线。最打动我的有三点, 第一,项目 read 密里列出了二十个阶段,四百三十五节内容和三十三个项目,学什么怎么走很清楚。第二,它鼓励从头实现关键模块,不只是调用现成接口。 第三,它覆盖 l l m r a g, agent 和 m c p 这些现在真正实用的方向。对我来说,它的价值是让我不只会用 ai, 而是一步步理解和构建 ai 系统。 如果你也想系统入门,打开它的 github 路线图,从适合你的阶段开始。项目链接放在这里,先收藏再动手试试,喜欢的朋友点个关注吧!

上班摸鱼无聊,顺手用 deepsea 搭建了个自己的知识库,简直好用到爆!这段时间搭建知识库特别火,早就想在本地部署大模型,趁着周末休息,本着学习的目的直接开干,发现大多数人还用的是在线 ai, 自己的信息隐私没保障。 所以这次我专门花了三个小时搭建了个自己的大模型知识库,把所有文档都丢进去,想问啥问啥,不用担心数据泄露。其实代码并不复杂,在搭建的时候顺便把步骤捋顺,程小白也能看得懂的教程,按照步骤就能在本地电脑跑起。大模型搭建一个专属的知识库。如果你也想搭建一个自己的知识库,留下知识库直接抱走。 为什么你在本地测试的 r g 应用评分很高,但一上线,业务方还是觉得效果不好呢?原因很简单,因为你只关注了最终答案,却忽略了中间的处理过程。 大模型生成了不准确的内容,往往不是模型本身的问题,而是你提供的参考资料啊,质量不高。现在使用开源工具搭建一个 r r g 的 应用并不难,但真正的技术挑战就在于,当线上系统出现问题或者是生成错误内容的时候,你能够快速定位问题的根源, 是底层向量检测不准确,还是大模型本身出现了偏差。本期视频我就带你掌握一套企业级的 r g 评测与诊断方法。整个内容分为四个部分。首先,我们会先推翻你以前做测试的时候的旧思维,重新建立一个真正适合大模型的一个分层评测理念。 第二部分,我会带你搞懂解锁和生成这两个阶段最核心的几个量化指标。接下来第三部分是今天绝对的重头戏,基于交叉指标的系统故障归音,学会这一手,线上系统翻车的时候,你能通过指标组合一针见血的反推定位,到底哪里出了 bug, 这也是最能拉开技术差距的地方。最后第四部分我们就不谈理念了,直接落到实处,聊一聊怎么把这些评测自动化跑起来,以及怎么用最终的业务指标去向老板完美交差。 好,我们直接开始。其实很多做大模型应用的朋友,经常会遇到一个情况,就是自己在后台跑出来的准确率看着挺高的,但一上线你的业务方还是觉得很难用。 这其实是因为一开始我们的评测理念就没有对齐,所以第一部分我们就来理一理到底什么是 r g 的 分层评测理念。 以前我们做传统的 n l p 任务,大家很习惯把系统当成一个黑盒,输入一个问题,就直接等最后的答案, 然后再去算一个准确率,或者是不漏分。但这一套黑和逻辑在 r r g 里面是行不通的。为什么呢?因为一旦指标变低了,业务方问你哪一环节出了问题,你其实根本答不上来。 这就好比你去体检,医生只丢给你一句话,说你不是很健康,但是他不告诉你到底是胃病还是感冒,这就完全没法对症下药了,对吧? 所以现在的一个诊断思路就变了,我们得拿一个听诊器,把 r g 当做是一个连续的数据流,把检测上下文组装模型生成一个个节点,拆开来监测 好,那既然要拆开,那么一个 r g 系统一般会在哪里翻车呢?说白了,其实就两个原因, 第一种情况是输入端失效,也就是用户的问题进来了,但是最前面的解锁组建去知识库里扒拉了半天,根本没有把正确的参考资料拿出来。你想啊,大模型连对的参考书都没有答错,也是很正常的 好。第二个处理端失效可能更气人,就是资料明明找对了,正确的文本已经喂给大模型了,结果呢?大模型他不好好读,自己在那里一本正经的胡说八道,产生了幻觉。 同样是给出一个错误的答案,背后的原因却是不同的,这也是为什么我们反复强调评测千万不能指定的最后的一个答案 好顺着刚才的思路,实际落地的时候呢?我们一般会搭这样一个三层评测架构,就像套娃一样。最底层的 l e 是 组件级评测, 这其实就是在测试底层的零配件,比如我们选的 embedded 模型到底行不行,加了 re rank 之后效果有没有提升?这里看的都是很硬核的解锁指标,像命中率之类的, ok, 往上一层, l 二,端到端列录评测,这时候就不单看零件了,而是要看整个流水线跑不跑得顺。 这里核心就顶两件事,也就是前面找的对不对,以及后面答的好不好, ok, 最外面这一层也是最容易被忽视的。 l 三,业务级评测, 这一点其实特别重要,因为对于业务来说,哪怕我们的技术指标跑的再漂亮,如果放到真实的线上环境,用户一用觉得解决不了问题,那就全白搭了。所以最后兜底的衡量标准一定是用户的 at case 触发率。 好理清了,要拆开看这个思路,那具体怎么拆呢?怎么量化呢?接下来我们就进入第二部分,看看剪辑和生成阶段到底要盯紧哪几个核心指标。 我们先来看前半部分,也就是剪辑阶段,这里的核心任务就三个字,准与全。我们先来说这个准,对应的是左边这个叫做上下文精确率 context precision, 它衡量的是什么呢?就是系统给你捞回的这一堆的文本块,也就是 chumps 里面到底有多少真正有用的干货?打个比方,嗯,比如说用户问退款多久能到账,结果系统呼啦啦抓回来一大堆的,嗯,发票开据规则啊,还有什么会员等级权限等等, 这些内容对回答问题有用吗?完全没有用。这就叫精确率低。它带来的后果很直接,既白白浪费了 api 的 token 钱,那些废话还会干扰大模型的注意力,让它抓不住重点。 ok, 我 们再来说这个群,它对应的呢,是上下文召回率 context recall, 他看的是回答这个问题所必需的关键信息,你有没有一字不落的全给找回来?好,同样举个例子,用户其实问的是一个复合问题,他需要知道退款的条件和具体到账的一个时间, 结果解锁系统很粗心,只抓回了到账时间,把这个退款条件给漏掉了。那后面的大模型再聪明,也只能给出一个残缺的答案, 所以召回率低直接等于答案不完整。那么假设我们前面解锁做的很完美,资料又准又全,那我们就可以进入后半部分,看看生成阶段大模型的一个表现了。 这里我们也要盯两个指标。左边这个叫做忠实度。这个词很好理解,就是看大模型老不老实,他的回答必须百分之百的基于我们未给他的参考资料,不能自己在那里瞎脑补。 比如参考资料里面明明白白写着退款一般要三到七个工作日,结果呢,大模型为了讨好用户,自己编了一句,最快当天就能到账。这就是典型的不忠诚,也就是我们常说的幻觉。 在严肃的业务场景里面,这种睁眼说瞎话是绝对要命的好。那么另外一个指标叫做答案相关性,它主要防的是什么呢?防止大模型太急, 也就是事实是对的,但是完全没有回答用户真正关心的问题。比如用户很着急我该怎么申请退款,他想要的是一个具体的操作步骤。结果呢?大模型给他洋洋洒洒背了一大段什么是退款规则,退款的一个历史渊源等等 内容好像是没错,但纯属答非所问,这就是相关性没有做好,没有精准的切中用户的真实意图。 ok, 解锁和生成的四个核心指标我们讲完了,那这些指标算出来之后呢?难道就是截个图放进周报里交差吗?肯定不是的。所以接下来第三部分,也是整个系统里面最硬核的一段,我们要玩点高级的,看看怎么通过这些指标的交叉组合,像老中医把脉一样去反推系统到底哪里出了问题? 好,你看这里,优秀的工程师绝对不是一个无情的跑分机器,单一的指标往往说明不了大问题,如果你只盯着一个分看,就很容易被带偏了。真正的诊断就是把前面说的四个仪表盘拼在一起看,通过他们高低分的不同搭配,我们就能精准锁定 r r g 系统的一个薄肉环节。 这就好比看验血的单子,单看一项可能觉得挺正常的,但几项指标一交叉,医生立马就知道病根在哪里了。 接下来呢,我们就具体看几个平时最容易碰到的疑难杂症。先看第一种场景,假设你跑完测试,发现中层度很高,但是答案的相关性很低,这说明什么呢? 用户的那边感觉就是这机器人,他虽然没有瞎编,都是按原文在念,但扯了半天根本就不能解决我的问题,这时候该谁背锅?其实是前面的解锁阶段, 这就好比巧妇难为无米之炊,那模型其实很听话,看着你给的资料去总结了,但是你未给他的参考资料本身就是偏题的,所以归因下来,这是解锁召回的质量太低。 那么再看第二种情况,刚好反过来,上下文的召回率很高,但是忠实度却很低,这其实是平时排查的时候非常让人抓狂的一种情况。你想啊,正确的参考资料明明都已经找回来了,都已经喂在大魔星嘴边了,可他还是答错了,又开始瞎编了。 那这就不用怀疑了,绝对是模型端或者是策略端的问题,要么是选的大模型本身能力太弱,听不懂指令,要么就是这个 prompt 约束的不够狠。 其实还有一种很常见的原因,就是你塞进去的参考文本太长了,大模型读到后面忘了前面也就是我们常说的注意力丢失。 最后来看第三种情况,精确率和召回率双低。遇到这种情况,用户端的感知呢,就是这个系统完全是个智障,抓取的内容一塌糊涂。这时候你千万不要去急着换大模型,因为第一步解锁就全盘崩溃了,后面的模型能力再强也没有用。 这时候我们得往最底层的基建去查,是不是一开始的 in bend 模型选的太差劲了,或者文本分块的策略太粗暴了?再或者是不是没有加上金牌机制?总而言之,这是地基没有打好,不要怪大模型。 ok, 前面呢,我们把理论和怎么把脉诊断都讲了,那落实到敲代码做工程,这套评测到底该怎么跑起来?最后怎么跟业务方交叉呀?这是我们最后要解决的问题。工程落地和业务闭环 做评测,第一步也是最基础的一步,就是手里得有粮。这就要求我们必须要构建一个黄金数据集,千万不能几个程序员一拍脑袋随便造两个问题,测一下就算了。在项目初期,我们至少得老老实实攒个十几个到一百个高质量的人工测试样本。 那一条合格的测试样本必须要包含三个要素,第一是真实的 query, 也就是用户到底会怎么问?第二呢,是专家人工写好的标准答案, ground truth。 第三个要素,也是很多人做评测容易漏掉的回答这个问题理应被找出来的。原文档片段, references、 chunks 这三样东西凑齐了,才算是一条能用来跑自动化的精准数据。 当然了,很多人可能会头疼说项目刚启动,根本就没有真实的用户提问怎么办?这时候呢,我们可以走个捷径,就是做数据合成, 可以直接让大模型对着我们的内部文档反向生成一些问答对来做冷启动。但是这里有个很重要的风控原则,你看下面这里, 那模型呢?他其实很容易自嗨,搞出一些看似合理,看似很专业,但是原文里面根本就没有依据的假问题,纯属是伪需求。如果把这些脏数据直接塞进测试级,那整个评测标准就被污染了。 所以呢,在合成的数据入库之前,必须也一定要经过人工的审核拦截,这一步还真的省不了。 ok, 有 了数据集,接下来就是跑自动化工具了,现在市面上工具还挺多的,下面我们就来看一下如何选型。如果你的项目是刚起步,想快速跑个分看看效果,那我推荐用 rags, 非常清亮,开箱即用,基本上调个接口,就能够把刚才说的精确率啊,忠诚度啊那些指标给跑出来。 那如果项目到了深水区,是个正儿八经的企业金用了,我建议看看 deep evo 或者是业界的 r g 四件套这一类工具,它的工程化程度很高,特别适合接在我们现有的 c i c d 流水线里面做自动化回归测试。 比如今天改了一段代码,跑分跌了马上就能卡住报警。最后一种像初恋斯和 lms, 它们其实更偏向于线上的监控,等系统真正上线了,用它们来记录每一次用户请求到底花了多少 token 在 哪个节点上卡住了,看列录分析,非常直观。 最后是整个系统的终点,我们要回到业务指标闭环上。其实大家做技术做久了,很容易沉迷于刷榜刷跑分,但说实话,技术指标再好看,如果没有转换成业务价值,那这个系统就是不及格的。 所以上线之后呢,我们必须紧盯这两圈指标。上面这一圈是直接的用户反馈,比如站台比例。还有一个很关键的就是用户追问率,你想,如果用户问了一句,马上又连着追问了好几句,大概率是你的系统没能一次性帮他解决问题,对吧? 下面这圈呢,是运营层面的风控,比如触发了多少线上 bad case。 但对于很多真实的业务方来说,最最核心的其实是右边这一个指标,克服转人工率。大伯星搞了半天,他到底帮公司挡了多少人力成本?这才是你的 r g 系统最重要交出的成绩单。 好,我们整个企业级 r r g 的 评测和诊断体系就讲的差不多了。最后简单总结一下,其实今天讲的所有内容,归根结底就一句话,告别黑盒,拆解链路以后,你再给大拇指应用做诊断,可以记住这三步,第一步是看准指标, 要看你解锁阶段的上下文找的准不准,全不全看生成阶段的回答是不是忠实原文,有没有答非所问。 第二步是交叉诊断,我们不是无形的跑分机器,遇到了问题,要把高低指标组合起来看。 第三步别忘了回归业务,我们搞了一套黄金数据集,拉了自动化的测试工具链,这些技术层面的努力,最终一定要落到真实的业务数据上面,把这一套闭环跑通,做出来的 r g 才叫真正的可用可落地。好,那今天就先聊到这里,我们下期再见。

今天带来的是 co graph, 一个专为 coding agent 设计的代码知识图谱和 m, c, p 服务器。它不只是一个搜索工具,你可以把它理解成专门给 coding agent 用的代码,截破锁隐藏。 他会把代码里的 a, s, t, 也就是抽象语法数抽成图存到本地 s, k, w, time, 然后通过 c, l, i 和 m, c, p 把符号关系调用链,文件依赖改动影响这些信息暴露给 a 诊,这样 a 诊理解代码库时,就不用一直 grape, 不 用反复读文件,也不用把 token 发在找路上。 他可以先问捷豹这个函数被谁调用,这次改动会影响哪里,这段业务流程怎么走?所以 co graph 的 价值不是替 agent 写代码,而是给 agent 一 张更靠谱的代码地图。

我今天在 tchat 上看到一个很适合开发者收藏的项目,叫 browser based chat, 它做的不是聊天机器人,而是 ai 浏览器自动化。 简单说就是让 agent 更稳地打开网页,点击按钮,读取内容,抽取结构化数据。先看一数据, 这个仓库现在有二万二千七百二十三个收藏,一千五百二十七个分支,主语言是 type script, 协议是 m i t, 最近在五月十九号还更新过 readme 里说 stagehand 把自然语言和代码放在同一套浏览器工作流里, 你知道页面结构时,就用 playwrite 是 代码固定动作,页面陌生或者经常变化时,再让模型理解页面。 它的几个核心接口也很清楚。 act 执行动作, agent 做多部任务, extract 抽结构化数据。这个设计比纯 agent 更可控,也比纯脚本更能适应页面变化。 我觉得它适合三类人,做网页自动化的开发者、做资料抓取和后台运营工具的团队,以及正在搭 ai agent 工作流的人。但门槛也要讲清楚, 你最好会 type script 懂一点。 playwrite 还要配置 l l m key 或浏览器基础设施。更重要的是全线风险。让 agent 登录网页,点按钮填表,本质上是在交出账号操作权,稳定性也不是百分百 验证码登录风控网站改版都可能让流程中断。所以我的结论是, stagehand 很 值得收藏,适合做 agent。 浏览器能力选型,但如果你想要零代码工具或者直接上生产,不做权限和稳定性检查,那它不适合你。

tikub 刚火,一个项目,两天狂揽一万星,现在快八十六 k 星了。他不卖代码不跑模型,就靠五十五个 ai 角色的 macdunk 文件,组了一家真能干活的虚拟公司。你没听错,前端工程师写 react, 组建 ux 研究员,模拟用户访谈 reddit, 老哥帮你混高活论坛。连趣味注入师都上岗了, 每个笑点都得有功能或情感目的,不许纯整活。这项目叫 the agency, 作者是波兰开发者 m ceteruski。 都上岗了, ai 能扮演专家写作吗? 十二小时内五十多人喊着要资源,他真憋了几个月,把想法做成了开源库。每个角色都是结构化, prompt 身份使命、交付标准、工作流程,甚至带代码实力。比如后端架构师,写清 api 设计原则,数据库选型逻辑图片提示词,工程师直接赋道义和 mid journey 双模板, 连负面词怎么写都标好了。原文说九个部门,五十五个角色,现在已滚到一百四十四,加角色十二个部门。中文版更猛,两百一十一个角色,十八个部门,专为中国加了小红书。运营师, 抖音策略师, b 站内容架构师,直播电商顾问、微信小程序开发工程师,连飞书和钉钉集成开发都安排上了,新增部门也很前沿。空间计算部、钉威信 o s 和 webx 二 专项部里有区块链安全审计员 m c p 构建器,甚至还有高考志愿顾问。 ai 真开始帮填志愿了,用法超清,官方推荐对接 cloud code, 把 md 文件扔进 cloud agents 目度,张嘴就说帮我搭个登录页, cloud 立刻切换身份,按 react 最佳实践写组建配测试补 type script 类型,不用 cloud 也行。打开任意角色文件,复制身份,加使命加流程加成功指标,粘进你常用的大模型对话框。 再加一句,需求,等于当场给 ai 装上专业人格芯片。它已兼容 cursorader、 winserve 等十家主流 ai 编程工具, mit 协议随便改随便用,还能提 pr。 上百位开发者已在补测试用力优化模板,甚至给趣味注入师加了 ab 测试评估维度。 它解决的是老问题,为啥大模型啥都会,但啥都差点意思?因为没职责边界,没写作机制,没交付标准。 the agency 第一次用纯文本把专业分工标准化,可附用、可扩展地落地了。不是换工具,是重新定义用 ai。 一 家没办公室、不发工资、全员 ai 的 公司正在 github 上招人,你就是他的第一个 cto。

大家好,我是麦东,今天我们来聊一个很多朋友可能会感兴趣的东西, hermes desktop。 之前我给大家分享过 hermes 网页 ui 的 使用,最近社区又推出了一个桌面版的客户端,提供了一个原声的图形化界面,让我们在使用 hermes 的 时候可以更加的直观和方便。这边有个点先跟大家讲一下, 如果你本地已经有了 hermes, 那 么你再去使用这个桌面端的时候,它会直接连接到你本地的 hermes。 而如果你本地之前没有装过 hermes, 那 么你在安装这个客户端的时候,它也会自动帮你完成 hermes 的 安装。好,下面我们来看看实际的使用体验。 大家可以看到我的桌面打开 hermes desktop 之后,界面就是这样一个比较干净的窗口,左侧可以切换菜单,右侧则是我们主要的聊天窗口。大家如果不习惯看英文呢,可以点到 settings 里面,在这边下拉找到语言,将其切换为中文, 这样看起来可能就会好很多了。 hermes 的 桌面客户端所提供的功能其实跟之前介绍过的一些网页 ui 是 相似的。首先就是一个聊天窗口,我们可以在这边直接跟 hermes 进行对话, 然后接下来是会画列表,这边它会加载你当前 hermes 里面默认所有的聊天记录。我的 hermes 里面聊天记录比较多,所以它这边加载的时间也会比较长,我们就不等它加载了,继续往后看。第三个是答案, 答案其实就是我们所说的 harmus profile, 也就是 harmus 的 多智能体。在这边我们除了管理已有的智能体之外,还能直接新建智能体。第四个菜单,工作区,工作区是客户端提供的一个三 d 格式 y 的 看板,在这边你可以看到当前 agent 的 一些活动,说白了就是给你解个闷,但它并没有什么实际上的作用。 第五个看板,这就是 hermes 的 看板功能,之前我也有出过一期视频做详细的介绍,大家感兴趣的可以去看一下那期视频。而接下来的两个菜单,模型与供应商都是用来配置我们本地的 hermes 可以 使用的模型的,这个就不做详细讲解了,配置也比较简单。 接下来的技能菜单可以管理我们本地已经安装好的一些 skill 人格跟记忆。两个菜单则是直接编辑 hermes 的 source md 以及 memory md 这边涉及到我个人的一些隐私数据,我们就不点开给大家展示了。工具菜单我们可以在这边定义 hermes 在 运行的时候可以使用那些工具, 比如网络搜索、浏览器终端等等。再往下的计划任务以及网关则分别对应了 harmis 的 电视任务以及消息网关,我们在本期视频里也不做详细讲解了。整体来说, harmis desktop 给 harmis 用户提供了一个原生的图形化选择,让日常的使用过程变得轻松了不少。 当然了,他本身也是一个由社区开发的开源项目,功能也还在持续完善中,可能也会有些小问题,但整体来说已经可以正常使用了。他比较适合那些希望用更直观的方式来操作 hermes 的 朋友,并且呢,和命令行网页也完全不冲突,你可以根据自己的习惯随时切换, 感兴趣的朋友可以自行的去了解一下这个项目。好了,本期视频到这边就结束了,工具会变,但方法更重要,我是麦冬,下条继续。

发现一个能让各种 agent 搜索能力大幅提升的使用技巧,这是一个搜索引擎技能,让 cloud code 等 agent 具备更强的通用搜索加专业搜索的能力。我们都知道训练大模型的数据不是事实的,在不借助其他工具或者技能的情况下,大模型只能查到它训练数据之前的内容。这个时候搜索技能就很重要了, 我自己是这么配置的,把这个技能放到 cloud 的 sql 目录下就可以了,大家按照官方文档操作就行,记得准备好对应的 key, 速度会更快一些。这个技能提供了多种运行方式,我用的是 python。 首先看看版本是否满足,接着运行这段命令,看看是否正确输出,如果正确输出了,就在软钛文件中写下这段命令。 我们用一行 hello 的 命令来测试一下是否配置成功,输出内容就说明没问题,你可以通过这个技能获取到新的技术内容。比如看一下现在 jdk 是 什么版本,有哪些特性。 那我就可以直接唤起这个 skill, 然后提出问题。 any search, 它会自己路由到相关的数据源,然后直接返回结构化的 markdown 结果,整体结构化的输出会大幅减少拓客浪费。再比如看看 v l o m 有 什么新版本,有哪些新特性,它会直接找到对应的 get up 项目,从 res 中拿到结果,完成整个过程只花了很少的拓客。 除了专业性的知识,生活中的其他内容也都可以通过这个技能完成搜索,实际用下来还是很有帮助的。以上就是本期视频的内容了,我是鱼仔,我们下期再见。

你的 openclaw 是 不是只能操控浏览器字节?官方开源的这个 c l i 神器能直接接管你的整台电脑。三十五 k 的 star, 写代码,订机票,剪视频,生成图片,发布自媒体,全部一句话搞定。先看看效果有多炸裂。你说一句帮我剪一条产品种草视频, 它自动打开剪辑软件,搜素材,拼片段,加字幕,一气呵成。再说一句,帮我生成一张小红书封面图,它自己调 m c p 工具,拉模板,生成图片,直接出图,甚至还能一键生成短视频发布到自媒体平台。 他基于多模态视觉模型,看得懂屏幕,会用鼠标键盘,还内置 m c p 生态,能连接真实世界的任何工具。传统 agent 只能在浏览器里折腾,他一行命令,直接调用电脑里所有软件,完全开源免费,不依赖任何托管服务。我已经整理好了详细的学习教程,感兴趣的话可以直接分享给大家。