上期视频我们分析了一个 how low 请求的全部细节,结果发现将近消耗了三万个 token。 很多朋友留言问,那如果连续聊十条,那是不是三十万 token 了? 不会的,所以这期我们就详细讲解一下 clock code 里面 prompt cash 提示词缓存是如何工作的。上期介绍的 clock trace 是 在代码里打补丁,有很多粉丝反馈了最新的二点一点一一九版本已经不能用了。确实是有这个问题的,因为我自己是用 n p m 安装的二点一点一一二版本, 现在官方已经不支持 npm 安装了。所以为了解决这个问题,我发现了一个新工具叫 cloud tab, 它的工作方式是在本地起一个代理服务器, 你启动它以后,它自动启动 call code 的 所有的 api 流量,经过代理转发退出后生成 html 文件,打开浏览器就能看,生成的 html 是 这样的,左边是导航栏,列出了每一次 api 的 请求,然后右边最底下就是原始的请求的 json 数据, 这个和之前的 cloud trace 生成的网页是一样的。但是 cloud tab 做得最好的地方就是把这个 tools, 然后 messages, system 这些重要的数据子段抽离出来,然后变成独立的模块显示在这里。比如这里对应的是工具, 然后系统提示词,然后还有消息你看,打开以后,他还做了每一块的分行的渲染,原始请求里面不是有很多一堆这个分行符对吧?看着都头疼,现在排的整整齐齐的,一眼就能读的懂。他还有一个杀手功能叫对比,上次 他可以把相邻两次请求放在一起对比新增的内容高亮,然后没有变的就灰色, 比如系统提示词,工具,这里都没变化,今天我们就用这个功能来看看请求是怎么变化的。 ok, 然后用法很简单,我们只要用 cloud tab, 然后杠杠 tab live, 收集所有请求,启动 cloud, 然后我们回去, 然后我们发三条消息, hello, 然后第二条 fine, 然后最后一条 thank you, 然后做完以后我们退出来,然后就能看到收集的提示词了,然后我们用这个来做分析。在看数据之前,我先讲一下 prompt cache 的 核心概念,它的正式名称叫前缀缓存 prefix caching, 什么意思呢?就是你每次发消息, cloud code 要把整个完整的请求都发给 api, 那 么请求里有什么呢?工具的定义,系统的提示词,还有用户输入的上下文,还有对话的历史, 服务器就按这个固定顺序排列它们,它们一起组成了缓存的查询键。那么前缀缓存的逻辑也很简单,两次请求,只要它们的前缀是一样的,那么第二次就不用重新推理了,就重新推理, 那么什么叫一样的呢?福气会对这个前缀做哈希,一个字母不差,就算命中了,差一个字母,那么哈希就变整个缓存就全部失效了。 打开抓取的 html, 结果里面第一个请求,我们按照前缀的顺序来看看里面有什么。最前面的是工具,里面有三十一个工具的定义, 然后中间的是工具的身份,然后他怎么做事,还有各种的行为准则, 然后最后的是消息,你的消息被包成了五个 block, 前四个是 cloud code 注入的后台配置, m c p 的 指南, skills 列表,还有比如说什么 cloud, md, 最后的最后才是你写的 hello, 这些上期都讲过,没记住的朋友记住,好好去复习一下上次的视频。今天你只要记住一件事,就是你的输入永远在最末尾,前面所有的内容,你的输入永远在最末尾,前面所有的结果了。 现在看重头戏。打开第一个请求的返回值,我们找到 usage, 一个字段,三个关键字, input tokens 等于六, cash creation input tokens 四万八, cash read input tokens 零,对不对?记住它们, 这里 input tokens 是 六,对应的是 hello 的 本身,然后 cash creation 是 四万八,将近五万个 token。 那 么前面所有的内容,工具的定义,系统提示词,用户输入上下文,全部首次写入缓存, 然后 cash read 是 零,那么第一条消息没有缓存可以读,这就是冷启动。我们继续看第二个请求,我们先用这个对比,看看请求变了什么。 你看消息从一条变成了三条,新增了 assistant 的 回复, hi, what would you like to work on, 然后还有 user 的 消息 fine, 然后系统提示词没有变,然后工具的定义也没有变,变得只有用户的消息。 然后我们再看 usage, 记住音符的 tokens 是 六, cash creation 二十四, cash read 四万八, 这里 cash 的 read 四万八是不是和上一轮 cash 的 creation 四万八完全一样,证明缓存完全命中了? 然后这里的 cash create 和二十四就对应了新增的 assistant 的 回复,还有用户的新的消息 fine, 所以 只有新增的两条消息需要加入缓存,我们继续看第三个请求,然后对比上次, 然后选对比最后一次,我们看到还是多了两条消息,对不对? assistant 回复 got it let me know, 然后用户回了一句 thank you, 其他的依然没有变,然后我们继续看 usage, 我 们只要记住这一个 cash read 是 四万八千六百七十八, 我们看看这个四万八千六百七十八哪来的呢?那就是上一次的开始 read 的 这个四万八千六百五十四,加上这个二十四,是不是就是四万六千 六百七十八了,对不对?所以也是上一次所有写入的缓存全部命中了, 然后这次写入的二十九个 token 也是新增的这个回复,对吧?然后再加上最后的 thank you, 把三轮数据放在一起看过滤就很清楚了,每一轮的 cash read 等于上一轮的 cash read, 加上上一轮的 cash creation, 所以 缓存就像滚雪球一样,越滚越大,但是每轮新增的只有几十个,总的上下文三轮了 只多了五十三个,然后信息从一涨到了五条,但是新增的计算量几乎可以忽略不计。 这些工具的定义,然后系统提示词,然后用户的注上下文,每次每轮都要带上,但是只有第一次才做了真正的推理,后面全部走了缓存,光看 token 数还不够直观,我们看一下比例关系, 缓存有三种计费方式,普通的输入就是正常价,然后 cash 的 写入比正常价贵一点点,五分钟缓存写入是一点二五倍,然后一小时缓存是两倍,但是缓存的读取只有正常价的十分之一, 所以第一轮冷启动将近五万个 token, 只能按照两倍的写入,看起来比较亏,对吧?但从第二轮开始,这五万个 token 几乎全部是走的 cash 读取,所以只有正常价的十分之一。第三轮、第十轮、第五十轮都是一样的, cash read 越来越大,但是每个 token 只花十分之一,所以对话越长,缓存的优势就越明显。 ok, 那 我们总结一下, prompt cash 就是 前缀的复用 工具的定义,然后系统提示词,对话的历史只有在第一轮,在计算后面的每轮新增的就只有几十个 token 了,对话越长, cash 省的越多。然后我觉得大家留言提的问题都非常好,给了我很多的启发,希望这期大家看完以后有什么问题可以多多提问,我每条都会看。
粉丝2.4万获赞10.3万


给大家看一下我这几天用 colossal 的 大概花了多少钱啊?首先说明一下, colossal 的 本身不需要收钱,但是调用模型的时候需要耗费 tokyo, 所以 模型的话需要花钱。 首先给大家看一下,我大概是五月二号充的十块钱,然后五一这几天也一直在用, 嗯,总共的话,我看了一下,我总共用的 tokens 的 话,大概用了三千多万 tokens, 那 么总共消费呢,也才四块四毛,所以说呢,还是比较划算的啊。在五一这几天我也一直做了好几个项目, 现在看一下,这,这都是五一在跑的一些项目,嗯,然后这也有这五一,五一这还跑了好几个项目, 然后,然后当时还做了一个类似 b 站的一个网站, 这大概就是我的 tokyo 的 一个花费情况。其实相对来说,目前国内的大模型还是还是很划算的啊。

你的 cloud code, 百分之八十的 token 都白烧了。五个开源工具,从五个不同角度帮你砍 token, 你 看完就知道该用哪个 token, 消耗有三个黑洞,同一个文件反复读,必定输出几千行废话, ai 每次回复都是长篇大论,一次会话轻松烧掉十万 token。 第一个 open wolf, 从文件读取成省 token。 cloud 是 盲人,不知道文件里有什么,只能一个个打开看 open wolf 怎么省。它在每个文件前面贴一张标签,写清楚内容和大小。 cloud 看一眼标签就够了,不用真的打开文件,同一个文件重复读,直接拦掉。大项目实测三点四兆语言成省元原理,强制 cloud 用原始语言回复, 砍掉所有。让我解释一下希望这有帮助的废话,只保留代码和核心数据。六十九个 token 压到十九个技术信息,一个字都没少。平均省百分之六十五,最高百分之八十七。第三个,八 k, 从命令输出成省 token, 它坐在终端和 ai 之间,拦截命令输出,再压缩四招,过滤噪音,分组聚合截断笼鱼,折叠重复。 cargo test 从一百五十五行压到三行。 it push 从十五行压到一行, cloud 根本不知道输出,被压缩过三十分钟,绘画一百一十八 k 降到二十四 k。 第四个 router, 从模型路由成省 token, 在 cloud 和 api 之间加一层代理,根据任务自动选模型,简单编辑,交给 deepseek, 后台任务用本地模型免费跑,只有真正需要才动用 clod, 花费直接砍百分之七十。第五个 token evisions, 从 prompt 乘省 token 原理写几条规则,放到项目的 c l a u d e m d 里, clod 每次启动自动读取, 比如不要说 sure 和 great question, 不要复出问题再回答,不要过度设计,先读文件再动手,零依赖零配置,复制一个文件就行。省百分之二十到三十五个工具,五个角度。 openwolf 砍文件,砍输出废话 r t k 砍命令噪音, router 砍模型花费 token efficient 砍 front 笼鱼按需选,不要全装黄金组合, r t k 加 pavemett 直接砍掉百分之八十五选对工具才是真正会用 ai 的 人。

堪称目前最能让你省 token 的 一个开源项目!记住这个名字,现在已经斩获了五十四点三 k star, 他的全名叫 ras token 了,中文可以理解成 token 杀手。他能在命令行内容发给 ai 前进行过滤和压缩处理,快到几乎感知不到。整场对话下来,成本消耗降低百分之六十到百分之九十。我测试了一下,原始输入五十八个 token, 压缩后只剩七个 r t k, 直接帮我省了百分之八十七点九,只需几句命令就能快速安装进行使用。 r t k 提高的不是模型能力,而是帮你减小无效。上下文关注我,带你每天一个 ai 新玩法!

用 ai 编程,爽是爽,就是账单看着心疼。每次问个小 bug, ai 都要先给你写一大段客套话。今天介绍这个六万星标的神器,教你如何从大模型嘴里抢回美金。 caveman 这个插件的逻辑简单粗暴,强制 ai 用原始人的方式说话,没有废话,没有寒暄,只说核心逻辑和代码,直接砍掉,大量偷肯消耗。 他甚至内置了文言文模式,利用汉字极高的信息密度,把百字解析压缩成一句话,省钱省到有点离谱。如果你是高频使用自动化工具的极客,或者公司内部跑了几百个 a, 整这个插件,一周就能帮你省下非常可观的 api 费用。 他不只是一个梗,而是一套完整的提效工具链,完全免费,一行命令就能装到你的开发环境里。 ai 时代,真正昂贵的不是模型本身,而是每一次被废话浪费掉的上下文等待时间和推理预算。赶紧把这个神仙插件装上,把省下来的 api 费用拿去喝杯咖啡吧!我是带你每天半小时看透前沿 ai 的 酋长 andy 下课!

大家看一下什么叫离谱,他在烧克拉的四点七,一个方案大概是一万个 token, 一个需求大概是十五个方案,也就是十五万的 token 码的话,完成一个十五,再把这十五个文件的需求建表做后端,前端 调试,然后做好整个交互用力,大概要花五千万左右的透坑。用好一点的模型,比如说五块钱一百万透坑,那大概是不到三百块, 咱们算七千万左右透坑能把它实现,那就是三百块左右实现一个需求大一点的需求。三百块钱 算下来还是比较便宜的,因为你找外面帮你做一个,那,那很小的需求他们都敢报一两一两千,所以整体算下来的话,价格还算优惠。 而且它这个功能一定是能跑通 s o p 的, 所以用 ai 看起来也不便宜,只能说用的好还行,用的不好的可能做这个功能到处翻车漏水,也要花那么多偷看, 前提是花这么大量的头肯把它做出来了,那还是挺划算的。比如说你一天花 两百块钱做这个功能,你一个功能要做三天,其实就附加一个月大概花四五千块的头肯,但是你的这个交付能力,交付质量上提升,也就是说强行上了一个档次, 这样的变相呢,也是解决了一个交付问题,但成本还是挺贵的。算了一下。

卖投肯做一篇分发,到底能不能赚钱?已经消耗过千亿,投肯封了几十万个账号,实打实的在这个行业的经验告诉你答案,肯定能赚钱啊,甚至一天可以赚几万,一个月可以赚几十万,但是他适合一个普通人吗? 事实上,绝大部分人根本不可能靠卖投肯赚到钱。多人被网上的暴富神话洗脑了。记住一句话,再好的生意,他本质还是一个生意,不是捡钱。 现在投垦市场,整个行业极其内卷,想要做好这门生意,还是需要具备一条件,以下五个核心条件,只要你符合其中的一点,这碗饭你就可以吃。大家可以对照看一下,自己到底能符合几点。 第一点,有足够强的一手渠道,打一个信息差和时间差,这是最粗暴的赚钱方式。比如当下爆火的 cds 二点零, 如果你能在他刚刚出来的时候,全网都在找借口的时候,甚至首月供不应求的时候,快速拿到极低折扣的内部价格或者代理渠道啊。在别人还在找门路的时候,你手里有货,拿到渠道就等于拿到了印钞机。第二点,自带天然的产业资源, 这属于圈层的降维变现。如果你本身所处的行业就有海量的 ai 需求,那你根本就不需要去卷价格,也不需要再去找客户 啊。比如你本身在这个电商圈已经摸爬滚打了很多年,身边全是做跨境出海搞短视频带货啊的老板,他们一天跑几千个商品切片,跑几万条产品图或者产品视频, 那么他们的 a p i 消耗量就是一个天文数字,或者眼下爆火的 ai 漫剧啊,有大量的生图或者生视频的这样的一些需求,你当朋友抱怨没有稳定接口的时候,你顺手丢一个过去,就帮他们解决了痛点,自己也赚到了极其稳定的利润。 第三点,如果你本身就在做流量啊,拥有极强的获客能力或者投流的能力,你本身就是懂流量生意的高手,懂买量,懂做爆款,懂私域运营。那么在大家提供 token 的 服务和价格都大差不差的情况下,你的获客成本只有别人的啊,一半或者 百分之二十,甚至百分之十,你能用最高效最低成本的方式触达到海量有需求的客户,靠规模效应直接碾压同行。第四点,你具备 开发 agent 将 token 巨像化的到一个服务里面的这样一个能力啊,把标准化的 token 服务做成非标的溢价啊,把低毛利的生意做成高毛利的 一个生意,同样是卖生图模型,同样是卖生视频模型,别人是按次卖接口啊,两毛一次,五毛一次,一块钱一次。而你是根据特定固定的场景,比如苍蝇老板生成菜品图,电商老板做主图啊,电商老板做详情图,封装成一个傻瓜式的工作流啊,别人卖五毛,你可以卖两块, 你可以让老板们一次就能成功,或者两次就成功,让老板们跳过了反复学习,反复测试的这样一个过程啊,一个美工一个月的佣人成本啊,七八千,八九千,但是你通过一个工作流啊,能让老板原本 五个美工才能干完的事情,一个美工就可以操作你的工作流去实现的啊,一个月能帮老板省几万块钱的这样一个一个成本,那么你就拥有了核心竞争力。第五点 也是拥有顶尖的底层技术能力,这个路线比较高危,也比较硬核,这个属于很敏感的一种方式,属于纯纯的技术套利,主要是针对像 cloud gpt 这种风控,比起 很严格,然后又是全球主流的应用量很大的这样一些模型。如果你懂底层的协议意向,能搞定复杂的风控绕过,以及拥有维护高病发耗磁的技术实力, 相当于你就能用极低成本的方式把散户的号源整合成企业级的接口,这其中的利润空间极大,同时也是门槛最高,风险最大的一种方式。

那你用 cloud 是 不是经常用着用着就被提示额度不够了?那今天分享六个我自己在用的省投款技巧,非技术背景的人完全能听懂。那第一个,不要发新消息,而是编辑消息。那很多人遇到 cloud, 没有理解自己的意思啊,就接着发了一条,不对不对,我的意思是什么?什么什么。那 这是最贵的习惯啊,因为 cloud 每次回复都要把整个的聊天记录重新读一遍,你发的消息越多,就越浪费 token。 那 正确的做法是啊,点击之前那条消息旁边的编辑按钮,改掉它,重新发。那第二个,每十五到二十条消息,新开一个对话, 对话越长啊,每条消息的成本越高,因为 cloud 要重读的历史越来越长。有人统计过啊,长对话里百分之九十八的 token 都花在了重读历史上。那真正用在你的问题上呢?只有百分之一点五。那做法也很简单啊,感觉聊了很多轮了,就让 cloud 总结一下,复制开心对话,把总结粘贴进去,继续聊。 第三个,把多个问题合并到一条消息,觉得这样清晰。那很多人习惯一个问题一条消息,觉得这样清晰,那三条单独的消息, cloud 要加在三次上下文, 一条消息啊,问三个问题,加载一次就够了。那合并提问省 token, 答案还往往更准确。第四个,把常用文件放进 project。 那 如果你有一份文件,经常要跟 cloud 讨论,比如你的品牌手册,项目背景、参考资料。不要每次新对话都重新上传,上传到 cloud 的 project 功能里, 那系统会缓存,那同一个项目里面的所有回话都能够直接引用,而且不会重复扣 token。 那 第五个,在设置里保存你的个人信息和偏好。那我是一个内容创作者,我的 风格是什么什么?那这些文字啊,本身就是头肯的,浪费。那进入 cloud 设置,找到记忆或者用户的编号,把这些写进去,那 cloud 会自动带入每次对话,你不用再解释自己是谁了。那第六个啊,简单的任务,用嗨酷模型。那 cloud 有 不同的模型,嗨酷是最清亮的那一个。检查语法,翻译格式,整理错漏风暴。 这些任务不需要最强的模型来做。用嗨酷处理这类任务啊,能节省百分之五十到七十的额度,把额度留给真正复杂的任务用。那这六个习惯养成之后啊,你就能用有限的额度完成更多的任务了。那你还有哪些省投更的技巧,欢迎在评论区分享。

如果你经常让 cloud、 code cursor 或 codex 去理解一个陌生代码库,最耗时间的往往不是写代码,而是探索代码。 ergent 会不停地 grab、 glob read 文件,先找入口,再找调用链,最后才开始真正解决问题。 code graph 这个开源项目,解决的就是 ai 编码工具的代码探索成本。从产品经理角度看,它抓住的是一个非常具体的痛点,大模型并不缺推理能力,缺的是低成本、结构化可查询的项目地图。没有地图时, ergent 只能边走边看, 工具调用多,上下文膨胀快,项目越大,浪费越明显。 code graph 的 定位不是普通权威搜索,而是一个预缩影的代码知识图谱。它把函数类方法导入关系、调用关系、继承关系和路由关系提前抽出来, 放进本地缩影里。这样 urgent 的 问问题时,可以先查图谱,而不是从零扫文件。他的工作流很清楚,先在项目里运行初识化。 code graph 会用 tree sitter 解析源代码,抽取符号和边,再写入本地 sqlite 数据库, 之后通过 m c p server 暴露搜索上下文、调用方、背调用方、影响分析和文件结构这些工具项目说明文档里给了一组很直观的精准测试。它在七个真实开源代码库上对比有 code graph 时,平均成本降低百分之三十五, top 减少百分之五十九,速度提升百分之四十九,工具调用减少百分之七十。对大型仓库来说,这个价值非常直接。 产品能力上,它最值得看的是三点,第一, smart context 可以 一次返回入口相关符号和代码片段。第二, impact analysis 可以 在改代码前看影响范围。第三,文件监听会自动增量同步,让图谱随着代码变化保持新鲜。 另一个亮点是框架路由感知,它不止识别普通函数调用,还能识别 java、 fast、 api、 express、 nest js rails、 spring gene、 axem、 react, router、 sweat kit 等框架里的路由和 handle 关系。对 web 项目来说,这比单纯搜函数名更接近真实业务入口。 code graph 也强调百分百本地运行,不需要 api key, 不 把代码发到外部服务。它用 scalelight 和 f t s 五作存储于文搜索,支持 typescript、 javascript、 parse、 java c, sharp、 php、 ruby、 swift、 collin view、 spell 等多种语言。 当然,边界也要讲清楚。 code graph 适合已经比较大的代码库,或者需要频繁让 agent 做架构探索、影响分析和跨文件修改的场景。如果只是很小的项目,原声搜索已经够快,图谱带来的收益就会变小。 它不是替代阅读源码,而是减少无效探索。所以我的结论是, code graph 很 适合重度使用 ai 编码工具的开发者和团队。 它把代码库变成一张可查询、可追踪、可增量更新的本地知识图谱,让 a 镇的少读文件、少消耗偷啃,更快进入真正的工程问题。关注我,每天带你了解更多优质的 getop 开源项目。

四个月烧光全年预算,不是创业公司,是污本。三千五百名工程师 ai 编程工具用到公司财务报警。接下来几分钟,我帮你拆解 ai agent 的 真实成本结构。 为什么工具越好用,企业越亏钱?今天不聊 ai 多厉害,只聊一个问题,钱去哪了? word 的 故事很直白,去年底全面推 ai 编程工具,百分之九十五的工程师每月都在用百分之七十的代码提交,由 ai 驱动。 数字很漂亮,对吧?但你看时间线,二月份 a 侦探 ai 使用率百分之三十二,三月份百分之八十四,一个月翻了将近三倍。然后预算就爆了, cto 说预算已经超了。 coo 公开表态, ai 支出越来越难,说服自己这钱花得值。每位工程师每月的 api 成本五百到两千美元, 乘以三千五百人你自己算。但数字只是表面,真正的问题藏在成本结构里。这不是 uber 一 家的事。纽约时报今年三月造了个新词, token maxing。 什么意思?程序员之间在比谁消耗的 token 多,不是比谁代码写得好,是比谁让 ai 干的活儿多。 有点像健身房里比谁举得重,不管姿势对不对。 open router 的 数据很说明问题。编程占全部 token 用量的比例从百分之十一标到百分之五十以上,一半的算力都在写代码。 这不是效率提升,这是军备竞赛,而且是一场没人踩刹车的军备竞赛。为什么 agent 这么烧钱?两个字循环,普通对话,你问一句, ai 答一句,一来一回结束。 agent 不 一样,它要规划、执行、检查、重试, 一个任务可能跑十步,每一步都在吃 token, 具体多少?五十到一千倍没打错。普通聊天消耗一份 token, agent 消耗五十到一千份。 更狠的是,重试,十步的 agent 的 练,就算每步百分之九十五成功率,重试带来的额外消耗大约百分之四十。再加上定价模式变了, 以前按人头收费,一个席位一个月固定价。现在按消耗计,费用多少花多少, 没有上限。这三件事叠在一起, agent 的 几何级消耗,重试放大,按量计费,就是一颗定时炸弹。微软的反应更直接,砍了大约十万人的 cloud code 许可证。这个试点二零二五年十二月启动,原计划跑到二零二六年六月提前终止, 原因就一个字,贵!十万工程师每人每月几百到几千美元的 token 消耗总数太吓人了。 amazon 也慌了, 他们之前设了个目标,百分之八十以上的开发者每周使用 ai, 目标达成了,预算也炸了。你发现没有,这些公司的 ai 战略全都成功了,使用率上去了,代码产出上去了, 但成功本身成了问题。这就是核心悖论。 ai 编程工具的成功指标是什么?使用率高,代码产出多,开发者满意度高。 uber 全做到了百分之九十五,使用率百分之七十, ai 驱动提交教科书级别的成功。但这些成功恰恰是财务灾难的原因。 工具越好用,大家用的越多,用的越多。 token 消耗越大,消耗越大,账单越恐怖。产品成功和商业成功,在暗量计费的模式下是矛盾的。有人算过一笔账,在某些场景下, ai 比雇人还贵。你没听错,本来是为了省人力成本的工具,结果比人力还贵。这不是 bug, 这是商业模式的结构性矛盾。 ai 的 经济账还没算清楚,但有一件事已经很明确,按消耗计费的模式下,效率工具会变成成本黑洞。这不是技术问题,是定价问题。下一个烧光预算的会是谁?也许是你的公司,我们下期再见。

几个简单的小技巧就可以让你的 ai 命中缓存达到惊人的百分之九十九,其托肯消耗和成本其实可以锐减百二十倍。这真不是夸张,是我消耗了整整一亿托肯得到的一个实际经验结果。第一 点,善用记忆系统。其实我们知道现在大部分市面上主流的 i can, 它都是有自己的一套记忆系统,无论是 open card 还是它都扣的。只要我们善于利用这个记忆系统,其实可以大大的增加这个缓存的命中率。举个例子,我最近在做一套自己的 ai 面试助手,但是这个任务他不是一天两天我就能够完成的, 所以我每天会在任务完成的时候,我会告诉我的 autodrive, 让他自己去保存当天的这个记忆。这样的话,在我明天或者后天重再开启这个任务的时候,他能够直接读取自己的绘画内容,从而大大的降低这个拓客的消耗。 第二点,制造边界和原则。布置一个任务的时候,如果没有明确的规则和原则的话,你可能需要跟你的爱多次交互,他才能够真正的明白你的需求。 就算他明白了你的需求,你没有制定一个明确的边界,你的 ai 也可能会做出越界以及难以预期的一个结果。所以制定边界和原则是非常重要的,你可以直接将这个工作原则喂给你的 ai, 让他传进他的记忆系统。 最后一个点,整理和提炼工作流,让他按照工作流的方式输出结果以及产出文档。当你需要他完成一个周期较长的任务的时候,一个合理的工作流是非常重要的,他不仅可以让 ai 快 速理解和解决一个问题的流程,并且可以通过产出一些文档来极大的提高一个缓存的命中率。举个例子, 你需要做一个文档,那么你可以先跟你的 ai 交流想法,让他去产出做出这份网站需要的一份产品文档,然后你再根据他的产品文档去优化,之后让他去根据产品文档去完成功能,这样他有了依据而不会天马行空,每次产出都会根据文档来做,而不会浪费脱坑又产出垃圾。

你有没有想过,用不同语言和 ai 对 话,背后的 talkin 成本天差地别?以 xrogic 的 cloud 为例,表达相同语义,中文 talkin 费用是英文的一点六五倍,这笔额外支出被称作分 词税。近日,研究员 alan colmas sacky 将经典论文苦涩的教训译成九种语言,输入六大模型,分词器彻底揭开了记费黑。 club 上印记与 tokken 消费是英文的三点一一倍,缅甸傣文更被刻以十五倍抛离税。这并非语言本身的问题,同样一段中文, timi 仅消耗英文的零点八一倍, tokken 同意谦问零点八五倍, deepsea 零点八七倍,谷歌 jimmy 几乎持平零点九八倍, open ai 也才一点一五倍。国产模型不仅免了中文税,效率反超英文,直接推翻了中文天生被 tokken 的 说法。而且分词税的代价还远不止多出 百分之六十五,就意味着你花钱买的上下文窗口就要直接打六折。比如 cloud 飙升的三十万字容量,中文用户实际能输入的内容还不到二十万。更讽刺的是,今年四月份 cloud office 四点七上线,官方轻描淡写的一句,新分子 器可能多耗百分之三十五套餐,就让英文用户的使用成本却暴涨百分之一百二十四到百分之一百六十三。二百美元的 max 套餐,只要两小时就能轻松烧完。而中文用户这次反而 幸免,因为我们的分词税早已封顶,再无上涨余地。这让人想起三十年前的短信,英文一条一百六十字母,中文只能发七十个。每一代技术基础设施的红利,总是率先流向开发者的母语 b p e 算法、公开词表和训练数据全由厂商制定, timi 能做到零点八一 倍,可 loft 却做成一点六五倍。不是技术不行,而是国外厂商的傲慢与偏见,让他们从没把非英语用户放在心上。

一个二十五岁的韩国大学生,一年烧掉了一百二十五万人民币的 ai 费用。我是杨乐多,大白话讲 ai。 这个小伙子啊,长得跟普通大学生一模一样,乱糟糟的卷发,脸上还有青春痘。但是他是 athropica 的 榜一大哥, 一年在 cloud 上烧了二百五十亿个 token, 也就是磁源,折合人民币一百二十五万,什么概念呢?够在北京的五环外啊,买一套小两居的首付了。但烧钱不是重点啊,重点是他拿这些 token 干了什么? 三月底呢,有一个事是 cloud code 的 原码泄露了,五十一万行代码被人挂到了网上,几个小时内, github 上冒出了八千多个拷贝。阿瑟罗夫的法务团队连夜发了八千多封律师函,挨个要求全部下架。 这个榜一大哥呢,也被电话震醒了,他女朋友打了好几个电话,怕他电脑里也存了泄露的代码,惹上官司。然后呢,这个小伙子就做了一个疯狂的决定, 一行泄露的代码他都不看,从零开始写。他启动了自己搞的一个 ai 调度系统,让好几个 ai 同时开工,有的写代码,有的做审查,有的跑测试。几个小时以后,一个叫 cloud code 的 项目被推上了 gethoop, 两个小时就获得了五二 star, 现在快十八万了。咱们想想这件事啊, autopic 发了八千一百封的律师函,把所有搬运者都给告了, 唯独克拉蔑的安然无恙。因为他是一个字节都没抄啊,完全是 ai 重写的,而且免费的。整个过程呢,有点像翻拍一部经典的老电影,主线和灵魂都没变,但是台词啊,演员啊,背景啊,全都换成了自己的那一套, 他自己说了一句话,我觉得特别狠啊,他说这是用二百五十亿个 tucker 换来的直觉。你看他花的这一百二十五万,其实不是在烧钱,是在训练自己对 ai 的 理解。当机会来的时候,别人还在下载泄露的代码,他已经能指挥 ai 从零重新造一个出来了。 在 ai 时代呢,最贵的不是 tucker, 是 敢去用 tucker 和花 tucker。 从这个角度来看,这个榜一大哥,二百五十亿的 tucker 呢,烧的不是钱, 是一张通往新世界的门票,你觉得花钱体验 ai 值不值?评论区聊聊,持续用大白话带你看懂 ai 走到哪了,变化很快,关注我,带你一起跟上!