程序员最怕什么?不是代码写不出来,是钱包熬不住。最近有个开源的 ai nint 叫 openclock, 一 点零,主打一个 stalkin, 别人家 nint 一个跑一个任务需要烧几十块,但他同样的任务只需要花几块钱, 这是什么原因呢?原理并不玄乎,他把上下文窗口压缩的很聪明。上下文窗口是啥?你跟 ai 说一句话,他不是立马就干?他得先把你的话读完,理解了才能给你答案。这个读就是读你的上下文窗口。 普通的 ai 每次需要重新读你所有的话,聊多了,你的 token 自然就起来了。 open klik 改进的是,他学会了只读重点,不用每次都从头把你所有的聊天记录都翻一遍, 省了 token, 省了时间,省了钱。其实对开发者来说,最好的 ai 不是 最强的那个,是把钱花在刀刃上的那个。你有没有被 ai 烧过那种心疼钱的感觉?评论区说说。
粉丝770获赞6625

ai 大 模型呢,为什么要按照托肯收费?同样是一百万的托肯呢?为什么价格能差三十倍?等等,你可能会说啊,我们平时用的豆包啊,元宝啊,也没交过钱啊。没错,咱们平时用的网页版或者 app 呢,确实是免费的,那是大厂为了抢占市场给的福利。 但如果你是专业用,或者是使用最近爆火的小龙虾,那就必须通过 api 接口来调用大模型,按量付费,烧起钱来也是非常吓人的。那这些钱到底烧在哪了? 当模型正式发布后呢?它的使用成本其实由两个部分组成。第一部分呢,是固定成本,也就是模型上线前已经砸下去的钱, 包括前期的研发与训练投入,还有算力基础设施的建设,像建机房,采购显卡,配齐内存和硬盘。最近大家可能也注意到了,显卡和内存价格是一路上涨,很大程度就是因为 ai 需求暴增呢,把硬件价格也推高了。但这些成本呢,有个特点,它是沉没的, 在模型发布前呢,就已经支出了,随着用户越来越多,这部分费用呢,会被不断贪薄,贪到每一次调用上呢,它的占比会越来越低,甚至低到可以忽略不计。 那第二部分呢,是动态成本,也就是每一次调用模型实打实消耗掉的东西,每次计算都要消耗电力,还需要占用内存, 数据在传输过程中呢,也需要消耗网络流量。而所有这些消耗呢,都和 token 的 数量呢,直接相关。这里呢,快速同步一个概念。到底什么是 token? token 的 中文呢,可以翻译为词源,可以是一个字,一个词,一个分词,甚至一个字节。在大模型中呢,被表达为一组数字序列,用于计算下一个 token。 token 越多呢,模型的计算的时间就越长,占用的算力和资源呢,自然就越多。所以,按照 token 数量收费,本质上是一个多用多付少用呢少付的计费方式, 非常直观呢,也非常合理。这像什么呢?就像我们每个月交的水电气一样。从这个角度看呢, ai 正悄悄完成一个转变,它正从一项技术、产品呢,演变成一种基础服务。我们想要获得智力呢,就需要购买算力。 说不定以后每个月的水电账单旁边呢,就会多出一行 token 费用。那既然都是按 token 收费呢,为什么不同大模型的价格差这么多?比如你输入一百万 token, deepsea v 三的收费呢,是零点二八美元,而 g p t 模型呢,要二点五美元。如果是输出 token 呢,差距更夸张, deepsea 呢是零点四二美元, g p t 呢是十五美元,整整差了三十多倍。 同样都是 token 呢,为什么价格能差出这么多?其实 token 的 价格呢,主要是由两个因素决定的。第一,电力和人工成本不同。在美国、中国、中东等不同地区,电价运为成本,人力成本差异非常大,而这些呢,最终都会反映到价格里。第二呢,算法不同。 好的算法呢,就像一台省油的发动机,同样是跑一百公里啊,有的车呢,只需要三升油,而有的车呢,却要烧掉十升。大模型也是一样,算法呢,设计的越巧妙呢,达到同样质量的输出,消耗,算力呢就越少。所以优化算法是模型研发人员最最重要的任务之一。 算法越高效,成本就越低,价格自然就更有优势。在这方面呢,有很多创新的工作,比如 deepstack 引入的 mo 机制,想了解的朋友可以翻看我之前的这期视频。 那为什么输出托管的价格比输入托管贵这么多?原因呢?很简单,输入和输出呢,干的活不一样。输入的托管呢,是你的提示词, 模型可以一次性全部读取参与计算,多一个少一个呢,对显卡的负担影响呢,是有限的。但输出 token 就 不一样了,它是一个接一个逐自生成的,每生成一个 token 呢,模型都要重新算一次。输的 token 是 配角,输出的 token 呢是主角,所以给出的片酬呢,就不一样。 具体的技术原理呢,也可以看我这期视频,理解注意力机制对托根计算量的影响。这里呢,再顺便澄清一个常见的误解,托根的发明初衷呢,不是为了计费。 托根是纯粹的算法创新和工程发明,是为了把人类的语言翻译成机械能听懂的数学坐标。 只是后来大家发现呢,托管的数量呢,恰好决定了计算量,这才顺理成章的用它来计费,绝不是因为要收钱才搞出来这么个复杂的概念。当这里可以像自来水一样按量计费,一个属于算力文明的时代就真正开始了。

这是一期教你如何正确并且省钱使用 cloud code 的 视频,关注我时间长的朋友应该都知道,我是 cloud code 的 死忠粉,作为一个每天使用八个小时,并且用 cloud code 变现了几千块钱的用户,今天我将跟大家分享几个帮助大家省钱而且提高效率的隐藏命令,也许你从入门到精通就差这几个隐藏命令了, ok, 话不多说,我们直接开搞。首先就是 model ops plan, 大家熟知的我们都是通过 model 进行切换嘛。 但是这个命令对于二十美金的 pro 用户来说实在是太友好了,因为它会自动地在你进行一些复杂推理和写计划的时候使用最强的 ops 模型,然后在执行的过程中使用第一档的 sonata 模型,这个就能帮助 pro 用户显著地节省头肯, 你的一倍头肯,能用到三倍头肯的效果。第二个就在命令行输入 remote control, 就是 我们在养龙虾的时候终极梦想,就是我们躺在床上,然后让 ai 自己写代码,那么这个命令就能很好地帮你实现。这一点能够通过手机来操控 cloud code, 你 只需要在对话框里面打斜杠 r c, 它就会生成一个网页, 你用手机打开这个网页的时候,你的整个 cloud code 就 会在你手机上同步,这个功能是让你的手机变成遥控器,远程的遥控 cloud code, 我 只能说憨爆了。第三个命令行是斜杠 export, 它会把我们所有的对话上下文打包成一个 m d 文档。如果没记错的话,我觉得 cloud code 的 上下文窗口应该只有两百 k, 经常出现那种你跟他聊着聊着上下文窗口满了,你需要开一个新窗口的问题, 那么这个命令就能很好地帮助模型去知道啊他现在做到哪一步了,他接下来要做什么?此外,你可以导出到其他的 ai 产品嘛,比如说 codex 上面,然后你继续搞。最后我想讲的这个不是命令行,但是如果你要想在你睡觉的时候让模型继续帮你工作,那么就一定要勾选上这个 permission, 它叫 bypass permission。 我 们是不是很多人在使用 cloud code 的 时候,一会儿一个弹窗,一会儿一个弹窗,你要点击去确认这些权限,但是你选择 bypass permission 的 模式之后,它自己就会去执行所有的命令了。其实我今天本身还是很想讲一个,就是 agent team, 你 一个人怎么去组建一个 agent 军团去帮你干活? 我经常搞十几个 agent 同时并行的帮我完成任务,这种感觉实在是太爽了。但是因为这个篇幅比较长,而且今天时间有限,可能讲不完,所以说大家如果想听的话,可以在评论区里面提需求,如果想听的人多了,我们下期直接安排上,那么我是 holland, 关注我,带你分享更多 ai 变现和省钱玩法。

我发现身边有好多人其实对头肯还没有概念,今天我要用大白话来给你讲清楚哦。其实我觉得头肯跟我们最相关的还是钱,它的计算方式呢,最简单理解就是输入的头肯数乘以它的输入单价,再加上输出的头肯数乘以它的输出单价。 然后最主要的点是输出的头肯一般要贵一到两倍,因为它要调用大量的算力来进行计算。我举一个简单的例子,比如 g、 p、 t 它的一个模型,它的输入头肯大约是两点五美金一百万头肯,输出大概是十美金一百万头肯。那比如说你发了一个一千字的中文需求给到它 大概就是两千个 token 的 输入,他回复你也是两千个 token 的 话,大概每次呢就是一毛八的人民币。这里面有一个很大的差异性在于,如果我们不对大模型做约束,然后你会发现他给你输出的内容会很长很长,跑的很偏,甚至来一堆的废话,然后你会发现你的 token 消耗的非常非常快,所以这里面我们要对他的输出要做约束,并且我们输入的时候要尽量简单干练,不要讲太多废话。然后你会发现一个小小的技巧会让你在 token 上省掉很多很多的 money。

这个文件能让 ai 少写百分之八十的无用代码,节省大量偷坑。 github 已经拿下五十五 k 星标。 ai 编程最烦的其实不是他不会写,而是他太爱乱来乱猜,需求,乱写,抽象乱改。周边有人把卡帕西的编程哲学 直接封装成了一个 skill。 接下来给大家介绍一下这份 skill 约束了 ai 哪些方面。规则一, think before coding 告诉大模型,不确定就先问,别猜,别默认自己懂了,避免开头理解错了,导致后面的越偏越远。 规则二, simplicity first 告诉大模型,能五十行解决就别主动扩成两百行,别写未来功能,别做假装高级的抽象,我要的是现在能跑的,不是让你表演未来三年的系统设计。 规则三, surgical changes 告诉大模型,只改必须改的地方不碰。无关代码别顺手命名,格式和旁边不相关,逻辑别顺手优化,每一行改动都要能解释为什么改。 规则四, go 追踪 execution 告诉大模型要把任务转成可验证的结果,需要测试有没有通过能不能验证,需要确认 bug 有 没有消失。做完了这些,才算是完成本次任务。 功欲善其事,必先利其器。祝愿各位在 ai 时代,以气为阶,以知为灯,步步向上,中见清辉!

ai agent 别再瞎好偷坑了!本地算力才是普通人的终极解法。很多人不知道现在 cpu 为什么疯狂涨价, 本质是 ai agent 时代来了,本地算力才是核心生产力。以前大家用 agent, 所有任务都丢给云端大模型,反应慢,偷坑烧钱,文件上传还不安全。今天把底层逻辑讲透,记住一句话,本地 cpu 干脏活,云端大模型动脑子。本地负责什么文件读写、格式转换,批量处理 c i i 命令,执行 这些标准化高频的体力活用。本地 cpu 免费好秒级,不上传文件。云端负责什么复杂推理、创意输出、深度决策,把昂贵的 token 全部留给高价值任务。这么做有四个好处,第, 第一,省 token 百分之九十,日常任务不用花钱。第二,速度翻倍,告别网络延迟。第三,隐私拉满,文件不上云端。第四,不降智,反而更专业。很多人担心本地优先会让 a n t 变笨,完全反了,限制的是废话,不是智商。让 a n t 学会用工具,而不是瞎写代码,这才是老手工程师的玩法。 后续我会分三期,手把手教你 cloud code、 opencloud、 workbody 三款热门 agent, 本地优先的实操设置,照着做,直接提速降本,蹲住不踩坑。

现在是北京时间凌晨的四点零五,这个 gozy 加 cloud 模型怎么用啊?有一个非常重要的事情需要给大家说一下,所以把技术给大家薅过来了,给大家解释一下,这知乎除了咱们自己要建的这个内容以外, 最重要的就是一个局的规则和每一个项目里的 project 的 map, 就是这个东西。技术老师给大家解释一下这是什么?嗯,因为咱们所有的用户,你在未来使用的时候,你会涉及到非常多的文件的存,你会涉及到非常多的文件,对吧?有你的合同啊,有你的项目的一些资料啊,非常多。但这时候 ai 它解锁的时候呢?你不可能让它所有键去解锁一遍,那样它解锁特别慢,质量也比较低。所以首先 最首先第一个我们先点开全区目录,在里面你会创建一下,好吧?如果说你不会创建的话,到时候你再来持续关注我,我们这边再持续更新。然后首先这里面第一步你要写什么?首先 进入每次执行任务前都需要读取本文件,读取这个读取是读取这个 cloud 文件,这是局的目录,所有总个文,整个文件大目录,进入目标文件之后,先读 project map, 先读取这个内容,这个内容是什么呢?我先我们来一层一层讲这个大文件里面有什么,它是由我们所有的大文件夹,就是一级的文件夹 包含什么内容。比如说我们第一个星球铁公号文章,它是针对于我们自己的品牌的,所以只要有关于提到我们自己的品牌,它就只会在这个文件夹里面找,好吧,那么其他的呢?就同以此类推是一样的。那么基于这个大文件夹,它这个文件夹里面有什么呢?它是不是还要再找文件夹下一层的东西?二级目录,三级目录,对吧?那么再往下面就是我们的 project map, 里面有进入到任意文件之后,先执行 read 啊,阅读 project map, 这里面是什么内容?我先展示一下。比方说如果我在这边进入到这个闲坐记忆系统的 project map, 就 相当于它进入到二级目录之后呢,你的每个文件夹里面有非常多的内容,但是 ai 不 可能每个都去解锁,所以它把每一个子文件夹和它的可以自己去解锁,就是很贵,对,非常消耗托管,所以我们把它每个子文件夹都提炼出来了一个非常非常简短的目录,让 ai 知道我每个文件夹要去干什么事儿, 这样它就会大幅缩短它的解锁时间,也可以更加精准地找到最匹配你这个任务的所要, 来帮你去协助完成任务。所以你可以看到我这边每一个目录这后面都有对应的一个说明,就很简单,就几个字。但实际上呢,你点进去,比如说我们随便点 任何一个,你会发现它的文字非常多,对不对?它文字非常多,但是如果 ai 它需要用它的话,就可以精准定位到它,然后立刻解锁它的文来盯住我们写, ok, 那 个反正我是没听懂啊,直接把 prompt 放在评论区,你直接交给他写就完了。

使用 ai 大 模型开发网页、游戏或者应用等待有图形界面的程序时, skey 格式是非常好用的工具。这里我让 ai 生成一个势力的设置页面,重点用 skey 格式渲染出来, 强迫症可能有点难受了,为啥有些地方没有对齐啊?不用担心,这是因为没有用等宽字体渲染导致的。先忽略,不影响 ai 的 识别与理解。 skey 格式是纯文本的,所以非常容易修改、传递以及生成,这里我随便提一些修改意见,没想到 ai 要出图了,赶紧制止。做过设计的同学一定深感急痛,那就是界面在定稿之前绝对会反反复复修改多次,最后还给你来句,还是第一版好看。这个过程如果用图片来沟通, 先不说等待图片生成与上传解析时的误差,光这个额度就耗费不起。 等最后界面彻底确定下来后,再让 ai 出实际的代码,指定所用的技术站与输出的格式。现在 ai 蓬勃发展,我们的思路要改变了,以前是写代码解决问题,现在是写文档、边界约束、提示词等等,让 ai 来解决问题。我会在频道多多分享关于 ai 开发的技巧与知识, 都是我自己在日常开发中学习与总结的,如果能帮助到你,点赞支持一下本视频,谢谢大家!

你有没有过用大模型?刚聊没几句,就弹出提示说 token 不 足,要充值。我身边好几个做开发的朋友,上个月光给终端用的大模型充 token 就 花了一千多,直呼现在用 ai 的 成本越来越高,觉得有用的话先点个赞加关注,咱们马上说一款能帮你最多省九十九 token 的 开源神器, 哪怕你是零基础小白,也能快速上手。先给不懂的朋友解释一句, token 就是 大模型计算消耗的单位,相当于你跟大模型聊天的流量,用多少就扣多少,超了就得额外充钱,是咱们用大模型最主要的成本来源。 今天说的这款开源插件,是专门给 hermes 终端做的增强外挂。 hermes 终端就是你电脑上的命令行窗口,不管是 windows、 苹果还是 linux 系统都有。很多人用 hermes 大 模型的时候,都是在这个窗口里输指令。 原来用 hermes 大 模型的时候,它输出的运行日制执行结果动不动就几十上百行,这里面大部分都是没用的域域,白白花钱。这个插件就相当于给大模型请了个专属助理, 第一步,先把没用的噪音内容全部过滤掉。第二步,把剩下的有效信息套进固定模板,压缩成短频块的技术化内容。原来几十行的内容可能就缩成两三行,自然就省了大量 token。 官方公开的技术分享里说,这款插件最高能省九十九的 token, 最低也能省九百分之效果,实打实的, 你完全不用担心自己不会写过滤规则。插件装完就自带了一堆现成的场景模板,像代码托管、代码测试笔记、财务办公套件,这些常用的场景都覆盖到了,开箱就能用, 尤其适合平时经常用 hermes 做开发。看日制管理代码仓库的朋友,不仅省了偷看成本,还不用自己在一大堆输出里找重点,省了超多时间。说到这,有没有平时经常用终端大模型的朋友?有的话可以在评论区扣个一,看看咱们有多少同行。 接下来大家最关心的安装问题,我也给大家理清楚了,全系统都兼容,基本零门槛,苹果和 linux 系统最简单,官方自带一键安装脚本,你下载好项目,压缩包解压之后,打开终端进入对应文件夹,先给脚本开个运行权限,再执行安装就行,基本不会出问题, 要是操作不熟,随便找个大模型问一下就能搞定。 windows 系统也有专门兼容的一键安装脚本,不管你装没装 linux 子系统,都能用。把压缩包解压到桌面,用管理员身份打开命令行窗口,进入解压后的文件夹运行安装脚本, 等个几分钟就能装完。装完之后怎么用才能真的省 token? 其实特别简单,前三次跟 hermes 智能体对话的时候,加一句固定提示,说要优先返回最短的结构化摘药,不要输出永长的原始内容。 发三次以上大模型自己就会记住这个习惯,后面不用每次说,它也会自动按 token 的 方式输出。这里也要跟大家说清楚局限性,目前这款插件只支持 hermes 智能体,其他同类型的项目还在适配中,作者已经公开说了,后续会做,到时候我也会第一时间分享给大家, 对了,也要跟大家说一下,现在的内容是基于公开分享整理的,因为解锁工具限流,后续我会补充实测数据项目的代码、仓库地址,还有其他同类型 token 优化工具的对比,感兴趣的可以蹲一波更新。 现在正在用 hermes 终端的朋友可以先试试安装,实测一下自己常用的场景能省多少 token, 记得前三次对话主动加上省流提示,能更快固化输出习惯。 今天的核心内容其实很简单,这款针对 hermes 终端的开源插件,能帮你省百分之九十到九十九的投坑成本,安装使用都没有门槛,非常适合终端大模型的高频用户。 后面我也会做不同场景的实测,看看实际用下来到底能省多少钱。想看的朋友记得留意我的更新。今天的内容就分享到这里了,如果你觉得有收获的话,记得点赞加关注哦!

当你不小心拥有了一个 open cow, 但你总觉得它傻傻的不好用。于是聪明的你转眼一番后,终于明白,小龙虾只是智能体的一双手,而大模型才是它的大脑。你给它装上什么样的大脑,就决定它聪不聪 明。恭喜你学会了给 open cow 挑大脑。接着,聪明的你又发现, skill 就是 它的工作技能,没有 skill, 它只能靠脑袋想,有了 skill, 它才能真正做事。但聪明的你又会想到一个问题, 这么用会不会很贵?于是聪明的你又搞懂了, token 就是 智能体干活时消耗的能量,大佬在赚,小龙虾在 动,业务在配合,这些都会消耗 token。 然后你又不小心发现, joker 的 效果最好,但也最贵,接一些国产模型也能干活,而且更划算。一不小心的你马上就误导了。复杂的任务用强模型,简单的任务用便宜的模型,比如每日发日报就可以交给国内的模型的小龙虾,再加上多用订阅制建立本 本地 markdown 知识库,再配一个本地小模型,透根到成本就会少很多。恭喜你已经学会了给 opencar 控制成本了。最后,一不小心,你又明白了, opencar 之所以会给人一种会干活的感觉,关键就在于它的心跳模式,也就是每隔一段时间,它会自己呼唤自己一次,去检查、去执行, 去推进任务,再配上一套检查监视,它就能及时找出高消耗任务,及时优化,它就会越来越聪明,越来越好用。不过,你已经学会了怎么样 opencar 更聪明,更能干、更省钱。我是晨晨,关注我,带你了解更多 ai 知识,我们下期再见,拜拜!

经常有人在后台问我,你用什么模型,怎么节省 taco? 或者怎么能买到便宜的 taco? 那 我今天回答这三个问题。第一个是我平时用什么模型,我主要是用四点六、 sony 四点六 这个模型基本上可以应付我大部分的工作场景,从我的经验来看,这一个模型就够了。如果你有更高的要求,比如你重新写一个软件的时候,你要对这个软件进行架构规划,这个时候你可以用欧普斯四点六。 我的经验来看就是新手不需要考虑怎么节省掏坑,因为新手期都是在摸索和探索当中,这个时候你就是需要大量消耗的掏坑, 这样你才能积攒经验,等经验积攒下来之后,你自然而然就会节省掏坑了,那个时候你的指令会更加精准,这样就能避免浪费掏坑。那还有就是怎么能买到便宜的掏坑。我推荐大家一个网站, 这个网站里有非常多 a p i 的 中转站,而且每个网站价格都不同,像便宜的桑内特四点六模型才八块钱一百万。 top 已经非常便宜了,基本上实现了代码自由。如果你要是有生图需求的话,像香蕉二模型 也才不到一毛一张。我这个视频估计要把卖 top 的 得罪了,以后没人再去网上买 top 了。

想实现 to 肯自由的,今天这条视频一定要看完,我把自己踩过的坑、总结的经验全部分享给你们,全程干货!你们平时用 open class 或者 hermes 的 时候,是不是还在调用收费的大模型? 说实话,要是让机器人一天不停运行,费用普通人根本扛不住。我一开始也试过本地部署大模型安装奥了马下载大模型,但是我的电脑 gpu 配置只有两 g, 只能用小参数模型, 可小参数模型智商又不在线,而且在奥莱姆里对话还勉强能忍。一旦部署到 open claw、 hermes 或者其他需要大模型的软件里,一句简单的问答都要等五分钟以上,复杂任务就更别想了, 所以我果断放弃了这条路。后来在 github 上下载了开源项目 ray ray free l l m, 它就是一个开源的 ai 网关工具,核心功能特别实用, 把 gemini、 grok、 mister、 roberts 这些平台的免费模型接口全都聚合到一起,还给你提供统一的 open layer 兼容接口,甚至支持自动容灾和负荷均衡,完全不用自己操心。 而且配置超级简单,就在项目跟目录新建一个 emv 文件,把你的 api key 填进去就行。重点来了, 怎么用它实现偷啃自由其实很简单,不管是国内还是国外,只要有厂商提供免费或者试用额度的大模型,你就去申请 apikey, 越多越好。 然后把这些 apikey 全部加到 relay free l l m 的 配置文件里,它会自动封装这些 key, 统一成一个接口, 要是遇到限流或者某个模型不可用,它会自动切换到下一个。你也可以根据大模型的强弱,还有多模态语言推理这些功能,给他们排个序,按顺序调用,这样一来,透肯自由就实现了。 以后玩小龙虾爱马仕随便用随便造。我自己用了好几个月,一直都正常,可能是我工作量不算大,但对普通人来说完全够用了。 最后提醒一句,如果你们是用 aaa 工具做项目开发,那我不建议用这些大模型。如果非要用很多 i d e 工具,不支持本地 url 直接内网穿透建立隧道,除此之外,日常用真的香。

啊,我跟你讲,前几天我看了一下我的账单,吓了我一大跳,就是我的 agent, 现在已经单个的 agent 模型已经花了我大几千刀了,然后我看到这个数字我就绷不住了,我在想说,哇,我的,我做的项目已经现在非常非常受我的偷看了,应该怎么办呢?然后我去 github 上找了一个项目叫 call 外卖, 这个项目翻译过来叫做学居人。那我去研究了一下这个项目,这个 skill 啊,这个 skill 挺有意思的,就是它的创作者是让我们用 让你的 agent 去用学巨人一样的方式跟你去说话,去跟你聊天,然后完成你的任务。他不再会说一些非常客套的话,因为每一个客套的话他认为都是没有用的嘛。那我去试了一下这个项目, 呃,现在感觉还不错,好像我的 token 是 被大大的降低了,因为他的这个介绍里面有讲说他大概会省降你百分之六十到百分之八十的 token。 啊,这个数字应该不是非常的 呃,严谨,但是我相信他一定会给我省下一些 token 的。 然后,嗯,现在 a 阵的这个赛道里面有很多人做一些好用好玩的 skill 啊,确实能帮助我们开发者来去去解决一些 token 消耗的问题,那我觉得这是一个比较好的 skill, 那 今天分享给大家。

这几天有小伙伴反馈用千万三点六呃,追买四,用了一段时间,大模型的响应就越来越慢,然后 agent 开始失忆,紧接着 tos 调用异常,最后直接卡死。 这种情况啊,大部分是不是模型不行,而是常对话的 token 爆了。大家好,我是根谷,今天教大家用一套本地的模型配置方法, 简单的调教好参数,从根源上控制头肯的消耗,让你的本地模型能稳定长时间运行。为什么你的这个长对话会爆头肯呢?不是你的模型不行啊,是上下文被撑爆了,是因为第一个就是每轮对话 都会追加上下文。 n 轮对话以后啊,这个系统提示加全部的历史,最后的新提问,头肯只会呈指数级的增加, 可以大家用一个公式去计算。二十人对话的话大概是会到五万,这个头肯直接会超限,所以说还有第二的话,就是你的兔耳是会输出炸弹,因为 m c p 啊,就是模型上下文的协议,他默认的是我这里配置的,默认是五万这个头肯,所以说一次就能占满上下文,这个地方我们可以通过配置文件去解决。 第三块就是 memory 无限堆积,因为有些人他用的是这个 skills 啊,特别是那些比较好的 skills, 他 会把所有的记忆体给你塞到上下文,所以说你的任务越长,他 token 累积越来越多。第四块就是 cost 啊, cost 这样一个隐形的消耗,也就是反思 是推理这个玩意,也是也是大量吃透根,却不产生直接的价值啊。解决的思路就是用四种方法去防止他的这个透根膨胀,第一个就自动的压缩这个历史对话,第二的话就控制这个拓式的输出长度,第三就是防止这个曼曼的无限堆积,最后就长时间稳定的运行。我们通过限制的轮数,包括这个最大的透根的 的限制,包括关闭这个这样一个 cost 啊,好,然后呢,我这里给大家举的例子就是我用的是这个呃 呃,这个 j m 四二十六 b a 四 b 的 it, 它是 f b 这样一个十六位的一个全量模型,大概是消耗我的内存,应该是二十六乘以四,大概是八十 g 左右,八十 g 以内的这样一个显存啊,其实这个模型已经非常强大了。首先我找到这样一个配置文件,这个配置文件就是在加载目录下 hammers config yum yum 这样一个文件,这个文件的话首先我要输,找到这个模型啊,我这里有三个模型,一个是 j 满四,一个是千问,还有一个是这个 gpt, 是 吧?这个模型为什么我设置六五五三六啊?这个你,你不设置这么多,你这个你这个嗨马斯就运行不起来,正常情况下我们应该设置一万二千个头啃, 所以说这第一步是骗这个 hammer 的 啊,这个倒没关系啊,好,这个是第一个配配置,第二的话就是在这个 a 检测里面有个叫 master, 默认的话,这个系统默认的话它是二十轮,二十轮其实有点大了,然后我们每轮配置的这样一个是这个就是最大的头啃啊,就是一万二,一万四都是可以的,如果他的这个 这个模型的参数最大的这个上下文累计到二十五万的时候,它就会爆头壳,所以说你一次性一万四的话,大概是要十次接近十次啊,就会把它撑爆,当然你说其实每次都没这么大,大概是几百个头壳嘛,所以说大概是两两百人左右,那它才会爆是吧? 所以说 max 的 pro mode 设置为一万二到一万四都是可以的,千万不要设置为两万三万啊,这个就会出问题的。那是第一个,第一个地方, 第二的话就是这个刚刚说的这个没有价值的东西,卡斯特,怎么怎么卡斯特了,这个玩意得给你关掉它去啊。这个这个玩意,这个玩意很恶心啊,就是我之前是没关掉他比较好。这个头肯 啊,就这个玩意,这个 enable, 把它变成 force, 默认他是 true 啊,这个没什么卵用啊。这个。然后第三个是最最关键的,就上下为压缩,如果这个系统发现我快要达到这个二十五万的时候,它会自动启动压缩,我们这个预值默认的是零点三或零点五都可以。当达到一万十二万的时候,它自动的启动压缩, 然后这个一个这个目标这个率的话默认的是三零点三,我们把它设置为零点一八,还有这个轮数我们设置为六轮,那就不要设置为二十轮,二十轮的话有点有,有点太长了,对吧? 好,这个地方这个配置是最最关键的。第三个就是我们把这个记忆体关掉,因为我这里用到了一个样式,就是我记忆体其实其实可以看的跟古老师的上一堂课啊,就是设文件啊,慢慢的这个文件去做记忆体配置,先不要在这里去弄啊,这个把它关掉,甚至你是自己去外接一个存储,这个,这个这个数据库都是可以的,把它关掉啊。 第三块就是这个拓式的 alt put, 这个也很恶心,因为你肯定是用了一些这个,呃,外外部的样式吗?对吧?他这个这个这个 输出他五万,那五万就直接把你五万还是五十万吧,应该默认的是个十百千五万,五万也太大了,因为设置为一万二千吧,对吧?五万的话你杀差不多三到四次调用这个工具的样式,你这个你这个内存啊,你这个透坑就承包了。好,你设置完了以后,这个 hammer 你 重启一下,就是 hammer, 是 吧?然后重启一下, 哎,这个就是可以了,对吧?好,可以了。以后我要假设我要做一个这样一个比较长的任务和一个比较比较复杂的任务,就是我用这样一个样式查询最近三天的 ai 新闻啊。它之前我没有做这个配置的话,它很快,大概是一两分钟它就会, 他就会承包。你可以看一下这里,我这里有一个这个 hammer 式的这样一个,是吧?然后到仪表盘里面,我把它变大一点,啊,这个你看到吗?他请求过来了,是吧?一个请求我可以把它放到这里来,是吧?哎,他已经调用了这个这个样式, 大概会到百分之七八十的时候,他就会输出这样一个新闻,是吧?他第二轮已经出来了,大概是 现在是六百七十四个头款,美版也是非常快。我,我这个这个电脑应该非常快,给大家看一下我的显存消耗,我这里显存消耗的话应该是,哎,五十七个 g 是 吧?接近六十个 g 了,六六十个 g 的 显存,所以说大家显存低的话还是玩不起这个追满四,那只能去老老实实的去用这个,呃, 千万三点六是吧?他当超出这个上下文的话,他就会去进行压缩啊,进行压缩, 如果不进行压缩的话,基本上这个就卡到这里就会死掉,基本上就会死掉。好,然后再回到这个这个 ppt 来。 好,这里也就是告诉二数人是非常大,大概率就叫爆,是吧?所以说我们设置为一万二千是比较合适的。还有地方去设置是这个玩意,这个地方有一个这个全局的设置,这个地方在 这个地方也需要设置一下啊,这个三万二千最大的上下网窗口,还有这个最大拓展,这里设置为四千多就好了,就这个是那个 ml, 是 这个,这个推力框架的配置啊。好,然后其他的地方这个都说了,是吧?压缩,这个把它关掉是吧?然后这个也关掉是吧?然后具体把它关掉。 有些人说我这个这里关掉了,会不会让他这个失忆啊?我觉得不会啊,因为你的失忆核心不是他核心的是我们的三个文件是吧?一个售文件,一个是 mami 的 文件,还有一个优者文件,这你可以翻一翻跟我老师的前面的课程,这个也是一定要一定要去设置的,这个不要设置太大,不要设置太太大, 最后就是在这里面的完整的这个地方,大家可以截图保存啊,把这些,这是针对 jama 四的这样一个二十六 b 的 模型的配置啊?就是我尝试调了很多次这样一个配置,像是比较好的,比较好的啊,其他的地方就应该没有什么了, 哎。然后这个地方可以大家看一下,刚刚这个东西它已经出来了,是吧?这是查到最近三天的这样一个新闻,它其实里面大概耗了也是有几万个 token 了,对吧?几万个 token 这堂课就分享到这里,你学会了吗?