粉丝38获赞262

小龙虾说的 token 到底是什么?今天一条视频给你讲清楚。简单来说, token 就是 把大模型的文字切成最小的碎片模型,不看词不看词,只看 token。 就 像计算机,它不能直接识别图片和文字一样,它只能识别零和一。其实这很像人脑,比如说这几个字,你单独看起来是不是有点认不出来,或者需要愣两秒才能反应过来? 但是这些字如果出现在词语中,也会瞬间能读出来。为什么会这样呢?是因为我们大脑喜欢把有含义的词或短语当成个整体去处理,这样记会更快更省脑力。 比如 ai 会取代人类嘛,拆成单字,按次数算是八个,按 token 算只是五个,这样大模型算起来会更轻松一些。你还可以去这个网站上看,把一句话输进去,它会直接告诉你这段文字被切成了几个 token, 而且不同的模型切法还不同。 同一句话在 deep secret 里面,可能是两个 token 换一个模型可能会变成一到三个。因为每家模型的背后分词器、词表、训练习惯都不一样, token 的 数量也不一样。所以回到开始的问题, token 就是 大模型世界里的一块块积木。模型呢,就是靠计算这些 token 之间的关系来理解和生成文字。这也是为什么大模型公司几乎都按 token 收费,因为 token 的 数量越大,背后的计算量就也越大。

赶紧薅羊毛,英伟达免费送无线头肯免费用缤米 k 二点五, mini max m 二点五,流量无上限。一个视频教会你怎么免费注册领取,怎么接入锅锅捞小龙虾,使用干货两分钟,先收藏后观看,总共分为三步,第一步,我们先访问英伟达的官网,接受 我们的 qq 音箱 autolok 邮箱,点击下一步, 点击进去,点输入我们的密码,选择我们的验证模糊,点击创建。去邮箱,接受我们的验证码,粘贴验证码,点击确定,点击下一步, 这里随便取个名称,点击创建账号。第二步,获取免费 ipikey, 这里需要认证过后拿到我们的 ipkey, 这里点击 wordify, 这里就需要我们填写我们的手机号,加八六,一定要加上八六点深扣子, 输入我们的短信验证码,点击 word。 好, 这下我们就成功注册,接下来我们去得到 a p i t 我 们选择我们需要的模型, 这里选择 mini max 二点五,选择右上角的 vioq, 点击 jerry 的 api key, 生成我们一个秘钥,我们需要保存 api key model 备用。第三步,接入我们的小龙虾,我们打开 opencloud, 点击 ai 与代理,点击 model, 点击添加 entry。 划到最后,我们看你这个名字,取一个名称, 选择 open api competition, 输入我们的 api key, 打开我们开关,输入 base url, 然后添加, 选择我们的 open api complete id, 名称就是我们的模型名称,点击添加,这里要选择 text 好, 名称选择好,点击保存,这儿点击 open, 打开我们的接收文件。我们可以搜索 primary, 在 models 中添加和我一样的内容,然后再更改 primary 为我们的新节点名称, ctrl s 保存关闭,重启我们的 get, 选择我们新加的模型,询问它。 如果这个视频帮助了大家,请点赞收藏,关注我,多一个程序员男朋友点赞收藏。

token, 大家都觉得这是个挺高级的技术名词,甚至还有人以为是搞区块链炒币的那个代币。你如果没搞懂 token 的 底层逻辑,你就根本看不懂现在这帮 ai 大 厂到底在赚什么钱。你在对话框里跟 ai 说的每一句话,它不是按一个字一个词去理解的。 为什么?这逻辑很简单,你要是按整词去算,中英文词汇量,几百万模型脑容量根本装不下,遇到个生僻词直接就蒙了。你要是按单个字猜,那完全就是碎片,没有上下文逻辑,他根本学不会。所以行业里是怎么干的?他把高频出现的连续字固定的词根打包成一个小块, 这个最小的处理单位就叫 token, 中文差不多一个汉字对应一到两个 token。 这样做既把词汇表压缩了,又保住了句子的核心意思。它其实是 ai 时代的核心消耗品, 是整个 ai 行业的底层硬通货。大家回想一下历史,第一次工业革命,机器转起来靠什么烧煤?第二次垫起革命,全世界的命脉是什么? 是电?再往后,全球经济为了抢油田甚至能打仗,对不对?现在这个 ai 时代,所有大模型跑起来烧的全是 tok? 你 觉得你是在用 ai 写剧本划分境?你觉得大厂在搞毫秒级的金融交易?无人驾驶?拨开表面看本质,每一次点击背后全是在疯狂地烧 tok。 你顺着这个思路去盘整条 ai 产业链,最底层的电力是基础能源,英伟达卖的那些天价 gpu, 其实就是生产 tok 的 发电机,那些云厂商和大模型公司,本质上就是 tok 制造工厂和批发商,而最终我们用的各种 ai 软件全都是消耗终端。整个行业的商业逻辑 掰开了,揉碎了,其实就八个字,生产 token, 售卖 token。 未来 token 的 价格绝对会像今天的电价水价一样,成为整个社会最核心的经济指标。 谁能把生产 token 的 成本给打下来,谁就掐住了所有行业的脖子,掌握了真正的定价权。你平时用 ai 的 时候关注过 token 消耗吗?评论区聊聊。

open 壳三十二天烧了二十亿 token, 这两个 skill 直接帮你把浏览器的 token 砍掉百分之八十。 先说结论, bb browser 能用就优先用,不支持的再用 agent browser。 为什么呢?因为这两个 skill 啊,它核心就干一件事,就是只给大模型最精简的交互信息,所以 token 可以 直接砍掉一大截。 其中 b b browser, 它直接把网站当 a p i 用,还能附用登录状态,但是它只支持固定的平台,大概三十六个。那通用的网站怎么办呢?交给 agent browser, 它负责像人一样操作网页,点击输入翻页。所以啊,这两个组合起来,专门解决登录问题和偷看爆炸。

token 是 如何被计算出来的?之前呢,我们用了五期视频全面讲解了 token 到底是什么,全网呢有一百万播放,感谢大家的催更。这次呢,我们继续出发探讨 token 到底是如何被算出来的,最后的结果一定会让你发出原来如此的惊叹。 在模型推理阶段呢,完整流程一共分为七步。第一步呢,用户输入提示词,比如我们输入用苹果手机拍苹果这句话。第二步呢,模型将这些提示词切分成一个个托管,并得到每个托管的数字 id, 切分的依据呢,就是这个文件中的词表。 第三步,模型根据这节 token id, 从词切入矩阵中取出对应的词切入向量。比如手机的 token id 是 八五四九,对应的切入向量是这样的,苹果也是这样的。一大堆数字,为了方便演示呢,我们只取前四个数字作为演示势例。 到这里,一句话就被转为了多个数字向量。熟悉限限待数的朋友可能已经意识到,我们可以用一个矩阵来表示这句话,模型呢,也可以通过矩阵运算实现并行计算。第四步呢,模行为每个 token 呢添加位置编码,标记它们的先后顺序,否则模型无法区分你爱我还是我爱你。 位置编码的公式呢,不同模型会略有差异,具体公式呢,这次我们就不展开了,实际的效果就是在没有添加位置编码的时候,这两个不同位置的苹果向量都是一样的。添加了位置编码后呢,两个苹果的向量就变得不一样了,这样模型就能区分不同位置的 token。 第五步,模型读取这些添加了位置编码的向量,通过多层 transform 计算,最终得到了一个理想的预期向量。具体的算法细节呢,可以查看我之前发的 transform 模型讲解视频。 第六步模型呢,将这个理想向量与词表中所有的拓客向量进行比对,计算它们之间的相似度。 这就好比相亲亲友智囊团先定义出理想型男友的标准,身高一八零,有房有车、大城市户口等等,但实际情况是,没有人能百分之百符合这个条件。模型呢,就拿这个标准作为打分依据,对每个后选男嘉宾呢进行打分,也就是计算相似度。 第七步模型,根据计算出来的相似度,取出其中一个后选托肯作为模型。本次的输出 分越高,被选中的概率呢就越大,得分越低呢,选中的概率就越低。这也就是之前说的模型输出具有一定的随机性,不同时间问同样的问题,回答可能会不同。比如这个例子中,候选词照片十逗号,得分相对比较高,都有可能被选到。 最后,模型把选中的 token 拼接到已有的输入中,重复第三步到第七步,一个接一个的输出后续内容,直到模型输出结束符,这才停止输出,结束整个回答。所以你看,模型不是凭空生成内容,而是在做选择题,而每一次的落笔都是一次十万分之一的遇见。

你每天用小龙虾调用 deep secret, 用豆包对话,你知道你说的每一句话背后要消耗多少的算力吗?先说 token 这个词很多人听过,但不知道啥意思。简单说, token 就是 ai 读懂语言的最小单位。你输入一句话,明天武汉的天气怎么样? ai 不是 一个字一个字读的,它把这句话切成一块一块的小片段, 每一块就叫一个 token, 中文大概一点五到两个汉字算一个 token, 英文大概三到四个字母一个 token。 你 和 ai 聊一次天,可能消耗几百个 token, 生成一篇文章 可能消耗几千个 token。 那 算力是什么?你可以把算力理解成 ai 的 脑力。处理 token 需要大量的数学计算,谁来算就是这个东西。这是 gpu 图形处理器,你玩游戏用的显卡是它, ai 做计算也是它,但这里用的是专门为 ai 设计的服务器级 gpu, 算力比你电脑显卡强几百倍。回答最开始的问题,你和 ai 说一句话,背后消耗了多少算力? deepseek 这类大模型,每生成一个 token, 大 概需要几十亿次浮点运算,你输入一段话, ai 回你一段话,背后可能发生了几千亿次计算,而支撑这一计算的就是一台台像这样的 gpu, 浮 二十四小时不停运转。这就是为什么大家都在抢算力。抢 gpu 算力就是 ai 时代的核心资源,谁掌握了算力,谁就有优势。这是我们在武汉做的 ai 运维实习基地,有真实的 gpu 服务器,给大家做实习实操,做大模型的本地化部署。想了解 ai 运维怎么入行的,可以在评论区扣算力,我们来告诉你。

在我了解了这个通会是怎么被消耗的这件事之后啊,我最大的直觉是,我觉得未来的程序员很可能会两极分化, 分为有钱的程序员和没钱的程序员,分为富程序员、穷程序员。你想啊,有钱的程序员,他能够使用最先进的工具,使用最先进的模型,然后去创造出更好的产品, 然后去赚更多的钱。而没钱的程序员,他分为两类人,一类呢是打工人,他使用的是公司提供的免费 ai 工具,一般都不咋地。第二类是创业者,他需要是自负盈亏,如果他的商业模式跑起来了,他就是一个有钱的程序员, 如果他的商业模式没跑起来,那么他需要承担 ai 编程的高额费用,很有可能会入不敷出。 因为 ai 编程和我们平时使用拆一批聊天不太一样啊。一百万头肯,如果你聊天的话,你可以聊个几百次,能用很长时间,但是你 ai 编程,你让 ai 去分析一个功能模块,就有可能会消耗几千到几万头肯, 如果你让 ai 去分析一个完整的项目,全量代码几十万,上百万投坑代码还没开始写,几十块钱就没了,玩不起。我希望我这个直觉是错的,你觉得呢?说说你的看法。

toker 正在对人力资源进行彻底的重构。首先,什么是 toker? 二零二六年,国家数据局正式将 toker 定名为词源, 那它是用来做什么的呢?简单来说, ai 在 处理文本时,会将句子拆成很多个 toker。 在 英文里, toker 约等于一个单词或一个字词,标点个算一个 toker。 可能有人会疑惑,理解 token, 那 是 ai 在 做的事,对我来说有什么用? token 重要在哪?他凭什么能够对人力资源进行彻底重构? 今天就让我们来聊一聊 token 的 重要程度。大家好,这里是红海 hr 说,一起用 hr 的 思维看世界。 我们把时间拉回今年的三月份,英伟达、阿里巴巴都明确表示要将 token 预算写进新仇。注意,这不是给员工直接发钱,而是给员工发 ai 算力和服务的额度。员工用额度来调用模型生成内容, 写代码用的越多, ai 就 越聪明,效率就越高。这种行为本质上是把 ai 资源当生产资料配给员工。这意味着大厂们的薪资、组织考核到人才分层都正在发生系统性的变更。 hokken 正在重新定义员工价值与组织效率。 首先,在员工价值方面,阿里已经成立 a t h 事业群,英伟达给工程师配备半新级别的年度 token 预算。其次,在组织效率方面, 五八同城日军消耗两千亿 token, 昆仑万维按 ai 编程能力末位淘汰 mad, 砍掉中层,走向 ai 家精英团队的扁平架构。 这些大厂们都在疯狂卷 tucker, 足以证明 tucker 的 重要程度。猎豹 ceo 更是直言,未来 hr 部门将更名为 ai。 二、 ai 招聘、 ai 简历筛选、 ai 绩效管理等,正在把传统 hr 的 事务性工作进行全面替代,人力部门将会从后台支撑转变成组织引擎。在过去,人力资源管理的核心是人岗绩效、薪酬,未来,人力资源管理的核心将被 ai 能力偷看、效率、 人机协调、组织轻量化取代。 hr 将不再只是招聘薪酬、绩效等简单事务性工作的执行者,而是升级为 ai 组织架构师、 toc 预算管理者、人机协调设计者。 在即将到来的 toc 时代中,谁先完成 toc 化转型,谁就能在下一轮竞争中占据人效与组织能力的制高点。红海 hr 说,做 hr 的 数据库。

想跟上 ai 时代,先得听懂 token 是 个啥?最近黄仁勋抛了个新概念,整个 ai 圈都炸了,啥概念呢? token 算力?工厂经济学?以后,因为达不只是卖芯片,还卖 token。 此话一出,全球芯片固执,直接颠覆。 为什么会这样呢?今天咱一次性把这事说个透,什么是 token? 因为达的优势在哪里?我们国家的优势在哪?普通人又该如何抓住红利?先说最简单的 toker, 它是 ai 的 一个单位,两颗苹果五百克,这是重量单位。一杯奶茶五百毫升,这是容量单位。一篇稿子五百 toker, 这就是 ai 算力的单位了。五百 toker 有 多大呢?举个简单的例子, 你问豆包老师,今天是星期几?六个汉字会被切割成三到六个 toker, 而你说的文字越多, toker 消耗也就越多, ai 的 工作量就越大,对应的就需要支付越多的费用。你说,哎, 平时我和 ai 聊天怎么不用花钱呢?很简单,现在行业还在抢用户、抢数据,等技术成熟了, token 就 会跟石油一样金贵。那 token 到底是怎么算出来的?分成三步, 第一步,你的指令被翻译成 token。 第二步,芯片收到输入的 token, 开始疯狂做题,一秒能计算几亿次。第三步,计算出新的 token, 被翻译成你看到的答案,明白了吗?第二个步骤,芯片计算就是 token 经济学的核心了。黄仁勋所说的 token 萨利工厂经济学核心概念就一个, 同样多的店,谁算出了更多的拓客,谁就多赚钱。用大白话讲,店价不变的情况下,一句瓦的店,普通方案一年产出九亿拓客啊,多了三十四倍,一年多赚一点五亿美元, 所以老黄才敢放话,到明年年底至少赚他一万亿美元。那易伟达凭啥这么牛呢?第一,他的芯片断档领先,哪怕咱的顶级芯片算的一半。第二,库大生态太猛了,全球四百多万开发者, 我们本土才几十万,要问开发者都有什么用?能产生飞轮效应呀?越多人用,模型越多,音质越好,生态就越强。这就是因为打恐怖的护城河了,就像一个巨大的摩天轮,根本停不下来。但你要说因为打无敌,那就有点被老黄带节奏喽。 所有假设都建立在一个前提下,电费一样,电量一样受到这发电,那可就是涨的主场了。美国的工业电价一度零点八到一点二元,我们呢,零点四八到零点六亿元,是他们的一半左右。更狠的是西部算力枢纽,也就是甘肃新疆宁夏这地方绿电的合约价格能低到每度 零点一三元,同样是烧一百万度电,我们花三十万,而美国要花一百二十万。怎么做到的?三个大国工程你一定得知道。一是东数西算,把东部的算力需求调度到西部绿电负极区,八大算力枢纽集中了全国百分之六十以上的新增算力,二十特高压电网, 四十六条超级输电线路,把西部的风电光伏水电高效送到数据中心,损耗才百分之三到百分之四,全球最稳。第三,算电协调,也就是算力跟着电力走。怎么跟呢?电多的地方多建算力中心,电少的地方算力就少跑一点, 通过空间布局,时间调度,让电力更便宜,算力更稳定,算电协调有多重要呢?二零幺六政府工作报告首次将它纳入了国家级新基建工程。而且很多人不知道的是, toon 出海,我们已经占了全球的百分之六十一,前五的大模型里,中国占了四席,而且中国百万 toon 零点三到零点五美元是美国的十分之一。说到底, toon 拼的不只是芯片, 还有电,还有统计效率。我们的优势是绿电加稳定,特高压加东数西算加算电协同,全方位碾压,这就是我们无可替代的底牌啊!最后咱说说普通人能做点啥?给你三个实打实的方向。一、轻资产的闲置,算力共享。把家里的高性能电脑接入正规分布式算力平台, 空闲时借小规模训练,普通显卡月入五百左右,高端显卡能到一千加二、当算力时代的水电工,你可以去考个电工证,要知道东数西算八大枢纽未来大量招人,现在很多地方已经开始技能培训补贴了, 有资源的朋友可以在三四线城市对接本地企业或高校的算力需求,提供算力租赁、数据处理。于武汉,就对算力服务的小微企业提供房租补贴、贷款贴息等。想搞算力服务的话,现在还是蓝海时期哦。总结一下, tock 是 算力的基本单位,而 tock 经济学就是运用电力算力效率来定价格,算成本,赚利润。别看黄人勋最近把 tock 经济学吹得天花乱坠,其实咱依靠强大的电力系统,早就低调拿下了全球过半的市场。未来掌握在谁的手里?答案已经很清晰了吧,再见!

北京移动干了件大事,首发售卖算礼包,五点九九元。两百万的淘客,千万不要小看这件事。你回想一下,就是当年十几块钱流量包出现的时候,大多数人其实是没有意识到,他将催生像抖音啊、快手啊这样的视频帝国。 现在你看熟悉的味道,同样的剧情,你换了个名字,就叫 tiktok 包,又要重演一遍了。如果你把这个当成运营商的新的套餐,那真的就有可能错过未来十年最大的红利入口了。很多人吐槽说啊,两百万的 tiktok 到底能干嘛? 其实这个就是典型的用现在看未来,我们把时间回到三 g 时代啊。那个时候买流量,我们其实按照 kb 算,你刷两张图有可能心都在滴血。 当运营商开始把流量按计去打包卖的时候,成本一降,事情会发生什么样子呢?图文短视频的闸门就会瞬间被冲开,整个短视频的生态就炸了。低成本决定高爆发力,应用层能不能紧喷啊,根本就不取决于你演示有多酷, 而是取决于你的底层资源够不够便宜。你看你吃一个龙虾贵啊,龙虾就只能在宴会上当点缀,但是当他的饲料成本打到地板价,龙虾就能进夜市的麻辣烫了。现在你看这次北京移动的蒜粒包,他把滔肯和云电脑打包按月买,本质是在干什么 呀?是在把过去只有企业和开发者才能去买的专用汽油,练成了普通人随时随地能加,加了就能开的民用汽油。 这个其实特别像咱们当年的流量啊,从一种奢侈品变成了自来水,有了这种便宜的水电煤,你觉得接下来会发生什么呀?你根本不需要自己去建电厂,只需要有一个非常好的电器。 我们从这个小套餐里啊,其实你看到的是中国 ai 大 基建正在过的一个临界点,算理作为第五,生产要素正在被管道化和零售化。在这个节点上,有三件事会依次发生, 第一, ai 应用的开发门槛会归零,独立且具有解决方案思路的创意啊,想法呀,它比技术要重要的多。 第二,就像人人都是短视频创作者一样,未来人人都是 ai 智能体的创作者,算力包会成为你手机里的默认套餐。 第三,如果你在找工作呀,或者是搞副业,不要再盯着去写代码,你一定要去想, 当隔壁阿姨都买的起算力时,他会用这个 ai 来干嘛?解决那个需求啊,可能就是你的金矿。五块钱的算力包啊,能不能点爆下一个短视频量级的应用,根本就没有人知道, 但是可以确定的是,每一次包月的出现都是在下沉,在破圈。好了,那我问你,如果算力变成了像流量一样便宜, 你最想用它做一个什么小应用?咱们一起评论区聊聊,说不定啊,你的想法就是下一个风口。

兄弟们, cloud code 用着用着 token 就 爆啦!每次都重复读文件重复犯错!今天介绍的这款开源神器,号称 cloud code 的 第二大脑。亮点一, 六个隐形 hook 脚本,完全不改你的工作流自动运行。亮点二,文件缩影加学习记忆再也不重复读文件,重复犯错。亮点三, token ledger 实时追踪,平均节省百分之六十五以上 token。 亮点四,一条命令 open wolf in it 就 能出场, dashboard 一 键查看效果,再也不用为 token 费用和重复劳动头疼了。想让 cloud code 更聪明更省钱的开发者评论区打 open wolf 免费上售,记得点赞关注哦!

上一期我们把 tokun 比作到店的户口本,立马有人开干,户口本能造假不? 我家的店能不能也办一个?问的好,这就涉及新能源行业最头疼的问题,绿电溯源,传统电网是个什么情况?像个大澡堂子, 你家的光伏电,隔壁火电厂的黑电山那边的风电,全跳进同一个池子里。你想买绿电?对不起,你根本不知道给你搓背的那瓢水是哪个电厂烧开的,没准是核电站的呢, 你怕不怕? hogan 就是 来给这个澡堂子装监控的,先别急着划走,下面这三点,看完你也能出去吹牛。第一,出身,铸造风翼发电机,转一圈光伏板,发一度电, 一个藏在逆变器里的小传感器,就会在区块链上哐一声造出一个 token。 这 token 自带水印,时间、地点,发电类型,供电还是光伏,电压等级,甚至当天的 pm 二点五。 这就是这旧店的出生证明,比你儿子的出生医学证明还悬。第二,过户流转。当这路店通过电网卖给某家造电动车的厂子,这个 token 也从发电方的钱包转到了车场的数字钱包里。 hokken 走到了这路电的立即就跟到了,比户口本还难改,比前任还难甩。第三,原籍销毁车场,用这度电照出一辆电动车,然后对外吹牛。我们工厂百分之一百绿电,此时对那 tokken 就 会被一箭火化, 完成使命,避免被隔壁老王的厂子拿去再吹一遍。一电不能二绿,这是铁绿,那跟我们有什么关系? 如果你是电站老板投片的话,那你的每一度预电都变成可量化的硬通货,以后不光卖电,还能卖,预计看交易市场直接变现,这叫税后收入,躺着赚钱。 如果你是采购不卷亡,未来买浴垫不光看店价,还得看能不能拿到那个带区块链 dna 的 token。 没 token 对 不起 ai 企业报告没法写出口订单别想要老板问你, 你就说面上未记录,我也没办法。如果你是设备厂老铁,你的逆变器电表未来要是不能上链,不能吐偷啃,那你这样的设备就跟没有五 g 备接口的老年机一样,直接淘汰出局,连收废品的都嫌弃你。可 如果你也对海外的新鲜事物、生意机会,特别是新能源项目有什么想法或疑问,欢迎在评论区告诉我。

talking 到底是个啥?别懵,一分钟给你说明白。你就把 talking 当成 ai 大 模型认字的最小单位。一个汉字,一个英文单词,一个标点都算一个 talking。 ai 读你的话,会把它们切成一个个 talking, 这个过程叫分词。比如英文 i love you, ai 会切成四个 talking, 这个单词加一个感叹号。中文更复杂。 比如我在淄博吃烧烤,这几个字可能被切成十个 tucker。 常见的我在吃烧烤一个字一个 tucker, 但淄博两个字一个字就可能拆成两个到三个 tucker。 tucker 也是 ai 的 计费单位。你可能会问,为啥用豆包 deepsea 没花钱? 因为那些 app 是 智能体,他们帮你调用自家大模型,免费给你用。但像 open ai 这种,你直接调它的模型 就得按几块钱每百万托管付费。如果你自己部署大模型,托管照样消耗,只是不计费罢了。所以记住,托管就是 ai 世界里的最小文字砖块和花钱技术单位。关注我, ai 知识不迷路。