简单来说,如果把大模型比作一个超级大脑,那么 token 就是 大脑阅读和思考的最小单位,而上下文窗口就是这个大脑的短期记忆容量。什么是 token? 计算机其实看不懂人类的文字,他们只认识数字。 所以当我们输入一段话时,模型会先把它切碎,转化成一串数字。这些被切碎的小块就是 token, 它不是简单的字或词。在英文中,一个 token 可能是单词的一部分, 如 helpful 被切成 help 加 for。 在 中文里,一个 token 可能是一个字,也可能是两个字的词,如苹果。 你可以把它想象成乐高积木模型,通过拼凑这些积木来理解你的意思,也通过吐出这些积木来给你回答 冷知识。通常情况下,一千个 token 大 约等于七百五十个英文单词,或者四百到五百个汉字。什么是上下文窗口?上下文窗口决定了模型在这一刻能记得多少东西。你可以把它想象成模型办公桌的大小, 或者他的短时记忆力。当你和 ai 聊天时,你发过的每一句话, ai 给过的每一个回答,都会堆在这个办公桌上,容量有限。如果窗口十八 k, 约六千字,当你聊到第一万字时, 模型为了弹出地方放心信息,就会把最开始的对话扔出窗外。不仅是输入,还有输出。这个窗口的总量包含了你输入的所有提示词 prompt, 加上 ai 即将深沉的回答,如果你的要求太长, ai 可能就没空间把话说明白了。 总结一下, tucker 是 模型吃进去和吐出来的饭,上下文窗口是模型能装下这顿饭的胃。现在的技术趋势是胃口越来越大。 deep c 可以 四拥有一百万 tucker 的 上下文,这意味着你可以直接丢给他几百页的 pdf, 也不怕他记不住细节。
粉丝518获赞9508

ai 消耗的 toc 是 什么意思?简单来说, toc 就是 ai 阅读和处理文字的最小单位,你可以把它想象成乐高积木里的基础零件。 ai 在 理解一段话时,并不会像人类那样直接看整句话,也不会拆解成一个个汉字或单词,而是通过算法把内容切碎成一粒粒 toc。 在英文里,一个 token 可能是一个单词或前缀,而在中文里,它通常是一个汉字或常用词组。因为 ai 本质上是在进行数学运算,它必须把语言信息转换成这些数字零件才能工作。为什么我们要关心这个概念呢?因为 token 既是 ai 的 油耗,也是它的内存。 当你向 ai 提问或者让它写代码时,它消耗的不仅是你看到的字数,还包括了背后转换逻辑产生的 token 总量。 如果你把整个项目的代码库一股脑塞给 ai, 哪怕只问一个小问题, ai 也需要重新扫描并计算所有代码转换后的 token。 这种载重会导致计算成本飙升,也是为什么工具会对超长文本收取双倍费用的底层原因。 基于这种 token 成本,编程工具厂商包装出了一套大家都能听懂的计费逻辑,也就是使用次数。在主流的 ai 编程工具中,使用次数通常分为两类, 第一类是自动补全次数,就是你写代码时跟随光标出现的灰色提示。因为这类补全消耗的 token 极少,所以专业版通常会提供无限次使用,让你在写代码时完全没有心理负担。 第二类是高级对话或 agent 请求次数。当你要求 ai 解释复杂报错、重构整个模块或者跨文件改代码时, ai 会动用最聪明的模型,这会瞬间消耗大量的 token。 为了不亏本,厂商会限制这种高级请求的次数,比如一个月给你五百次快速响应机会。 一旦你在单次提问中塞入的代码超过了规定的 token 上限,哪怕你只提问了一次,系统也可能会扣除你两次请求额度。 所以,理解 token 和次数的关系,能帮你省钱省力。简单的小修小补,可以放心交给不限次数的自动补全,而要把宝贵的高级对话次数留给真正复杂的难题, 同时养成及时开启新对话的习惯。可以清空累积的 token 缓存,让 ai 的 思维更敏捷,也避免因为上下文太长而白白浪费额度。

每天一个 ai 新词汇,今天要学习的是 token, 咱们把 token 直接当成钟点工的一分钟基础工时,一下就全懂了。你约的钟点工单次最多只能上门干四小时,两百四十分钟,这就是大模型的上下文窗口, 单次能处理的总偷肯上线。你打电话跟阿姨说需求,每句话都会拆成一分钟的公示单元,擦客厅玻璃,洗三件衣服,做两人晚饭是有效公示。今天上班气死了,楼下超市打折全是没用的废话单元。废话占的分钟越多,留给阿姨正经干活的时间就越少。 超了两百四十分钟的上限,阿姨要么干不完,要么糊弄事。而且你说需求的时间,阿姨干活的时间都按分钟收费,废话越多,花的冤枉钱越多。我是小白随便说。感兴趣的小伙伴们可以点赞关注进粉丝群,我会分享更多 ai 知识!

最近全网都在喊,养龙虾太费,偷啃了根本养不起。但说实话,到底什么是偷啃?今天用卖菜大爷都能听懂的大白话,一分钟给你讲透。首先,你把人工智能大模型当成一个大厨,你扔给他一整颗圆白菜,他一口吞不下,必须得拿刀咔咔咔切成块,切成丝,这才好下锅炒。 我们对 ai 说的话也是一样,比如你问他今天西红柿多少钱,他其实是听不懂一整句话的,必须切碎成今天西红柿多少钱?这几个小瓷块 注意了朋友们,这每一个被切出来的小瓷块,也就是每一个菜段,在人工智能的脑子里就叫 tookai, 就是 一口口吃这些菜段来理解你的问题,然后再吐出一盘盘炒好的新菜段,拼起来给你当回答。既然知道是菜段了,那为啥大家最近玩大火的龙虾 open klo 会这么心疼钱呢? 这就引出了 took 的 第二层意思,它还是咱们雇 ai 小 帮手的技件铜板。以前的 ai 只会陪你聊聊天,一问一答,顶多算帮你切了一根葱花,几百个 took, 几分钱就打发了。但现在的龙虾是个不知疲倦的超级劳模,你交代一句,帮我算完过去三个月的账本,再给每个客户发邮件, 他接了指令,就会自己在电脑里来回跑腿翻看几万字的表格,写几千字的数据。这就好比你雇的帮工,以前只切一根葱,现在帮你把一整库房的冬瓜全给切了。 ai 切一刀,认一个字, 就要收一块铜板。他干的活越重,处理的文件越长,这计件的工钱能够嗖嗖如流水往上涨吗?你的账户余额当然扛不住了。 最后总结一下, poke 其实就两层意思,它既是 ai 认字时切出来的菜段,也是咱们掏钱买 ai 服务的计件。铜板干的活越重,泡的铜板就越多。听懂了没?点个赞,下次别人再跟你装高深聊大模型,你就拿这段话去降维打击他。记得点赞关注哦!

你知道吗? token 就 像七十年前的集装箱,改变了全球贸易的方式。集装箱让货物运输变得简单,而 token 则让智能服务变得可计量和可交易。 通过 token, 中国可以大规模输出脑力,特别是在 ai 领域。想象一下,一个印度程序员通过一个接口请求生成代码, 他的请求经过海底光缆传到中国的数据中心,由数百个 gpu 同时处理生成代码并消耗 token。 这样,中国的电力和算力被转化为印度程序员眼前的智能服务。 token 的 本质在于,他将电力、算力和工程师的智慧打包成可交易的单位。 中国的电力资源丰富,但传统电力出口面临很多挑战,而 token 则为中国提供了一个新的出口方式,能够将电力转化为更高价值的智能服务。尽管中国在 token 出口方面有优势,但与美国的差距仍然存在。 品牌溢价、技术能力、生态信任和地缘政治等因素都影响着 token 的 市场价值, 但中国的发展潜力巨大, token 将成为未来全球竞争的新焦点。总之, token 的 崛起为中国提供了一个前所未有的机会,推动智能服务的国际化。未来,中国将不仅仅是电力的供应国,更是智能服务的输出国。

三个月后,电的计量单位加入千瓦时变成 token, 卖 token 就是 卖电,卖电就是卖 token。 马斯克,为什么说电力是未来的硬通货?因为老美很早就意识到, token 就是 归机生命的交易货币,而电能运转钻力烧掉的 token 就是 最原始的注币过程。 一度工业用电约零点八元炼成 token 卖全球价格能翻二十倍。其实你也可以把电能理解成面粉,而 token 就是 面包,中国最不缺的就是面粉, 谁能掌握全球面粉定价权,谁就能垄断面包生意。作为原料端,中国有天然优势,风电、光伏、水电多,而电本身储存贵,不能跨国输送,导致出口难。简单来说就是中国有上万亿的面粉,但无法出口,最后只能到海里差的 gdp 每年消耗约十七点二三泰瓦时的电能来输出透支, 满足用户使用。这个电量相当于供应英国全境一个月,更是超过很多小国全年用电量。豆包二点零 light 日耗电量约为四十到六十万度,但日耗电量仅为 chad gpt 的 百分之五到七。不是我们大漠星不好而耗电低,而是豆包架构太好了,所以耗电量断层及加速。就拿我国大工业用电计费八毛,一度计算 豆包百万头肯的电费两毛,但经过豆包不同系列大模型处理后,平均卖到四块到二十块左右不等。两毛到四块是不是二十倍?豆包 c 的 二点零可是能卖到四十八块钱的。我都没敢跟你算,价格表都在官网摆着,翻了多少倍自己去算,就算调用成本再高,你卖四十八电费能花四十八块钱吗?不可 能的,毛钱不赚。我是不信。现在明白国家为什么要搞东数西算工程,两会讲的电算协同就是这个意思。电费不赚钱,难出口,加工成 taco 卖全球妥妥的暴利生意。以后就是 taco 出海, 在西北戈壁,数百万光伏板与巨型风机组成的清洁能源矩阵,在西南峡谷世界级水电站形成的梯级能量枢纽。唯有中国电力是全链条自主可控, taco 是 新能源的出口, ai 的 货币,数字贸易的载体。 国运又一次站在了我们这一边,免关税、无库存,边际成本趋近于零。而今天,中国模型已占据全球投放市场百分之六十一份额,这就是全球 ai 服务定价权。还战争打鸡毛,这不比打仗挣钱?

一九五六年,美国人发明了集装箱,在那之前,全球贸易一半的成本是装卸费。 集装箱一出现,货物被标准化运输成本暴跌,全球贸易瞬间爆炸。今天 ai 时代也出现了一个集装箱,它叫 token。 很多老板听到 token, 只当是技术名词,大错特错。 如果你是做生意的,你要看懂,这是一次算力的重新定价。什么是 token? 简单说就是 ai 处理文字的技能单位。你问一句话,写一段代码,生成一份报告,背后都在消耗 token。 重点是, token 可以 被计量,被计费、被出口。 就像集装箱把原本难以交易的智能服务装进了标准化容器,从此脑力可以像货物一样卖到全球。 咱们来算一笔账,一度电直接出口卖零点五元,炼成铝,定卖一点五元翻三倍。如果拿去跑大模型推理呢?一度电能产出五百多万 token, 按国内模型定价卖,可以卖到十一元, 是直接卖电的二十二倍。如果按 open n i 的 价格算,将近四百元,是七百八十五倍。 差价在哪里?同样是一度电,换个皮价值差了几十倍、上百倍。这不是能源生意,这是算力生意,是标准化的脑力出口。更关键的是,电不能装箱,但 tko 可以 跨国流动, 不用电网,不用特高压,不需要对方国家批准,只要一根网线,印度创业者调用中国 a p i 背后是甘肃的风电,青海的光伏在转。电 钱没出国,但国力出国了,这才是结构性机会。老板们,别再说 ai 太卷,价格打烂了。现在的二十二倍,不是天花板,而是价格战的红利。美国负责把价格毛在高位教育市场, 中国用工程能力把成本打下来,规模收割,这就是新的全球分工。真正该问的不是模型谁更强,而是在这个时代,你是卖店的,还是卖偷看的。你是卖原材料被压价,还是掌握标准赚溢价。 一九五六年,集装箱改变了全球制造业,二零二六年, taco 正在改变全球脑力市场。电力过剩不是问题,算力过剩才是机会。 美国炒高价格,中国压低成本,东数西算的战争才刚刚开始。老板,现在该问自己的不是要不要用 ai, 而是你能不能把自己的行业装进 taco 里卖。

小龙虾说的 token 到底是什么?今天一条视频给你讲清楚。简单来说呢, token 就是 大模型,把文字切成了最小碎片模型,它不看字,它不看词,只看 token。 就 像计算机,它不能直接的识别图片和文字一样,它只能识别零和一。这个原理其实很像人脑,比如说这几个字单独看起来是不是有点陌生, 或者是要愣两秒才能反应过来?但是这些字如果出现在词语中,你会瞬间能读出来。为什么会这样呢?是因为我们大脑喜欢把有含义的字或短语当成整体去处理,这样记会更快更省脑力。比如说 ai 会取代人类吗?这几个字按字数算是八部分,按 talk 算只需要五个。 你还可以去这个网站上看,把一句话输进去,他会直接告诉你这段文字被切成了几个 token。 而且不同的模型切法还不一样。同一句话在 deepstack 里面可能切成两个 token, 换一个模型可能就变成三个。因为每家的模型背后的分词器、词表、训练习惯都不一样, 对 token 的 数量就也不一样。一句话总结, token 就是 大模型的世界里的一块块的积木,模型就是靠计算这些 token 之间的关系来理解和生成文字的。这也是为什么大模型公司几乎都按 token 收费,因为 token 的 数量越大,背后的计算量就也越大。

你有没有发现,现在用 chat 七 p t 或 deep seek 时,总会看到一个词, token。 买 api 要看 token 价格,对话长了还会提示 token 超限。那问题来了, token 到底是什么? 我们今天就来好好扒一扒。 token 就 像 ai 世界里的乐高积木,虽然你看到 ai 在 和你聊天,但它本质是一个巨大的数学模型,只认识数字,不认识文字。所以你的文字在进入 ai 大 脑之前,会先被一台碎纸机处理。这台机器叫 tokenizer 分 词器, 它会把一句话拆成一块一块的小碎片。比如英文单词 unbreakable 可能会被拆成 u n 加 breakable, 中文也一样,人工智能可能会拆成人工加智能。接着第二步就是把这些碎片编成数字编号。 ai 有 一张巨大的词典,每个碎片都有一个编号,于是你输入的那句话, 在 ai 眼里其实就是一串数字。理解了 token, 你 就懂 ai 的 三个关键规则。首先,计价器大模型收费不是按字数,而是按 token 总数, 而且中文通常比英文更贵。第二,记忆容量。 ai 能记住多少对话,取决于它的 context window 上下文窗口, token 超过上限, ai 就 会瞬间失忆。第三,效率优化, 高频词会被合并成一个 token, 这样 ai 计算更快,也更省算力。所以下次用 ai 的 时候记得一句话,表达越精简越省 token, ai 也会更聪明。

为什么问 ai 同一个问题,每次得到答案却不一样?原因啊,就在于偷看。今天啊,我用最简单的话给你讲明白, ai 并不是先想好一整段话,然后一次性的发给你,他是边生成边想,也就是每一步他只预测下一个最可能的偷看。比如你说我今天想吃, 可以是火锅,米线、面条在语法上都合适, ai 就 在这里边随机选择一个返回给你,这个随机就是 ai 每次回答不一样的根本原因。第二,偷看不是汉字,也不是单词, 它是 ai 理解语言的最基本单位。排举同样的例子,我今天想吃火锅,那就会被拆分成我今天想吃火锅这四个偷看。因为偷看可以是一个字, 也可以是一个词。所以啊,在中文里,大约一个偷看等于一点五个汉字标点符号也都算偷看。 所以,当你问 ai 的 时候,你所说的每一句话都会被先拆分成一段一段的偷看。 ai 啊,然后再根据这些偷看去预测下一个最可能的词。说白了,有点像你手机的输入法,根据你书的内容去预测下一个字是什么字。怎么提问才能让 ai 不 跑偏呢? 其实啊,就两句话,给身份和打个样,你不要直接问, ai 说给我做个攻略。 要说你是一个拥有十年经验的金牌导游,请帮我做个攻略,你想要爆款文案,直接把你的爆款给他,告诉他按照这个格式和语气去写,听懂的评论区扣一,关注我,大白话教你玩转人工智能!

你知道吗? ai 眼里没有字,只有积木块,这个就是 token 大 模型处理文本的最小单位。 先说 token 是 什么?比如这一句,我叫橘子,喜欢吃橘子, ai 会做分词拆分,例如是这个样子的多个 token, 每个 token 都有唯一的 id, 橘子出现了两次, ai 只记一次,再结合两个橘子分别的上下文,就理解出了不同的含义。那 ai 分 词拆字咋来的呢? 他在训练时会读取互联网上大量的数据,根据统计算法,他就有了自己的 token 字典来做拆分和理解。还有 ai 的 计费也是按照 token 的 数量来的,例如对他的提问, ai 返回的内容都会拆成成 token, 从而来计费。 token 就是 积木块拼接出人类语言和 ai 沟通的桥梁。关注我,每天一起学技术,记得点赞关注哦!

token 是 什么?今天这期视频,我们把 token 彻底拆开来讲,先搞清楚它有几种以及各自是什么含义,再深入讲 ai 大 模型里的 token 到底是怎么运作的,以及如何帮你省钱。 token 这个词在计算机领域至少有两种完全不同的含义,很多人混淆就是因为没有先区分清楚。第一种语言 token language token 也叫 nlp token, 这是 ai 大 模型处理语言时的最小单位,是模型理解和生成文字的基本碎片, 我们今天重点讲的就是这种。第二种,身份验证 token, off token, 比如 access token、 jwt token, 这是一串加密字母串,用来证明你的身份和权限,相当于服务器给你颁发的数字门禁卡。两者唯一的共同点就是都叫 token, 这就好比苹果手机和苹果水果名字一样, 但完全是两个领域的东西。以后遇到 token 这个词,先看上下文,在 ai 和大模型的语境里,它是语言单位, 在登录 api 健全的语境里,它是身份凭证。搞清楚这个分类,你在这两个领域都不会再被绕晕了。接下来我们重点来讲语言 token。 在 ai 领域,特别是大语言模型 l l m, 像 chat、 gpt、 cloud、 gemina 一 类的系统里, token 是 模型看懂和写出语言的最小单位,它不是密码或凭证,它是 ai 内部真正处理文字的基本快,是模型理解和生成语言的原材料。 通俗的讲, token 就 像乐高积木,我们写一句话给 ai, 看起来是一个完整的句子,但 ai 不 会像我们一样理解整个句子,它会把文本拆成一个个小块及 token, 这些小块可以是一个完整的词,一部分词,甚至是一个符号或标点,每一块就是一个 token。 模型不是按人类的语法去理解,而是按这些 token 一 步步分析和预测下一个最可能出现的 token。 为什么要这样做?因为 ai 模型内部只能处理数字,不能直接看懂文字。先把文字拆成 token, 然后把每个 token 转换成一个数字 id, 再把这些数字送进模型进行计算和预测,这样模型才能理解上下文并生成回答。在实际使用中, token 还有两个非常重要的作用, 第一,它决定了 ai 能处理的内容范围大模型对话时有一个上下文窗口,就是说模型一次最多能看到多少个 token, 如果超过了这个限制,最早的 token 会被丢掉,这会影响模型理解整个对话。第二,它关系到成本和计费。 很多 ai 服务是按 token 计费的,包括你发送的输入 token 和模型返回的输出 token。 token 越多,成本越高。 那如何节省 token? 在 ai 模型使用中, token 是 直接影响成本和效率的核心指标,控制好 token 的 使用,能省钱又提升速度。下面是最有效的几个方法,帮你在实际使用时节省 token 消耗。一、精简输入内容,别把所有背景都丢进 prompt, 只把真正相关的信息留给模型,让每个 token 都有价值。缩短指令,去掉庸俗描述,可以显著降低 token 消耗。 精简上下文相当于少用 token。 二、限制输出长度,提前设定回答长度上限,避免生成宕长啰嗦内容,这样模型不会自动扩展答案,从而减少输出 token 数。 三、做缓存与复用对于重复查询或者经常用到的内容,可以先将结果缓存起来,后续类似请求直接从缓存返回,不再重新调用模型,从而节省大量输入和输出 token。 四、选对模型分阶段处理任务, 不同模型价格差异巨大。把大任务拆成两步走,先用小模型或简化逻辑生成摘药或关键内容,然后再用更强模型处理简化后的内容, 这样整体消耗的 token 更少。五、只保留重要上下文历史对话长篇内容会不断重复发送给模型,快速占满 token 上线,所以只保留与当前任务直接相关的上下文就够了,其他历史可以省略或者按需摘药再传入。 最后总结一下, token 在 计算机里有两种完全不同的含义,语言 token 是 ai 处理文字的最小单位。身份验证 token 是 证明身份的加密凭证,两者只是名字相同,本质毫无关联。在 ai 大 模型的世界里,语言 token 是 一切的基础。 ai 不是 看单词,而是看 token, 它靠一串串 token 来理解世界作判断,生成结果。这就像我们拼积木一样,模型把语言拆成一块块小积木,然后用它们组合出回答。理解了 token, 你 就掌握了和 ai 打交道的底层语言。无论是调用 api、 优化提示词,还是控制成本,都离不开这个基础概念。 token 是 ai 世界里的基本单位,是 ai 语言理解与生成的起点。好了,本期的分享就到这里,如果觉得这期内容对你有帮助,记得点赞、关注和收藏,我们下期见!

ai 时代, tok 已成为新的重要资源。很早以前,在第一次工业发展中诞生了蒸汽机,给蒸汽机提供动力的是地底下挖出来的煤炭,煤炭烧掉变成了蒸汽, 蒸汽在推动机器,让机器生产商品。当时大家都在想着怎么挖煤,到了第二次工业发展出现了电,大家都在想着怎么发电、输电、配电、用电, 一套完整的工业链养活了越来越多的电气公司。再看第三次工业发展,石油成了重要的资源,围绕着石油产生了化工、塑料、机器动力。直到如今,世界经济依然建立在石油上,甚至为了石油引发了战争。 那么在接下来的 ai 时代,要想分到蛋糕,大家需要争抢的资源是什么呢?那就是 talking, 就是 ai 处理信息的基本单位。 比如你给 ai 提了一个需求, ai 会把你的需求拆分成很多个 token, 然后逐个处理,解决你的整个需求。也就是说, ai 产品背后都在消耗 token。 比如一个汉字大约是一点六个 token, ai 回复了你一百个汉字,那它就是消耗了一百六十个 token。 当我们把所需的 token 乘以全球的人数,那它就是一个巨大的资源需求。 因为我们看到的所有的 ai 工具,每时每刻都在消耗 token, ai 写代码, ai 绘图, ai 写文案、 ai 操作机器人,这些全都需要大量的 token。 我 们知道石油和煤炭资源是挖出来的,那么 token 资源又是如何产生的呢?答案就是 gpu 产生 token。 可以 说 gpu 是 token 的 发电机,这也是为什么英伟达公司一年能赚呢几千亿, 因为英伟达卖的芯片都是在帮用户生产更多的 token, 而数据中心就是 token 的 发电厂。随着 ai 普及,所需要的数据中心就越来越多,而数据中心的算力需要大量的电力,这些电力又需要大量的发电厂、 发电设备、发电能源,比如煤炭、石油、各种绿电等。也就是说, token 资源其实还是消耗真实的能源, 这些真实的能源给数据中心供电,然后上游是芯片, amd 含五 g, 因为打这些生产 token, 再上游就是云计算,比如阿里云、微软等,他们把算力租给大模型公司,比如 deepsea、 千问,然后再到实际应用端,比如豆包等各种具体的 ai 工具,每个用户来一次就烧一堆 token。 在 这个 token 的 时代, 谁能更加快速、更加高效、持续的生产和分发 toc, 谁就能在新工业发展中占领市场。这是为什么很多大企业花几百亿甚至千亿建数据中心,也就是 toc 厂的原因。 这也是为什么先进的大模型一出来,直接轰动全球资本市场。整个 ai 行业的商业模式。底层逻辑就是一句话,生产 toc 和卖 toc, 未来十年, toc 会像其他能源一样成为一个关键的经济指标,哪个地方的脱困成本更便宜,哪个地方的 ai 产力就更有竞争力。所以咱们需要努力拼命的搞国产芯片,搞大模型,搞算电协同,搞绿色电力, 否则我们的经济会非常被动。今天的讲解就到这里,如果觉得对您有帮助,可以转发给身边的朋友。

宝贝们,今天我们来聊一个百分之九十九的人都没有看懂的东西。很多人觉得 ai 就是 聊天的机器人,就是帮你写写文案,画画图。如果你还停留在这个认知,那你就已经错过了这个时代最大的财富重构。 一九五六年,美国发明了集装箱,之前全球的贸易成本有一半花在装卸的费用上,集装箱一出现,货物被标准化了,而今天的世界格局就是那个铁皮箱子鉴定的。 二零二六年, ai 的 时代也出现了一个集装箱,它不是铁皮做的,它叫 token。 什么叫 token? 简单的来说就是 ai 处理信息计算的单位,你问他一句话,他给你写一段代码,生成一份报告,这背后都在消耗 token。 很多老板听到这个词,觉得这个技术词跟自己没关系。错了, token 的 本质是一次电力时代的重新定价,而你把电力想象成之前的货物,它不 好运输啊,他装卸费用高啊。而这个 taco 就是 把电力直接让他便于运输了。你想想,之前我们家的电力要想卖到全世界,他是不得建电网,是不得特高压。而现在直接我们把算力中心建在我们家,电 力直接在算力中心里面生成算力 taco, 我 们就可以直接卖给世界上的其他国家。道德经讲的,天下万物生于有,而有生于无。 taco 就是 把看不见的智能变成了看得见的,可以买卖的。有啊, 接下来我给你算一笔账,你就明白了。一度电直接卖大概五毛钱,这一度电拿去电检铝,能够卖到一块五毛钱,翻了三倍。但如果你把这一度电拿去跑大模型推理呢?一度电大概能够产出五百多万个 token, 按照国内模型的定价,能卖到十一块钱, 是直接卖电的二十二倍,这个比其他行业的利率可大太多了,对不对?而如果按美国 openai 价格计算呢?那可以卖到将近四百块钱, 那是七百八十五倍啊!同样一度电,换一个赛道,价值差就几十倍上百倍。这不是能源的生意,这是算力的生意,这是标准化的脑力出口啊。道德经说,有是无之相生,难是意志相成啊。电和投肯本质上是同一个东西, 但有和无之间的转化,就是几百倍的价值差。未来谁能够完成有生与无的转化,谁就掌握了新时代的定价。 更关键的一点是,电不能装箱啊,不能跨国流动啊。你要修电网,得建特高压,还得对方的国家批准,但是头肯不一样,只要一根网线就完成了算力传输啊。印度创业者还可以调用中国的 a p i, 背后就是甘肃的风电和青海的光伏。在转 没有出国,但是算力出国了,他钱就回来了,这才是结构性的机会。有人说了, ai 现在这么卷,价格都打烂了,还赚什么钱呢?兄弟,你只要看懂一件事,现在的二十二倍,它可不是天花板,它是价格战的结果。没 美国把投坑的价格铆定在了高位,负责教育市场,而让全世界都知道这个东西很值钱。中国在有工程能力把成本打下来,负责规模的收割,美国负责定价,哎,我们负责走量,这就是新的全球分工。所以你别看他现在卖的便宜, 你等美国给他定完价以后,他没有生产能力,那我们有生产能力的不就拥有了新的定价权了吗?所以你不要 用现在的投坑价格给我预算以后的投坑价格,知不知道未来是不是 ai 的 时代?你能不能离开 ai? 你 能, 能比 ai 更智慧?你们能不能比 ai 算的更快?如果不能,你想想这个头看值不值钱。那个又说那美国不会跟我们捣乱吗?大不了到时候分他一点不就完了吗? 他不就不闹了吗?你看看今天他都开始给俄罗斯卖石油松口了,你猜这里边美国要不要分一杯羹啊?前两天那俄罗斯的天然气船是让谁给炸的? 我干不成,我能毁呀?我不需要有价值,我只需要不闹,你就得给我好处。你回看一下,黄毛这一年来是不是都是这么干的?而你以为只有黄毛会这么干吗?我们也会啊, 只不过我们干的比它隐蔽啊。之前我们为什么要大力发展新能源?哎,首先的目的不是我们能赚多少钱, 第一就是要打破美国的石油霸权,第二就是让美国的汽车他赚不着钱,结果不光美国的汽车,连奔驰宝马奥迪他都赚不到钱了,而 deepthink 的 横空出世直接开元,这是要赚钱吗?这还是要让美国的 ai 赚不到钱,你还心机之门吗? 哎,你还想美元绑定算力吗?我直接把你的门给你拆了。这不最近 open club 火了,大家都在研究怎么样养龙虾,但是都忽略了养龙虾也已经上线了,展示的功能,他 可能不如进口的龙虾,但是我们便宜,我们免费啊,这你受得了吗?当下就是美国干什么,哎,我们就干什么,我们不一定干的有多好,但是我们一定能拆的很好, 只要什么商机。哎,美国先把它的价格炒上去了,中国立刻就用低成本来切入,你以为是价格战?这是对未来世界的定义权的博弈。美国,你光有 ai, 但你没有算力呀啊 啊,你还想美元铆定算力?未来就是中国铆定算力的时代。哎,你还别不信,你也别不服啊,美国缺电力,缺的都不见发电厂都开始去买柴油发电机了。我的妈呀,这柴油发电机发电得多贵啊? 这玩意他能不卖四百块钱一度吗?我们十一块钱一度就赚了二十二倍,他得卖四百,知道吧?因为压是柴油发电, 所以说当下值得我们思考的不是哪个模型更强,而是在这个时代,你是卖店的,还是卖 token 的? 你是卖原材料的,还是卖标准化算力的?所有的产业都会被 token 冲过,教育按 token 计算,服务按 token 计费, 编程、营销、法务、设计、咨询,全部都会变成可以计量的智能服务啊。一旦被计量,就可以规模化,一旦规模化,就会诞生新的巨头啊。生意的本质从来没有变过,谁掌握标准,谁赚的溢价, 谁只卖原材料,谁就会被压价呀。一九五六年,掌握集装箱标准的人重塑了整个全球制造业。 而二零二零年,掌握头看标准的人,将能够重塑未来世界的全球智能算力市场。道德经说,智 知人者智,知己者明啊。如果你是老板,现在真正该问自己的不是要不要用 ai, 而是你能不能把自己的产业装进 tokken 里去卖啊,实在不行了,咱就去提前买入 tokken, 咱未来去卖,再不然就布局成为 tokken 的 生产的股东啊。电力过剩不是问题,算力过剩才是机会 基数,他可以东算,这战争才刚刚开始,算力需要充沛的电力支撑,目前全世界超过三分之一的电力,哎,就在中国产生,当下全世界的国家连民用电都保障不了,哪个国家还有电力去生产?算力就在刚刚,哎,我们朗哥可神助攻了, 炸了阿联酋和巴林的数据中心啊,理由是他们为美军提供了军事算力。那你猜全世界的国家既有充足的电力的,又有安全的保障的,他是谁呀?而他们家未来算力的发展所带来的利益,你敢想象吗?我只能帮你到这了,看 懂趋势才能看懂未来。别老问我买什么了,买客,我是个卖客的,不是卖消息的。当然付费可以缩短时间,买客可以拉近你我的距离,钱可以解决的事,就别总指望白嫖了。白嫖的信息你敢信吗?你敢用吗?你不敢用的信息有价值吗?没有价值的信息,你白嫖了真的就是白嫖了。 姐,多事是心,居士,透过现象看本质,让我们跟国家一起乘风飞扬,就忘了那个曾经伤害过你的人。 请不要独自在深夜里喝酒和哭泣,你要相信这个世界,相信总有一天你的盖世英雄会踏着漂亮的云彩来娶你, 对自己好一些妹妹。

二零二六年,马年开年啊,中国 ai 跑出的不是一般的速度,而是瞬移。很多人还没有从过年的气氛里面回过神,最新的周数据就直接刷屏了。 二月十六号到二十二号,中国大模型的周调用量达到了五点一六万亿,这不仅仅是一个数字啊,这是历史上第一次,中国在 ai 调用量上超越了美国, 全球前五的模型,中国占了四个。这不是某个天才的灵光一现,这是一场蓄谋已久的集群式的崛起。今天我们要拆解的是这背后藏着的算理、电力以及国家战略的深层博弈。首先我们要搞清楚啊,大家天天说 talk 到底是什么, 你可以把它理解成为智能模型里面的电度数,你给 ai 下一个指令,它帮你调用英伟达的芯片,跑起来算力,消耗掉电力,最后吐出来那个结果计量的单位就叫托肯。现在全球前十的模型,一年产生八点七万亿托肯 最让人兴奋的不仅是量大,而是其中百分之六十以上啊,来源于我们中国,这意味着全球开发者,包括美国在内的开发者,正在疯狂调用中国的 ai 能力。为什么美国开发者也要用脚来投票?因为中国 ai 玩的是技术路线的降维打击。 现在啊,硅谷路演的 ai 书创公司,百分之八十的底层用的竟然都是中国开源的模型,为什么?你看对比就知道了, mini max 的 输出价格是一点一美元每百万托肯,而海外同级别的对手要二十五美元,差了整整的二十二倍。 智普的 glm 的 五的价格甚至不到对手的十六分之一,这背后是因为我们普遍采用的 mo 一 推理时只激活部分的网络,显存占用降低了百分六十,吞吐量提升了十九倍。这意味着什么?这意味着中国托肯的爆发,已经不再像过去那样死死的被英伟达的 gpu 锁死了。 但技术只是表象,底层的核心其实是电。 ai 的 尽头,拼的就是电大模型运营成本啊,电力成本占到百分之六十到七十,而在中国,我们有全球最极致的电力性价比。 你看数据啊,二零二四年,我们的发电量占全球的百分之三十以上,比美欧日加起来还要多。最关键的是成本, 我们在西部用绿电生产托肯,成本只有欧美的五分之一到四分之一。过去我们出口商品是电力加劳动力,后来我们出口稀土是电力加资源。而现在,我们找到了第三种电力出海的形态,电力加算力, 电送不到美国去,但我们可以通过海底光纤把我们用廉价电力跑出来的逻辑和结果去送过去。这本质上是我们在用算力争去服务,去对冲美国长期以来的服务贸易顺畅, 这哪里是最简单的技术迭代啊,这是涡轮增压式的发车。为了接住这个破天的富贵啊,国家队已经出手了,国网和南网十五期间投资加码,目标只有一个,算力在哪里,人员就精准的输送到哪里。 二月十号,博志伟明确提出啊,央企要推进算力与电力的协调,这是一场海陆空协调的总体赛。阿里字节,腾讯稳住大格局,杭沪深京的 ai 新贵暴利崛起,中国 ai 的 护城河,是欧美短期之内根本复制不了的资源禀赋。 投资投的是什么?投的就是这种指数级的变量。当 ai 像自来水一样便宜的时候啊,每一个普通大众,每一个实体店老板都能用上顶级的数字大脑,这种权力的重构,才是马年加速度带给我们最大的利益。国产 ai 越来越强,你感受到了吗?欢迎在评论区分享你最近被国产 ai 惊艳到的瞬间!

面试的时候,十个候选人里八个说不清楚 token 到底是啥,今天一分钟给你讲透!很多同学刚开始接触接口验证的时候,都会听到 token 这个概念。其实我们可以用游乐园的手环做类比, 去游乐园买完票,工作人员给你带个带防伪的手环,之后玩项目只要出示手环就行,不用每次套身份证购票凭证。 token 的 作用和这个手环完全一致,它是服务端生成的一串特殊字符串,作为客户端访问接口的身份凭证, 用户第一次登录验证账号密码通过后就能拿到 token, 后续请求不用反复提交密码,能大幅降低密码泄露的风险。这里 要特别注意, token 本身不具备加密属性,只是身份标识,千万不要把它当成加密工具来使用。那 为什么会出现 token 这种验证方案呢?早期的 web 系统大多用 session 做身份验证,服务端要给每个登录用户存一份 session 数据。就像景区把所有游客的身份信息都存在入口的记录本上,只有一个入口的时候没问题, 可如果景区开了十几个入口,每个入口同步游客记录会非常麻烦。 token 就是 为了解决分布式场景的身份验证问题,诞生的 所有身份信息都存在 token 里,由客户端保管。服务端不需要存储用户的状态数据,多服务部署时也不需要做数据同步。当然,它不是 session 的 替代品,如果是内部单节点系统,用 session 反而更易维护。现在行业内最常用的 token 是 j w t 格式, 完整的 jwt 分 为头、载客、签名三个部分,中间用点分隔,头部分记录 token 的 类型和签名算法。载客用来存储用户 id、 权限、有效期这类非敏感信息。签名则是服务端用私有密钥对前两部分生成的防伪标识。 这里要提醒大家,这三个部分里的头和载荷都是用 base 六十四编码的,相当于只是把铭文转成了方便传输的格式,没有做加密处理,任何人拿到都能解码看到内容,所以绝对不能在载荷里存密码、身份证号这类敏感信息。 了解了结构之后,我们再看 token 的 生成逻辑。 token 必须由服务端生成,用户第一次提交账号密码时,服务端先叫验信息是否正确,确认是合法用户后,会用只有自己知道的私有密钥, 结合用户 id、 权限、有效期等信息,生成完整的 token 再返回给客户端。整个流程就像游乐园售票处核对你的身份证和购票信息无误后,给你发印有专属防伪章的手环, 只有园区官方发的手环才有效。私自打印的手环过不了工作人员的叫验。大家一定要记住,不要在前端生成 token, 没有服务端密要签名的 token 没有任何可信度。客户端拿到 token 之后,通常有两种存储方式,要么存在 local storage 里,要么存在 cookie 里。 存在 local storage 时,每次发请求需要手动把 token 放到请求头里,就像你每次玩项目,主动抬手给工作人员看。手环存在 cookie 时,可以配置自动随请求携带,不需要手动处理,但要额外做好 c s r f 攻击防护。 这里要避开一个常见误区,不要把 token 存在前端的普通 g s 变量里,页面刷新或者关闭后,变量会被清空, token 就 丢失了,用户就需要重新登录。 存储完成后,客户端每次向服务端发请求时都要带上 token。 服务端拿到 token 后的校验分为三步,首先把 token 的 头和载鹤用同样的密钥重新生成签名,和传过来的签名比对,确认是自己发的合法 token, 再检查 token 的 有效期有没有过。最后读取载荷里的用户信息,判断有没有当前接口的访问权限。整个过程,服务端不用查任何存储的用户状态,只要叫验通过,就可以直接处理请求,响应速度更快。 千万不要跳过签名校宴,只读取载贺内容,否则很容易收到伪造的非法 token。 所有的 token 都会设置有效期,短的十五到三十分钟,长的最多七天。就像游乐园的手环,通常只有当天有效,过了日期就算防伪没问题,也不能用。 有效期到了之后,常见的处理方式有两种,要么让用户重新登录账号获取新 token, 要么搭配 refresh token 使用。用户不需要输密码,直接用有效期更长的 refresh token 向服务端换一个新的普通 token。 不要把 token 的 有效期设置得太长,一旦 token 泄露,其他人可以用它冒用你的身份操作账号,风险很高。 除了控制有效期,我们还要注意 token 使用过程中的安全问题。 token 传输过程中必须走 https 协议,避免 http 明文传输被中间网络节点劫获。就像你不要在公共场合大声念自己的手环编号,避免被别有用心的人抄下来伪造。 拿到 token 后,不要随便存在公共缓存、第三方云同步目录里,涉及转账、修改密码这类高风险操作时,除了叫验 token, 还要加短信验档者类的二次验证。不要觉得 token 有 签名就绝对安全,只要 token 被别人拿到,就能直接冒出你的身份发起请求,和拿到密码的效果差不多。 最后我们来看 token 的 适用场景。现在 token 的 使用场景非常广,前后端分离的 web 应用、手机 app、 小 程序的接口、身份验证基本都用 token, 第三方开放平台的授权也会用。比如你用微信账号登录其他 app 时,微信就是给第三方 app 发了一个带你的身份信息的 token, 三方不用拿到你的微信账号密码就能识别你的身份。当然,也不是所有场景都必须用 token, 如果你做的是只有几个用户的内部小系统,用传统的 session 验证实现成本更低,不需要硬套 token 方案。以上就是。

最近大家都在聊龙虾,聊烧了多少 token, 那 么 token 是 什么呢?其实当你在聊天框里敲下一句话,再到屏幕上出现回答, ai 的 工作可以分为这样几步,第一步是分词, ai 会把你输入的句子切成很多小单元,这些单元就叫 token, 有 时候是一个字,有时候是词的一部分,甚至只是一个标点或空格。早期模型的分词器对英文更友好,中文往往会被切成更多 token。 这也是为什么过去中文在 ai 里的成本更高。现在随着新词表和工具,比如 tiktok 的 出现,这种差距正在缩小。第二步是预测下一个 token。 模型在运行时其实只做一件事,根据前面的内容计算下一个 token 出现的概率分布。模型会算出词表里所有获选 token 的 概率,然后从里面选一个接在后面。这里涉及到 ai 的 关键工作机制,自回归生成 autoregressive 模型不是一次生成诊断回答,而是一个 token 接一个 token 往前生成。 这就是为什么模型无法瞬间打出整段话,而是严格遵守时间顺序,一格一格的往前蹦字。他必须预测第一个词,把词接到句子后面,变成新前文,再预测下一个词, 循环往复,直到撞上结束符。 ai 并不是在思考答案,而是在预测人类接下来最可能说什么。现在 token 这件事你是不是大概搞清楚了?但是还有更有意思的问题, 如果 ai 只是一个在不断预测下一个 token 的 概率机器,那它为什么能回答专业问题?怎么让 ai 听话靠谱?我们下一期聊聊。