人工智能中的token是什么

ai 消耗的 toc 是 什么意思？简单来说， toc 就是 ai 阅读和处理文字的最小单位，你可以把它想象成乐高积木里的基础零件。 ai 在 理解一段话时，并不会像人类那样直接看整句话，也不会拆解成一个个汉字或单词，而是通过算法把内容切碎成一粒粒 toc。 在英文里，一个 token 可能是一个单词或前缀，而在中文里，它通常是一个汉字或常用词组。因为 ai 本质上是在进行数学运算，它必须把语言信息转换成这些数字零件才能工作。为什么我们要关心这个概念呢？因为 token 既是 ai 的 油耗，也是它的内存。 当你向 ai 提问或者让它写代码时，它消耗的不仅是你看到的字数，还包括了背后转换逻辑产生的 token 总量。 如果你把整个项目的代码库一股脑塞给 ai， 哪怕只问一个小问题， ai 也需要重新扫描并计算所有代码转换后的 token。 这种载重会导致计算成本飙升，也是为什么工具会对超长文本收取双倍费用的底层原因。 基于这种 token 成本，编程工具厂商包装出了一套大家都能听懂的计费逻辑，也就是使用次数。在主流的 ai 编程工具中，使用次数通常分为两类， 第一类是自动补全次数，就是你写代码时跟随光标出现的灰色提示。因为这类补全消耗的 token 极少，所以专业版通常会提供无限次使用，让你在写代码时完全没有心理负担。 第二类是高级对话或 agent 请求次数。当你要求 ai 解释复杂报错、重构整个模块或者跨文件改代码时， ai 会动用最聪明的模型，这会瞬间消耗大量的 token。 为了不亏本，厂商会限制这种高级请求的次数，比如一个月给你五百次快速响应机会。 一旦你在单次提问中塞入的代码超过了规定的 token 上限，哪怕你只提问了一次，系统也可能会扣除你两次请求额度。 所以，理解 token 和次数的关系，能帮你省钱省力。简单的小修小补，可以放心交给不限次数的自动补全，而要把宝贵的高级对话次数留给真正复杂的难题， 同时养成及时开启新对话的习惯。可以清空累积的 token 缓存，让 ai 的 思维更敏捷，也避免因为上下文太长而白白浪费额度。

小龙虾说的 token 到底是什么？今天一条视频给你讲清楚。简单来说， token 就是 把大模型的文字切成最小的碎片模型，不看词不看词，只看 token。 就 像计算机，它不能直接识别图片和文字一样，它只能识别零和一。其实这很像人脑，比如说这几个字，你单独看起来是不是有点认不出来，或者需要愣两秒才能反应过来？ 但是这些字如果出现在词语中，也会瞬间能读出来。为什么会这样呢？是因为我们大脑喜欢把有含义的词或短语当成个整体去处理，这样记会更快更省脑力。 比如 ai 会取代人类嘛，拆成单字，按次数算是八个，按 token 算只是五个，这样大模型算起来会更轻松一些。你还可以去这个网站上看，把一句话输进去，它会直接告诉你这段文字被切成了几个 token， 而且不同的模型切法还不同。 同一句话在 deep secret 里面，可能是两个 token 换一个模型可能会变成一到三个。因为每家模型的背后分词器、词表、训练习惯都不一样， token 的 数量也不一样。所以回到开始的问题， token 就是 大模型世界里的一块块积木。模型呢，就是靠计算这些 token 之间的关系来理解和生成文字。这也是为什么大模型公司几乎都按 token 收费，因为 token 的 数量越大，背后的计算量就也越大。

宝贝们，今天我们来聊一个百分之九十九的人都没有看懂的东西。很多人觉得 ai 就是 聊天的机器人，就是帮你写写文案，画画图。如果你还停留在这个认知，那你就已经错过了这个时代最大的财富重构。 一九五六年，美国发明了集装箱，之前全球的贸易成本有一半花在装卸的费用上，集装箱一出现，货物被标准化了，而今天的世界格局就是那个铁皮箱子鉴定的。 二零二六年， ai 的 时代也出现了一个集装箱，它不是铁皮做的，它叫 token。 什么叫 token？ 简单的来说就是 ai 处理信息计算的单位，你问他一句话，他给你写一段代码，生成一份报告，这背后都在消耗 token。 很多老板听到这个词，觉得这个技术词跟自己没关系。错了， token 的 本质是一次电力时代的重新定价，而你把电力想象成之前的货物，它不 好运输啊，他装卸费用高啊。而这个 taco 就是 把电力直接让他便于运输了。你想想，之前我们家的电力要想卖到全世界，他是不得建电网，是不得特高压。而现在直接我们把算力中心建在我们家，电 力直接在算力中心里面生成算力 taco， 我 们就可以直接卖给世界上的其他国家。道德经讲的，天下万物生于有，而有生于无。 taco 就是 把看不见的智能变成了看得见的，可以买卖的。有啊， 接下来我给你算一笔账，你就明白了。一度电直接卖大概五毛钱，这一度电拿去电检铝，能够卖到一块五毛钱，翻了三倍。但如果你把这一度电拿去跑大模型推理呢？一度电大概能够产出五百多万个 token， 按照国内模型的定价，能卖到十一块钱， 是直接卖电的二十二倍，这个比其他行业的利率可大太多了，对不对？而如果按美国 openai 价格计算呢？那可以卖到将近四百块钱， 那是七百八十五倍啊！同样一度电，换一个赛道，价值差就几十倍上百倍。这不是能源的生意，这是算力的生意，这是标准化的脑力出口啊。道德经说，有是无之相生，难是意志相成啊。电和投肯本质上是同一个东西， 但有和无之间的转化，就是几百倍的价值差。未来谁能够完成有生与无的转化，谁就掌握了新时代的定价。 更关键的一点是，电不能装箱啊，不能跨国流动啊。你要修电网，得建特高压，还得对方的国家批准，但是头肯不一样，只要一根网线就完成了算力传输啊。印度创业者还可以调用中国的 a p i， 背后就是甘肃的风电和青海的光伏。在转 没有出国，但是算力出国了，他钱就回来了，这才是结构性的机会。有人说了， ai 现在这么卷，价格都打烂了，还赚什么钱呢？兄弟，你只要看懂一件事，现在的二十二倍，它可不是天花板，它是价格战的结果。没 美国把投坑的价格铆定在了高位，负责教育市场，而让全世界都知道这个东西很值钱。中国在有工程能力把成本打下来，负责规模的收割，美国负责定价，哎，我们负责走量，这就是新的全球分工。所以你别看他现在卖的便宜， 你等美国给他定完价以后，他没有生产能力，那我们有生产能力的不就拥有了新的定价权了吗？所以你不要 用现在的投坑价格给我预算以后的投坑价格，知不知道未来是不是 ai 的 时代？你能不能离开 ai？ 你 能， 能比 ai 更智慧？你们能不能比 ai 算的更快？如果不能，你想想这个头看值不值钱。那个又说那美国不会跟我们捣乱吗？大不了到时候分他一点不就完了吗？ 他不就不闹了吗？你看看今天他都开始给俄罗斯卖石油松口了，你猜这里边美国要不要分一杯羹啊？前两天那俄罗斯的天然气船是让谁给炸的？ 我干不成，我能毁呀？我不需要有价值，我只需要不闹，你就得给我好处。你回看一下，黄毛这一年来是不是都是这么干的？而你以为只有黄毛会这么干吗？我们也会啊， 只不过我们干的比它隐蔽啊。之前我们为什么要大力发展新能源？哎，首先的目的不是我们能赚多少钱， 第一就是要打破美国的石油霸权，第二就是让美国的汽车他赚不着钱，结果不光美国的汽车，连奔驰宝马奥迪他都赚不到钱了，而 deepthink 的 横空出世直接开元，这是要赚钱吗？这还是要让美国的 ai 赚不到钱，你还心机之门吗？ 哎，你还想美元绑定算力吗？我直接把你的门给你拆了。这不最近 open club 火了，大家都在研究怎么样养龙虾，但是都忽略了养龙虾也已经上线了，展示的功能，他 可能不如进口的龙虾，但是我们便宜，我们免费啊，这你受得了吗？当下就是美国干什么，哎，我们就干什么，我们不一定干的有多好，但是我们一定能拆的很好， 只要什么商机。哎，美国先把它的价格炒上去了，中国立刻就用低成本来切入，你以为是价格战？这是对未来世界的定义权的博弈。美国，你光有 ai， 但你没有算力呀啊 啊，你还想美元铆定算力？未来就是中国铆定算力的时代。哎，你还别不信，你也别不服啊，美国缺电力，缺的都不见发电厂都开始去买柴油发电机了。我的妈呀，这柴油发电机发电得多贵啊？ 这玩意他能不卖四百块钱一度吗？我们十一块钱一度就赚了二十二倍，他得卖四百，知道吧？因为压是柴油发电， 所以说当下值得我们思考的不是哪个模型更强，而是在这个时代，你是卖店的，还是卖 token 的？ 你是卖原材料的，还是卖标准化算力的？所有的产业都会被 token 冲过，教育按 token 计算，服务按 token 计费， 编程、营销、法务、设计、咨询，全部都会变成可以计量的智能服务啊。一旦被计量，就可以规模化，一旦规模化，就会诞生新的巨头啊。生意的本质从来没有变过，谁掌握标准，谁赚的溢价， 谁只卖原材料，谁就会被压价呀。一九五六年，掌握集装箱标准的人重塑了整个全球制造业。 而二零二零年，掌握头看标准的人，将能够重塑未来世界的全球智能算力市场。道德经说，智 知人者智，知己者明啊。如果你是老板，现在真正该问自己的不是要不要用 ai， 而是你能不能把自己的产业装进 tokken 里去卖啊，实在不行了，咱就去提前买入 tokken， 咱未来去卖，再不然就布局成为 tokken 的 生产的股东啊。电力过剩不是问题，算力过剩才是机会 基数，他可以东算，这战争才刚刚开始，算力需要充沛的电力支撑，目前全世界超过三分之一的电力，哎，就在中国产生，当下全世界的国家连民用电都保障不了，哪个国家还有电力去生产？算力就在刚刚，哎，我们朗哥可神助攻了， 炸了阿联酋和巴林的数据中心啊，理由是他们为美军提供了军事算力。那你猜全世界的国家既有充足的电力的，又有安全的保障的，他是谁呀？而他们家未来算力的发展所带来的利益，你敢想象吗？我只能帮你到这了，看 懂趋势才能看懂未来。别老问我买什么了，买客，我是个卖客的，不是卖消息的。当然付费可以缩短时间，买客可以拉近你我的距离，钱可以解决的事，就别总指望白嫖了。白嫖的信息你敢信吗？你敢用吗？你不敢用的信息有价值吗？没有价值的信息，你白嫖了真的就是白嫖了。 姐，多事是心，居士，透过现象看本质，让我们跟国家一起乘风飞扬，就忘了那个曾经伤害过你的人。 请不要独自在深夜里喝酒和哭泣，你要相信这个世界，相信总有一天你的盖世英雄会踏着漂亮的云彩来娶你， 对自己好一些妹妹。

小朋友们，你们知道什么是 token 吗？ token 就是 ai 用来看懂文字的小方块，就像大积木一样，一句话要拆成很多小方块， ai 才能看懂。比如，你好，这两个字在 ai 眼里就是两块小积木。 那么为什么要拆成小方块呢？因为 ai 只认识数字，不认识汉字。你跟 ai 说你好，他看到的不是汉字，而是两个数字，比如一百六十八和一百八十六。 就像每块积木都有自己的编号一样， ai 有 一本很大很大的字典，里面记着成千上万个小方块的编号，所以我们说的话要先变成数字， ai 才能看懂。英文怎么拆呢？英文的拆法很有趣，不一定是一个完整的单词， 比如 unbelievable， 难以置信这个长单词会被拆成三块。昂，不加 believe， 相信加 able 能够这样拆的好处是， ai 用旧的小方块就能拼出新单词， 就像你用旧积木也能搭出新东西一样。中文怎么拆呢？中文大部分是一个字一个小方块，你好吃，每个字都是一块积木。但是像人工智能机器学习这种常用的词， ai 会把它们当成一整块大积木， 因为这些词经常一起出现，合在一起记更方便。为什么不能拆得太小或太大？如果拆得太小，比如一个字母一块，那就太麻烦了。 hello， 要拆成五个字母，一句话要拆上百块， ai 处理起来太累了。 如果拆得太大，比如一个完整单词一块，那就太死板了。 cat 小 猫和 cats， 很多小猫会被当成完全不同的词， ai 认不出它们是一家人。 所以 token 这种拆法刚刚好，既不太小，也不太大，那么 token 和你有什么关系呢？ token 很 重要，跟你用 ai 有 很大关系。 第一， ai 的 记忆是按 token 算的，比如 ai 说我能记住十二万八千个 token， 意思是他一次最多能看这么多小方块，就像你的书包只能装一定数量的书一样。 第二，用 ai 是 按 token 收费的，你说的话有多少个 token， ai 回答的话有多少个 token， 加起来也就是要付的钱。所以跟 ai 说话不要太啰嗦，能省钱。第三，中文比英文更省 token。 同样的意思，用中文说，比英文用的 token 少。比如我想吃苹果，用中文大概五个 token， 英文 i want to eat apples 也差不多五个，但句子越长，中文省得越多，你可以自己试试。想看看你说的话会被拆成几个 token 吗？可以在网上搜 openai tokenizer， 打开网站就能试，不用注册，输入一句话，马上就能看到拆好的小方块。 比如输入 let's go， 会被拆成好几块 let s go 是 不是很有趣？连空格和感叹号都是单独的小方块。总结一下， token 就是 ai 看懂文字用的小方块， 就像大积木一样，把一句话拆成很多小块，每个小块都有自己的编号， ai 只认识这些编号， 中文大部分是一个字一块，英文可能一个单词拆成好几块。 ai 的 记忆和收费都是按 token 算的，所以 token 很 重要。 小朋友们，现在你们知道什么是 token 了吗？就是 ai 用来看懂我们说话的小积木。记得点赞关注，下次还有更多有趣的知识等着你们！

为什么大模型不直接读懂汉字？为什么大模型不直接处理单词？为什么说大语言模型处理的是 token？ 今天我们来聊一聊 token。 在 大模型眼里并没有文字这个概念，不管是我们输入的聊天内容，还是它的回答， 中间都必须经过一个关键步骤， tokenizer 分 词器，简单来说，它的作用就是把文字转化成 token。 数字编号为什么要这么麻烦？因为电脑只认识零和一。如果直接用字母训练模型，不仅要处理更多的数据， 还要先学会把这五个字母拼成苹果。这个概念效率太低了，所以聪明的人类发明了词典，例如 一代表 apple， 二代表 banana， 三代表 peach， 这些数字就是 token。 token 仅仅是单词的对应吗？ token 和单词并不是严格的一对一，为了让模型认识没见过的词， tokenizer 还会像拼积木一样拆分单词。比如 highest 可能会被拆成 high 加 est 最高级。哪怕是自己创造的词 goodest， 模型也能通过拆解理解它的意思。常见的 tokenizer 有 哪些？如果我们询问大模型今天的天气怎么样？每家大模型的拆分方式都不一样，千问系列用的是 q 问。 tokenizer 库，它将这句话拆分为今天的 加。 tiktok 库，它将这句话拆分为今天加的 加天气、加怎么样加问号五个部分。不同的算法会得到不同的拆分效果，虽然算法不同，核心功能都是文字到数字。为什么以前大模型写中文慢？这就要看词表大小了。 gpt 三的词表很小， 很多，省略汉字，一个字就要拆成好几个 to， 处理起来很慢。而最新的 gpt 五词表扩充到了近十五万， 囊括了绝大多数中文词汇，所以现在他处理中文的速度快了很多。 tokenizer 就 像是把人类语言翻译成机器语言的 欲处理，翻译官将文字变成数字。接下来大模型就要把这些数字扔进那个超级复杂的神经网络里计算了。科技不玄学，算力有尺度，关注我们看懂数字背后的硬核世界。

面试的时候，十个候选员里八个说不清楚 token 到底是啥，今天一分钟给你讲透！很多同学刚开始接触接口验证的时候，都会听到 token 这个概念。其实我们可以用游乐园的手环做类比，你 去游乐园买完票，工作人员给你带个带防伪的手环，之后玩项目只要出示手环就行，不用每次套身份证购票凭证。 token 的 作用和这个手环完全一致，它是服务端生成的一串特殊字符串，作为客户端访问接口的身份凭证， 用户第一次登录验证账号密码通过后就能拿到 token， 后续请求不用反复提交密码，能大幅降低密码泄露的风险。 这里要特别注意， token 本身不具备加密属性，只是身份标识，千万不要把它当成加密工具来使用。那为什么会出现 token 这种验证方案呢？早期的 web 系统大多用 session 做身份验证，服务端要给每个登录用户存一份 session 数据。就像景区把所有游客的身份信息都存在入口的记录本上， 只有一个入口的时候没问题。可如果景区开了十几个入口，每个入口同步游客记录会非常麻烦。 token 就是 为了解决分布式场景的身份验证问题，诞生的 所有身份信息都存在 token 里，由客户端保管，服务端不需要存储用户的状态数据，多服务部署时也不需要做数据同步。当然，它不是 session 的 替代品，如果是内部单节点系统，用 session 反而更易维护。现在行业内最常用的 token 是 j w t 格式 完整的 jwt 分 为头、载客、签名三个部分，中间用点分隔，头部分记录 token 的 类型和签名算法。载客用来存储用户 id、 权限、有效期这类非敏感信息。签名则是服务端用私有密钥对前两部分生成的防伪标识。 这里要提醒大家，这三个部分里的头和载荷都是用 base 六十四编码的，相当于只是把铭文转成了方便传输的格式，没有做加密处理，任何人拿到都能解码看到内容，所以绝对不能在载荷里存密码、身份证号这类敏感信息。 了解了结构之后，我们再看 token 的 生成逻辑。 token 必须由服务端生成，用户第一次提交账号密码时，服务端先较验信息是否正确，确认是合法用户后，会用只有自己知道的私有密钥， 结合用户 id、 权限、有效期等信息，生成完整的 token 再返回给客户端。整个流程就像游乐园售票处核对你的身份证和购票信息无误后，给你发印有专属防伪章的手环，只有园区官方发的手环才有效。 私自打印的手环过不了工作人员的叫宴。大家一定要记住，不要在前端生成 token， 没有服务端密钥签名的 token 没有任何可信度。客户端拿到 token 之后，通常有两种存储方式，要么存在 local storage 里，要么存在 cookie 里。 存在 local storage 时，每次发请求需要手动把 token 放到请求头里，就像你每次玩项目，主动抬手给工作人员看。手环存在 cookie 时，可以配置自动随请求携带，不需要手动处理，但要额外做好 c s r f 攻击防护。 这里要避开一个常见误区，不要把 token 存在前端的普通 g s 变量里，页面刷新或者关闭后，变量会被清空， token 就 丢失了，用户就需要重新登录。 存储完成后，客户端每次向服务端发请求时都要带上 token。 服务端拿到 token 后的校验分为三步，首先把 token 的 头和载鹤用同样的密钥重新生成签名，和传过来的签名比对，确认是自己发的合法 token， 再检查 token 的 有效期有没有过。最后读取载荷里的用户信息，判断有没有当前接口的访问权限。整个过程，服务端不用查任何存储的用户状态，只要叫验通过，就可以直接处理请求，响应速度更快。 千万不要跳过签名校宴，只读取载贺内容，否则很容易收到伪造的非法 token。 所有的 token 都会设置有效期，短的十五到三十分钟，长的最多七天。就像游乐园的手环，通常只有当天有效，过了日期就算防伪没问题，也不能用。 有效期到了之后，常见的处理方式有两种，要么让用户重新登录账号获取新 token， 要么搭配 refresh token 使用。用户不需要输密码，直接用有效期更长的 refresh token 向服务端换一个新的普通 token。 不要把 token 的 有效期设置得太长，一旦 token 泄露，其他人可以用它冒用你的身份操作账号，风险很高。 除了控制有效期，我们还要注意 token 使用过程中的安全问题。 token 传输过程中必须走 http 协议，避免 http 明文传输被中间网络节点劫获。就像你不要在公共场合大声念自己的手环编号，避免被别有用心的人抄下来伪造。 拿到 token 后，不要随便存在公共缓存、第三方云同步目录里，涉及转账、修改密码这类高风险操作时，除了叫验 token， 还要加短信验档者类的二次验证。不要觉得 token 有 签名就绝对安全，只要 token 被别人拿到，就能直接冒充你的身份发起请求，和拿到密码的效果差不多。 最后我们来看 token 的 试用场景。现在 token 的 使用场景非常广，前后端分离的 web 应用、手机 app、 小 程序的接口、身份验证基本都用 token， 第三方开放平台的授权也会用。比如你用微信账号登录其他 app 时，微信就是给第三方 app 发了一个带你的身份信息的 token， 第三方不用拿到你的微信账号密码就能识别你的身份。当然，也不是所有场景都必须用 token， 如果你做的是只有几个用户的内部小系统，用传统的 session 验证实现成本更低，不需要硬套 token 方案。以上就是今天关于什么是 token 的 全部内容。

ai 里面有一个词叫做 talkin， 你 知道是什么意思吗？其实说白了， talkin 就是 ai 专属的技术单位，也是它计算用量核算费用的标准。你发给 ai 的 内容和 ai 回复你的内容都会被计入 talkin 统计。它不按你提问的次数算， 只看实际的内容篇幅，按照次数来算。重点来了，关于 talkin 来说，记住这一点就够了。 talkin 就是 ai 核算的总用字量，说白了就是你和 ai 的 互动过程中总共用了多少字。关于 talkin， 你 明白了吗？关注我，我们一起学 ai。

一度电仅五毛钱，中国换个姿势就能将它卖到十一块，这背后藏着全球贸易规则的悄然改写。 过去，中国出口的是衣服、鞋子等实体商品，如今，我们出口的核心是一种叫 token 的 数字单位，他是大语言模型处理文字的最小单元。 看似简单的拆分，却解决了史诗级难题，让智能服务能像实体货物一样被计量、交易和出口。这一切都和中国的电力优势紧密相关。透肯出口的本质很简单， 全球用户调用 ai api 时，数据中心的 gpu 高速运算消耗电力产出。透肯用户付费获取智能服务，本质上是在消费中国的能源与技术。 这种交易无需修路架线，一根光纤就能连接全球，是传统贸易无法企及的优势。为什么只有中国能赚这份钱？ 核心在于中国庞大的电力潜能。二零二五年，中国光伏装机突破三点一五亿千瓦，占全国新增发电装机的百分之五十七。庞大的发电量带来了甜蜜的负担， 部分地区光伏利用率不足，大量电力白白浪费。直接出口电力不限时，不仅需要架设电网，还受邻国基建和电力主权限制，且扣除损耗后利润微薄。 此时，换皮出口成为最优解。此前，我们曾通过电节率实现电力增值，但这种模式利润低，市场有限， 而 token 的 增值能力远超想象。保守估算，一度电可产出五百五十万 token。 按主流 ai 模型每百万 token 两元的定价，一度电可卖出十一元，是直接卖电的二十二倍。 若按更高端模型定价，增值可达七百多倍。有人疑问，为何中国 ai 模型定价仅为美国的二十分之一，甚至三十分之一？并非技术不行，而是受两大因素制约，一是品牌溢价， openai 的 行业标杆地位仍未被完全撼动，用户认知难以快速改变。二是生态与信任不足，欧美企业服务体系成熟，企业客户更看重稳定性， 再加上地缘政治影响，我们只能先靠性价比突围。但中国有一个无可替代的优势，庞大的市场规模。二零二四年初，中国日军偷啃消耗量仅一千亿，到二零二五年六月底已突破三十万亿，一年半增长三百倍。 即便欧美有技术禁令，也反而变向为中国 ai 做了广告。全球南方国家都在疯狂调用中国 api， 毕竟能用二十分之一的价格获得相近能力， 没人会和钱包过不去。新能源汽车的崛起已经证明，只要有庞大市场作为支撑，中国智能产业的反杀只是时间问题。如今， 中国的电力优势已铺就肥沃土壤， ai 技术的种子正在发芽，未来 token 出口必将成为中国贸易的新引擎，改写全球智能产业的格局。

每次我们跟 ai 聊天，他到底是怎么看懂我们说的话的？嗯，这背后啊，其实藏着一个特别关键的小东西，他叫 token， 听着可能有点玄乎，但别担心，今天咱们就花个五分钟，把他给你讲的清清楚楚，明明白白。来，我们直接开始 来。我们先来看一个特别有意思的问题，你有没有发现， ai 在 看鸡蛋这个词的时候，觉得它是一个完整的东西，可一碰到鸭蛋，它就把人家拆成了鸭和蛋两个部分。哎，这是不是听着有点怪？ 别着急，答案啊，就藏在 ai 独特的思考方式里。要想搞懂 ai 的 这个逻辑啊，咱们得先回头看看我们自己的大脑。说实话，我们的大脑啊，有时候也挺会偷懒的。来，咱们做个小实验，你试着快一点读屏幕上这几个字 怎么样？是不是感觉有点别扭，甚至要反应一下才能想起来这是悟字儿？好，那现在再看这个孙悟空杀五金，你看是不是一下子就念出来了同一个悟字，只要把它放进我们熟悉的词里，认起来就毫不费力了。 这到底是为什么呢？其实很简单，就是我们的大脑啊，它在高效地偷懒， 为了省事，他会把那些经常凑在一起出现的词，比如孙悟空，直接当成一个整体来记，这样以来就不用一个字一个字的去分析了，处理速度自然就快多了。 我们大脑这种聪明的偷懒方法，给了 ai 开发者们很大的启发，于是他们也给 ai 请了一位特别厉害的大师， 这位大师就我们就叫他分词器或者 tokenizer， 你 可以把他想象成是 ai 的 专属刀工大师，他的任务特别纯粹，就是把我们扔给 ai 的 一层串画，咔咔咔，切成大小正好的一个个小块，方便后面的 ai 主脑来处理。 而这些被切出来的小块，就是我们今天的主角 tokens。 那 这位大师的刀法是怎么炼成的呢？过程其实不复杂，第一步他会去读 读海量的文字。第二步，它在里面找规律，看看哪些字词总喜欢抱团出现，比如说苹和果这两个字，一旦发现这种高频组合，它就会把这个组合打包成一个单位，然后给它一个专属编号，扔进一个巨大的词汇表里。 所以说，这位刀工大师切出来的这些小块块，就是 ai 理解我们语言世界最基本的东西。那这些 tokens 我 们到底该怎么理解它呢？ 你看这一张图就很形象了， tokens 其实就是 ai 世界里的乐高积木。 ai 在 看我们说话的时候，它看到的不是文字，而是一块一块编号号的积木，它通过计算这些积木之间的关系，来预测下一块最应该出现哪块积木，这样它就能生成新的句子了。 好了，接下来这部分就有意思了，要知道并不是所有 ai 的 刀工大师都用的是同一套刀法。咱们回到开头的那个问题，鸡蛋这个词因为实在是太常用了，所以就被打包成了一个 token。 但是鸭蛋呢，虽然也挺常见的，可频率就是没那么高，所以就被切成了鸭和蛋两个 tokens。 同样道理，大名鼎鼎的关羽是一个 token， 而张飞就被分成了两个。这一切都取决于他们在海量训练数据里出现的频率。再来看这个例子，也特别好玩儿，哈哈，自己肯定是一个 token， 然后呢？哈哈哈，因为我们经常这么笑，所以也被当成一个整体。但是如果你打了一长串的哈像哈哈哈哈哈这样分词器一看，哎，这个用法不太常见吗？于是就把你这一长串小生起切实了两块。 更好玩的是不同的 ai 模型，它们的刀工大师和菜单也完全不一样。比如说苹果的苹字，在 deepsea 这个模型里，它会被切成两个 tokens， 但是在另一个模型里呢，它可能就是一个 token。 所以 说啊，你给不同 ai 完全相同的一句话，它们处理起来的工作量可能是完全不一样的。 好了，说了这么多技术细节，那 ai 到底怎么切词？这个跟我们普通用 ai 又有什么关系呢？ 关系可大了。重点来了啊，你记住这个公式就行， token 的 数量约等于 ai 需要干的活儿，也就是计算量，而计算量就直接约等于成本。这下你就明白了吧，为什么现在几乎所有的大模型服务都是按你用了多少 token 来收钱的？ 所以说， token 越少，计算量就越小，你花的钱也越少。来，我们最后用这张表快速回顾一下， 你看，超级高频的，哈哈，是一个 token 常用的成语，一心一意被分成了三个，而鸡蛋和鸭蛋这个对比，就完美解释了出现频率是怎么决定 token 数量的。 你只要记住这张图，今天讲的关键点就都掌握了。最后再补充一点，万一你在别的领域也听到 token 这个词，可千万别搞混了， 就像这句俏皮话说的，这纯粹就是个巧合。你想想，汽车的车模和时装秀的车模虽然都叫一个名的，但能是一回事吗？ 所以下次你再跟 ai 聊天的时候，你心里就清楚了，在你看不到的地方，正有一个刀工大师在忙着给你们的对话准备一块又一块的语言积木呢，这么一想，是不是还挺酷的？

这条视频的话，同样用最通俗的话语和大家聊一聊龙虾， ai 部署后都在说这个特别烧 taco， 特别费钱，那么这个 taco 到底是什么？ 虽然我会用很通俗的方式去描述啊，但是内容的话全是干货，大家可以收藏起来，方便以后反复去听。这个知识点的话，基本上不会过时啊。 在标准的解释里， talkin 的 话可以理解为字母，也就是说 ai 在 运行的过程中，无论是反馈给你的内容，还是他要执行的动作，在程序里都是需要这一个个字母像搭积木一样呈现在你的面前， 或者说像铺路一样一步步完成结果。即便这样描述，很多人还是会觉得抽象，那么我们换个更形象的说法，我们之前已经把 opencloud 这类的智能体工具比作汽车， 那么 tucker 的 话就好，就是汽车必不可少的汽油。 tucker 的 消耗取决于你要这辆车做什么任务，载客要区分是家用还是客车，载货的话要看货物重量的大小，出行要考虑距离的远近。 不同的场景，汽油的消耗都不一样， ai 也一样，不同的任务产生的 tucker 消耗也会不同。 那么这些 tok 是 谁提供的呢？就是我们常听到的各种 ai 大 模型，比如 open ai、 dpc， 阿里的千问，腾讯的会员，抖音的豆包等。 我们可以把这些大模型产品想象成一座油井，这些油井想要产生收益，就要把汽油卖给我们，也就是把 tok 卖给我们。 平时我们听到的某家大模型更厉害了，或者说发布了新版本，可以简单的理解成他的炼油技术提升了，汽油的品质更好了，更利于汽车的运行。 那么问题来了，为什么现在这个阶段，大家觉得这么烧滔克特别费钱， ai 永远都这么费钱吗？答案肯定是否定的。 现在的 open 可乐只是最初代的汽车，发动机并不成熟，喷油和燃烧都不够优化，我们的驾驶习惯呢，也不够熟练。 油门的轻重都会影响 tucker 的 消耗，甚至我们连目的地和路线都不清楚，盲目的运行就会绕路产生多余的消耗。 还有我们都不知道这个汽车应该加什么品质的汽油，现在却盲目的选择最好的模型。滔肯拿着九二号的车去加九八号的油，自然也是过度消费。 所以等大家真正的学会使用 ai， 等真正的习惯使用 ai， 就 会学会管理滔肯，也就是学会省油省钱。 这一波龙虾业的爆火，既有划时代的 ai 能力升级，也有那些卖铲子营销号的吹捧，更主要的是各个大厂快速跟进的推波助澜。 目前几乎每家智能体都已经上线了 open club 这类的智能体工具，无论是包装的、封装的、伪装的、原装的，还是自研的，都在努力抢占市场。 这些大公司花这么大的成本号称让我们免费体验，本质当然是为了卖我们涛肯。 当然这是需要大家参与共建的场景，因为这些大厂的油井想要提炼出更高品质的汽油，只靠少量的测试车是没法有效迭代的， 必须大家一起多用未来的 tokken 有 效性才会更高。我们上一条视频提到不同大厂的龙虾 ai 就 好比不同品牌的汽车，如果各个品牌的汽车都有指定的有井的竞争，那么我们未来买 tokken 的 价格就会更有优势。 当然还要看各家汽车品牌的优缺点，根据不同的使用场景去选择不同公司的 ai 智能体工具。 这里没有提到的是，个人也可以手搓一辆汽车，用自己的算率去跑 talk， 这也是一种选择，取决于每个人的需求和能力。 下一条的话，我会和大家去聊一下 ai 会带来哪些改变，至少有一点可以确定，这波 ai 会把所有人拉起到同一起跑线上。 不管你现在有没有开始研究 ai， 接下来都会有无限的机会。喜欢的话点个关注，用最通俗的语言带你一步步看懂 ai。