token是以英文还是汉语编码的

为什么大模型不直接读懂汉字？为什么大模型不直接处理单词？为什么说大语言模型处理的是 token？ 今天我们来聊一聊 token。 在 大模型眼里并没有文字这个概念，不管是我们输入的聊天内容，还是它的回答， 中间都必须经过一个关键步骤， tokenizer 分 词器，简单来说，它的作用就是把文字转化成 token。 数字编号为什么要这么麻烦？因为电脑只认识零和一。如果直接用字母训练模型，不仅要处理更多的数据， 还要先学会把这五个字母拼成苹果。这个概念效率太低了，所以聪明的人类发明了词典，例如 一代表 apple， 二代表 banana， 三代表 peach， 这些数字就是 token。 token 仅仅是单词的对应吗？ token 和单词并不是严格的一对一，为了让模型认识没见过的词， tokenizer 还会像拼积木一样拆分单词。比如 highest 可能会被拆成 high 加 est 最高级。哪怕是自己创造的词 goodest， 模型也能通过拆解理解它的意思。常见的 tokenizer 有 哪些？如果我们询问大模型今天的天气怎么样？每家大模型的拆分方式都不一样，千问系列用的是 q 问。 tokenizer 库，它将这句话拆分为今天的 加。 tiktok 库，它将这句话拆分为今天加的 加天气、加怎么样加问号五个部分。不同的算法会得到不同的拆分效果，虽然算法不同，核心功能都是文字到数字。为什么以前大模型写中文慢？这就要看词表大小了。 gpt 三的词表很小， 很多，省略汉字，一个字就要拆成好几个 to， 处理起来很慢。而最新的 gpt 五词表扩充到了近十五万， 囊括了绝大多数中文词汇，所以现在他处理中文的速度快了很多。 tokenizer 就 像是把人类语言翻译成机器语言的 欲处理，翻译官将文字变成数字。接下来大模型就要把这些数字扔进那个超级复杂的神经网络里计算了。科技不玄学，算力有尺度，关注我们看懂数字背后的硬核世界。

最近 togan 到底怎么翻译？在互联网上引发了一波热议。起因是一条来自国家官网的新闻，相当于官宣了 togan 的 意法。词源 一时激起千层浪，先别急着站队，我们先把 togan 这个词捋清楚。 togan 本意是象征，比如情人节送人玫瑰就是 a token of love， 爱的象征。在不同领域中，它隐身出了不同的含义。玩阶级时，那种圆圆的 token 意为游戏币。计算机安全领域中的 token 意为令牌。加密世界里的资产单位意为代币。到了 ai， 这意为词源。那么这个词源到底怎么去理解呢？ 根据官方的解释， token 是 大模型处理信息时的最小单位。大模型处理一个文本时，不是整段整段的读， 而是会把它拆成一个个更小的单元，再逐步处理。从这个角度来看，词源这个翻译其实在强调它既跟词有关，又是一个基本单位源。这有点理工男的风格啊，不浪漫，但是也确实抓住了本质。不过一些网友不太买账啊，有人说词源太别扭了，并且提出了像智源等更有科技感的议法。 也有人觉得，不管叫什么，有中文名字总是一件好事。因为这一波 ai 浪潮里，大量底层概念都是来自于英文世界。什么 chatbot、 prompt agent、 token， 如果不进行一轮中文重构，那么这些词就会变成一种圈内的黑化，懂的人越懂，不懂的人呢，直接劝退， 久而久之，就会形成一个隐形的门槛，把大量普通人挡在门外。正如当年我们把 laser 翻译成激光，把 computer 翻译成电脑就挺成功的，既好记又突出了特点，还极易传播。所以给 token 找一个好的中文名啊，本质上是在做一件更大的事， 是用我们的母语去构建数字世界的底层认知。但另一派的观点也很鲜明，就是 togel 作为一个外来的专有名词，没必要用中文硬翻。这个评论倒让我想起了 dna 这个说法，貌似没有简洁的译法，但也不妨碍大家交流使用，对吧？ 这样争论还挺有意思的，它不只是一个词的翻译问题，背后其实藏着一个更大的命题，就是我们要不要为新技术建立一个属于自己的语言体系呢？词源或许不是一个最优解，但是它至少是一个开始。你接受词源这个翻译吗？还是更愿意直接说 token 评论区聊聊？

token 的 中文官方译名定了词源大模型时代。 token 一 指模型处理语言的最小语义单位，比如硬核派，在模型眼里就是硬核派两个 token， 也就是说模型理解世界是按语义单位来处理。从这个角度看，词源翻译得确实挺贴切，词的基本单元不就是最小语义单位吗？ 在词源这个官方译名出现之前，大家其实已经给 token 想过一堆五花八门的中文名语源指词算点算 b 魔源，还有大聪明直接喊托肯，这个过程其实挺有意思的。从一堆民间叫法到最终官方定名词源，我们可能现场见证了一个技术概念在中文世界完成命名的过程。

token 这个词中文名该叫啥？网上已经炒炸锅了，有人说叫词源，有人说叫令牌，还有人说啊，干脆别翻，就叫 token。 token 到底是啥？为啥一直没有中文翻译呢？ 其实呢， token 就是 ai 理解和处理文本的最小单位，它可能是一个字一个词，也可能是标点符号，只要让 ai 帮你干活，它就会消耗 token。 但如果说 token 没有中文翻译，那其实是一个非常大的误区啊， 人家几十年前就有名字了，在加密货币的领域啊，人家叫代币，在计算机的领域里，人家叫令牌。只不过啊，这些名字作为专业术语使用的人很少，而且呢，也并不符合现在 ai 行业的需要。所以啊，得有一个新名字。这时候就有人问了，那为啥争着要给偷看起中文名呢？在清华大学教授的嘴里，他都快成了关乎产业升级、技术落地的大事了。 原因呢，也很简单啊，在 ai 时代， tocan 太重要了。那我们现在在使用大模型的时候，也经常会把 ai 对 tocan 的 消耗量啊作为收费的依据。而前两天的时候呢，黄仁勋更是把 tocan 的 地位提高到了一个前所未有的高度。 在英伟达 gtc 上，老黄就说啊，过去几年里，人类的计算需求增长了一百万倍，换句话来说，就是 tocan 的 消耗量增长了一百万倍。而在未来呢，所有企业都有推理需求，都将为 tocan 付费。市场庞大， 谁能生产出更多的头肯，谁就更有价值。但头卡也不会凭空产生，需要由一个个的芯片、超节点、服务器、 ai 数据中心计算出来。所以啊，它还会推动历史上最大规模的计算基础设施建设。另外一位科技巨头呢，也拿出了行动。 在 t t c 的 同一天，阿里就宣布成立了 at h 事业群。千万告诉我，这个以 token 命名的事业群，在地位上跟阿里的云服务和电商都是并驾齐驱的。这就说明啊，阿里已经把 token 当成了企业的顶级战略资源，是由 ceo 直管的核心业务。 值得注意的是呢， token 不 光对企业有影响，更左右着东西方两个大国 ai 行业的走向。要知道啊， token 不 同于电力或者手机流量这些只有数量差异的资源，它还有等级之分呢。能力强的 token 呢，可以完成商业决策。能力差的 token， 那 就只能做做小学数学题了。所以呢， token 越强，价格越贵， 受制于物理因素的影响呢， tok 的 生产，它不光需要 ai 的 芯片，更需要耗电。在漂亮国和我们发电能力的差异下呢，漂亮国的 tok 定价普遍都是我们的四倍或者更高。 所以呢， openclaw 爆火之后，全球消耗 token 的 排行榜里啊，前五里有四个都是咱们中国的大魔镜。那 token 这么重要，那跟我们普通人有什么关系呢？那关系可大了啊，二零二三年，只有程序员玩得起 a p i， 才用得上 token。 但在二零二六年，六十岁的老人和十岁的孩子都在和 ai 聊天儿，默默消耗着 token。 像我自己，完全没有编程基础的小白，今年开始配置自己的大龙虾，开通了一堆的 a t i， token 的 消耗量那是直线上升，可以说呢， token 未来就像交电费、话费一样的成为我们生活当中的必需品，所以说啊，这么重要的一个产品，你觉得中文名该叫啥呢？

token 是 什么？这个 ai 零的概念被翻译成词源，而且已经被中国政府网人民日报等官媒确认为标准中文译名。那它到底是什么意思？又有什么用呢？说白了，它就是你使用付费 ai 工具的收费计量单位， 就像你的手机流量一样，一个 g 就是 十块钱。你使用付费 ai 工具，就按照你消耗的投坑数量，也就是资源的数量来收费， 也就是说它是一种国际互联网的通用货币。我看到有一个人一天就消耗了等额两千块钱的投坑， 本来想让 ai 替自己打工，结果却发现根本就养不起，只好含泪卸载了付费 ai。 你 已经使用过付费 ai 了吗？欢迎在评论区聊聊。

哈喽，大家好，我是小英，就在今天的早上，新华社刚刚把 token 的 中文名给定了，那中文名是词源，哎，为什么是这两个字呢？为什么是这样翻译呢？来，我给大家解释一下。 首先啊， token 不是 随便的字母，它是有意义的语言片段，可以是字，可以是词，也可以是子词，所以说用词的这个字，那么源呢，是最小的单位，基本单位的意思一起词源就是 ai 处理文字的最小语义单位 啊。我觉得这个翻译想了想还是挺妙的哈，那么你看一下其他的这个呃，可能的备选项，比如说令牌呀，标记呀，模圆和质圆呐， 它的覆盖性好像都差了一下，就它已经有了适用的场景了。那么所以说哈，我觉得，呃，这个官方的翻译是很给力的，我给他点赞。大家以后再看到词源就知道这是 ai 拆成文字的最小单位了，是不是准确又好记呢？

嗯，哈喽，大家好啊，今天呢咱们给大家讲一个最基本的概念叫做 tool 啊，最近的话，咱们国家的数据局把这个词给它翻译成呢叫词源啊，我觉得这个翻译呢，其实是非常准确， 因为在实际的这个讲课的过程中的话，我一直也是把这个词呢翻译成当成这个词源用词源，而且这个翻译当然不是我来翻译的啊，这个是呢，在一个圈内，咱们其实已经用的非常多的通用的一个词， 那么这个 token 呢，这个词啊，除了被翻译成词源以外的话，当然其实还有很多种的翻译啊，比如说包括有些通俗的翻译成什么令牌哎，代币 啊等等呢这些词，那么这些翻译成这些词的话，为什么咱们这次国家数据局要把它做一个完完整整统一呢？而且我觉得个人觉得啊，这个词呢，其实翻译的是非常的一个准确啊，今天呢咱们就来 来聊聊啊，就是这个词这个 token 呢到底是什么含义？以及呢，咱们为什么要把它翻译成这样一个词？ ok， 嗯，首先呢咱们这个大模型呢， 它在处理各种各样一些信息的一些文本信息的时候，咱们计算机呢是没有办法直接呢去理解的啊，这是第一个问题。第二个呢，咱们呢实际过程中我们的这个语言呢，它包含了有很多种，比如说， 哎，咱们中文、英文、法语等等，哎，不同的这个语言呢，它的一些特点有些不一样哎，比如说呢，像这个英文的话，它是有天然的这个分格， 有空格，是吧？天然去分格的，那咱们这个中文的话，甚至包括像日语这些这些的话，它是没有这个天然分格的啊，每一个字啊，它要组合起来的话，它承担这个语义信息不一样啊。比如说咱们中文里面， 通常情况我们现在这个汉语里面一个字的话，通常已经不承担真正的一个语义了，我们要把它组合起来变成一个词，是吧？有些呢一个成语可能是四个字，一个歇后语的话，可能呢词的含量会更多，是吧？那么也就是每一种语言里面它包含这个词的信息最小，这个单元不一样 哎，于是呢，咱们大模型呢，要处理这种多语言的时候，就涉及了一个问题，我把最小的这个处理单元， 欸，叫什么？这里面就叫做 token， 就是 我们要对输入的一段文本内容啊，咱们要做一个分词， 在一，在我们技术上呢叫做 tokenizer， 欸， tokenizer 做完以后，每一个的独立的语，这个语义的最小的一个单元呢，就叫做 token 啊，所以说这个就是 token， ok， 就是 token 呢，就是承载了欸最小的一个语义单元。 那么对于中文里面，咱们为什么要把它翻译成元哎元呢？其实在这个中文里面呢，这个词的丰富性呢，非常多， 比如说，对吧？咱们在这里面的话，有一个在化学里面，我们有一个哎，组成物质最小的一只嘛叫元素哎，咱们除此之外，其实我们在这里面还有一个叫什么元元气，元气，或者说呢，咱们叫是吧？犯罪的这个凶手叫什么叫元凶？ 一年最初的一天，咱们叫做元元旦，是吧？所以说元旦它其实呢包含咱们这里面的根本基本 啊，或者最初的这个含义，所以说这个元的这个含义呢？哎，感觉这就是非常的一个准确啊，包括咱们在计算机里面，我们使用这个，呃，有一些最基础或者最原始的一些数据啊，我们叫做元数据， 哎，所以说大家看看这个圆这个词的话，就非常的一个贴切啊。但是呢，咱们这个大模型里面，他拆成了一个个文本片段，他跟我们实际用的这个词啊，他又有点不一样，所以说呢，我们把这个大模型能够处理的 最小的一个词的单元叫做词元，哎，就是词最小的这个余单元。 ok， 好， 那在这里面咱们就说清楚了，这个词元是什么意思呢？ 那么有的人肯定会说，哎，那我为什么咱们不能够把它拆成一个个中文的这个字呢？这行不行？ 当然从技术上可以实现，但是带来一个问题是什么呢？我们不仅仅只能够考虑咱们的中文的生成或者中文的使用，咱们还得考虑多语言的场景。那如果说咱们要把多种语言 全部都当成一个一个的字，哎，一个个单词啊，咱们都把它塞到大模型的这词表里面去以后，就会带来一个问题啊，大模型的词表非常非常的庞大，大模型的词表又庞大，以后呢，导致呢咱们这个大模型啊生成的这个速度啊，就会非常非常的慢。 那于是呢咱们就要想个办法，哎，我既能够考虑到多语言，同时呢我能够做一个拆分呢， 能够考虑多元，同时呢咱们拆分，哎，我能够保持呢咱们最小的这个语义的这个信息，哎，词表呢又不会大，于是这里面呢就有了一些哎分词，或者说咱们叫做 tokenizer 的 一些算法。 ok， 那 么如果说感兴趣的同学啊， ok， 可以 在评论区咱们打下来， 咱们呢可以留言，如果说对咱们这个分词这个算法呀，或者怎么去分感兴趣同学大家可以留言，那么我们到时候的话也可以，哎做一期专门这个介绍这个分词的这一些算法。 ok， 好， 那么在这里的话，咱们这个视频里面就给大家说清楚了这个词源是什么含义，哎，就是咱们的大模型处理最小的这一个单元。

token 是 什么？今天这期视频，我们把 token 彻底拆开来讲，先搞清楚它有几种以及各自是什么含义，再深入讲 ai 大 模型里的 token 到底是怎么运作的，以及如何帮你省钱。 token 这个词在计算机领域至少有两种完全不同的含义，很多人混淆就是因为没有先区分清楚。第一种语言 token language token 也叫 nlp token， 这是 ai 大 模型处理语言时的最小单位，是模型理解和生成文字的基本碎片， 我们今天重点讲的就是这种。第二种，身份验证 token， off token， 比如 access token、 jwt token， 这是一串加密字母串，用来证明你的身份和权限，相当于服务器给你颁发的数字门禁卡。两者唯一的共同点就是都叫 token， 这就好比苹果手机和苹果水果名字一样， 但完全是两个领域的东西。以后遇到 token 这个词，先看上下文，在 ai 和大模型的语境里，它是语言单位， 在登录 api 健全的语境里，它是身份凭证。搞清楚这个分类，你在这两个领域都不会再被绕晕了。接下来我们重点来讲语言 token。 在 ai 领域，特别是大语言模型 l l m， 像 chat、 gpt、 cloud、 gemina 一 类的系统里， token 是 模型看懂和写出语言的最小单位，它不是密码或凭证，它是 ai 内部真正处理文字的基本快，是模型理解和生成语言的原材料。 通俗的讲， token 就 像乐高积木，我们写一句话给 ai， 看起来是一个完整的句子，但 ai 不 会像我们一样理解整个句子，它会把文本拆成一个个小块及 token， 这些小块可以是一个完整的词，一部分词，甚至是一个符号或标点，每一块就是一个 token。 模型不是按人类的语法去理解，而是按这些 token 一 步步分析和预测下一个最可能出现的 token。 为什么要这样做？因为 ai 模型内部只能处理数字，不能直接看懂文字。先把文字拆成 token， 然后把每个 token 转换成一个数字 id， 再把这些数字送进模型进行计算和预测，这样模型才能理解上下文并生成回答。在实际使用中， token 还有两个非常重要的作用， 第一，它决定了 ai 能处理的内容范围大模型对话时有一个上下文窗口，就是说模型一次最多能看到多少个 token， 如果超过了这个限制，最早的 token 会被丢掉，这会影响模型理解整个对话。第二，它关系到成本和计费。 很多 ai 服务是按 token 计费的，包括你发送的输入 token 和模型返回的输出 token。 token 越多，成本越高。 那如何节省 token？ 在 ai 模型使用中， token 是 直接影响成本和效率的核心指标，控制好 token 的 使用，能省钱又提升速度。下面是最有效的几个方法，帮你在实际使用时节省 token 消耗。一、精简输入内容，别把所有背景都丢进 prompt， 只把真正相关的信息留给模型，让每个 token 都有价值。缩短指令，去掉庸俗描述，可以显著降低 token 消耗。 精简上下文相当于少用 token。 二、限制输出长度，提前设定回答长度上限，避免生成宕长啰嗦内容，这样模型不会自动扩展答案，从而减少输出 token 数。 三、做缓存与复用对于重复查询或者经常用到的内容，可以先将结果缓存起来，后续类似请求直接从缓存返回，不再重新调用模型，从而节省大量输入和输出 token。 四、选对模型分阶段处理任务， 不同模型价格差异巨大。把大任务拆成两步走，先用小模型或简化逻辑生成摘药或关键内容，然后再用更强模型处理简化后的内容， 这样整体消耗的 token 更少。五、只保留重要上下文历史对话长篇内容会不断重复发送给模型，快速占满 token 上线，所以只保留与当前任务直接相关的上下文就够了，其他历史可以省略或者按需摘药再传入。 最后总结一下， token 在 计算机里有两种完全不同的含义，语言 token 是 ai 处理文字的最小单位。身份验证 token 是 证明身份的加密凭证，两者只是名字相同，本质毫无关联。在 ai 大 模型的世界里，语言 token 是 一切的基础。 ai 不是 看单词，而是看 token， 它靠一串串 token 来理解世界作判断，生成结果。这就像我们拼积木一样，模型把语言拆成一块块小积木，然后用它们组合出回答。理解了 token， 你 就掌握了和 ai 打交道的底层语言。无论是调用 api、 优化提示词，还是控制成本，都离不开这个基础概念。 token 是 ai 世界里的基本单位，是 ai 语言理解与生成的起点。好了，本期的分享就到这里，如果觉得这期内容对你有帮助，记得点赞、关注和收藏，我们下期见！

token 翻译成中文叫什么？叫词源，是模型处理文本的最基本单位。 token 和字呢？有什么区别？ token 呢，可以是一个字，一个词，甚至半个字，那这是谁规定 的？是模型看了大量人类文字统计出来的，这样表达呢，更省事。常见的字和词就用一个 token 表示，其他的就用多个 token 拼接。 一个 token 到底是多少钱？ deep 呢？输出一百万 token 呢？约等于三本新华字典只需要三块钱， gpt 五呢更贵，超过九十块 token 和上网流量收费是一样的道理吗？不是的， token 收的是计算费，是生产成本，而流量收费呢，是搬运费，不是一回事。为什么养龙虾要烧 token？ 是 因为龙虾要用大模型思考和回答问题，因为大模型按 token 收费，所以就说烧 token。 本地部署大模型是不是就不用烧 toon 了？还是要用到 toon， 因为 toon 机制本身和部署方式无关。本地部署呢，不需要按量付费，但电费得自己掏，算上硬件成本不一定划算。如果我把一段话复制粘贴进去，是不是就算一次 toon 不是 文字越多呢？计算的输入 toon 数量就越多？ 我问的问题很长，但答案很短，是不是只扣答案的 token 不是， 输了 token 呢？也要算钱？表情符号算几个 token 会不会比一个字还贵？常见的表情呢，是一个 token， 不 常见的会用两到四个 token 拼接表示。 deepsea 和 gpt 的 token 是 一样的吗？ 不一样，互相不认识。 y， y， d， s 这种网络词是几个 token， 一 般拆成 y， y 和 d s 两个 token， 要是这个词足够火，也可能被模型当做一个整体。同样的问题，我上午问和下午问，输出的 token 数会不一样吗？不一样，模型输出具有随机性，每次输出的 token 数量不同。 那小龙虾帮我下载电影是否要按 token 计费？小龙虾思考怎么下载？打开下载网站，执行下载命令，这些都需要消耗 token， 但是下载电影本身不消耗 token， 因为电影不是大模型生成的， 电影是存在第三方服务器上，只消耗下载流量，不消耗 token。 为什么我和 ai 聊得越久，回复同样一句话，花的钱就越多？ 模型是基于对话历史进行回答的，所以你所有说过的话呢，都会参与计算，计算成本就越高，这也是 ai 还需要按照输入 token 数量计费的原因。 怎么才能少用点 token 输入更少的提示词去掉？你好，请问这类废话规定模型输入长度，加一句五十字以内回答，但很有可能问题没有说清楚，回答呢也不够准确。如果前后问题呢？不相关也可以新开对话，避免历史对话参与计算。 托管是加密的密码吗？不是，托管只是一种文字编码方式，虽然你看不懂，但他并没有加密。 图片和文本的托管是一样的吗？不一样，图片会切分成很多小小的方块，每个方块呢？当做一个视觉托管，就像拼图一样。托管是为了收费而发明的吗？ 不是，托管是技术发明，是为了能表达和能计算，只是计算的成本和托管数量正相关，所以就按照托管数量收费。我使用豆包没有付费啊。为什么说托管是收费的？大厂为了抢占市场让你免费使用，成本呢？暂时不用你出， 如果你是企业用户或者养龙虾就需要支付费用。我在一段话里疯狂敲空格， ai 是 视而不见还是会偷偷扣我的钱？ 空格也算钱，虽然有的模型会把几个空格打包，大部分时候你多敲一个空格就再多烧一份算力。那 ai 产生的废话是不是能退费？不能，因为废话也是显卡辛辛苦苦算出来的。

token 究竟应该翻译成什么中文名比较好呢？截至此生啊，我只在新闻联播听到主持人说过两次英文词汇， 一个是当年电商引领的 b two c 浪潮，被主持人说成了 b 二 c 啊。另一个就是 token 了 啊，要知道 cctv 是 连 nba 都要说成美国男子篮球联赛的，难道 token 就 真的要直接叫 token 了吗？啊，我们中华文化博大精深，难道真的无法精确地形容这个单词所表达的意涵了吗？ 啊，其实最早遇到 token 这个词呢，是在我小学玩游戏王的时候，有个卡牌能力需要用到史莱姆带币。我当时很不理解带币这个词，这是能花的钱吗？啊，我当时查到英文原版就是 token， 后来是在我大学期间搞开发啊，知道 token 是 前后端交换的一个凭证。当时我就在想，不对呀， token 不是 代币吗？为什么有两个意思。也不知道这是英文的优点还是缺点。有些单词可以用在很多不同的领域， 可以很抽象，也可以很具象，就像 demo 一 样。我之前也讨论过 demo 的 最佳中文翻译，它在代码里是指某个功能模块不完善的试错版本。在音乐领域， demo 又叫小样样片，在房地产领域又是样板房也是同样的感觉，好像只要是一个最小展示版本，跨领域都可以用一个 demo 来表达。 那么话又说回来，托肯翻译作代币也好，凭证也好，好像都是一个代指某种权力信息或者价值的凭证单位，它本身不是那个你最终想要的东西，但是你可以凭它换取你想要的东西， 而且它能换来的还是一个十分有创造价值的东西啊，那甚至可能是曾经不存在。但是你一旦使用了 token， 它能创造无限可能，拓展无尽可能的边界。我一直觉得翻译一定要符合人的直觉， 他可以张口就来，同时在你脱口而出的时候发现，哇，好顺嘴啊啊！就像曾经 humor 的 最佳翻译是幽默，他不是搞笑，他是幽幽的一个小魔。 说到逻辑，你就想到逻辑，把你的万千思绪罗列集录起来，慢慢理出头绪。 而 token 在 这个词汇已经在如今大家都在使用的情况下，我们要把它汉化出来。我觉得最佳的翻译就是保留它的原始发音，这也是保留它在口语交流中的符 合直觉的特性。因此我把它翻译为拓肯。如果要给这个翻译限定一个领域，我们就现做在 ai 这个领域， token， token 是 用来消耗算力为我们创造价值的一个单位。你可以说 token 是 算力单位，也可以说 token 是 智能单位。 但我想 token 就 像我们的老祖宗当年在这片土地上勤勉的开荒拓土一样，我们如今也是在算力的世界里开拓一片新天地。 所以我愿意把 talk 翻译为 talk。 欢迎喜欢的朋友在评论区留言。

token 中文名定了，不是令牌，不是 token。 官方正式定名 token 标准中文名叫词源，看词源就是 ai 理解语言的最小语义的单位。这样对话时中文和英文消耗词源不同，比如中文消耗四个，英文只要两个。记住哦， token 就是 词源，一个汉字约等于一个词源，英文其实更省呐。

token 究竟是什么东西？为什么给它汉化成词源？还有大模型公司都在说消耗 token 就是 在烧钱，但还是想用户在它的大模型里消耗，那这个词源究竟啥意思？ 用通俗大白话来说，我们和大模型聊天发送一段话，大模型读文字，不是一个字一个字读的，它有一个专门的分词器，呃，会把你说的一段话切成一块一块的，每一块就是一个 token。 就 例如这段话，它的今天和奖励和自己和了吗？ 是分成了四个 token， 也就是四个词源。举个例子，就好比你去一家餐厅吃了一百次饭，服务员已经记住你了，你一坐下，他不等你开口就问，还是老样子红烧牛肉面，因为这个组合出现的频率太高，已经被他打包成了一个整体记忆。 但如果你哪天突然点了一个他从没见过的冷屁菜，他就只能一个字一个字的确认是这个菜吗？分词器就是这个服务员常见的组合，直接整体认， 罕见的组合只能逐字拆，整个词汇表，就是他脑子里积累了几十年的老客户点赞记录。再比如，这段话在大模型里可能会被切成这个样子， 前三个字是一个头啃，然后单独的一个字是一个头啃，包括这个标点符号和后面这个英文单词也是单独的一个头啃。再例如，你给朋友发消息打了五个哈，即使你不是在认真打五个字，你大脑直接把这串字当成一个情绪来处理， 它等于我现在很开心。分词器也是这个逻辑，它统计了海量文字，发现，哈哈，这个组合出现的频率极高，就把它打造成了一个 token， 但五个哈不常见，就会被切成两个 token。 所以 同样是哈，数量不同，消耗的 token 也不同。 这里有个网站可以看对话的 token 数量，我们来看看。例如诸葛亮，他是只消耗了一个 token， 然后再来一个司马懿，他就会显示消耗了是两个 token， 因为前面两个字是一个姓氏，然后后面那个字是单独出现的，出现的频率没有那么高。所以在 deepsea 里面，他显示的是两个 token， 包括刚刚的，呃哈哈哈哈哈 啊，五个分成了两个头肯，四个就是一个头肯，三个也是一个，两个也是一个，包括吃了吗？两个头肯包括马。再来一个马到成功消耗的是三个头肯，他的马是一个，到是一个，成功是一个，再来一个。今天 奖励自己了吗？这是我们刚刚开头的那一段话，它是分成了四个头肯，这里还有个今天奖励自己了吗？这是一个今天奖励自己了吗？就是同样的语义， 中文 token 消耗远低于英文，因为中文一个字甚至两个字就能承载一个完整概念。英文是拼英文字，一个词需要靠多个字母拼出来，分词器切的次数自然更多。同样的语义， 英文需要一千到一千二个 tock， 中文只需要五百到七百个，几乎省了一半。举个例子就是今天很开心在中文里是两个 tock， 然后换成英文的话，嗯，这句话换成英文就消耗了六个 tock， 是 中文的三倍。 然后为什么数据局把 token 汉化成词源？词源这个翻译很精准，拆开来看我们就懂了。先看词词，说的是 token 的 内容属性，它是语言的基本单位。不管是一个汉字、一个词语、一个英文词缀，还是一个标点符号， 都是语言里有意义的最小片段。这个词告诉你， token 不是 随机切出来的碎片，它是有语言含义的单位。再看源源，说的是 token 的 地位属性， 它是基础的、最小的、不可再分的单位。中文里的元这个字天然带有根本起点基础的意思。比如元素单元、货币单元。数据局把 token 定义为智能时代的基础单元，这个元用的非常到位。所以数据局把 token 叫做词元， 其实是在用一个中国人最熟悉的计量单位来做类比。就像你买东西要花多少元，用 ai 要消耗多少磁元，这两个元背后是同一种思维，把复杂的东西量化成一个可以数、可以计价的最小单位。 而且消耗托管本质上是在消耗算力、电力和内存，消耗的是现实世界的能源。那为什么这些大模型公司烧钱也要抢用户量？因为用户量本身就是最核心的资产， 上线抢用户量，是在抢未来的定价权和数据权。现在很多 ai 服务是免费或者极低价的，本质是在用补贴换市场份额，等竞争格局稳定下来，剩下的几家头部公司才会开始真正收费。到那时候，谁的用户基数大，用户依赖深，谁就有定价权。 这就跟当年网约车烧完补贴之后开始涨价是完全一样的路数。很可能在未来世界里，每个人做年终记账时，不再是今年你花了多少钱，而是今年你消耗了多少 token。

为什么 token 中文名定为词源？ ai 中文名应该叫什么？ token 是 词汇单元，你今天吃了吗？你是一个词源。今天是一个词源，吃了吗？ 是一个词源。 ai 通过拆解一句话的词源，理解你说了什么，再关联相关词源输出给你。其实底层还要把词源转换乘计算机语言零和一进行运算。每个词源都有特定编码， 理解和输出都是在数据库按编码查找相关联的词源。一个问题，你输入了多少个词源？大模型推理输出用了多少个词源？用来换算你这个问题任务消耗了多少算力？ 算力的底层是电力，词源数量可以计算出消耗了多少电力。所以 token 词源就成了 ai 的 计价单位。那么你认为 ai 中文名应该叫什么？

听人说 token， token， 可真要问一句， token 到底是个啥？很多人当场就蒙了。今天我就用最通俗的方式，一次性把它给你讲明白。你可以把 ai 想象成一个只会算数学题，完全不认汉字的超级学霸，你给他发一句你好， 他根本看不懂。那怎么办呢？就得有个翻译官，把我们的话翻译成他能听懂的语言，这个翻译官就叫分词器。 他做的事情很简单，把你说的话切成一小段一小段，这每一小段就是 token， 比如人工智能这四个字，翻译官一看这词经常出现，就直接打包成一个 token， 如果是很生僻的字，就拆成单个字来算，切完之后，再给每一小段编上一个数字编号， ai 看到的不是文字，全是数字，它算完一堆数字再扔给翻译官，翻译官再把数字还原成文字，就是你看到的 ai 回答。很多人会问，那 token 跟字数怎么算？大规律是这样的， 中文里一个 token 差不多等于一个半到两个汉字，英文里大概四个字母算一个 token。 知道这个有啥用呢？用处可大了。第一， ai 收费就是按 token 算的，你输入多少，它输出多少都要算钱。第二， ai 的 记性也是用 token 衡量的，一次最多能记住多少， token 就是 它的上下文窗口装不下了，前面的内容它就会忘掉。第三，切的越合理， ai 跑的越快，越省钱。所以说白了， token 就是 ai 世界里最小的语言单位，是他吃饭、干活、算账的基本单位。搞懂 token， 你 才算真的会用 ai。