一分钟说清楚 token 是 什么,你和 ai 聊天时却不知道它在偷偷数积木。每块积木就是一个 token, 中文火锅是两块,英文 unbelievable 就是 三块。输入像买原料,输出像定制蛋糕,你输入加 ai 输出就是好 token 总量。 其实选模型也有点像点外卖。国产 deepsea 是 性价比小面馆值六元是百万字 gpd, 四欧是米其林主厨,两百元,但逻辑封神。另外要小心陷阱,如果用英文模型聊中文托肯,消耗就会暴涨百分之三十,就 像用美元买煎饼果子,肉疼啊!三招教你怒省一半托肯。第一,提问加限字令,比如三句话总结八十字内等。 第二,简单事情用评价模型,关键输出战情顶流。第三,话题切换,果断新建对话,清空记忆缓存,避免混乱。 token 不是 计数器,而是 ai 价值标识,每块积木都该为目标摆到最佳位置,掌握 token 逻辑,才能真正了解 ai。
粉丝1087获赞3790

最近 togan 到底怎么翻译?在互联网上引发了一波热议。起因是一条来自国家官网的新闻,相当于官宣了 togan 的 意法。词源 一时激起千层浪,先别急着站队,我们先把 togan 这个词捋清楚。 togan 本意是象征,比如情人节送人玫瑰就是 a token of love, 爱的象征。在不同领域中,它隐身出了不同的含义。玩阶级时,那种圆圆的 token 意为游戏币。计算机安全领域中的 token 意为令牌。加密世界里的资产单位意为代币。到了 ai, 这意为词源。那么这个词源到底怎么去理解呢? 根据官方的解释, token 是 大模型处理信息时的最小单位。大模型处理一个文本时,不是整段整段的读, 而是会把它拆成一个个更小的单元,再逐步处理。从这个角度来看,词源这个翻译其实在强调它既跟词有关,又是一个基本单位源。这有点理工男的风格啊,不浪漫,但是也确实抓住了本质。不过一些网友不太买账啊,有人说词源太别扭了,并且提出了像智源等更有科技感的议法。 也有人觉得,不管叫什么,有中文名字总是一件好事。因为这一波 ai 浪潮里,大量底层概念都是来自于英文世界。什么 chatbot、 prompt agent、 token, 如果不进行一轮中文重构,那么这些词就会变成一种圈内的黑化,懂的人越懂,不懂的人呢,直接劝退, 久而久之,就会形成一个隐形的门槛,把大量普通人挡在门外。正如当年我们把 laser 翻译成激光,把 computer 翻译成电脑就挺成功的,既好记又突出了特点,还极易传播。所以给 token 找一个好的中文名啊,本质上是在做一件更大的事, 是用我们的母语去构建数字世界的底层认知。但另一派的观点也很鲜明,就是 togel 作为一个外来的专有名词,没必要用中文硬翻。这个评论倒让我想起了 dna 这个说法,貌似没有简洁的译法,但也不妨碍大家交流使用,对吧? 这样争论还挺有意思的,它不只是一个词的翻译问题,背后其实藏着一个更大的命题,就是我们要不要为新技术建立一个属于自己的语言体系呢?词源或许不是一个最优解,但是它至少是一个开始。你接受词源这个翻译吗?还是更愿意直接说 token 评论区聊聊?

token 的 中文官方译名定了词源大模型时代。 token 一 指模型处理语言的最小语义单位,比如硬核派,在模型眼里就是硬核派两个 token, 也就是说模型理解世界是按语义单位来处理。从这个角度看,词源翻译得确实挺贴切,词的基本单元不就是最小语义单位吗? 在词源这个官方译名出现之前,大家其实已经给 token 想过一堆五花八门的中文名语源指词算点算 b 魔源,还有大聪明直接喊托肯,这个过程其实挺有意思的。从一堆民间叫法到最终官方定名词源,我们可能现场见证了一个技术概念在中文世界完成命名的过程。

大家好呀,这两天有个新闻,不知道大家有没有留意啊?国家给 open 取了一个中文名字叫词源,上了一个人民日报,当天的一个概念股都涨了百分之十五。但是作为大众而言,看到词源两个字是不是还是有点懵的?词源是什么? token 是 什么啊?它们到底是什么意思?今天我们就用一句话来讲透 token, 它其实就是 ai 能够读取的最小的单位。 token 本身呢,它有可能是读到的是字或者是词,这个就很像我们以前计算机语言里面最小的单位 but, 但是一个 token 呢?它不等于一个字 ai, 它有自己的猜词规则,比如说像人工智能,一般会拆成两个头肯,人工和智能,那像吃饭两个字就是一个头肯了,它不会拆。所以我们中文里面呢,一个头肯大概是等于一到两个汉字。头肯现在其实是 ai 行业的一个电力表,用任何的 ai 工具背后都是在算这个头肯的。 你问一句话就会消耗头肯, ai 回你一句话也消耗了头肯,这个中间其实它就是一个衡量,它就是一个消耗品。给大家一组数值感受一下,就二零二四年初,我们全国每天消耗的大概是一千亿个头肯,但是到了今年二零二六年的三月,已经突破了多少呢?一百四十万亿 啊,那两年它增长了多少啊?一千多倍是不是?它既然是一个消耗品,它已经变成了跟我们的一度电、一吨水一样的一个基础计量单位,它其实就是对一个算力的一个计量单位。那你日常用 ai 的 话, took 跟你有什么关系呢?直接关系着你的钱对不对? 第一就是花钱,你现在去买的一些 ai 包月的套餐里面都会有包含基础的,要么就是次数,要么就是 took 的 具体数额,所以你聊的越多可能花的就越多。对, 那第二个呢?我们知道 ai 它其实是每一轮对话都是有一个上下文限制的,上下文的限制其实就是 token 数量的限制,比如说一百个字是这轮对话的上限,那么你讲到一百零一个字的时候, ai 就 会把最前面的那一个字忘掉了,聊着聊着你就会发现 ai 降智了, 对不对?第三个就是质量了,对,你塞太多的内容给 ai, 它的一个整个注意力就会分散,每一个话背后它都是要去拆成它的自己的一个 token 数,它的中文名呢叫词源, ok, 它 其实是我们这个 ai 时代的一个度量衡,以后看到 token 或者是词源,你就知道在说什么了,对吧?那这里有一个小问题,就是明明我们说的你好在 ai 里面拆的是一个 token, 为什么我跟 ai 发一个,你好,背后它消耗的是几千个 token 呢?这个问题带回去思考一下,今天就分享到这里,拜拜。

token 就是 ai 大 模型调用和处理信息的最小计量单位,在人工智能时代具有可计量可定价可交易的特征。 现在有了中文名字叫词源,是不是突然就好理解了,还是我们中文的魅力大呀。

哈喽,大家好,我是小英,就在今天的早上,新华社刚刚把 token 的 中文名给定了,那中文名是词源,哎,为什么是这两个字呢?为什么是这样翻译呢?来,我给大家解释一下。 首先啊, token 不是 随便的字母,它是有意义的语言片段,可以是字,可以是词,也可以是子词,所以说用词的这个字,那么源呢,是最小的单位,基本单位的意思一起词源就是 ai 处理文字的最小语义单位 啊。我觉得这个翻译想了想还是挺妙的哈,那么你看一下其他的这个呃,可能的备选项,比如说令牌呀,标记呀,模圆和质圆呐, 它的覆盖性好像都差了一下,就它已经有了适用的场景了。那么所以说哈,我觉得,呃,这个官方的翻译是很给力的,我给他点赞。大家以后再看到词源就知道这是 ai 拆成文字的最小单位了,是不是准确又好记呢?

token 是 什么?这个 ai 零的概念被翻译成词源,而且已经被中国政府网人民日报等官媒确认为标准中文译名。那它到底是什么意思?又有什么用呢?说白了,它就是你使用付费 ai 工具的收费计量单位, 就像你的手机流量一样,一个 g 就是 十块钱。你使用付费 ai 工具,就按照你消耗的投坑数量,也就是资源的数量来收费, 也就是说它是一种国际互联网的通用货币。我看到有一个人一天就消耗了等额两千块钱的投坑, 本来想让 ai 替自己打工,结果却发现根本就养不起,只好含泪卸载了付费 ai。 你 已经使用过付费 ai 了吗?欢迎在评论区聊聊。

token 未来会被翻译成什么中文词呢?魔源?智源那为什么在这个时候突然想到这个啊?因为就在几天前,二零二六年英伟达 gtc 大 会上,黄仁勋做的主题演讲里面, token 这个词出现了超过七十次。 那黄仁勋说, token 是 ai 时代的基石,数据中心正在变成 token 工厂,算力消耗要用到 token 去计量,智能服务的价值也要用 token 去衡量。 那这么高频的就使用这个词,意味着它接下来不再只是一个技术术语,它正在变成一个新时代的基础单位。就像工业时代的电,互联网时代的流量,那么 ai 时代就是 用来交流的。但有一些翻译好的词,是可以用来理解和升华原来要表达的意思。历史上这种给新词起中文名的,是有过很多经典的一些案例,那比如几何。 一六零七年,徐光启翻译古希腊数学家欧吉里德的数学著作几何原本时面临一个难题,如何去翻译这 omrit 这个词。 那徐光启呢?没有执意,也没有因意成晦涩的词,他借用了中文里原有的疑问词几何, 那这一名的精妙之处就在于音韵上,几何以 geometry 的 发音近似,那么在意义上,几何又天然带有数量度量的意味。文化上,它又接上了中文原有的语境。 曹操的短歌行里就有对酒当歌,人生几何。那比如另外一个词,基因。谭家珍先生把基因意为基因,基是基础,因是因子两个字精准传达了遗传的基本单位这样的一个内涵。再比如图腾, 严副老师把北美印第安人的 toton 意为图腾,图是图案腾,有上升崇敬之意。这两个字完美契合了被崇拜的图形符号这层含义。那么所以回到最开始的问题,我们为什么要费这个劲给 token 找一个精准的中文译名? 我觉得可以从两个角度来去理解。第一个呢,是从个人能力的角度,能够给新事物一个准确、简洁甚至是有艺术感的名字,代表你有洞察本质的能力。 名字是依附于实体的,能取出一个好名字,说明你看清了那个实体到底是什么,因为名字不是标签,名字是对本质的压缩。 第二个角度呢,是从话语权命名,就是定义权,谁抢先命了名,谁就划定了这个赛道的边界。一个很近的例子是原宇宙, 二零二一年, facebook 改名为 meta, 那 么原宇宙这个词也火遍全球。但其实呢,腾讯在更早时候就提出过一个类似的概念,叫做全真互联网, 描述的呢,是同一个方向,但是因为没有能成为那个被记住的名字,在公众认知里就始终隔着一层,那这就是定义权的力量,谁能给一个新事物起名字,谁就拥有了解释他的第一话语权。所以 talk 到底会叫什么呢?


为什么 token 中文名定为词源? ai 中文名应该叫什么? token 是 词汇单元,你今天吃了吗?你是一个词源。今天是一个词源,吃了吗? 是一个词源。 ai 通过拆解一句话的词源,理解你说了什么,再关联相关词源输出给你。其实底层还要把词源转换乘计算机语言零和一进行运算。每个词源都有特定编码, 理解和输出都是在数据库按编码查找相关联的词源。一个问题,你输入了多少个词源?大模型推理输出用了多少个词源?用来换算你这个问题任务消耗了多少算力? 算力的底层是电力,词源数量可以计算出消耗了多少电力。所以 token 词源就成了 ai 的 计价单位。那么你认为 ai 中文名应该叫什么?

token 中文名定了,不是令牌,不是 token。 官方正式定名 token 标准中文名叫词源,看词源就是 ai 理解语言的最小语义的单位。这样对话时中文和英文消耗词源不同,比如中文消耗四个,英文只要两个。记住哦, token 就是 词源,一个汉字约等于一个词源,英文其实更省呐。

这里呢,快速同步一个概念,到底什么是 token? token 的 中文呢,可以翻译为词源,可以是一个字、一个词、一个分词,甚至一个字节。在大模型中呢,被表达为一组数字序列,用于计算下一个 token。 token 越多呢,模型的计算的时间就越长,占用的算力和资源呢,自然就越多。所以,按照 token 数量收费,本质上是一个多用多付少用呢少付的计费方式, 非常直观呢,也非常合理。这像什么呢?就像我们每个月交的水电气一样。从这个角度看呢, ai 正悄悄完成一个转变,它正从一项技术产品呢,演变成一种基础服务。

这几年,我们每天都在跟一个看不见的东西打交道,你问他问题,他能写文案,写代码翻译,还能陪你聊天。我们叫他 gpt, 或者更宽泛一点叫大语言模型。 但大多数人对他的理解还停留在一句话,他很聪明,很像人,会不会有一天统治世界这一集,我们不聊意识玄学,我们只做一件事,把他的工程细节摊开,从你敲下第一个字,到屏幕上弹出回答,服务器里到底发生了什么? 对我们人类来说,语言是被粉碎后的数字, 当你输入一句话,他看到的是一串小单元,叫 token。 token 有 时候是一个字,有时候是一个词的一部分,甚至是一个标点,一个空格。 gpt 背后常用的一种切法叫 bpe, 它从海量文本中统计高频出现的字母组合,合并成更大的单元。 这里有一个关键的成本事实,早期模型的分词器对英文效率较低,导致中文 token 数量激增。 就比如这句话, artificial intelligence is rewriting the world。 如果用 gpt 二系列那种英文为主的分词器,英文这一句可能只要八至十个 token, 而中文往往要多出百分之五十甚至更多。 这不仅让中文用户成本更高,还变相挤占了模型的上下文窗口。好在这一情况正在改变。随着 gpt 四采用更高效的词表以及 tiktok 等高性能工具的出现,中文编码效率大幅提升。 现代模型通过扩充词表,极大地缩小了这种差距,让中文在 ai 时代变得更加经济实用。 gpt 运行时的核心任务只有一件,根据已知的前文计算下一个 tock 出现的概率分布,并从中抽出一个结果。你可以把它想象成 gpt, 再玩一个超大规模的玩行填空游戏。 具体来说,模型会根据已有的上文计算出词表中每一个后选托肯出现的概率,最终输出的是一个概率分布。然后模型从这个分布中选出一个托肯作为结果。 一个贴切的类比是, gpt 就 像一个读过全人类海量文本的超级复读机,当你给他看前半句时,他并不是在思考真理,而是在进行统计,推演人类在这种语境下最常往后写什么。 他完全基于概率和模式,通过预测下一个词,最终拼凑出看起来极具逻辑的回答。 g p p。 最大的能力之一是在很长的一段话里,保持对谁是谁前面说过什么的记忆。在工程上,这靠的是自注意力。 想象一个高校会议,每个 tucker 都是参会者,当轮到某个 tucker, 比如他这个词发言时,为了弄清楚自己到底指代谁,他会启动三个步骤。第一步,拿着搜索卡去提问。他带着自己的需求向所有人发问,谁可能和我有关。 第二步,匹配大家的缩影标签。会议室里其他 tucker 都举着自己的标签,他会迅速进行匹配度打分。匹配度高,比如前面的小王,就会被多听一点,分配极大的注意力。权重匹配度低,比如桌子直接被忽略掉。 第三步,提取内容价值。他按照权重把大家的信息进行加权平均。最终他得到了一个融合了小王特征的综合表示, 这就是自注意力的本质。每个 token 在 理解自己时,都会回头审视前面出现过的每一个 token, 只不过关注的程度各有不同。一个 transformer 模型就是把这种看一圈算权重综合信息的操作堆叠了几十层。 模型是怎么吐出一整篇长文章的?答案是自回归生成。这意味着模型无法瞬间完成整段话,而是严格遵守时间顺序,一格一格的往前蹦字。 它无法瞬间完成整段话,必须严格遵守时间顺序。预测第一个词,把词接到原句后变成新前文,预测下一个词, 循环往复直到撞上结束符。在这个过程中,有一个决定悲哀性格的细节,我们如何从概率分布里抽出那个词?这就涉及到了几个关键参数的调配。 temperature, 温度越高,分布越均匀。低概率词被选中的机会增加,温度越低,分布越尖锐。模型更倾向于高概率词。 greedy, 永远选概率最高的那个 token, 输出会很稳,但也很无聊。 topk, 从得分最高的前 k 个后选词里随机挑一个 topp, 它只在累积概率达到 p 的 那些核心词汇里筛选。 高 temperature 加较大的 top 会让生成结果更多样,有创造性,但同时也更容易跑偏,甚至胡说。现在你已经大概明白了 gpt 的 内部世界。你看到的每一行流畅回答,本质上都是在昂贵的硅片上以每秒数以千万亿次的浮点运算堆出来的。 我们随便拎两块现在最有代表性的芯片, a 一 百和 h 二百。 更大的显存意味着同一块卡上能放下更大的模型,能处理更长的输入上下文更高的贷宽,意味着矩阵乘法里的数据搬运更快,同样,一轮前向传播和反向传播所需时间更短。 然而,一块 gpu 是 三百到七百瓦级别的耗电,一整个大模型训练集群往往要用到数千块。这样的卡连跑几周,这背后是非常具体的一张电费账单。 逻辑通了,芯片到位了,万事俱备,就差开机。下一章,我们将拆解大模型的诞生之路。

全网都在说 tok, 他 到底是个啥?这是你,这是你的 ai, 你 可以叫他菜包,他啥都知道,但他是个文盲,不识字,只识数。你直接问他谁是最帅的博主,他只会哇哇哇,那他是怎么跟你唠嗑的呢? 过程是这样的,第一步,拆。先把你的句子像拆积木一样,拆成几个小块,每一块可能是一个字,一个常用词,也可能是标点符号。接下来就是第二步,翻译。菜包眼里没有文字,只有数字,所以它有本词表, 专门把这些小积木翻译成对应的数字,而这串数字就是 ai 能看懂的语言。这时候呢, ai 就 可以读懂你的信息,进行思考,然后再把结果反向翻译成你能看得懂的文字。在这个过程当中,拆分出来的每一块小积木就是一个 tokken, 现在它有了中文名叫词源。很多收费的大模型,就是按照输入思考过程输出中的 tokken 数量来收费。 拆分的积木越多,花的钱也就越多。比如这句话呢,我们用了六个 tokken, 一 块钱的话, ai 读懂你这句话就花了六块钱,你学会了吗?

大家好,这里是风声解读。最近国家数据局正式给 tucker 定了一个官方中文名词源, 很多人一听 tucker 词源,觉得特别专业,听不懂。今天咱们就用最通俗的话来讲一讲 tucker 到底是什么,跟我们普通人有什么关系? tucker 也就是词源,它是 ai 大 模型理解和生成语言的最小语义单元。 toc 调用量是衡量 ai 模型活跃度和产业价值的一个关键指标。 toc 调用量越高,意味着这个模型用的越多,创造的实际价值也就越大。 你可以把 ai 想象成一个刚学会说话的小朋友,你跟他说一整句话,他听不懂,必须要拆成一个字、一个词、一个标点,才能慢慢地去理解。 ai 也是这样,他不会直接处理一整段话、一篇文章,而是先把内容切碎,切成一个一个的小片段,这个最小的片段就叫做词源,也就是 token。 给大家举几个最简单直观的例子啊,一个汉字大约就是一个词源,一个英文单词大约就是一到两个 token。 比如说我爱中国,其中我 爱中国,这就是三个 token。 跟 ai 聊天,问问题,写文案,做总结,包括你生成图片啊,生成视频, ai 回应你的每一句话,本质上都是在读取 token、 计算 token 和输出 token。 可以 说,没有 token, ai 就 没有办法工作, 它就像 ai 的 口粮,就像数字世界的基础货币,用 ai 越多,场景越复杂,消耗的 token 量也就越大。简单聊几句,可能只花几千个 token, 但是你要用 ai 去写代码,做长文,生成视频,一次可能就消耗上百万上千万的 token, 所以 token 掉用量就是衡量 ai 火不火,用的多不多的一个最核心的指标。据官方数据,我国现在日军 token 掉用量已经超过了一百四十万亿,对比两年前暴涨了一千多倍,三个月又涨了百分之四十。 这说明 ai 已经加速走进我们的生活和我们的工作里。且还有一个关键信号,中国大模型的 token 掉用量已经连续三周超过美国,靠的就是性价比高、场景落地快、爆款应用多,让 token 经济真正跑了起来。 魏达老板黄仁勋还提出了一个新的概念,叫 token 工厂经济学,意思很简单,就是未来的数据中心不是存数据的仓库,而是专门生产 token 的 工厂。 token 会变得像电力、石油一样的基础数字商品 有统一的标准,可以定价,并且可以交易。国内阿里也专门成立了 token have 的 事业群,权力布局 token 经济。总结一下今天核心的知识点就两个,第一, token 中文名称、词源,是 ai 处理信息的最小的一个单位,就像 ai 的 文字积木。第二,我们用 ai 的 每一次交互,本质上都是在消耗 token, token 就是 ai 时代的通用基础单元。 token 被官方定名,意味着中国 ai 产业进入了更规范、更规模化的全新阶段。这里是风声解读,我们下期再见!

家人们,家人们,今天 ai 圈呢,也算真真正正干了件正经的事啊。那个天天挂在嘴边的 token, 终于有了官方确定的中文名了, 没错,就叫词源。我敢说,百分之九十的人天天说 token, token 就是 不知道它到底是什么意思,它不是什么带币令牌,它是 ai 大 模型处理文本的一个最小单位,你输入的每一句话都会被拆成一个个的 token, ai 才能读懂。我必须说,词源这个名字真的是翻译界的天花板了呀,太绝了。第一呢,它精准的对应了 ai 的 底层逻辑,词 对应文本属性,源又对应了最小的基本单位,完全贴合 token 的 本质,比之前的瞎翻译准确了一万倍啊,真是太厉害了。 第二个呢,他够通俗,小白也能看懂,不管再对着英文一脸懵,以后跟别人聊 ai, 直接说词源, 专业又不装叉。嗯,第三呢,他有中文的美感,信达雅他全占了,不是生硬的音译,是真正把 ai 的 概念用中文的逻辑讲透了。 词源啊,真是太好了,这个词。既然 tokyo 呢都有中文名了,那我们天天叫的 ai 啊,也就是人工智能,是不是也应该有一个更接地气,更信大家的中文名呢?我想了几个啊,第一个呢,是治脑, 简单直接点啊,对应 ai 的 智能核心,好记又好懂。第二个呢,就是灵思,既有灵动的智慧,又有思考的属性,很有中文的美感啊。第三个呢,就是源智,对应 ai 的 智能的基础单元,未来感呢,也拉满。 你觉得 ai 的 中文名叫什么最合适呢?评论区里留下你的想法啊,看看能不能选一个被央视被选中的一个词啊。

你有没有遇到过这种情况,明明感觉自己没写多少字, ai 却告诉你超长了。你删了又删,改了又改, 最后勉强挤进去。但你始终搞不明白,它到底是怎么技术的?为什么一篇八百字的文章,在 ai 眼里可能是两千个字?这个问题的答案藏在一个你可能听说过,但一直没搞懂的词力 tucker, 今天我们用一条视频 彻底把它讲清楚。第一部分, token 到底是什么? token, 中文翻译叫令牌或词源,但在大模型的世界里, 你可以把它理解为 ai 阅读文本时的最小计量单位。我们人类阅读是暗字或词来计数的。你好,是两个字,你好,世界是四个字,但 ai 不 一样,它不认字,它认的是 token。 一个 token 可能是一个完整的单词,也可能是一个单词的一部分,甚至可能是一个标点符号。具体怎么切分, 取决于大模型使用的分词器。举个例子, chat gpt is amazing 这句话,在 i i 眼里,它可能会被切分成这样, chat 一个 token g, 一个 token pt, 一个 token is 一个 token。 注意,空格也算 amazing 一个 token, 总共五个 token, 你 发现了吗? 一个完整的单词 chat gpt 被切成了三个 token, 而一个空格也占一个 token。 这就是 i i 的 阅读方式,它不读字,它读碎片。第二部分,中文 token 为什么更费钱?如果你是中文用户,有一个坏消息要告诉你。 同样的意思,中文消耗的 token 比英文多。为什么?因为中文的信息密度更高,但分词器对中文的处理方式相对粗糙。画面演示,我爱吃苹果的分词我爱吃苹果这五个字在大多数中文分词器里可能会被切分成,我一个 token, 爱一个 token, 吃 一个 token, 苹果一个 token, 总共四个 token, 五个字等于四个 token, 比例接近一比一。但如果是英文, are like eating apples are 一个 token like 一个 token eating 一个 token apples 一个 token 也是四个 token。 看起来一样。问题在于,表达同样的复杂内容时, 中文需要的字数往往比英文的单词数更多,但分词器对长词的切分又可能产生额外开销。综合下来,中文对话的 token 消耗通常比英文高出 twenty percent 到 fifty percent, 这意味着什么?意味着用中文和 ai 聊天,同样的上下文长度,你可能花得更快。 第三部分,上下文窗口 ai 的 短期记忆理解了 token, 就 能理解另一个重要概念,上下文窗口每个大模型都有一个最大 token 限制,比如 gpt 四的上下文窗口是一二八 k token, cloud 是 二零零 k token, gemini 是 em token 这个数字决定了 ai 的 短期记忆 有多长。当你和 ai 对 话时,每一次你输入的内容加上 ai 回复的内容,再加上系统提示词,所有这些加起来的 token 总数不能超过模型的上限。一旦超出, ai 就 会忘记最早的那一些对话内容。这就是为什么有时候聊着聊着, ai 突然失忆了。 不是他故意的,是你的 token 窗口满了,最早的对话被挤出去了。用一句话总结, token 就是 ai 的 记忆容量。第四部分, token 怎么算钱?如果你用过 ai 的 api, 你 会发现它的计价方式很特别,按 token 计费, 而且输入和输出价格不一样。以 gpt 四 o 为例,假设价格是输入每百万 token 二点五美元,输出每百万 token 十美元。为什么输出更贵?因为思考比阅读更费力。 ai 生成内容的过程需要更多的计算资源来算一笔账。三体三部曲 总共约九十万字,按照中文一比一点五的 token, 如果让 ai 把这三本书读完,输入费用约等于一百三十五万, 除一百万乘二点五,约等于三点四美元。如果让 i i 根据这三本书写一篇一万字的读后感,输出费用约等于一点五万 token, 除一百万乘十,约等于零点一五美元,加起来不到四美元。这样一看, token 计价其实并不贵。但如果你做的是大规模应用,比如每天处理百万级用户请求, token 就是 一笔需要精打细算的成本。第五部分,普通人为什么要懂 token 有 什么用? 至少有三个地方用得上。第一,省钱。如果你再用付费 a p i 优化提示词的长度,能直接降低你的成本。 同样的任务,用更精炼的语言表达,少用几百个 token, 积少成多。第二,避免失忆。当你需要 ai 处理长文档,比如一整本书、一份年报、一份合同,了解 token 限制,能帮你提前做好分段处理,避免聊到一半 ai 断片。第三,提升效果。 研究表明,把重要信息放在提示词的开头和结尾,更容易被 ai 记住,因为 transformer 架构对两端的关注度更高, 中间的 token 容易被忽略。懂一点 token, 你 就能更好地指挥 ai。 第六部分总结 token 是 ai 时代的度量衡。 token 是 什么?它 是 ai 的 计量单位,是 ai 的 记忆容量,也是 ai 服务的计价货币。它不是汉字,不是单词,而是 ai 自己的一套语言系统。理解 token, 你 就能理解为什么 ai 会失忆, 为什么中文对话更费钱,为什么你的提示词需要精心设计。更重要的是,理解 token 是 普通人进入 ai 时代的第一课。当所有人都在谈论大模型,谈论 a g i 时, 你只需要搞清楚这一个概念,就能比百分之九十的人更懂 ai 到底是怎么工作的,以及我们该怎么用好它。

token 究竟应该翻译成什么中文名比较好呢?截至此生啊,我只在新闻联播听到主持人说过两次英文词汇, 一个是当年电商引领的 b two c 浪潮,被主持人说成了 b 二 c 啊。另一个就是 token 了 啊,要知道 cctv 是 连 nba 都要说成美国男子篮球联赛的,难道 token 就 真的要直接叫 token 了吗?啊,我们中华文化博大精深,难道真的无法精确地形容这个单词所表达的意涵了吗? 啊,其实最早遇到 token 这个词呢,是在我小学玩游戏王的时候,有个卡牌能力需要用到史莱姆带币。我当时很不理解带币这个词,这是能花的钱吗?啊,我当时查到英文原版就是 token, 后来是在我大学期间搞开发啊,知道 token 是 前后端交换的一个凭证。当时我就在想,不对呀, token 不是 代币吗?为什么有两个意思。也不知道这是英文的优点还是缺点。有些单词可以用在很多不同的领域, 可以很抽象,也可以很具象,就像 demo 一 样。我之前也讨论过 demo 的 最佳中文翻译,它在代码里是指某个功能模块不完善的试错版本。在音乐领域, demo 又叫小样样片,在房地产领域又是样板房也是同样的感觉,好像只要是一个最小展示版本,跨领域都可以用一个 demo 来表达。 那么话又说回来,托肯翻译作代币也好,凭证也好,好像都是一个代指某种权力信息或者价值的凭证单位,它本身不是那个你最终想要的东西,但是你可以凭它换取你想要的东西, 而且它能换来的还是一个十分有创造价值的东西啊,那甚至可能是曾经不存在。但是你一旦使用了 token, 它能创造无限可能,拓展无尽可能的边界。我一直觉得翻译一定要符合人的直觉, 他可以张口就来,同时在你脱口而出的时候发现,哇,好顺嘴啊啊!就像曾经 humor 的 最佳翻译是幽默,他不是搞笑,他是幽幽的一个小魔。 说到逻辑,你就想到逻辑,把你的万千思绪罗列集录起来,慢慢理出头绪。 而 token 在 这个词汇已经在如今大家都在使用的情况下,我们要把它汉化出来。我觉得最佳的翻译就是保留它的原始发音,这也是保留它在口语交流中的符 合直觉的特性。因此我把它翻译为拓肯。如果要给这个翻译限定一个领域,我们就现做在 ai 这个领域, token, token 是 用来消耗算力为我们创造价值的一个单位。你可以说 token 是 算力单位,也可以说 token 是 智能单位。 但我想 token 就 像我们的老祖宗当年在这片土地上勤勉的开荒拓土一样,我们如今也是在算力的世界里开拓一片新天地。 所以我愿意把 talk 翻译为 talk。 欢迎喜欢的朋友在评论区留言。

token 这个词中文名该叫啥?网上已经炒炸锅了,有人说叫词源,有人说叫令牌,还有人说啊,干脆别翻,就叫 token。 token 到底是啥?为啥一直没有中文翻译呢? 其实呢, token 就是 ai 理解和处理文本的最小单位,它可能是一个字一个词,也可能是标点符号,只要让 ai 帮你干活,它就会消耗 token。 但如果说 token 没有中文翻译,那其实是一个非常大的误区啊, 人家几十年前就有名字了,在加密货币的领域啊,人家叫代币,在计算机的领域里,人家叫令牌。只不过啊,这些名字作为专业术语使用的人很少,而且呢,也并不符合现在 ai 行业的需要。所以啊,得有一个新名字。这时候就有人问了,那为啥争着要给偷看起中文名呢?在清华大学教授的嘴里,他都快成了关乎产业升级、技术落地的大事了。 原因呢,也很简单啊,在 ai 时代, tocan 太重要了。那我们现在在使用大模型的时候,也经常会把 ai 对 tocan 的 消耗量啊作为收费的依据。而前两天的时候呢,黄仁勋更是把 tocan 的 地位提高到了一个前所未有的高度。 在英伟达 gtc 上,老黄就说啊,过去几年里,人类的计算需求增长了一百万倍,换句话来说,就是 tocan 的 消耗量增长了一百万倍。而在未来呢,所有企业都有推理需求,都将为 tocan 付费。市场庞大, 谁能生产出更多的头肯,谁就更有价值。但头卡也不会凭空产生,需要由一个个的芯片、超节点、服务器、 ai 数据中心计算出来。所以啊,它还会推动历史上最大规模的计算基础设施建设。另外一位科技巨头呢,也拿出了行动。 在 t t c 的 同一天,阿里就宣布成立了 at h 事业群。千万告诉我,这个以 token 命名的事业群,在地位上跟阿里的云服务和电商都是并驾齐驱的。这就说明啊,阿里已经把 token 当成了企业的顶级战略资源,是由 ceo 直管的核心业务。 值得注意的是呢, token 不 光对企业有影响,更左右着东西方两个大国 ai 行业的走向。要知道啊, token 不 同于电力或者手机流量这些只有数量差异的资源,它还有等级之分呢。能力强的 token 呢,可以完成商业决策。能力差的 token, 那 就只能做做小学数学题了。所以呢, token 越强,价格越贵, 受制于物理因素的影响呢, tok 的 生产,它不光需要 ai 的 芯片,更需要耗电。在漂亮国和我们发电能力的差异下呢,漂亮国的 tok 定价普遍都是我们的四倍或者更高。 所以呢, openclaw 爆火之后,全球消耗 token 的 排行榜里啊,前五里有四个都是咱们中国的大魔镜。那 token 这么重要,那跟我们普通人有什么关系呢?那关系可大了啊,二零二三年,只有程序员玩得起 a p i, 才用得上 token。 但在二零二六年,六十岁的老人和十岁的孩子都在和 ai 聊天儿,默默消耗着 token。 像我自己,完全没有编程基础的小白,今年开始配置自己的大龙虾,开通了一堆的 a t i, token 的 消耗量那是直线上升,可以说呢, token 未来就像交电费、话费一样的成为我们生活当中的必需品,所以说啊,这么重要的一个产品,你觉得中文名该叫啥呢?

今天一分钟带你了解什么叫 token。 二零二六年三月二十三号在中国发展高层论坛二零二六年年会上,国家数据局从官方层面定义了 tocon 的 中文名词源。那如何理解词源呢?你可以把它理解成不是汉字,不是字母,是 ai 阅读记费计算的字块模型,不认识文字,只认识词源。你输入一句话,模型会先把它切成一串词源,再进行理解和生成。举个例子,积木块儿 词源相当于积木块儿,一句话相当于用积木拼出来的造型啊。 tocon 就 像音符,一句话,一段文本等一段旋律。 you are a。