token是bit吗

二零二六年的三月，中国的日军 tokens 调用量呢，突破了一百四十万亿，直逼一百五十万亿的大官哈，用两年的时间增长了超过千倍。三月二十四号这一天，中国的官方正式将 token 命名为磁源， 那么这个 token 到底是一个什么东西？我们都知道，中文呢，是以字为最小的一个信息单元，我爱人工智能对应六个汉字，那么同样的意思翻译成英文变成什么了呢？ i love artificial intelligence， 数量已经不一样了，六个中文汉字，这边是四个英文单词。 同理，如果我按照所谓的 ai 大 模型习惯的这个 token 的 调用量，它大概相当于三个 token。 为什么呢？我是一个爱，是一个人工智能，这四个字基本来讲是作为一个非常高频出现的一个独立实体， 所以说在 ai 的 大模型的眼里，它是一个 token。 回过头来呢，我们发现六个汉字等效于四个英文单词，等效于三个大模型的 token。 总结起来呢，就是一句话， token 是 ai 的 这个领域大模型视角之下最小的信息计量单位。中文呢，就是以这个中文汉字 计量，那么英文不一样，他是一个一个的单词来计量，为什么是这么一种计量方式啊？大家注意，中文就是他没有一个天然的分词的界限，但是这个好处是什么呢？好处就是我们平时加到一起这个字基本来讲也就是一万多个，不需要太多的这种字的叠加。但是大家都学过英语， 英文单词非常的多，如果加上法文、德文、日文、西班牙文，那么整个的这个词表可能会扩展到上千万， ai 大 模型就学不过来了。如果我们用一个一个的汉字呢，又显得它的这个语义不足，每一个字呢，没有办法单独的表达，很明确的这个语义在大模型这里面就采取了一个折中，我先挑一个一个的独立的字给 的捏到一起，然后呢高频出现的字放在一起，我就认为它是一个 token， 比如说人工智能，比如说北京上海，就这些高频出现的带有独立实体意义的词，在大模型的眼里都是一个一个的 token。 在 大模型的底层处理逻辑里面，这个 token 它是一个数字 id， 能懂我的意思吗？我爱人工智能我这个字，那么它在这个大模型里面很可能就是一个九百二十二这个数字。 爱这个字类似五二零，也可能是五千二百二，它就是一个数字 id。 整个的大模型内部是进行这种复杂的矩阵运算，所有输入进去的信息其实都是数字化的信息， 所以说呢，这个 token 呢，也就变成了一个一个的数字 id， 扔到我们的大模型里面进行后续的处理。如果你也对人工智能的学习、就业技术相关的一体感兴趣， 小赵士呢，已经为你准备好了一套全代码驱动的 ai 学习大礼包，这里面呢，包含了十几个小时的我亲自录制的精品录播视频，以及二零二六年最新版的 ai 学习路线图，想要的同学评论区约一下。

token， 大家都觉得这是个挺高级的技术名词，甚至还有人以为是搞区块链炒币的那个代币。你如果没搞懂 token 的 底层逻辑，你就根本看不懂现在这帮 ai 大 厂到底在赚什么钱。你在对话框里跟 ai 说的每一句话，它不是按一个字一个词去理解的。 为什么？这逻辑很简单，你要是按整词去算，中英文词汇量，几百万模型脑容量根本装不下，遇到个生僻词直接就蒙了。你要是按单个字猜，那完全就是碎片，没有上下文逻辑，他根本学不会。所以行业里是怎么干的？他把高频出现的连续字固定的词根打包成一个小块， 这个最小的处理单位就叫 token， 中文差不多一个汉字对应一到两个 token。 这样做既把词汇表压缩了，又保住了句子的核心意思。它其实是 ai 时代的核心消耗品， 是整个 ai 行业的底层硬通货。大家回想一下历史，第一次工业革命，机器转起来靠什么烧煤？第二次垫起革命，全世界的命脉是什么？ 是电？再往后，全球经济为了抢油田甚至能打仗，对不对？现在这个 ai 时代，所有大模型跑起来烧的全是 tok？ 你 觉得你是在用 ai 写剧本划分境？你觉得大厂在搞毫秒级的金融交易？无人驾驶？拨开表面看本质，每一次点击背后全是在疯狂地烧 tok。 你顺着这个思路去盘整条 ai 产业链，最底层的电力是基础能源，英伟达卖的那些天价 gpu， 其实就是生产 tok 的 发电机，那些云厂商和大模型公司，本质上就是 tok 制造工厂和批发商，而最终我们用的各种 ai 软件全都是消耗终端。整个行业的商业逻辑 掰开了，揉碎了，其实就八个字，生产 token， 售卖 token。 未来 token 的 价格绝对会像今天的电价水价一样，成为整个社会最核心的经济指标。 谁能把生产 token 的 成本给打下来，谁就掐住了所有行业的脖子，掌握了真正的定价权。你平时用 ai 的 时候关注过 token 消耗吗？评论区聊聊。

嗯，哈喽，大家好啊，今天呢咱们给大家讲一个最基本的概念叫做 tool 啊，最近的话，咱们国家的数据局把这个词给它翻译成呢叫词源啊，我觉得这个翻译呢，其实是非常准确， 因为在实际的这个讲课的过程中的话，我一直也是把这个词呢翻译成当成这个词源用词源，而且这个翻译当然不是我来翻译的啊，这个是呢，在一个圈内，咱们其实已经用的非常多的通用的一个词， 那么这个 token 呢，这个词啊，除了被翻译成词源以外的话，当然其实还有很多种的翻译啊，比如说包括有些通俗的翻译成什么令牌哎，代币 啊等等呢这些词，那么这些翻译成这些词的话，为什么咱们这次国家数据局要把它做一个完完整整统一呢？而且我觉得个人觉得啊，这个词呢，其实翻译的是非常的一个准确啊，今天呢咱们就来 来聊聊啊，就是这个词这个 token 呢到底是什么含义？以及呢，咱们为什么要把它翻译成这样一个词？ ok， 嗯，首先呢咱们这个大模型呢， 它在处理各种各样一些信息的一些文本信息的时候，咱们计算机呢是没有办法直接呢去理解的啊，这是第一个问题。第二个呢，咱们呢实际过程中我们的这个语言呢，它包含了有很多种，比如说， 哎，咱们中文、英文、法语等等，哎，不同的这个语言呢，它的一些特点有些不一样哎，比如说呢，像这个英文的话，它是有天然的这个分格， 有空格，是吧？天然去分格的，那咱们这个中文的话，甚至包括像日语这些这些的话，它是没有这个天然分格的啊，每一个字啊，它要组合起来的话，它承担这个语义信息不一样啊。比如说咱们中文里面， 通常情况我们现在这个汉语里面一个字的话，通常已经不承担真正的一个语义了，我们要把它组合起来变成一个词，是吧？有些呢一个成语可能是四个字，一个歇后语的话，可能呢词的含量会更多，是吧？那么也就是每一种语言里面它包含这个词的信息最小，这个单元不一样 哎，于是呢，咱们大模型呢，要处理这种多语言的时候，就涉及了一个问题，我把最小的这个处理单元， 欸，叫什么？这里面就叫做 token， 就是 我们要对输入的一段文本内容啊，咱们要做一个分词， 在一，在我们技术上呢叫做 tokenizer， 欸， tokenizer 做完以后，每一个的独立的语，这个语义的最小的一个单元呢，就叫做 token 啊，所以说这个就是 token， ok， 就是 token 呢，就是承载了欸最小的一个语义单元。 那么对于中文里面，咱们为什么要把它翻译成元哎元呢？其实在这个中文里面呢，这个词的丰富性呢，非常多， 比如说，对吧？咱们在这里面的话，有一个在化学里面，我们有一个哎，组成物质最小的一只嘛叫元素哎，咱们除此之外，其实我们在这里面还有一个叫什么元元气，元气，或者说呢，咱们叫是吧？犯罪的这个凶手叫什么叫元凶？ 一年最初的一天，咱们叫做元元旦，是吧？所以说元旦它其实呢包含咱们这里面的根本基本 啊，或者最初的这个含义，所以说这个元的这个含义呢？哎，感觉这就是非常的一个准确啊，包括咱们在计算机里面，我们使用这个，呃，有一些最基础或者最原始的一些数据啊，我们叫做元数据， 哎，所以说大家看看这个圆这个词的话，就非常的一个贴切啊。但是呢，咱们这个大模型里面，他拆成了一个个文本片段，他跟我们实际用的这个词啊，他又有点不一样，所以说呢，我们把这个大模型能够处理的 最小的一个词的单元叫做词元，哎，就是词最小的这个余单元。 ok， 好， 那在这里面咱们就说清楚了，这个词元是什么意思呢？ 那么有的人肯定会说，哎，那我为什么咱们不能够把它拆成一个个中文的这个字呢？这行不行？ 当然从技术上可以实现，但是带来一个问题是什么呢？我们不仅仅只能够考虑咱们的中文的生成或者中文的使用，咱们还得考虑多语言的场景。那如果说咱们要把多种语言 全部都当成一个一个的字，哎，一个个单词啊，咱们都把它塞到大模型的这词表里面去以后，就会带来一个问题啊，大模型的词表非常非常的庞大，大模型的词表又庞大，以后呢，导致呢咱们这个大模型啊生成的这个速度啊，就会非常非常的慢。 那于是呢咱们就要想个办法，哎，我既能够考虑到多语言，同时呢我能够做一个拆分呢， 能够考虑多元，同时呢咱们拆分，哎，我能够保持呢咱们最小的这个语义的这个信息，哎，词表呢又不会大，于是这里面呢就有了一些哎分词，或者说咱们叫做 tokenizer 的 一些算法。 ok， 那 么如果说感兴趣的同学啊， ok， 可以 在评论区咱们打下来， 咱们呢可以留言，如果说对咱们这个分词这个算法呀，或者怎么去分感兴趣同学大家可以留言，那么我们到时候的话也可以，哎做一期专门这个介绍这个分词的这一些算法。 ok， 好， 那么在这里的话，咱们这个视频里面就给大家说清楚了这个词源是什么含义，哎，就是咱们的大模型处理最小的这一个单元。

token 是 什么？这个 ai 零的概念被翻译成词源，而且已经被中国政府网人民日报等官媒确认为标准中文译名。那它到底是什么意思？又有什么用呢？说白了，它就是你使用付费 ai 工具的收费计量单位， 就像你的手机流量一样，一个 g 就是 十块钱。你使用付费 ai 工具，就按照你消耗的投坑数量，也就是资源的数量来收费， 也就是说它是一种国际互联网的通用货币。我看到有一个人一天就消耗了等额两千块钱的投坑， 本来想让 ai 替自己打工，结果却发现根本就养不起，只好含泪卸载了付费 ai。 你 已经使用过付费 ai 了吗？欢迎在评论区聊聊。

最近 togan 到底怎么翻译？在互联网上引发了一波热议。起因是一条来自国家官网的新闻，相当于官宣了 togan 的 意法。词源 一时激起千层浪，先别急着站队，我们先把 togan 这个词捋清楚。 togan 本意是象征，比如情人节送人玫瑰就是 a token of love， 爱的象征。在不同领域中，它隐身出了不同的含义。玩阶级时，那种圆圆的 token 意为游戏币。计算机安全领域中的 token 意为令牌。加密世界里的资产单位意为代币。到了 ai， 这意为词源。那么这个词源到底怎么去理解呢？ 根据官方的解释， token 是 大模型处理信息时的最小单位。大模型处理一个文本时，不是整段整段的读， 而是会把它拆成一个个更小的单元，再逐步处理。从这个角度来看，词源这个翻译其实在强调它既跟词有关，又是一个基本单位源。这有点理工男的风格啊，不浪漫，但是也确实抓住了本质。不过一些网友不太买账啊，有人说词源太别扭了，并且提出了像智源等更有科技感的议法。 也有人觉得，不管叫什么，有中文名字总是一件好事。因为这一波 ai 浪潮里，大量底层概念都是来自于英文世界。什么 chatbot、 prompt agent、 token， 如果不进行一轮中文重构，那么这些词就会变成一种圈内的黑化，懂的人越懂，不懂的人呢，直接劝退， 久而久之，就会形成一个隐形的门槛，把大量普通人挡在门外。正如当年我们把 laser 翻译成激光，把 computer 翻译成电脑就挺成功的，既好记又突出了特点，还极易传播。所以给 token 找一个好的中文名啊，本质上是在做一件更大的事， 是用我们的母语去构建数字世界的底层认知。但另一派的观点也很鲜明，就是 togel 作为一个外来的专有名词，没必要用中文硬翻。这个评论倒让我想起了 dna 这个说法，貌似没有简洁的译法，但也不妨碍大家交流使用，对吧？ 这样争论还挺有意思的，它不只是一个词的翻译问题，背后其实藏着一个更大的命题，就是我们要不要为新技术建立一个属于自己的语言体系呢？词源或许不是一个最优解，但是它至少是一个开始。你接受词源这个翻译吗？还是更愿意直接说 token 评论区聊聊？

token 翻译成中文叫什么？叫词源，是模型处理文本的最基本单位。 token 和字呢？有什么区别？ token 呢，可以是一个字，一个词，甚至半个字，那这是谁规定 的？是模型看了大量人类文字统计出来的，这样表达呢，更省事。常见的字和词就用一个 token 表示，其他的就用多个 token 拼接。 一个 token 到底是多少钱？ deep 呢？输出一百万 token 呢？约等于三本新华字典只需要三块钱， gpt 五呢更贵，超过九十块 token 和上网流量收费是一样的道理吗？不是的， token 收的是计算费，是生产成本，而流量收费呢，是搬运费，不是一回事。为什么养龙虾要烧 token？ 是 因为龙虾要用大模型思考和回答问题，因为大模型按 token 收费，所以就说烧 token。 本地部署大模型是不是就不用烧 toon 了？还是要用到 toon， 因为 toon 机制本身和部署方式无关。本地部署呢，不需要按量付费，但电费得自己掏，算上硬件成本不一定划算。如果我把一段话复制粘贴进去，是不是就算一次 toon 不是 文字越多呢？计算的输入 toon 数量就越多？ 我问的问题很长，但答案很短，是不是只扣答案的 token 不是， 输了 token 呢？也要算钱？表情符号算几个 token 会不会比一个字还贵？常见的表情呢，是一个 token， 不 常见的会用两到四个 token 拼接表示。 deepsea 和 gpt 的 token 是 一样的吗？ 不一样，互相不认识。 y， y， d， s 这种网络词是几个 token， 一 般拆成 y， y 和 d s 两个 token， 要是这个词足够火，也可能被模型当做一个整体。同样的问题，我上午问和下午问，输出的 token 数会不一样吗？不一样，模型输出具有随机性，每次输出的 token 数量不同。 那小龙虾帮我下载电影是否要按 token 计费？小龙虾思考怎么下载？打开下载网站，执行下载命令，这些都需要消耗 token， 但是下载电影本身不消耗 token， 因为电影不是大模型生成的， 电影是存在第三方服务器上，只消耗下载流量，不消耗 token。 为什么我和 ai 聊得越久，回复同样一句话，花的钱就越多？ 模型是基于对话历史进行回答的，所以你所有说过的话呢，都会参与计算，计算成本就越高，这也是 ai 还需要按照输入 token 数量计费的原因。 怎么才能少用点 token 输入更少的提示词去掉？你好，请问这类废话规定模型输入长度，加一句五十字以内回答，但很有可能问题没有说清楚，回答呢也不够准确。如果前后问题呢？不相关也可以新开对话，避免历史对话参与计算。 托管是加密的密码吗？不是，托管只是一种文字编码方式，虽然你看不懂，但他并没有加密。 图片和文本的托管是一样的吗？不一样，图片会切分成很多小小的方块，每个方块呢？当做一个视觉托管，就像拼图一样。托管是为了收费而发明的吗？ 不是，托管是技术发明，是为了能表达和能计算，只是计算的成本和托管数量正相关，所以就按照托管数量收费。我使用豆包没有付费啊。为什么说托管是收费的？大厂为了抢占市场让你免费使用，成本呢？暂时不用你出， 如果你是企业用户或者养龙虾就需要支付费用。我在一段话里疯狂敲空格， ai 是 视而不见还是会偷偷扣我的钱？ 空格也算钱，虽然有的模型会把几个空格打包，大部分时候你多敲一个空格就再多烧一份算力。那 ai 产生的废话是不是能退费？不能，因为废话也是显卡辛辛苦苦算出来的。

这两天国家刚把 token 命名叫慈远，但人民网给 ai 争中文名，到现在还没有确定下来，但是呢，网友的投票真是绝了，咱们就看前三名， 第三名他居然叫傻妞，这纯粹是带了点童年的情怀。第二名呢，叫器灵，对于老祖宗来说，只有物件生了魂才这么叫，这个算是有点文化底气了。第一名呢，叫治脑，之前呢，通的电的叫电脑，现在呢，真的是长出脑子了，直接叫治脑，大家想一想，如果教给你们，你觉得叫啥合适呢？

token 是 什么？今天这期视频，我们把 token 彻底拆开来讲，先搞清楚它有几种以及各自是什么含义，再深入讲 ai 大 模型里的 token 到底是怎么运作的，以及如何帮你省钱。 token 这个词在计算机领域至少有两种完全不同的含义，很多人混淆就是因为没有先区分清楚。第一种语言 token language token 也叫 nlp token， 这是 ai 大 模型处理语言时的最小单位，是模型理解和生成文字的基本碎片， 我们今天重点讲的就是这种。第二种，身份验证 token， off token， 比如 access token、 jwt token， 这是一串加密字母串，用来证明你的身份和权限，相当于服务器给你颁发的数字门禁卡。两者唯一的共同点就是都叫 token， 这就好比苹果手机和苹果水果名字一样， 但完全是两个领域的东西。以后遇到 token 这个词，先看上下文，在 ai 和大模型的语境里，它是语言单位， 在登录 api 健全的语境里，它是身份凭证。搞清楚这个分类，你在这两个领域都不会再被绕晕了。接下来我们重点来讲语言 token。 在 ai 领域，特别是大语言模型 l l m， 像 chat、 gpt、 cloud、 gemina 一 类的系统里， token 是 模型看懂和写出语言的最小单位，它不是密码或凭证，它是 ai 内部真正处理文字的基本快，是模型理解和生成语言的原材料。 通俗的讲， token 就 像乐高积木，我们写一句话给 ai， 看起来是一个完整的句子，但 ai 不 会像我们一样理解整个句子，它会把文本拆成一个个小块及 token， 这些小块可以是一个完整的词，一部分词，甚至是一个符号或标点，每一块就是一个 token。 模型不是按人类的语法去理解，而是按这些 token 一 步步分析和预测下一个最可能出现的 token。 为什么要这样做？因为 ai 模型内部只能处理数字，不能直接看懂文字。先把文字拆成 token， 然后把每个 token 转换成一个数字 id， 再把这些数字送进模型进行计算和预测，这样模型才能理解上下文并生成回答。在实际使用中， token 还有两个非常重要的作用， 第一，它决定了 ai 能处理的内容范围大模型对话时有一个上下文窗口，就是说模型一次最多能看到多少个 token， 如果超过了这个限制，最早的 token 会被丢掉，这会影响模型理解整个对话。第二，它关系到成本和计费。 很多 ai 服务是按 token 计费的，包括你发送的输入 token 和模型返回的输出 token。 token 越多，成本越高。 那如何节省 token？ 在 ai 模型使用中， token 是 直接影响成本和效率的核心指标，控制好 token 的 使用，能省钱又提升速度。下面是最有效的几个方法，帮你在实际使用时节省 token 消耗。一、精简输入内容，别把所有背景都丢进 prompt， 只把真正相关的信息留给模型，让每个 token 都有价值。缩短指令，去掉庸俗描述，可以显著降低 token 消耗。 精简上下文相当于少用 token。 二、限制输出长度，提前设定回答长度上限，避免生成宕长啰嗦内容，这样模型不会自动扩展答案，从而减少输出 token 数。 三、做缓存与复用对于重复查询或者经常用到的内容，可以先将结果缓存起来，后续类似请求直接从缓存返回，不再重新调用模型，从而节省大量输入和输出 token。 四、选对模型分阶段处理任务， 不同模型价格差异巨大。把大任务拆成两步走，先用小模型或简化逻辑生成摘药或关键内容，然后再用更强模型处理简化后的内容， 这样整体消耗的 token 更少。五、只保留重要上下文历史对话长篇内容会不断重复发送给模型，快速占满 token 上线，所以只保留与当前任务直接相关的上下文就够了，其他历史可以省略或者按需摘药再传入。 最后总结一下， token 在 计算机里有两种完全不同的含义，语言 token 是 ai 处理文字的最小单位。身份验证 token 是 证明身份的加密凭证，两者只是名字相同，本质毫无关联。在 ai 大 模型的世界里，语言 token 是 一切的基础。 ai 不是 看单词，而是看 token， 它靠一串串 token 来理解世界作判断，生成结果。这就像我们拼积木一样，模型把语言拆成一块块小积木，然后用它们组合出回答。理解了 token， 你 就掌握了和 ai 打交道的底层语言。无论是调用 api、 优化提示词，还是控制成本，都离不开这个基础概念。 token 是 ai 世界里的基本单位，是 ai 语言理解与生成的起点。好了，本期的分享就到这里，如果觉得这期内容对你有帮助，记得点赞、关注和收藏，我们下期见！

一分钟搞懂 talking 和快到底啥区别，现实中怎么用 web 三大白话？欢迎大家，我是徐院长，今天咱们聊一个区块链里最容易被搞混的概念，快和 talking。 很多人张口就说是带币通证， 呃，其实完全不是这么一回事。我用最直白最接地气的话给你们讲透它俩的本质区别，还有在现实生活中到底能干啥？全程无废话，一听就懂。 首先先给大家下一个最核心的定义，快是原生币， tokun 是 通行证、权益币，一个是地基，一个是盖在地基上的房子，完全不是一个层级。什么叫快？简单说，它是一个公链，自己亲生的货币， 比如比特币 btc、 以太坊 e t h、 索拉纳的 s o l， 这些都是扩案，它的作用就是这条区块链的硬通货，用来支付手续费，激励旷工，维护整个网络运行。 你可以把扩案理解成一个国家的法定货币，比如人民币、美元是这个生态里最基础的价值主体，没有它，这条链就跑不起来。 它的底层是一条独立的区块链，有自己的主网节点、共识机制，是彻头彻尾的原生资产。 那 talk 呢？ talk， 我 们一般叫通证待币，它不是独立链，而是寄生在别人公链上的资产。最常见的就是以太坊上的 e r c two zero 待币，相当于在以太坊这个操作系统上发了一个专属凭证。 top 没有自己的主网，他的本质是权益、权限、积分、股份、门票的数字化。我给大家举个特别直白的例子， 酷爱是商场的通用现金， top 是 商场某家店的会员卡，某场电影的门票，某个游戏的装备币，他只能在特定的场景里用。接下来咱们说一下最关键的现实应用。 快的应用很纯粹，就是价值存储、支付结算、网络燃料、跨境转账，不用走银行，几分钟到账，成本极低。 作为数字黄金实现抗通胀的资产配置，在链上交易时必须用快付 get 费，这就是它最落地的价值。而 talk 呢，它的应用场景就丰富太多了。在游戏里， talk 是 游戏币，装备道具全靠它。 在会员体系里， tok 是 终身会员凭证，持有就能享受权益。在实体产业里，门票、股权、积分、版权都能做成 tok， 实现可流转、可追溯、不可造假。 甚至实体店、文旅项目供应链都可以用 tok 做激励和资产通证化。它是把现实权益搬上区块链的最佳主体。最后总结一句话，区块链上的应用是权益凭证， 别再把他俩混为一谈了，看懂这个区别，你才算是真正入门区块链。关注我，我是徐院长，下期继续用大白话拆解区块链硬核知识！

一个视频告诉你什么是 token。 你 有没有发现，用 ai 现在是越来越贵了，明明是同一个模型，有人用一百块能干一个月，有人用三天就没了，差距在哪？就两个字。 token 这个词呢，很多人听过，但没有几个人真的能搞懂。今天我用三分钟把它讲透。 你想象一下，你去餐厅吃饭，菜单上写的不是一盘菜多少钱，你吃了多少口就付多少钱。 talk 就是 ai 世界你的口，你说的每一个字是一个 talkin， ai 回复你的每一个字也是 talkin。 你 们来回对话的所有内容全都是在计算 talkin， 那 具体怎么算？中文大概是一个汉字约等于一个 talkin， 英文大概是一个单词约等于一到两个 talkin。 你 问 ai 一个问题，写了两百个字， ai 回答了你五百个字，这一来一回就消耗了大约七百个 talk。 那听起来不多，但如果你是一家公司啊，每天有一万个用户在用你的 ai 产品，每人平均一次对话七百个 token， 那 一天就是七百万个 token。 按照现在主流大模型的 a p a 价格呢？这一天光 token 的 成本就可能是几千块。那不懂 token， 你 根本不知道钱烧在哪里。 更关键的是， token 不 只是钱的问题，它还决定了 ai 到底能看多远。每个大模型都有一个上下文窗口，就他一次能看到的 token 总量啊。比如某个 token 的 上下文窗口是一百二十八 k token， 意思是他一次能最多记住大约十万字的内容， 超过这个范围的，他就直接忘了。就好比你雇了一个助理，他的桌子只有这么大，你把一百页文件堆上去，他只能看到摆在桌面上的那些，其余的他根本不知道存不存在。 所以你现在明白了，为什么有时候你跟 ai 聊着聊着，他突然开始答非所问。不是他变笨了，是你们的对话太长，早期的内容已经超出了他的 token 窗口，被推出桌子了。这就是 token， 它是 ai 的 货币， 也是 ai 的 记忆边界啊。你不懂它，你就永远不知道自己在用 ai 的 哪个层面吃了亏。我想问你一个问题，你现在用的 ai 工具，你知道它的 token 上限是多少吗？你有没有因为不懂 token 踩过坑？评论区告诉我？

一条视频告诉你什么是 tok， 以及为什么说 tok 才是中国的第一大出口。其实现在真正的大神已经变了，如果说不了解 tok 呢，可以说是看不懂中国未来的经济版图。 现在科普两句啊，就是 tok 呢，它并不是币，它是 ai 大 模型运算的最小的计量单位，也是 ai 时代的，可以理解为数字石油，是全球智能服务的通用货币啊。今天视频要跟大家讲的就是 tok， 中国呢，现在已经成为了 tok 的 第一大出口国 啊。那么首先给大家第一个细节，他是怎么样卖到全世界的？很简单，他不走海关，他走网线，你把它想象成是在云端的发货，海外的用户企业 app， 只需要在后台呢，去接入中国的大冒险接口，也就是 api。 那 么当他们在海外点击生成视频翻译文案，就像大家咱们钱在中国用的一样，那这个时候流量就跑起来了，消耗的是咱们的数据中心算力，中国的算力， 深层的 tiktok 服务呢，通过网络直接运送到全球，他并没有实体，不用曝光，也不用运费，而且是秒级到账，全球直达的。 那么第二个点就是为什么是中国，因为咱们可以把可不可能变成可能，核心就在一句话叫做电力不能出口，但是 tiktok 可以 啊，因为电他受到物理限制，跨洋传输会贵，而且损耗大。但是 tiktok 不 一样，他是电力的高转化产物， 咱们呢，把廉价充足的电力转化为高密度的算力，再打包成 top， 直接输出，本身啊就是种降维打击了。 同样的能源，我变成实体店可能赚十块，但我变 ai top 啊，我能赚一百，对吧？再加上中国掌握了全球超过百分之六十的大模型的算力布局，我们不仅有矿，咱们还造了最好的矿机。那么第三个给大家解决的是什么？就是这东西咱们到底出口去哪？他到底有多刚需， 对吧？其实不止咱们有 ai， 全世界的人都在用哎，这个中国的 top， 给大家举个例子啊，你看，在国外健身啊，对吧？或者是用修图的时候，那么消耗的就是咱们中国的一个 top。 其次呢，很多跨国公司啊，用来写报告，数据分析，甚至营销文案，都是中国的模型对接上的。 所以说啊，咱们出口的并不是代码，而是智能生产力。最后也跟大家去聊一聊，其实过去啊，我们出口衬衫家电，那都是中国制造，但现在呢，咱们的出口算力智能，那是中国制造 talk 的 出口啊，其实是中国从世界工厂走向世界智能钟数的关键一步，证明了什么？证明在新赛道上，咱们不仅赢在了起跑线，更掌握了定价权。

老师，登录令牌、加密货币、 talking， 这三个到底是什么呀？哎，问的太关键了啊！ talking 这个词本质就是凭证，就是单位， 不同的领域里头，它完全是三个东西啊。今天咱们一次性的把三个 talking 的 基本概念讲透啊，再也不搞混。 这第一个就是很多老程序员最熟悉的那个身份验证的那个掏坑，哎，这个咱们之前说过哈，本质就是临时入场券 哎，比方说你去酒吧，去一个公共场所，查完你的身份证以后，给你再盖个章，之后啊，你在这里头的消费就不用再掏身份证了。哎，这个章啊，就是一个掏坑用来证明你的身份的，他是咱们互联网时代用了几十年的那个老技术了啊。 这第二个就是前几年火过的那个区块链的 token， 也就是大家说的那个加密货币那个通证， 这个本质上就是去中心化的那个数字资产，哎，比特币啊， n f t 啊，治理代币啊，都属于这个范畴啊，这个就是区块链时代的产物，前几年炒币火的时候，大家都说 token 就是 这个东西啊。 而这两天啊，全网刷爆的那个桃坑出海里边的那个桃坑是第三个啊，也就是最新的那个 ai 大 模型的桃坑，他是 ai 处理的信息的一个最小的单位，说明白了，就是 ai 演当中的那个文字碎片， 你跟 ai 说一句话， ai 看不懂完整的句子，它就会先把这些话呀给它切碎，然后切成一个一个的小片段，每一个小片段就是一个小 talking 啊。那么比如我爱中国这句话，哎，它大概会切成三个 talking， 你让 ai 写一篇论文，可能就会消耗几十万个 talkin， 哎，大家注意了没有？这两天黄仁勋刚刚说未来的数据中心就是生产 talkin 的 工厂， talkin 就是 ai 时代的新石油，所有的 ai 服务，不管是聊天啊，写代码啊，做推理啊，全靠消耗 talkin 来运行的啊。 哎，咱们搞地质勘探的，测绘遥感的，还有环境监测的也要用啊。今天咱们把三个 talking 的 基本概念都讲透了啊！下一集咱们就讲这两天最火的那个，中国的那个 ai talking， 为啥然后突然超越美国 称霸全球，我们靠的是啥？哎，评论区蹲好啊，下一集给你扒明白啊！

你知道 token 到底是什么东西吗？为什么有人用 ai 一 天只用了几分钱，而有人一晚上用小龙虾跑掉了几万块钱？其实主要原因就是 token 的 使用量。 但是我们常常又问 token 到底是什么？然后它又是怎么样来计算我们的这个使用量的？ 今天我把 token 怎么算，代码怎么计费，真实价格以及 token 为什么会烧钱？一次性给你讲透。 首先我们讲第一个就是 token， 它的定义其实就是 ai 的 文字和代码的最小单位，也就是计费单位。我们通常中文一个字就等于一个 token， 然后一千个 token 大 概就等于我们中文的七百个汉字。 但是代码就不一样了，代码一般来说他的变量名，括号、分号，然后注是换行，全部都是要计算在 token 之内的，每一个英文的符号都要算 token。 也就是说我们平时在写代码的时候，你的代码写的越规范，它的注是越长，我们的扣钱就是越快的。 然后所有的任务其实它计算都是一个原则，就是说你发给 ai 的 输入，加上 ai 返给你的输出，就等于我们的总 token， 也就是我们总共花费的价格。 那我们一般市面上现在有三档模型啊，首先是第一档清量模型，呃，就比如说阿里云的统一清统一啊，然后腾讯云，腾讯的会员呐，然后豆包，这些都属于是 呃处理能力并不是特别强的，它的价格现在大概在一百万， token 大 概是呃 两角钱到三点零点二到零点三元，然后一百万输出的 token 是 零点五到零点八元，其实你可以按输出跟输入结合来算，现在就是差不多是一元的百万，百万级别的 token 是 一元左右。然后第二种就是我们终端型的， 就是中规中矩的一些通问比较实用的模型，比如说我们的 deepsea 啊，呃，通易千问啊，这些是在一些场景上表现的还可以的模型。 那么它的百万级的输入输出的 token 价格大概在四到七元左右，这是它的一个，然后具体可以根据它 呃里面的各种各样的模型会有一些价格上的区分。然后再就是其实就是在最高档的啊，就比如说 g b t 四的 turbo 文星，四点五，然后 max cloud， 然后这些价格其实它的百万级别的 top 就 有点贵了，可能一般在， 嗯，四十到八十之间，呃，这种价格其实我觉得使用起来是非常昂贵的。

你听说过 tok 吗？国家数据局公布了数据，中国日均 tok 调用量突破了一百四十万亿，两年增长超千倍。这意味着 ai 正在从烧钱游戏变成了印钞机器。 但先别急着冲进去买股票啊，听我把这里面的事情讲完。 token 是 什么？简单说啊，它就是 ai 处理信息的最小颗粒。你问 ai 一个问题，它要拆成几百个 token 来算， 生成一张图，一个视频消耗的 token 更是天文数字。 token 就是 ai 世界的硬通货，就像石油之于工业时代，电力之于电气时代。现在一百四十万亿的日调用量是什么概念？ 二零二四年初才一千亿，两年翻了一千多倍，有的模型企业二十天的收入就超过了二五年全年，这不是增长，这是核爆。但这里面有一个反常识的真相， token 越便宜，算利股啊，越值钱。为什么呢？ 因为当 token 的 价格被打到地板价， ai 应用啊才会像野草一样疯涨， token 调用量才会指数级爆发， 要用量爆发，算力需求就跟着爆发，就像当年的四 g 流量降价，直接催生了短视频帝国。现在 token 价格战打的越狠，底层的算力基建，包括 idc、 服务器、芯片、光模块，吃的越饱 好。那么哪些方向值得咱们关注呢？记住两条主线，第一， token 的 生产端， idc 数据中心就是 ai 工厂，那些给自己阿里盖厂房的直接受益。 第二， token 的 流通端，算利助力是卖电的，那些手上有卡，能调度算利的就是 ai 时代的国家电网。最后啊，还是要提醒一句， token 经济有个致命的悖论， 钓用量可以无限增长，但算力供给有物理极限，现在训练千亿参数模型要烧一千万美元内存能耗，供应链瓶颈全在那里卡着。 而且啊，如果 ai 应用落地不及预期偷根，钓用量增速放缓，现在最高的算力可能就是二零二一年的中概互联。

最近 tokken 比较火，今天我来聊聊什么是 tokken？ tokken 呢？就是 ai 世界里的西瓜块。怎么理解呢？你给 ai 喂一整句话， 比如给我讲个笑话， ai 脑子没办法一口吞下去，他得先拿刀把这句话切成一小块，给我讲个笑话，这三小块就是三个 tokken。 ai 看完这三小块，脑子一转，又吐出几块新的来。为什么鸡要过马路？ 因为它想去对面，这八个小块就是它吐出来的八个 token。 所以 你和 ai 聊天的时候，消耗总 token 数 就是你扔进去的块数，加上它吐出来的块数，就这么简单。 token 就是 你跟 ai 交流的时候，基本语言单位 也是 ai 吃饭用的米粒儿。那么英伟达的黄仁勋和阿里巴巴的吴永明为什么要拿它说事儿呢？因为谁控制了米，谁就控制了 ai 时代的饭碗。 黄仁勋，他是卖电饭煲的，他的 gpu 就是 全世界最牛的 ai 电饭煲。你想让 ai 更快地把米，也就是 token 煮成饭，也就是我们说的答案， 就得买他的锅。所以他整天喊着 token 经济。潜台词就是， ai 时代来了，大家都得吃饭，快来找我买锅，哈哈哈。吴永明，他是开大米批发市场的，他新成立的阿里巴巴 token 哈， 简称 a t h 事业群，名字起的特别直白， to k 中转站，他要干嘛？就是要盖一个超大型的大米批发市场，把黄仁勋的电饭煲，也就是我们说的算力全搬进来，开个大米交易所。以 后你想用 ai 做点啥？不用自己买锅，自己种米，直接来这个市场。你说我要一万 to k， 帮我写个文案，市场里就立刻有电饭煲启动，给你煮好，你按碗， 也就是 tock 数付钱就行。吴永明成立这个事业群，意思就是别麻烦了兄弟们，以后所有的 tock 都来我这里流通，我负责把 ai 的 米做的又便宜又好吃。 所以 tock 为啥成战略资源？因为未来世界，无论是写文章、画图、剪视频、编代码，甚至让 ai 替你开个会， 背后都是一堆 taco 在 燃烧，它就像数字世界的新石油，英伟达是卖石油开采机的，阿里巴巴的 ats 是 建全球最大加油站连锁的，你说它俩能不重视吗？以后你跟朋友吹牛，可以说 我昨天让 ai 干了点私活，一口气烧了十碗 taco， 哈哈，倍儿有面子呵！兄弟们， 最后给大家来一句，愿你在 ai 时代里，掏看越用越顺，思路越聊越宽，每一天都能用最小的消耗挽回最大的惊喜。下期视频，我会掏心掏肺地和职场人分享 ai 拥抱指南，关注我，不被时代所抛弃！

面试的时候，十个候选员里八个说不清楚 token 到底是啥，今天一分钟给你讲透！很多同学刚开始接触接口验证的时候，都会听到 token 这个概念。其实我们可以用游乐园的手环做类比，你 去游乐园买完票，工作人员给你带个带防伪的手环，之后玩项目只要出示手环就行，不用每次套身份证购票凭证。 token 的 作用和这个手环完全一致，它是服务端生成的一串特殊字符串，作为客户端访问接口的身份凭证， 用户第一次登录验证账号密码通过后就能拿到 token， 后续请求不用反复提交密码，能大幅降低密码泄露的风险。 这里要特别注意， token 本身不具备加密属性，只是身份标识，千万不要把它当成加密工具来使用。那为什么会出现 token 这种验证方案呢？早期的 web 系统大多用 session 做身份验证，服务端要给每个登录用户存一份 session 数据。就像景区把所有游客的身份信息都存在入口的记录本上， 只有一个入口的时候没问题。可如果景区开了十几个入口，每个入口同步游客记录会非常麻烦。 token 就是 为了解决分布式场景的身份验证问题，诞生的 所有身份信息都存在 token 里，由客户端保管，服务端不需要存储用户的状态数据，多服务部署时也不需要做数据同步。当然，它不是 session 的 替代品，如果是内部单节点系统，用 session 反而更易维护。现在行业内最常用的 token 是 j w t 格式 完整的 jwt 分 为头、载客、签名三个部分，中间用点分隔，头部分记录 token 的 类型和签名算法。载客用来存储用户 id、 权限、有效期这类非敏感信息。签名则是服务端用私有密钥对前两部分生成的防伪标识。 这里要提醒大家，这三个部分里的头和载荷都是用 base 六十四编码的，相当于只是把铭文转成了方便传输的格式，没有做加密处理，任何人拿到都能解码看到内容，所以绝对不能在载荷里存密码、身份证号这类敏感信息。 了解了结构之后，我们再看 token 的 生成逻辑。 token 必须由服务端生成，用户第一次提交账号密码时，服务端先较验信息是否正确，确认是合法用户后，会用只有自己知道的私有密钥， 结合用户 id、 权限、有效期等信息，生成完整的 token 再返回给客户端。整个流程就像游乐园售票处核对你的身份证和购票信息无误后，给你发印有专属防伪章的手环，只有园区官方发的手环才有效。 私自打印的手环过不了工作人员的叫宴。大家一定要记住，不要在前端生成 token， 没有服务端密钥签名的 token 没有任何可信度。客户端拿到 token 之后，通常有两种存储方式，要么存在 local storage 里，要么存在 cookie 里。 存在 local storage 时，每次发请求需要手动把 token 放到请求头里，就像你每次玩项目，主动抬手给工作人员看。手环存在 cookie 时，可以配置自动随请求携带，不需要手动处理，但要额外做好 c s r f 攻击防护。 这里要避开一个常见误区，不要把 token 存在前端的普通 g s 变量里，页面刷新或者关闭后，变量会被清空， token 就 丢失了，用户就需要重新登录。 存储完成后，客户端每次向服务端发请求时都要带上 token。 服务端拿到 token 后的校验分为三步，首先把 token 的 头和载鹤用同样的密钥重新生成签名，和传过来的签名比对，确认是自己发的合法 token， 再检查 token 的 有效期有没有过。最后读取载荷里的用户信息，判断有没有当前接口的访问权限。整个过程，服务端不用查任何存储的用户状态，只要叫验通过，就可以直接处理请求，响应速度更快。 千万不要跳过签名校宴，只读取载贺内容，否则很容易收到伪造的非法 token。 所有的 token 都会设置有效期，短的十五到三十分钟，长的最多七天。就像游乐园的手环，通常只有当天有效，过了日期就算防伪没问题，也不能用。 有效期到了之后，常见的处理方式有两种，要么让用户重新登录账号获取新 token， 要么搭配 refresh token 使用。用户不需要输密码，直接用有效期更长的 refresh token 向服务端换一个新的普通 token。 不要把 token 的 有效期设置得太长，一旦 token 泄露，其他人可以用它冒用你的身份操作账号，风险很高。 除了控制有效期，我们还要注意 token 使用过程中的安全问题。 token 传输过程中必须走 http 协议，避免 http 明文传输被中间网络节点劫获。就像你不要在公共场合大声念自己的手环编号，避免被别有用心的人抄下来伪造。 拿到 token 后，不要随便存在公共缓存、第三方云同步目录里，涉及转账、修改密码这类高风险操作时，除了叫验 token， 还要加短信验档者类的二次验证。不要觉得 token 有 签名就绝对安全，只要 token 被别人拿到，就能直接冒充你的身份发起请求，和拿到密码的效果差不多。 最后我们来看 token 的 试用场景。现在 token 的 使用场景非常广，前后端分离的 web 应用、手机 app、 小 程序的接口、身份验证基本都用 token， 第三方开放平台的授权也会用。比如你用微信账号登录其他 app 时，微信就是给第三方 app 发了一个带你的身份信息的 token， 第三方不用拿到你的微信账号密码就能识别你的身份。当然，也不是所有场景都必须用 token， 如果你做的是只有几个用户的内部小系统，用传统的 session 验证实现成本更低，不需要硬套 token 方案。以上就是今天关于什么是 token 的 全部内容。

全网都在说 tok， 他 到底是个啥？这是你，这是你的 ai， 你 可以叫他菜包，他啥都知道，但他是个文盲，不识字，只识数。你直接问他谁是最帅的博主，他只会哇哇哇，那他是怎么跟你唠嗑的呢？ 过程是这样的，第一步，拆。先把你的句子像拆积木一样，拆成几个小块，每一块可能是一个字，一个常用词，也可能是标点符号。接下来就是第二步，翻译。菜包眼里没有文字，只有数字，所以它有本词表， 专门把这些小积木翻译成对应的数字，而这串数字就是 ai 能看懂的语言。这时候呢， ai 就 可以读懂你的信息，进行思考，然后再把结果反向翻译成你能看得懂的文字。在这个过程当中，拆分出来的每一块小积木就是一个 tokken， 现在它有了中文名叫词源。很多收费的大模型，就是按照输入思考过程输出中的 tokken 数量来收费。 拆分的积木越多，花的钱也就越多。比如这句话呢，我们用了六个 tokken， 一 块钱的话， ai 读懂你这句话就花了六块钱，你学会了吗？