ai员工token是什么

最近我收到最多的后台私信就是 token。 既然是个新的大众商品，那普通人能不能自己生产 token 自己卖？今天一条视频给你讲清楚。先说结论，能生产，但你算完账，你就不会干了。我们来算一笔账， deepstack 目前最火的大模型，它卖 token 的 价格是多少？输出，每百万个 token 三块钱。 一百万个 token 是 什么概念？大约相当于五十到七十万个中文字，一本书大概十万字，也就是说， ai 帮你能写将近七本书的内容，只收你三块钱。反过来说，你自己要生产这一百万 token， 至少得花几十万买个 gpu， 装一台服务器， 二十四小时不断电。就这样，你的一台机器大概需要十几个小时才能生产出这一百万个 token。 而且这个你还没有算你的工程师维护机房电费和宽带费。 deepsea 为什么能卖三块钱？因为它拥有几万张 gpu， 同时跑，一天处理上千亿个头梗，成本被摊到几乎为零。这就好比你自己在家养了一头牛，挤了奶想拿出去卖，一瓶卖五块， 你觉得能赚，但是你一算，买牛花了两万，饲料每月两千，一天只能挤几斤奶，隔壁蒙牛一天出几千吨，一瓶卖三块钱还能赚？你的奶不比它的差，但是你的成本是它的一百倍还要多。 这就是普通人生产 token 面临的问题，不是做不了，是做了一定亏。所谓普通人在 token 这门生意里的正确姿势，不是自己生产 token， 而是用便宜的 token 去创造贵的服务。 举个例子，你用 deepstack 花三块钱买一百万个 token， 让 ai 帮你写十篇小红书文案，通过小红书的文案带货去赚钱，那么你的成本就是三块钱。 你赚的不是 token 的 差价，是你知道怎么用 token， 而别人不知道的信息差。再举个例子，你用 ai 帮一个小型企业搭建一套 ai agent 的 token， 成本可能不到十块钱，但你收企业五千块钱的咨询费， 企业买的不是你那十块钱的 token， 而是你的判断力和方案。不要去跟巨头抢着生产 token， 要去想怎么用三块钱的 token 创造三千块钱的价值。生产 token 的 钱留给巨头去赚，用 token 去做赚钱的生意，才是留给普通人的机会。我是文思，关注我每天带你看懂 ai。

每一次工业革命，都有一样东西在背后疯狂燃烧。第一次工业革命，蒸汽机来了。蒸汽机本身不值钱， 值钱的是让它跑起来的东西。煤。煤从地里挖出来烧掉，变成蒸汽，蒸汽推动机器、机器生产商品。整个英国的矿山、铁路、钢铁厂，全都围绕着怎么挖更多的煤，怎么运更多的煤来建立起来。煤就是那个时代的核心消耗品。 第二次工业革命，电来了，电本身也看不见摸不着，但他改变了一切。爱迪生建发电厂，特斯拉搞交流电，全世界开始拉电网、发电、输电、配电、用电，一条完整的产业链，养活了成千上亿的人， 创造了通用电器这种巨无霸公司。电就是那个时代的核心消耗品。第三次石油、内燃机、汽车、飞机、塑料化工。整个二十世纪，全球经济都建立在石油上，围绕着石油打了多少仗？中东为什么重要？因为那里有油，石油就是那个时代的核心消耗品。 现在 ai 时代来了，它的核心消耗品是什么呢？ token， 你 可能听过这个词，但不太理解。简单说， token 就是 ai 处理信息的最小单位。 你跟 ai 说一句话， ai 会把你的话拆成一个一个的 token， 然后逐个处理，逐个生成回答。每一次你问 ai 一个问题，每一次 ai 给你写一段文字，画一张画，生成一段代码，背后都在消耗 token。 一个中文字大约是一到两个 toc， 你 让 ai 写一篇一千字的文章，大概就是消耗了两千个 toc， 听起来不多，对吧？赶紧把这个数字乘以全球的用户量， chat gpt 每周九亿活跃用户，豆包 kimi 千万， 中国五点一五亿生成式 ai 用户，每个人每天跟 ai 对 话好几轮，每一轮都在烧 toc。 再加上企业端自动驾驶的 ai， 每秒处理海量的传感器数据，全是 token。 金融公司的 ai 交易系统，每毫秒做一次决策也全是 token， ai 写代码， ai 做客服， ai 审核合同， ai 看片子，全都是 token。 英伟达为什么一年赚两千一百多亿美金？因为生成 token 需要 gpu， gpu 就是 token 的 发电机。英伟达卖的每一块芯片，最终都是在帮客户生产更多的 token。 openai 为什么要花六千亿美元建数据中心？因为数据中心就是 token 的 发电厂。越多的人用 ai， 就 需要越多的数据中心，就需要越多的电力，就需要越多的芯片。 google 为什么要签一百五十兆瓦的地热能协议？因为 ai 的 数据中心太吃电了，生产 token 这件事，最终还是要烧真实的能源。所以 token 这条产业链从上到下是这样的， 最底层是能源发电厂，电网、地热核能给数据中心供电。往上一层是芯片，英伟达、 amd 含五 g 造生产 token 的 发动机。 再往上是云计算，亚马逊、微软、阿里云建 token 工厂，把算力租给别人。再往上是大冒险公司 open ai、 ospec、 deepsea、 月之暗面，它们把芯片和算力变成可以使用的 ai 服务。 最上面是应用层， chat、 gbt、 豆包 kimi 各种 ai 工具，它们是 token 加油站，每个用户来一次就烧一次。煤的时代，谁控制了煤矿，谁就是亡。石油时代，谁控制了油田，谁就是亡。电力时代，谁建了发电厂，谁就是亡。 token 时代，谁能更便宜、更高效的生产和分发 token， 谁就是王。这就是为什么英伟达市值全球第一，所有的科技巨头疯了一样的砸七千亿建数据中心。这就是为什么 deepsea 一 出来，全世界都撼动，因为它证明了用更少的算力能生产同样质量的 token， 等于用更少的煤烧出了同样多的蒸汽。但 token 跟煤石油炼里有一个根本区别，就是 煤你能看得见，能称重，一吨多少钱清清楚楚，石油你能闻到？一桶多少美元，全球统一报价。 电你虽然看不见，但电表会转，每个月你都会收到电费单 token 你 看不见，摸不着，闻不到。你跟 ai 聊天的时候，他不知不觉的会在消耗这个东西。每一次对话，每一次生成，背后都有真实的芯片在运转， 真正的电力在燃烧，真实的成本在产生。 openai 去年收入一百三十一亿美元，亏了八十亿。收入从哪儿来？卖 token 亏的钱花在哪了？生产 token 按 so pick 给 cloud 的 定价，按输入 token 和输出 token 分 别收费。 google 的 gmail 三点一 pro， 两百 k 以下的 token 一个价，两百 k 以上的 token 另外一个价。整个 ai 行业的商业模式底层逻辑就是一句话，生产 token， 卖 token。 未来十年， token 的 价格会像电价一样成为一个关键的经济指标。哪个国家的 token 成本更便宜，哪个国家的 ai 产业就更有竞争力。中国为什么拼命搞国产芯片？因为用英伟达的芯片生产 token 太贵了，还随时可能被卡脖子。 deepstack 为什么重要？因为它把每个 token 的 生产成本打了下来。当年煤价涨价，工厂就停工。油价涨了，航空公司就亏钱，电价涨了，铝厂就关门。未来， token 成本涨了， ai 应用就用不起。 token 成本降了， ai 就 能渗透到更多应用场景，替代更多人力，创造更多价值。 我是文思，你每天用 ai 的 时候，可能从来没有想过这些，但从今天开始，你可以换一个视角看 ai。 你 用的每一个 ai 工具，背后都连着一条从能源到芯片到数据中心到大模型的完整产业链。你敲下的每一个字， ai 回复你的每一句话，都在消耗一种你看不见的资源，这种资源就是 token， 它是 ai 时代的煤， ai 时代的石油， ai 时代的电，只不过这一次烧的东西，你看不见。觉得涨知识了，可以转发给你的朋友看看。关注我，每天带你看懂 ai！

今天我们要聊的是，普通人怎么通过做 token 代理，把大公司的 ai 能力介绍给中小企业，并且用贴心的服务解决他们遇到的问题，从而抓住这个 ai 时代的新机会。是，这个其实是一个非常值得关注的方向，那我们就直接开始吧。 咱们先说说第一个大家常有的疑问啊，就是很多人一听到 token 代理就觉得这不就是一个赚差价的中间商吗？嗯，这个理解对吗？ 其实这个是挺常见的一个误解，大家都会觉得 token 代理不就是跟黄牛一样吗？对，低买高卖赚差价，包括我自己一开始的时候也是这么想的。这么说的话，这个 token 代理和黄牛还真不一样。对，真不一样，因为你深入了解之后会发现，其实， 呃，互联网大厂他们是非常欢迎投肯代理的。是的，甚至可以说，如果没有这些代理，他们的 ai 服务是很难推广到这么多企业的。嗯，因为大厂其实自己是看不上这些中小企业的小订单的，所以他们非常希望有代理来帮他们做这件事情。原来如此啊， 那这些互联网大厂为什么自己不直接服务这些中小企业，而非要通过 token 代理呢？因为大厂的销售团队其实是有限的，他们每个人可能每个月都背着几百万的业绩指标，那他们肯定会把主要的精力放在能签几百万合同的大客户身上。对，比如说金融巨头、大型国企， 因为这样的一个订单就足够他们忙活好久了。所以说中小企业的订单太小了，大厂根本就无暇顾及。没错没错，就全国有几千万家中小企业，可能一个小老板一年就只想花个三五千来试用一下 ai。 嗯，那这一点点钱 还不够给大厂的销售发工资和报销邮费呢。所以，大厂不是不想服务他们，而是在商业逻辑上划不来。是的，他们没有办法为了这点收入去耗费大量的人力和时间了解了。那托根代理到底是怎么把大厂的 ai 和中小企业连接起来的呢？是这么回事，虽然说这些中小企业数量庞大， 他们的需求加起来是非常可观的，但大厂自己是没有办法服务这么多小客户的。所以，这时候 token 代理就像一座桥，把大厂的 ai 模型、推理、服务啊，这些能力带给了这些 不懂技术，但是又想用 ai 来赚钱或者省钱的小老板们。既然如此，为什么大厂他们自己没有办法把 ai 技术直接卖给这些中小企业呢？这是因为大厂他们虽然很会研发技术，但是他们只会用 api、 sdk、 推理服务这些专业术语沟通。嗯， 可对于中小企业老板来说，他们根本听不懂这些东西，他们关心的就是这个东西能不能帮他们多卖货，能不能帮他们节省成本。是的，而这恰恰是大厂的短板。听起来大厂和中小企业之间真的是有一道圆的鸿沟啊。是的，是的，这个时候 token 代理就像一个翻译官，又像一个落地帮手，他会把 啊 ai 的 能力翻译成通俗易懂的话。嗯，比如说客户想节省人工，那代理就会告诉他，这个 ai 客服可以顶三个真人客服还可以全天候工作。是的，如果客户说他想要提升销量，那代理就会说， 这个 ai 可以 帮你自动写爆款文案，自动处理订单，客户根本不用担心不会用，因为代理会帮他全程配置和调试，有问题还可以随时找代理解决。 这么说的话， tocan 代理是不是其实卖的不是 tocan 本身？完全正确， tocan 代理其实卖的是解决问题的方案。嗯，就像把大厂的 ai 能力这个发动机装到不同的车上，然后再交给有不同需求的小老板。是的，这种定制化的增值服务是大厂做不来也不想做的。明白了， 那我想问一下大家最关心的问题，投肯代理这个生意到底能做多久？会不会有一天大厂突然说要自己做中小企业市场，那这些代理不就被踢出局了吗？其实这个担心完全没有必要，就云计算，从二零零六年亚马逊推出 ec 二到现在已经快二十年了。 嗯，云服务器和云存储都已经非常标准化了。但是市场上依然有多如牛毛的云服务代理商就有上万家啊。 这么说的话，就算技术再怎么普及，代理商依然是有存在的必要的。对啊，因为中小企业永远都需要有人帮他们选配置，帮他们数据迁移，帮他们呃快速的响应解决问题。是的， 所以技术越普及，他们对于这种本地化的贴身的服务需求反而会越来越大。这么看来， ai 领域的 token 代理也是一样的道理吧？没错没错， 因为现在虽然大模型越来越厉害，但是大部分的中小企业老板连什么是提示词都不知道，更不要提什么微调 r i g 搭建知识库了。是的，那这个时候代理就可以帮他们搭建环境培训基础，然后随时响应他们的问题， 这种面对面的服务是大厂永远没有办法取代的。确实，那我们接下来要聊的就是普通人到底能不能抓住 token 代理这个机会。因为很多人一听到 ai 就 觉得门槛太高了，觉得自己又不会写代码，又不懂算法，那是不是就根本没有办法参与？其实完全不用被技术吓到，就真正靠 token 代理赚到钱的人， 并不是说他的技术有多牛，嗯，而是他真的知道客户遇到的问题是什么，然后能够找到合适的 ai 工具，帮客户把问题解决掉就可以了。哦，那看来技术其实只是一个很小的环节，关键还是要懂客户需求。是的是的，比如说你身边有开网店的朋友，每天要手动回复上百条客户消息， 那你只要给他配一个 ai 自动回复机器人，一个月收他五百块钱，他也很乐意，因为他节省了一个客服的工资， 而你也赚到了钱。对，这个过程你根本不需要写代码，你只要会用那些现成的工具帮他配置好，能处理一些常见的问题就可以了。哎，那除了这个网店客服的场景，还有没有其他的例子可以举？当然有啊，比如说你小区里面有做自媒体的邻居，他可能每个月花几十块钱 就可以使用 ai 写作助手，帮它生成爆款标题和文案。那你想，一个小区可能有几百个这样的潜在客户，你每个月的收入是不是也很可观？而且你根本不需要懂算法，你只要会用这些工具就可以了。懂了懂了， 那投坑代理这个事情是一个短期的风口，还是说可以长期做下去的？这个绝对不是一个赚快钱的事情，就云计算代理都已经安稳的做了十几年了，现在依然很赚钱。嗯，那 ai 行业现在才刚刚开始，未来大模型肯定会越来越便宜，功能会越来越强大， 那想要用 ai 的 中小企业肯定也会越来越多，所以这个市场是会持续扩大的。所以说即使 ai 普及了，大家对服务的需求还是不会消失的，因为大部分的企业还是需要有人手把手教，需要有人帮他们解决问题的，那这个服务的缺口只会越来越大。 嗯，所以 token 代理是一个可以长期做的正经生意，而且现在其实还处于一个很早期的阶段，可能还要两三年的时间才会彻底爆发， 所以现在大家完全可以慢慢的学习，然后找准时机再进场。行，那今天我们其实聊了很多关于 token 代理，不是一个简单的赚差价的事情，而是一个 真正可以帮中小企业用 ai 解决问题的，然后又可以长期做的一个正当生意。好的，那今天的内容咱们就到这里了，然后谢谢大家的收听，咱们下期再见吧。

你必须看懂了 token 财富逻辑！停下手中的工作想一想，如果未来你的工资不再按上班时长结算，而是按一种看不见摸不着的单位结算，你的核心竞争力还在吗？ 每次用 ai， 你 都会看到一个 token， 别以为这只是一个技术名词，它正在悄悄砸碎很多人的饭碗。为了让大家听懂，我们借用一个经历，早期互联网的流量， 当年我们每个月只有三十兆流量，看几张图都心疼。现在的 ai 就 处于这个流量很贵的阶段。 ai 就 像互联网，而 token 就是 流量。 比如你丢给 ai 一 份事业的合同，让人体验风险。 ai 不 认识人类的汉字，他只会把你的指令碾算成机器能懂的最小单位，这就是 token。 你 对 ai 每一次提问，都在燃烧底层的算力消耗头肯，你可能觉得现在的 ai 工具不都是免费的吗？千万别被这个暂时的免费蒙蔽了， 这只是巨头在替你赚烧钱赚流量。看看最近冲上热搜的新闻，一直主打免费的豆包都已经在应用商店挂上了付费订阅声明，每个月收费六十八元到五百元不等。 为什么要收费？因为真实的算力太贵了。据知情人士透露，简单的闲聊虽然继续免费，但你只要想让 ai 去干点高级的工作量工作，比如生成商业 ppt， 做深度数据分析。 由于这类复杂任务会消耗海量的算力资源和推理时间，就必须独立计费。当算力不再无底线补贴，当所有的复杂劳动都要明码标价时，一个颠覆性的变化就彻底降临了。 社会的劳动成本竟能从时间函数变成计算函数。举个例子，李老板雇人写一篇爆款软文，需要两天，成本八百块。他买的员工是不可逆转的生命片段，这里面包含了员工喝水摸鱼、情绪低落的损耗。但如果李老板用 ai 呢？十秒钟就能出稿？ ai 没有情绪，不卖时间，他只做了一次计算，消耗了一定数量的 token。 这不仅仅是写文章变便宜了。往深了看，这是人类智力正在被工业化。 就像一款售价二百九十九元的三 a 游戏，你买的不是代码本身，而是几百个程序员几万小时的智力议价。但现在， ai 消耗 token 就 能直接生成场景原话和底层代码， 旧规则就被彻底打破。第一，效率指标变了。以前花更少的时间赚更多的钱，以后则是用更低的成本托管，办更大的事。第二，劳动的力被彻底水电化。 未来高级脑力劳动就像家里的自来水，你只看水表跑多少度去付钱。老板不再关心是谁写的方案，他只看这次生成消耗多少托管。 这不仅是老板的账本，更是国家层面的博弈。如果说石油是工业时代的血液，那 toc 就是 数字智能时代的新石油。 未来的竞争，不再是谁的流水线更长，而是谁能生产出更聪明、更廉价的 toc。 谁掌握了 toc 的 定价权，谁就掌握住未来的咽喉。那么，普通人该怎么办？ 记住历史的规律，当技术突破托肯不再昂贵时，应用就会大爆发。当年真正赚到大钱的，不是去深山老林建新号基站的人，而是用网络做短视频、做电商的人， 所以别去焦虑怎么写代码，怎么搞大模型，真正的红利永远在应用层，学会利用这些托肯去解决你手头现实的问题。看懂托肯是为了在下一个时代发车时，你能拿到一张不被淘汰的船票。

最近科技圈流行起来了一个新词， tok。 什么是 tok？ tok 的 中文名词叫磁源，是 ai 大 模型处理信息的最小单位，日常用 ai 写文字、做视频都需要消耗 tok。 你 可以这么理解， 大模型输入和输出的单位就是 tok。 它就像 ai 时代手机的流量一样，每一个 ai 模型厂商都会提供自己的 tok， 并且以它的消耗量为单位向用户来收费。很多人好奇 tok 消耗到底怎么算， 给大家整理了最直观的参考，一看就懂。日常聊天，一轮问答大概消耗一百到三百 toto 生成一张高清图片，消耗约一千到五千 toto， 完成一次复杂任务，比如做 ppt， 消耗则在三千到五千 toto 不 等。 随着小龙虾智能体的暴涨， toto 调用量迎来了新一轮的暴涨。到今年三月，我国日军 toto 调用量已经超过一百四十万亿， 相比二零二四年初的一千亿增长了一千多倍。面对这一变化，点动科技快速响应，一拖粤港澳大湾区超七千匹推理算力集群， 针对个人、企业推出提供全站式 token 解决方案，按需消耗、按量结算，用量越大，单价越低，解决大家用 token 贵、用不起的痛点。有人说， token 就是 ai 时代的水电， 过去手机流量，移动互联网时代刚需，现在算力 token， 人工智能时代刚需。

今天我们来聊一个 ai 圈最近比较火热的赛道，普通人呢，只要有执行力就能参与，目前还是蓝海，我看了一下呢，好像没有博主拆解过啊，这个赛道呢，叫做托肯进口，也叫 api 中转了， 虽然现在做的人有很多啊，但是它目前还是依旧是风口。它的核心逻辑呢，就是把国外顶级的一些 ai 企业的大模型啊，给它进口，给国人去用。它的需求主要来自于桌面级的 ai 应用啊，比如说我们耳熟能详的小龙虾， open ai 的 codex 以及 arcope 的 code code。 这台桌面级应用呢，比平时用的豆包啊有什么区别啊？它是可以直接在我们的电脑上操作软件的，帮你去干活做事，比如说帮你编程啊， 剪辑啊，写代码，复盘甚至交易。随着桌面级应用的趋势更加的成熟啊，大家对于 token 的 需求呢，就会爆发式的增长。 ai 呢，不再是只是聊天的工具，而是真正能帮你去干活的智能助理，也就是所谓的一元公司了。既然呢雇了员工，那就要支付工资了对吧，而这里的工资呢，就是根据 ai 所消耗的一些托管来进行计算的了。目前的情况呢，国内的大模型虽然便宜，但是呢能力确实是不够强， 如果全球顶级的 ai 是 硕士的水平，那目前呢，国内可能就是本科的水平。因此呢，有大量的开发者或者企业依然需要高智商的国外 ai 顶级大模型来帮忙。以及我现在在使用的 clodak 为例啊，平均呢，每读取百万 通肯需要五美金，大概呢约三十五块钱人民币左右，其实很贵啊，深度使用一个小时几十美金就没有了， 重度使用一天呢，可能就要烧掉一百多美金哈，这个成本呢，甚至比雇一个真人还要高啊。当然了，它的效率确实是非常快的，于是呢，需求都出现了啊，大家呢，需要外国的一些大模型，但是呢，官方的价格太贵了，怎么办？ api 中转向这个生意就油然而生了。 这门生意呢，其实是游走在灰色的一个地带啊，有点像苹果早期售后比较宽松的时候啊，黄牛故意搞坏一些机器，然后呢去刷机，去骗取呃，苹果的一个售后。这门生意呢，分为三层，第一层呢是提供托管的人，这个些托管明明来自于官方，怎么会那么便宜呢？哼， 手段很多了。呃，比如说第一种呢，就是违规盗刷了，在国外盗刷信用卡买到额度之后呢，再转卖给国内啊，进行售卖。第二种呢就薅羊毛了。微软呢，有一个扶持初企 创业的一个项目，帮助一些刚刚兴起的企业啊，它会赠送一些几万美金的一个免费托管额度， 有些人呢，就专门去注册一些空壳的一些公司，然后去耗这个福利。第三种呢，就是批量的组建号池，比如说一个账号啊，基础会员是二十美金，我们呢就用不同的邮箱注册几千个账号，每个账号的额度呢，在五个小时内去用完，他就会去重置。 单一账号不够用啊，那你有几千个账号呢，那系统就可以智能的去调整这个额度， a 账号用完就切 b 账号，通过这几种手段呢，资源方就能提供价格远低于官方的价格，但是稳定性就是有点 一般了，那他们是怎么赚钱的呢？去闲鱼上面搜一下，你就能看到大量的一些低于官方的商品价格，比如说官方价是一千四百多块钱的 cloud max 会员， 咸鱼上面好像七八百块钱就能买到了，据说他们底层拿货成本只需要一百多块钱人民币。你想一下，经过层层代理呢，转卖个七八百，层层代理代理商呢？还能赚个一两百，哇，多恐怖的一道生意啊。 除了赚差价啊，我们还有两种更黑的一些赚钱方式，比如说卖用户数据，用户每次使用桌面应用的时候，他是不是会对话啊，跟我们聊天啊 啊，他会产生真实的输出数据，中转上呢，会获取到这些数据之后呢，全部打包卖给国内的模型进行去训练，相当于用户不仅给我们花了钱，还免费给我们提供了变现的筹码。你想一下，偷换模型是第二种方式了， 标价卖的是顶级模型的一个名字，但实际上呢，给你偷偷换成一个低配版的模型，甚至是国内版 一些很垃圾的模型，所以呢，它的成本就会大幅度的降低了。用户在使用 a p i 的 时候呢，它根本就没办法去验证到底是错的还是对的，它就只会还一直用，它一开始非常聪明，但是越用越笨，这就是一些低模型的问题所在，又拿不出来任何证据去找它。 所以呢，用户使用这种中转 a p i 面临极高的风险性，比如说你的数据被泄露呀，啊，隐私被转卖呀，甚至中转站随时有可能全款跑路哦。 如果你想要干这一行的话呢，目前入局确实有很多啊机会，但是呢，现在的市场需求啊，他持续在上涨当中了，所以呢，依然他还是有点赚钱的空间的。 但是最大的问题是存在于这么深意的技术门槛太低了，但风险的抗压能力非常的高。比如说官方呢，他每一个阶段都有一个大量的封号行为，就会去扫号，然后呢把一些行为异常的账号直接给他封禁掉。 那你想一下，你就会面临到一堆售后维权的问题了。这又是 a p i 中转上这门生意背后的一个全貌了。我是玲子，我们下期再见。

token 是 如何被计算出来的？之前呢，我们用了五期视频全面讲解了 token 到底是什么，全网呢有一百万播放，感谢大家的催更。这次呢，我们继续出发探讨 token 到底是如何被算出来的，最后的结果一定会让你发出原来如此的惊叹。 在模型推理阶段呢，完整流程一共分为七步。第一步呢，用户输入提示词，比如我们输入用苹果手机拍苹果这句话。第二步呢，模型将这些提示词切分成一个个托管，并得到每个托管的数字 id， 切分的依据呢，就是这个文件中的词表。 第三步，模型根据这节 token id， 从词切入矩阵中取出对应的词切入向量。比如手机的 token id 是 八五四九，对应的切入向量是这样的，苹果也是这样的。一大堆数字，为了方便演示呢，我们只取前四个数字作为演示势例。 到这里，一句话就被转为了多个数字向量。熟悉限限待数的朋友可能已经意识到，我们可以用一个矩阵来表示这句话，模型呢，也可以通过矩阵运算实现并行计算。第四步呢，模行为每个 token 呢添加位置编码，标记它们的先后顺序，否则模型无法区分你爱我还是我爱你。 位置编码的公式呢，不同模型会略有差异，具体公式呢，这次我们就不展开了，实际的效果就是在没有添加位置编码的时候，这两个不同位置的苹果向量都是一样的。添加了位置编码后呢，两个苹果的向量就变得不一样了，这样模型就能区分不同位置的 token。 第五步，模型读取这些添加了位置编码的向量，通过多层 transform 计算，最终得到了一个理想的预期向量。具体的算法细节呢，可以查看我之前发的 transform 模型讲解视频。 第六步模型呢，将这个理想向量与词表中所有的拓客向量进行比对，计算它们之间的相似度。 这就好比相亲亲友智囊团先定义出理想型男友的标准，身高一八零，有房有车、大城市户口等等，但实际情况是，没有人能百分之百符合这个条件。模型呢，就拿这个标准作为打分依据，对每个后选男嘉宾呢进行打分，也就是计算相似度。 第七步模型，根据计算出来的相似度，取出其中一个后选托肯作为模型。本次的输出 分越高，被选中的概率呢就越大，得分越低呢，选中的概率就越低。这也就是之前说的模型输出具有一定的随机性，不同时间问同样的问题，回答可能会不同。比如这个例子中，候选词照片十逗号，得分相对比较高，都有可能被选到。 最后，模型把选中的 token 拼接到已有的输入中，重复第三步到第七步，一个接一个的输出后续内容，直到模型输出结束符，这才停止输出，结束整个回答。所以你看，模型不是凭空生成内容，而是在做选择题，而每一次的落笔都是一次十万分之一的遇见。

托肯到底是什么？什么几万个托肯，一次对话消耗多少？托肯，你一定想搞清楚这到底是什么意思？今天一分钟给你讲明白什么是托肯。 一句话，他就是 ai 干活里面所消耗的最小单位。我们看到的世界是文字、图片、声音，但 ai 不 一样，他看到的其实就是一串数字。你打一句你好，在他眼里会参分成一小块一小块的托肯，你可以把它理解成 ai 世界里的积木，所有复杂的语言，其实都是这些积木拼起来的。 那一个字就是等于一个 token 吗？也不一定，英文和中文有一定区别，英文里像 hello word 其实就是一个 token， 但像 running 可能会被拆分成 run 和 ling。 中文就比较简单，也更加消耗托克。多数情况下，一个字就是一个托克，比如你好，基本就是两个托克，这意味着什么？同样一句话，用中文写一般会更费托克，换句话说，用英文写会更省钱。关注我，下一期我们讲有关托克消耗的内容。

token 翻译成中文叫什么？叫词源，是模型处理文本的最基本单位。 token 和字呢？有什么区别？ token 呢，可以是一个字，一个词，甚至半个字，那这是谁规定 的？是模型看了大量人类文字统计出来的，这样表达呢，更省事。常见的字和词就用一个 token 表示，其他的就用多个 token 拼接。 一个 token 到底是多少钱？ deep 呢？输出一百万 token 呢？约等于三本新华字典只需要三块钱， gpt 五呢更贵，超过九十块 token 和上网流量收费是一样的道理吗？不是的， token 收的是计算费，是生产成本，而流量收费呢，是搬运费，不是一回事。为什么养龙虾要烧 token？ 是 因为龙虾要用大模型思考和回答问题，因为大模型按 token 收费，所以就说烧 token。 本地部署大模型是不是就不用烧 toon 了？还是要用到 toon， 因为 toon 机制本身和部署方式无关。本地部署呢，不需要按量付费，但电费得自己掏，算上硬件成本不一定划算。如果我把一段话复制粘贴进去，是不是就算一次 toon 不是 文字越多呢？计算的输入 toon 数量就越多？ 我问的问题很长，但答案很短，是不是只扣答案的 token 不是， 输了 token 呢？也要算钱？表情符号算几个 token 会不会比一个字还贵？常见的表情呢，是一个 token， 不 常见的会用两到四个 token 拼接表示。 deepsea 和 gpt 的 token 是 一样的吗？ 不一样，互相不认识。 y， y， d， s 这种网络词是几个 token， 一 般拆成 y， y 和 d s 两个 token， 要是这个词足够火，也可能被模型当做一个整体。同样的问题，我上午问和下午问，输出的 token 数会不一样吗？不一样，模型输出具有随机性，每次输出的 token 数量不同。 那小龙虾帮我下载电影是否要按 token 计费？小龙虾思考怎么下载？打开下载网站，执行下载命令，这些都需要消耗 token， 但是下载电影本身不消耗 token， 因为电影不是大模型生成的， 电影是存在第三方服务器上，只消耗下载流量，不消耗 token。 为什么我和 ai 聊得越久，回复同样一句话，花的钱就越多？ 模型是基于对话历史进行回答的，所以你所有说过的话呢，都会参与计算，计算成本就越高，这也是 ai 还需要按照输入 token 数量计费的原因。 怎么才能少用点 token 输入更少的提示词去掉？你好，请问这类废话规定模型输入长度，加一句五十字以内回答，但很有可能问题没有说清楚，回答呢也不够准确。如果前后问题呢？不相关也可以新开对话，避免历史对话参与计算。 托管是加密的密码吗？不是，托管只是一种文字编码方式，虽然你看不懂，但他并没有加密。 图片和文本的托管是一样的吗？不一样，图片会切分成很多小小的方块，每个方块呢？当做一个视觉托管，就像拼图一样。托管是为了收费而发明的吗？ 不是，托管是技术发明，是为了能表达和能计算，只是计算的成本和托管数量正相关，所以就按照托管数量收费。我使用豆包没有付费啊。为什么说托管是收费的？大厂为了抢占市场让你免费使用，成本呢？暂时不用你出， 如果你是企业用户或者养龙虾就需要支付费用。我在一段话里疯狂敲空格， ai 是 视而不见还是会偷偷扣我的钱？ 空格也算钱，虽然有的模型会把几个空格打包，大部分时候你多敲一个空格就再多烧一份算力。那 ai 产生的废话是不是能退费？不能，因为废话也是显卡辛辛苦苦算出来的。

别再硬背 ai 黑化了，把 ai 想成一个办事团队，你马上就能听懂。第一， holden。 他 就像把你说的话切成一张张小纸条， ai 先看这些小纸条，再理解整句话。第二，提示词， 提示词不是咒语，就是你给 ai 交代任务，你说的越清楚，他越知道该怎么做。第三，上下文 就像给员工资料包，受众是谁，目标是什么，参考资料有哪些，都要一起给他。第四， agent。 他 向真正去办事的项目经理会拆任务，做计划，调用工具，然后一步一步执行。第五， harness。 他向公司的工作流程规定， a 诊的先做什么，后做什么，什么时候检查结果，防止他乱来。第六， m c p。 你 可以把它理解成统一插座，让 ai 接上文件、浏览器、数据库和各种软件工具。 第七， skills。 它就是 ai 已经练会的拿手活，比如写文案，做表格，写代码，生成图片。最后一句话，记住，你交代任务，给他资料，他派 agent 去执行，接上工具，调用技能，最后交付结果。

今天咱们来聊一个你可能天天听到，但一直没搞明白的词。 token 这个词听着是不是像金融圈的代币或者程序员敲的什么神秘代码？但今天我用几分钟，让你不仅懂它，还能让你在朋友面前装个大的。 咱们来打个比方，假设 ai 是 一个正在玩乐高的三岁小孩，你给他一本红楼梦，说给我讲个贾宝玉的故事。 ai 不 会魔法，他得先把这本厚厚的书拆成一块一块的小积木，这就是 token。 假是一个积木，宝是一个积木，玉是一个积木，句号也是一个积木。然后他把这些积木编号、理解、存储，最后拼出一个新故事给你。 所以 token 就是 ai 看世界的最小积木块。你写，我喜欢吃火锅， ai 眼里是，我喜欢吃火锅，四个 token 你 写 chad gpt， 真牛。 ai 眼里是 chad gpt， 真牛。一共四个 token， 因为英文单词可能会被拆。 ai 其实是个文盲，他只认识数字。 token 的 作用就是当翻译官把每个积木块词或者字变成一个数字编号。比如我是幺二五， 喜欢是三零六，吃是七八，火锅是四四二零，然后 ai 就 看着这些数字开始疯狂计算。幺二五后面常常出现三零六，三零六，后面可能是七八或者八八八，他根本不知道火锅是什么味道，他知道火锅辣， 冬天好吃。这些偷看经常一起出现。所以 ai 其实是个超级统计学家，不是真正理解， 但是他演的太像了。如果你用过任何 ai 的 付费 a p i， 你 会发现 token 就是 流量，流量就是钱，你说的话占多少？ token 收费， ai 回话占多少？ token 收费每一千个 token 大 概几里钱？但积少成多，聊嗨了可能一顿饭钱就没了。 所以下次和 ai 聊天，别废话连篇，省 token 就是 省钱。顺便给个参考啊，一个汉字约等于一至两个 token， 一 千个 token 约等于七百五十个英文单词，一部翻体三部曲约等于九十万个 token。 你 看 ai 读完整套翻体也就几块钱，是不是比买纸质书还便宜？我觉得 token 这个东西还是特别有意思的，它就像 ai 的 呼吸频率， 以前的 ai 一 次只能呼吸两千个 toc， 大 概一千五百个字，聊着聊着就忘了开头，像鲸鱼一样。 现在的 ai 能呼吸二十万个 toc， 可以 陪你读完一本小说，再和你讨论细节，这是质的飞跃。但更有趣的是，人类说话也有 toc 密度，有人一句话说半天没重点。 toc 多但信息少，有人三言两语就能直击要害。 toc 少但质量高， ai 在 拼命堆 token 求智能，我们人类却可以用有限的 token 创造无限的可能，这不就是我们探击生物的优越感吗？

大家好，今天我们来聊一个 ai 领域的基础概念， token。 很多人听说过这个词，但不知道它到底是什么，我会用一条视频讲清楚 token 到底是什么。 首先我们上个视频了解了大模型，那其实大模型内部呢，就是一堆数学函数，那大模型是怎么理解我们所说的话呢？是不是中间就得有一个翻译官呢？就叫做 tokenizer， 它主要有两个功能，编码 和解码。那我们先举个例子，比如我说 jerry 讲的 ai 视频，怎么样？大模型会收到一串数字， 那这个过程是怎么来的呢？首先在编码时，它需要把我们刚刚的句子进行切分，切分的这些最小单元就叫做 token。 切换完之后呢，我们再进行编码，那每个 token 会对应一个数字，我们把这个数字叫做 token id， 大 模型就是通过 token id 来理解我们所说的内容的，那当大模型理解后，要给我们的结论的时候，它会输出一个 数字，这个数字经过解码后就直接变成我们想要的结果了。在解码的过程中是不需要切分的，这个和编码的过程有些不同，前面的概念更像从微观的视角来看 token， 那 么我们从宏观来看一下，其实 token 等于 电力加算力。为什么这么说呢？训练大模型需要消耗大量电力和 gpu 算力这些资源投入， 最终转化为 ai 服务能力。 token 就是 这个服务的计量单位，就像电费一样，你用多少 token 就 付多少费用。大模型供应商通过 api key 的 方式提供服务， 用户购买了 token 来使用 ai 能力。我们国家电力很便宜，通过算力再包装一下 token 就 变成了一个可交易的产品，这个就是 ai 时代的新商业模式。说完这些你懂了吗？那最后我们总结一下，一 token 是 ai 处理语言的最小单位。 二 tokenizer 包含编码和解码。三，编码呢是文本转换成数字，那解码呢，是数字转换为文本。四、 token 等于电力加算力理解 token 能帮助大家更好地使用 ai 工具。记得点赞加关注，学习不迷路。

你每天都在用 chat、 gpt、 cloud gemini、 deepseat， 但你可能一直忽略了一个最基础也最关键的概念， token。 很多人以为 ai 是 按字数理解你的问题，按字数计算费用，但实际上不是。 ai 真正处理的不是一个个汉字，也不是一个个单词，而是一个更底层的单位， tocan。 你 可以把 tocan 理解成文字进入 ai 模型之前被切分出来的最小语言单位。它可能是一个字，也可能是一个词，也可能只是一个词的一部分。 比如，我喜欢人工智能这句话，在人眼里就是七个汉字，但在模型眼里，它可能被拆成其他形式。 不同模型、不同分词器对同一句话的拆分方式不一定完全一样。所以这里要记住第一点， token 不 等于自述。这也是很多人算 ai 成本时容易犯错的地方。 你以为你只输入了一小段话，但在模型系统里，它已经被转换成了一串 token， 然后这些 token 会继续被转换成数字。因为大模型本质上不是直接读文字，它不是像人一样看到一句中文，然后理解意思，它真正处理的是数字。整个过程大概是这样， 文字先被拆成 token， token 再被编码成数字。数字进入模型参与计算，最后模型再把计算结果转换成 token， 再还原成你能看懂的文字。所以， token 是 什么？一句话说清楚。 token 是 文字进入 ai 模型之前的编码单位， 它是人类语言和模型计算之间的中间层。理解了这一点，你就能理解很多 ai 产品里的核心设计。比如，为什么 ai 按 token 计费， 因为模型每处理一个 token 都需要消耗计算资源，你输入的内容越长，模型要处理的输入 token 就 越多，模型回复的越长，生成的输出 token 也越多。所以 ai 的 成本一般可以拆成两部分， 输入 tocan 加输出 tocan， 你 给他一篇一万字的论文，让他帮你总结，这就会消耗大量输入 tocan， 你 再让他输出一篇三千字的分析报告，这又会消耗大量输出 tocan。 所以 很多 api 价格表里会分别写，输入多少钱、一百万 tocan 输出多少钱、一百万 tocan 为什么输出通常更贵？因为生成内容比读取内容更消耗算力。模型不是一次性把答案吐出来，而是一个 token， 一个 token 的 预测下一个内容， 它每生成一点都要继续计算，所以你让 ai 写得越长，成本就越高。这也是为什么有些平台会限制你的使用次数，上下文长度、输出长度。不是平台故意抠门，而是背后真的有算力成本。 再往下看， token 还决定了另一个非常重要的能力。上下文窗口，你经常会看到一些模型宣传，三二 k 上下文、幺二八 k 上下文、二百 k 上下文，甚至一 m 上下文。 这里的 k 不是 字数，也不是词数，它说的是 token 数量。上下文窗口本质上就是模型一次最多能处理多少 token。 比如一个模型支持幺二八 k 上下文，意思就是 你输入的内容，历史对话系统提示词，模型要生成的回答加起来不能超过这个 token 容量。这就像一个人的工作台， 上下文窗口越大，工作台越大，你能一次性摊开的资料就越多。所以，长上下文模型更适合做什么？适合读论文、读合同、读代码库、分析长文档、整理复杂项目资料。 但这里也有一个误区，上下文越长，不代表模型一定越聪明，它只是能一次性看更多内容， 能不能抓住重点，能不能推理，能不能总结出真正有价值的结论，还要看模型本身的能力。所以，判断一个 ai 产品，不要只看上下文窗口有多大，还要看它的推理能力、信息提取能力、稳定性，以及常上下文下是否会丢细节。 token 这个概念虽然听起来很技术，但它其实直接影响你使用 ai 的 体验。它决定了三件事，第一，你能输入多少内容。第二， ai 能记住多少上下文。第三，你使用 ai 的 成本是多少？ 所以，为什么同样是问 ai， 一个人觉得很便宜，另一个人觉得额度一下就没了？核心差异往往不在问题数量，而在 token 消耗短，问题短、回答消耗少，长文档长、对话长、输出消耗高。 尤其是你让 ai 帮你改论文、分析代码、处理报告的时候， token 消耗会非常快。因为这类任务不是简单聊天，而是在让模型处理大量上下文。最后总结一下，你只需要记住三句话， token 是 ai 的 文本单位， token 决定使用成本。 上下文窗口本质上也是 tocan 数量。理解 tocan， 你 才能真正理解 ai 产品的价格、额度、上下文窗口和能力边界。也就是说， tocan 不是 一个冷冰冰的技术词， 它是你理解 ai 产品最重要的入口之一。因为大模型时代，谁能更好地理解 tocan， 谁就能更清楚地判断哪个模型更适合，常闻到 哪个产品更划算，哪个会员更值得买，以及为什么同样一次对话，有时候成本会差很多。这就是 token ai 世界里最基础但也最容易被忽略的语言单位。

你看过吗？ token 正在悄悄改变人类的财富格局。这可不是科幻。黄仁勋最近举例说，他发现一个年薪五十万美金的手下，一年只花五千刀买 token， 他 会恐慌死。为啥？ 因为他不关心你加班多久，只在乎你是不是让 ai 算力像流水一样哗哗烧。但我们天天用 ai 工具，像豆包、 dipstick， 咋没感觉 token 的 存在？简单说， token 就是 ai 工作的计量单位，和你手机的流量包。十年前看视频烧流量有价码，但现在， ai 的 每个问题、每个回答、思考过程，都在默默消耗 token。 普通问题提问少，你忽略了，但当你开专家模式或让 ai 搞研究做 ppt， 它就得拉群写作，消耗飙升一百万 tokin， 机票 app 直接弹窗让你掏钱，费用不费。说白了，买 tokin 就是 买提问权，买 ai 的 深度智慧现在更萌，硅谷流行 tokin max 比赛，比谁消费多？有人一周刷两千一百亿 tokin 够填满为几百颗三十三遍。有的工程师 ai 写代码，月账单十五万美金， shopechat 这些公司都把 token 用量写进绩效奖励，用 ai 的 淘汰不用者，全球巨头正在把它当作第四薪酬。为啥 token 成了新生产资料？会不会是划分阶级的最后机会？二零二四年，中国日均消耗一千亿 token， 三个月就冲到一百四十万亿， 两年涨一千多倍，技术变更史无前例。黄仁勋的英伟达已经转型，芯片、服务器全瞄准造 toc 工厂，目标是把 toc 标准化生产，像水电一下量价，结果 ai 杀入实体经济，沃尔玛、丰田等巨头都用它驱动自动驾驶医疗机器人。一百一十款工具在 gtc 大 会上亮相，但警惕 ai 接管物理动作时， token 消耗指数增长，顶级算力变稀缺品，到时候工作会不会更卷？贫富差距艰难撼动，脑力价值可能更加的崩塌？你准备好当 token 的 主人还是燃料？关注我，一起解码 ai 未来！

对 ai 感兴趣的你肯定好奇 token 究竟是什么？一个视频给你说清楚。 token 翻译成词源，听着很玄乎， 其实说穿了就一句话， ai 不 认字，只认数字。所以你写的话，它得先拆成一串小碎片，给每个碎片编个号，然后再处理， 这个碎片就是 token。 那 到底怎么拆？拆的规则不是按字，也不是按词。比如我喜欢吃苹果，可能拆成我喜欢吃苹果四个 token， 但我喜欢吃苹果派，就可能拆成我喜欢吃苹果派五个 token。 因为 ai 从海量数据里学到了，苹果经常单独出现， pi 也经常单独出现，他觉得拆开更合理。英文也一样， smart 是 一个 token， smarter 是 两个 smart 和 er， 他学会了二代表根。拆完之后，每个 token 对 应一个数字编号，你输入的话，在 ai 眼里就是一堆数字。他做的事情很简单，看这串数字，猜下一个数字是什么，猜到了再把数字变回文字输出给你。你看到的所有 ai 回复背后都是这个猜数字游戏。 知道 token 是 啥，你就懂了三件事，第一，为什么 ai 聊久了会失忆，因为他的 token 额度用完了，记不住那么长的对话。 第二，为什么用 ai 要花钱？因为它是按 token 数量计费的，输入输出都算钱。第三， ai 其实不理解你的话，它只是用 token 拼出了最像正确答案的东西。最后一句话总结， token 就是 ai 看世界用的那块最小积木，拆得碎碎的，编上号，然后开始拼。

token 到底是什么？是钱吗？是字数吗？为什么每次都不够用？ token 就是 ai 理解的最小语言单位。比如 hello， how are you 这一句话会被切成五块， ai 一 块一块地吃。 中文更夸张，我喜欢吃火锅，才四个 token， 但魑魅魍魉也是四个 token。 复杂字等于更多 token， 所以 ai 看文言，文笔看白话，文贵， 所以写 prompt 最好用大白话，省钱，但也别太短，不然 ai 听不懂你又要重发更贵。最好的 prompt 等于简单但完整。