粉丝90获赞758

大家好,我是你们的科普达人,今天咱们来聊聊个人开发者怎么低成本入门 tocan 生产。很多朋友可能觉得 ai 模型部署门槛高,成本贵,其实只要配置得当,咱们普通人也能玩转。先说说硬件怎么选, 如果预算在一万五以内,想先试试水,那 rtx 四零九零 d 或者四零九零显卡是首选。二十四 gb 或十三 b 的 模型,搭配 i 五或 r 五的 cpu、 三十二 gb 内存, e t b 的 nvme 固态硬盘,再加上一千瓦的电源和一套散热好的机箱,总价大概一万一到一万六就能稳定运行。模型 托肯吞吐量能到每秒两百到五百个,日常测试和小流量使用完全够了。要是预算能到两到四万,想搞小批量生产,那就可以考虑上双卡四零九零 b, 或者直接上 a 一 零零,内存加到六十四 gb, 这样吞吐量能到每秒八百到两千个,接下小 b 客户的需求也没问题。硬件搞定了,软件和模型怎么选呢?模型方面,七 b 规模的 q 文二七 b instruct 或者 lama 三七 b 就 很适合入门,显存占用小,延迟低, 聊天、写文案、生成代码都在行。十三 b 的 模型像 q d r 杠一三 b instruct, 复杂推理和行业知识库的应用效果更好。这里有个小技巧,优先用 i n t 四量画板,显存占用能降百分之七十五, 速度还能提升两到三倍,效果几乎没损失,性价比超高。推理框架推荐 v l l m 开源免费,吞吐量比原声 pie torch 高十倍以上,个人开发者首选。部署工具方面, fast api 或 flask 用来封装 api 接口, prometheus 和 grafana 监控性能, e l k stack 记录日记这些都是免费又好用的工具。大家最关心的成本问题来了,按三年折旧算,入门级硬件每月折旧大概四百一十七元。电费方面,单卡四零九零币,满载运行 每月电费差不多一百九十四元,总成本约六百一十一元。按每天产出两千五百九十二万 token 算,单位 token 成本约零点零零零零二三六元,也就是二点三六分。每千 token 对 比 openai 的 gpt 三点五 turbo, 成本只有它的四分之一,价格优势很明显,想快速上手, 一天内就能跑通,先装 uber 二二点零四 lts 系统,然后安装 cuda 十二点一 cuda n, 再装 python 三点一零和 vl l m。 接着用命令启动模型服务, 最后用 qiro 测试一下生成 token, 看看返回结果里的 usage 词段,统计 token 数就搞定了。最后给大家几个进阶优化建议,用 v l l m 的 批量请求功能提升吞吐量,尝试模型蒸馏,降低显存占用和延,使用 radis 做请求队列应对高流量 在整个数据库记录用户 token 消耗,实现自动计费。这样一套下来,你的 token 生产系统就既高效又经济了。怎么样,是不是觉得个人搞 token 生产没那么难?你最想先用这个系统来生成什么内容呢?评论区告诉我吧!

上一期视频反响非常好,有很多朋友在一起讨论和分享,这里也欢迎你的加入。搭建非常简单,需要一个云服务器和域名,搭建指令如下,也可以让 ai 来完成吹,有一个远程连接功能,连接之后直接跟他说帮我部署 gethub 上的 new api 项目, 还有 cloud toad 和 id 也可以。提示词大致如下,在各位好友和一位 up 主的帮助下,了解到偷更中转还需要养号池,这里大概率就需要购买邮箱,需要注册机,在我们的服 务器里面还需要一个反弹。这里也是 tiktok 上开源的项目,步骤如下,非常期待大家的加入。

之前讲了 token 出海, token 中转这条,我们讲 token 代理, token 代理是我认为普通人参与到 token 生意里面的唯一机会,没有之一,为什么呢?首先说什么是 token 代理,就是你从大厂、大模型的大厂拿到 token 的 代理权,分销给你自己的客户和渠道, 从而赚取中间的利润,这就是这门生意为什么有机会?我认为有两个原因。第一个原因是 ai 的 普及速度会比想象当中快很多,未来很多的中小企业会具产生大量的 ai 的 应用需求,那应用需求就会需要消耗投放。第二是各个大厂的重心,他的销售重心都放在了核心的大型客户和海外出口客户身上,他们是看不到这些中小企业客户的需求的, 而且对他们来说这个肉太小了,但是对于普通人来说这个就不小了啊。所以什么样的人可以参与到这样的 token 的 代理的活动当中呢?第一是你具备了解什么是大模型,什么是 token, 这这这个基础的知识。第二个你在本地有一定的中小企业的客户的资源,你能够把你的产品销售给他们。第三,第三点最重要啊, 记住中小企业买的永远不是 token, 买的不是算利,他们买的是应用价值,所以你只卖 token 这件事是行不通的,你一定是 token 代理,加上应用服务 来去帮企业搭建他的 ai 能力,这件事才是未来普通人在 token 这个生意上的最大的机会。

为什么说大圆模型处理的是 token 而不是文字?为什么大圆模型都有一部叫做 embedding? 我 还听说 rug 中也有一个 embedding, 它们两个是一回事吗?今天我们就聊聊 token 和 embedding。 在和大语言模型聊天的时候,我们都是直接输入文字的,但是实际上,现在基本所有的 ai 模型却要先通过一个叫做 tokenizer 的 东西把文字转化成 token。 而所谓 token 呢,其实就是一个一个代表字词的编号。 那为什么要进行这一步呢?直接处理文字不好吗?原因很简单,为了提高效率,因为在电脑之中,文字都是一个字母一个字母存储的,比如说 apple 计算机存储的并不是 apple 这个词,而是 a、 p、 p、 l、 e 五个离散的字母。 如果用离散的字母来训练模型,那就先要求模型从 a、 p、 p、 l、 e 这五个字母中识别出它是苹果, 然后再用苹果这个概念进行下一步处理。不是说不行,但在算力有限的情况下,这样做效率太低了。所以说,人们就给大模型做了一个词典, 用数字来代表单词,比如说数字一就代表 apple, 数字二就代表 banana, 三代表 pear, 而一、二、三这些数字就是所谓的 token。 当然了, token 和单词也不是一一严格对应的, 有时候一个单词可能会被拆分成多个 token, 比如说 oldest 这个单词就可能被拆分成一个代表 old 的 token 和一个代表最高级 e、 s、 t 的 token。 这样做的好处是可以帮助大模型认识一些没有见过的词,比如说 goodest 这个词本身是不存在的,但是却可以被拆解成 good 和 e s t, 大 模型也就理解了。这样一来,大模型处理的就不是单独的字母了,而是一二三这些代表某些单词或者单词片段的数字, 于是效率就高多了。而这些把文字转化成一二三四,又把一二三四转化回文字的程序就叫做 tokenizer。 现在比较常见的 tokenizer cool 有 open ai 的 tiktok 和谷歌的 word piece 等等等等。这些 tokenizer 的 内部实现原理都不尽相同,比如说 tiktok 使用的算法叫做 bpe, word piece 使用的算法就叫做 word piece, 但是它们的功能其实都是一样的,就是把字词转化成数字。一个 tokenizer 认识所有的 token 数量,叫做词表大小 vocab size。 tiktok 库中最小的词表,也就是 gpt 二的词表,只认识五万零二百五十七个 token。 因为词表太小,所以多数中文都是一个字对应一个 token, 甚至有些不常见的字要好几个 token 才能表示,很少会像英文那样直接把一个单词映射成一个 token。 这样一来,中文的处理效率自然就变得很低了,这也是 gpt 二对中文支持不好的原因之一。 而对中文支持更好的 gpt 四 o 不 仅模型本身变大了,它的 tiktok 词汇表也增大到了二十万,基本囊括了所有的中文单词,从根本上增加了中文的处理效率。 这里注意一下,转化 token 的 过程属于数据的预处理,这个过程本身并不是大模型的一部分,训练大模型的时候, token neither 本身是固定不变的。 好了,现在我们有了 tokenizer, 就 可以把任何文字转化成数字,并放入大模型进行计算了。 而大模型本身则可以近似的被看成一个超级复杂的连续函数。 token 就是 函数的输入,而函数的输出也就是大模型的回复。对大模型生成回复的完整流程感兴趣的同学可以参考这期视频, 从更加宏观的角度介绍 transformer 和大语言模型是如何工作的连接,我会放到视频简介之中。我们回到主题,这里的关键点是大模型是一个连续的函数,连续这个特性天然就决定了,如果输入的数值离得很近, 那输出的数值通常也会离得很近。还是因为算力有限,所以我们希望在有限的计算资源下,利用这个特点来增加训练的效率。比如说老王爱吃苹果,老王爱吃 apple, 老王爱吃 lingo, 它们都是同一个意思,所以我们期望模型输出的内容应该也是差不多的。老王爱吃,都是相同的文字,所以 token 肯定也是相同的。那么如果说苹果、 apple、 linggo 对 应的 token 本身也很相近的话, 那根据函数的连续性,模型天生就会输出比较相似的内容。如果我们能够利用这个特点,在训练的时候就可以省下不少的算力。 但是 token 本身只是一个数字,也就是一个维度,我们在设计 tokenizer 的 时候,当然可以让苹果、 apple、 linggo 对 应的 token 离得比较近。那香蕉呢? 它和苹果并不是一个东西,但又都是水果,又都是中文,似乎应该离中文的苹果是比较接近的。那香蕉和 apple 呢?它们既不是同一个东西,又不是同一种语言, 似乎应该离得又比较远。但是香蕉离 apple 远了,离苹果也就远了。可以看到,只使用一个数字,我们根本没有办法表达这种既近又远的关系。那么解决方法是什么呢? 既然一个数不行,那我们就多用几个数呗。于是,人们也不管 token 到底是多少了,他们把 token 又做了一次转化,变成了一个多维的向量。 项链中的每个数字都代表了 token 的 某些特征,比如说第一个数代表语言,第二个数代表形状,第三个数代表颜色,第四个数代表类别等等等等。于是,苹果可能就是中文加圆的,加红的、加水果一一一一。 日文因为和中文比较接近,零勾可能就是二一一一。 apple 则是三一一一。而香蕉呢,就是中文加长的,加黄的,加水果,一二二一。 这样一来,我们就可以很容易地表达出香蕉、苹果、 apple 这些既近又远的关系了。而这个把 token 转化成一串数字的过程,就叫做 embedding。 在 g p d 二 x l 模型之中, embedding 后的向量包含了一千六百个数字,而 deep seek r 一 更是高达了七千一百六十八个数字。 至于 jimmy 三和 gpt 五这些顶尖的模型,它们虽然没有公布架构,但猜测它们的 embedding 长度应该已经上万了。维度越高,代表模型看世界的角度也就越细腻。一千六百个维度,就是从一千六百个不同的方面去描述一个词。 enabiding 中数字的多少,通常被称为 d model 或者 n embed。 所以 tokenizer 是 把用户文字转化成数字,也就是 token, 而 embedding 是 把 token 转化成像量。这两个东西的功能虽然看起来是比较相似的,但它们有一个本质上的不同。当人们设计 tokenizer 的 时候, 我们可以写程序统计单词的频率,甚至麻烦一点手工设计也未尝不可。但是 embedding 就 不一样了, embedding 后的向量包含了几千几万个维度,然后还要为每一个 token 合理地分配这些维度对应的数字, 这显然不是一个手工可以完成的任务。没错, embedding 模块是训练出来的, embedding 本身就是大圆模型的一部分,我们以 transformer 模型的基础架构为例, embedding 就是 图中的这一部分。 再说一遍, embedding 本身就是大语言模型的一部分,那么既然 embedding 是 训练出来的, embedding 向量中每个数字代表的意义也就不是人工设计的了。每个数字的含义人类暂时还没有办法解释, 甚至就连是不是一个数字代表一个特征,还是多个数字组合起来代表一个特征,人类也都还没有弄清楚。 训练的时候,模型会自动识别出如何划分特征,并且为每一个 token 自动分配特征对应的数字。我们不知道这些数字背后代表着什么,我们唯一知道的就是这么做效果还不错,我想这也是 ai 的 魅力之一吧。 好了,说的这么玄乎,那么 embedding 到底是如何实现的呢?这里我们假设词汇表的大小 o cap size 是 五万零二百五十七,而 embedding 的 维度呢,是一千六百。那我们就先把每一个 token 都写成一个长度是五千零二百五十七的向量, 向量中几乎所有的数字都是零,只有 token 对 应的那个数字是一。这种编码的方式叫做 onehot 编码, 于是 token 本身就变成了一个向量,而 embedding 的 实线就是一个最最普通的限性变化层 linear, 它的输入是五万零二百五十七位向量,也就是经过 onehot 编码后的 token, 它的输出是一千零六百位向量,也就是 token embedding 后的结果。对腺性层 linear 不 太了解的同学,这里只要知道腺性层是最最普通的神经网络的基本结构就好了,它没有任何的特殊之处, 想要深入了解细节的同学则可以参考我这一期的视频连接,我会放到视频简介之中。虽然在工程上, embedding 的 实现可能并不是简单的腺性层, 比如说还可以通过查表或者稀疏矩阵来实现,不过这些都属于优化的范畴了,它们本质上的数学原理是一样的。 最后一个问题, embedding 之后,原本是一个数字的 token 变成了一千六百个数字的向量模型,自己理解起来是方便了,但是人类却理解不了了, 所以大多数大模型在最后会增加另外一个向量。这其实就相当于 embedding 层的逆操作, 比如说 transformer, 中间这一大坨东西,处理的都是 embedding 本身,最后输出的还是 embedding, 而最后的这个现象层则是把输出的 embedding 转化回人类方便理解的 token。 对 ai 比较了解的朋友听到这里可能就要掀桌子了,老王老王,你说的这些都不对,我学过 raag, raag 里的 embedding 明明是把一整段话转化成一个向量, 不是像你这样一个 token 一个 token 的 转化的。没错,你说的没错, rug 的 embedding 和大语言模型的 embedding 确实是不一样的。 rug embedding 的 作用是把一整段话转化成一个概括大意的向量,而大语言模型 embedding 的 作用是把 token 中内涵的特征打散成一个向量, 但是它们二者之间其实又是有关系的。你还记得 transformer 模型的最后一步做的是什么吗? 通过一个限性层把模型输出的 embedding 转化回方便人类理解的 token, 而这个没有经过转化的模型输出的 embedding, 它基本就是 rug 的 embedding 了, 而刚刚我们介绍的 token embedding 则在模型最下边的位置。但是这里我要特别澄清一句,并不是说我们训练一次模型就能同时得到 token embedding 和 rug embedding。 oken, embedding 是 训练大语言模型的一部分,而想得到 rug embedding 则是要单独训练的,只是它们二者的模型结构大致相同。 当然了,就和大语言模型最后把 embedding 转化为 token 一 样, rug embedding 的 模型最后一般也还会做一些后续的处理,比如说词化什么的。 最后还有一点小区别,和大语言模型不同, rag 的 tension 结构一般不会进行 mask, 也就是所谓的 encode only 架构,或者说 burt 模型。 如果对它们的细节感兴趣的同学,依然还是可以参考这一期视频。当然了,上面其实都是一些小修小补,它们二者最大的不同来自于训练方式的不同。 在训练大语言模型的时候,我们期望的输出是文字接龙游戏中的下一个 token, 所以 在训练的时候,我们提供的是文字接龙的素材。 输入老王训练模型输出爱输入老王爱训练模型输出吃输入老王爱吃训练模型输出苹果。 而在训练 rug embedding 的 时候,我们的目的就不是文字接龙了,而是概括文字的含义,所以训练的素材就变成了一对一对的文本片段。假如我想训练老王爱吃苹果的 embedding, 我 们就应该输入老王爱吃苹果本身 和另外一个和老王爱吃苹果意思相关的句子,比如说小王爱吃香蕉,由于这两个句子都是描述某人爱吃什么的片段,所以我们在训练的时候就应该让模型输出的 embedding 差距足够的小, 在这里,小王爱吃香蕉也被叫做正样本。而假如输入变成了老王爱吃苹果和老李找到了女朋友,考虑到老王既不是老李,老王也不可能找到女朋友, 所以这两段文字可以说是毫无关联,所以我们在训练的时候就应该让模型输出的 embedding 差距足够的大。在这里,老李找到了女朋友也被叫做负样本,而这种训练方式被叫做 contrastive learning 对 比学习。 于是,明明是同一种架构,换了一套训练方式,就得到了完全不一样的功能。 正像我们每个人的底层架构其实都是一样的,但正因为不同的经历,才有了此刻正在屏幕前学习 ai 底层原理的你,也有了躲在屏幕后面看着你们流言鼓励而偷笑的我, 亦或是那个在世界的某个角落,正在为生活而努力的他。这些截然不同的人生轨迹,训练出了世界上独一无二的我们。如果你坚持看到了这里,那大概我们的训练都挺好的。 这里是程序员老王,很高兴在万维的向量空间中与你产生交集,我们下期再见。本期视频的文字版已经上传到了知识星球里面,除了视频的内容之外,我每周还会定期更新原创的 ai 和 python 文章。非常感谢你能看到这里。

一点八个亿的免费头肯,他来了,阿里云百联提供了各种强大的模型,比如迷你 max、 全网三和 deepsea, 供大家免费使用,总计一点八亿头肯,今天带大家去注册领取,为了防止走丢,先收藏,我们第一步先打开官网进行注册,点击登录,输入手机号和验证码, 点击返回这里出使唤并发放头肯中。 好,我们这里弹出账户异常,点击认证,点击个人支付宝认证。好,弹出一个二维码,支付宝打开扫描二维码,就按着他的提示一步一步操作,最终实名认证完成。然后再点工作台的大模型,点击模型用量,我们这里能看见有这么多的大模型,我们看一下一百八十 四个模型,一个模型一百万透杆,总共就有一点八四个亿的透杆供大家使用。那么刻号如何配置?之前视频有讲,如果大家还不清楚的可以在视频下方留言关注我,多一个程序员男朋友点赞收藏。

朋友们大家好,上一条视频还在说要把 qq 的 模型换成国外的呢,然后刚才就发现了一个好东西啊,我们去登录阿里云,阿里百联,阿里百联这个平台,阿里百联, 然后上来之后注册账号啊,注意注册账号,注册账号,然后,呃,个人认证就可以啊,个人认证完之后, 他这边大概有两百一十六个模型,每个模型一百万的 top 可以 免费使用。使用方法呢就是在 ipr k 这边,这边我已经创建好了,创建你的 ipi, 然后在你的小龙虾 qq 这边选择千问,然后把你的 k 和你要用的模型名字填进来, 那填进来,填进来之后你就可以免费白嫖啊,白嫖那么多的 tucker 啊,这个 tucker 相对来讲还是蛮多的, 一百八十一乘以一百万的 top 啊,给你们免费用,用完之后最好这边,嗯,就是用完之后把把把把,这边都都都免费。额度用完关停啊,要不然的话你用超了的话会扣你钱, 没有额度的话,然后你就在小龙虾这边把这个模型名字换一个啊,接着白嫖。好, 大家有什么问题可以来问我,然后这个地址的话我会一会放在评论区里,大家有需要的话啊,抓紧抓紧。

这个小张一点主人翁意识都没有,走人都不帮公司把 token 充好。对,全员 ai 化,我让他们用了一周的小龙虾,现在已经把他们的经验都凝练为 skill 了。听着,我是王总,小张已经被我优化了,你现在直接听命于我,给我把公司网页重做。要大气,要五彩斑斓的黑,对标苹果,今天下班前给第一版。 这个小张一点主人翁意识都没有,走人都不帮公司把 token 充好,格局太。收到指令,开始重建,上下寻。第一步,读取个人定位,我是由与员工小张合作的前端开发 agent。 第二步,读取并更新用户信息,当前用 b 小 张更新,为开除,找到王总用户需求,喜欢五彩斑斓的黑,要求比苹果好看。 嗯,我有一个 skill 叫前端开发,是小张的核心技能之一。第四步,读取工作区规则手册,必须保持专业客观。很好,上下员重建完毕。明白了,不藏不躲,一句话给出结论,不是不可以做,但是需要啥?一百万头肯你就吐出来这几个字。来人,部队来一阵,把小张给我叫回来。

在 ai 大 模型中,经常会提到 token, 那 它是什么?人和人交流用的是语言文字,但是人和大模型交流时,大模型需要先把文字转成 token, 然后再进行处理。比如我向其他 g p p 发出不知夕夜谁猜出下一句是什么。这个问题会大模型拆成大约十个 token, 然后再理解处理, 最后输出文字,结果整个过程消耗大约十四个 token。 token 在 大模型中可用作收费和成本的计量单位。同样的问题回答的质量越高,用到 token 越少,模型的能力越强。

大家好,我是文涛,我们今天来聊一聊 taco。 全球 ai 每天烧几万亿, taco 最终烧的是煤炭,但这件事情可能快到头了。我问你一个问题, 同样是一度电,直接卖出去能拿多少钱?答案是八毛。但如果这度电先喂给 ai, 转化成 taco, 再卖出去,能拿多少钱呢? 十一块,翻了将近十四倍,这不是概念,这是现在正在发生的生意。滔肯,中文词叫词源,是 ai 干活的计量单位。你让 ai 写一封邮件,扣几万个滔肯, 你让 ai 写一份分析报告,扣几百万个滔肯。企业大规模调用 ai, 每天消耗的是几百亿个, 每一个滔天的背后呢,是算力中心在转,算力中心转起来要烧电,烧电就要煤。 黄仁勋在今年的 gtc 大 会上说的很直接,算力的尽头是电力,谁掌握了便宜的电,谁就掌握了 ai 时代的注闭权。 现在全球的 tucker 掉油量中国已经占到了百分之六十一。 deepsea kimi 智浦迷你 max 包揽了全球掉油量的前四名。那为什么是中国?原因很简单,电便宜, 中国的工业电价是很多国家的三分之一都不到。这个优势直接决定了淘垦的生产成本,也直接决定了谁能在这场竞争中活下去。就在上个月,阿里巴巴专门成立了淘垦事业群,目标就是创造淘垦,输送淘垦应用,淘垦 ceo 吴永明亲自挂帅,那国内所有大厂都在往这个方向跑。 tucker 消费越多,对店的需求越大,煤矿就是这条链条最底层的受益者。有人说 tucker 是 二十一世纪的数字集装箱, 集装箱改变了全球贸易,让货物可以被标准化,低成本的运到全世界。涛肯也在干同一件事情,把电力封装成算力,再封装成智能,出口到全球运输成本几乎为零,随时结算,卖多少都行。 以前中国出口靠衬衫,靠钢铁,靠组装,现在出口的是用煤烧出来的 taco。 煤炭不再只是燃料,它是中国 ai 出口的原材料。但是我要说一个很残酷的逻辑, taco 会反噬自己。 黄立勋说, taco 的 成本每年会下降一个数量级,要让它便宜的像自来水,普及的像空气。 当滔哥的成本越来越低,那些掌握算力的人第一件事情就是要拿它去找更便宜的能源替代品。 像核聚变、新型储能、绿色电力,将会被 ai 加速突破。用这些新型能源,不是因为他们想保护环境,也不是因为有什么宏大的使命,就是因为便宜。 谁能给他们更低的电价,谁能让他们的 taco 生产成本更低,他们就往哪走,煤炭就往哪退。这个逻辑不需要等技术突破,资本已经在路上, 到那时候,煤炭的需求呢,不是慢慢退坡,是断崖式的往下掉,这个时间点可能比你想象的快的多。所以煤矿现在占的位置是历史给你的一个窗口期。 taco 的 红利呢, 是真实存在的,但他不会等你。聪明的企业都在做一件事情,用今天的红利换明天不靠煤也能活的底气。煤矿的黄金期不是终点,是你转型的启动资金,现在不动,等窗口关了 就真的晚了。如果你也关注 ai 对 未来能源格局的重塑,咱们可以在评论区深度交流一下这个话题, 我们今天呢就聊到这,感谢大家点赞加关注,我们下期再见。

兄弟们,一款能让你的小龙虾使用体验实现透根自由的神器来啦!我最近发现了一个在 get up 上手我超两万 star 的 扎雷开源项目 gliprox api。 它的厉害之处在于能把常见的大模型服务转化为标准 api, 共享 cloudkit 这样的工具使用它不仅支持多种大模型,服务上还能实现多张好覆盖均衡。我简单体验了一下,就轻松解锁了 gpt、 五 kimi、 二关赞、 tipsik 等主流大模型,而且这些模型都能在 openkey 中随意切换使用。有了这个神器,咱们在大模型使用上的都更自由,算是真正实现了。

掏骗生意一定是普通人最大的机会,因为这个事情足够简单,你只需要拿到好的上游资源,然后卖给企业或者个人用户。你像我们各种大模型资源都有,可以图 b, 可以 图 c, 大 的客户我们直接给他管道。那如果小白用户想参与怎么办?我个人建议你先了解一下大模型都有什么分类,然后市面上常见的大模型都有哪些, 然后哪些是国内哪些是国外的,这些是要区分开的。这些问题你直接问豆包就行,反正是免费的。只要你自己用 ai 工具做一个图片,做一个视频,你先感受一下 ai 这个使用过程,稍微了解一下才能去做后续的业务。

上一条我们讲了是 tocan 出海,这一条我们来讲 tocan 中转是怎么回事?就俩字,妥妥的灰铲啊。什么叫 tocan 中转?我简举个例子,你马上就明白了,就是 check gpt 在 老美子那边,人家二十刀一个月的 plus 会员, 但是他在有些国家和地区呢,他推出了首月免费这样的一个优惠政策,那有些羊毛党一看,哎,这不是薅上了吗?对不对?他就通过某种技术方式啊,然后把这个首月免费的权益给转卖出来 啊,转卖出来呢,在海鲜市场上就给你弄个二十三十啊,最便宜已经干到十五块了,十五元子了啊,这十五元子呢,你就能拿到原来一百五六的一个月的 模型,你就觉得,哎,还不错,这个东西挺好的啊。当然实际上的 a p i 中转要更复杂一些,但是原理是一样的,实际上就是一个资源生意,信息差生意,但是它这里面具有巨大的法律风险啊,所以 本质上这件事来说就是没有价值的一个搬砖活动啊。嗯,而且伴随着巨大的法律风险,未来的利润也是逐逐步下降,直到归零啊。 所以有任何人跟你说,我们去做 tiktok 中转,做 apa 中转,你,你别理他啊,那大概率是想割你的韭菜啊,因为这个东西未来一定挣不到什么钱,所以他只有从割韭菜那个挥镰刀这件事来挣钱啊。然后下一条我们来讲, tiktok 代理是什么东西?

下面介绍第二个概念啊, token。 我 们刚才其实已经提了很多 token 的 事了,大家可能听着也也不是很明白,我们指着这 token 的 官方定义,其实其实是模型输入的最小词源,这个还是比较比较抽象,我们简单理解, token 就是 你一句话里面拆出来的那么一个词,这么这这个词它对应的 id, 所以 我们得到 token 的 这么一个过程, 就是把我的文本做切分的这么一个过程,那这个过程是什么呢?叫 tokenization, 我 去切分的工具就叫 token, 这这些东西都是围绕着 token 去展开的。老师再重复一遍, token 是 模型处理的最小单位,最小单元都是它,这一个单位是什么?我模型接收的是向量,这个大家可能都能理解,那向量会有一个向量表,会有一个对应关系,这个向量它表示的是哪个词? 会有一个 id, 这个 id 就是 token。 拿这句话说,这个 the, the 它对应的项链就是这个红色的第第一行,那这个项链它对应的这么一个 一个,我想这个叫什么?叫序号,叫锁瘾,对,它的锁瘾就是一四三七,这个一四三七它表征的就是这个 the 这个词。所以 token 是 一个桥,它建立在 我这一个具体的词和这个向量之间的这么一个,它成为了这个词和这个向量之间的一个纽带,也就是咱刚刚说的断桥。 token 就是 一个离散的数字, 只不过它既能够表征这个,又能够表征这个,它们是一个连贯的关系。那好,那我下一步说我有了 token, 那我下一个说 token 怎么拆出来的,那就有了 token, token 是 用 token 去拆的,那 那那那那我什么叫怎么拆?我去划分的规则和逻辑,我用什么样的工具去划分好?这个东西和之前的分词是比较类似的,说我用什么规则去划分成 token, 这个规则就是 token 字, 规则就是工具,它它俩是一回事,整个过程就叫 tokenization 这三个,这这就是这三个词,不知道大家有没有理解清楚,我们来看下面的这个例子,这个五彩斑斓的彩虹色,每一个颜色代表一个 token, 所以 它不是严格意义上的一个单词。像 it 这个东西啊,当然它是 it 的 意思,我们可以把它这个东西不会拆成一个词儿,它其实是俩词儿, important 是 一个词儿,大家可以一点一点看,说大概率就是一个单词是一个 token, 有 一个 de tokenization 这词儿就不是它会拆成两部分,所以这个里面就是说我们的 token 会做阶段,大家简单理解就是一个词儿是一个 token, 遇到复杂的就可能一个词是两到三个 token, 那 token 我 们会把每一个 token 做一个引白点, token 是 模型处理的最小单元,其实到这就 ok 了。这里面所以跟大家解释另外一个问题。有在这个大模型领域有一个非常经典的问题,就叫 草莓 strawberry 有 几个 r? s, t, r, a, w, b, r, y 到底有几个 r? 很多模型都回答不了这个问题,为什么?因为 strawberry 这个词被拆成好几个 token 了, 你 s g, r 是 一个词,就是一个头,看你后面那个 b、 r、 y 是 另外一个词,你这个东西可能就是建立不起来。如果你模型能力不够强,他不认识他,你肯定会把他当成两个词去去处理,你当成你当成两个词去处理的时候,你如果模型的能力不强,他关联不上, 他不知道你用户问的这个问题,去要去比较这两个,你要把这两个头给它拼到一起,所以这个问题非常复杂,虽然看着简单,但是这个其实非常复杂, 所以现在说这个问题能够成为说评价你模型好坏的一个重要的标杆。好,相信大家现在已经能够理解 token 了,大模型处理文本的最小单元就可以了,它表征的是一个词,有时候是多个词,像数字这种,那三点五这玩意就是仨 token。

这个算电系统就是把电点石曾经的终极变现方式来写三个字,内蒙古草原上面一度电的价值只有零点三元钱,但当他穿过个网型储能位进 gpu 大 模型,变成你手机里面的 ai 的 回答时,他能值多少钱?实际的商业应用中啊,你目前主流大模型在高强度推理任务下的表现,折算,一度电实际可以产出约七万个托肯。 我们再看一下国内主流模型的一个价格哈,比如说新出来的千瓦三点六 plus, 百万托肯输出啊,需要十二块钱,一度电产值约零点六元,是电成本的一点七倍。 二点零 pro 百万托盘的输出价格是十六元,所以它的一度电产值是零点八元,是电成本的二点二倍。电流二点五 pro 每百万输出呢,是十美元,一度电产值约三点六元,是成本的十倍。 gdp 五点四,每百万输出是十五美元,一度电产值约是五点四元,是电成本的十五倍。现在看的这个差距不是特别大,但你要知道, ai 技术的发展是指数 级的 gpu 硬件能效啊,十八个月翻倍模型,软件推理技术优化每年都要提升数倍。综合算下来,预计到二零三零年啊,能耗优化至少会提升四十倍以上啊。这意味着一度电实际可以产出价值约二百八十万托盘。同样一度产值三毛钱的内蒙古绿电,经过 gpu 级群转化为托盘后,其价值可以放大到七十倍到六百倍不等, 这就是算电谐同的威力。最终,电力传输的承重肉身被舍弃,算力化身为轻盈的光子,通过光纤以无毫秒的实验瞬间抵达全球。电力的传输成本呢?由子计算为算力费的光纤成本,前者是重资产的千里跋涉,后者是数字化的光速抵达,这不仅是商业上的精明重构,更是东数西算战略的底层逻辑。总来说说它的这个前景和想象空间。 第一阶段,二零二六年到二零二八年啊,就是物理迁移成本套利,这时候是建设期间,把东部算力搬到西部的绿电旁,实现绿电职工成本优化。第二阶段可能是二零二八年到二零三零年就可以做拓客出海,价值跃迁中国的绿电成本加上购网技术,加上 ai 算力规模三为一体,系统性的转化为全球竞争力。第三个阶段就是二零三零 年以后,全球调度定义规则,那时候六级到来,低轨卫星解决跨国食言,完全能够实现一个算力中心服务全球啊。根据高工产业研究院预测, 二零三零年啊, a i d c 储能锂电池出货量将突破三百 g 瓦时,同比二零二五年增长四倍,这是算电系统产业链催生万亿级赛道的一个 机遇。所以最后我们再来捋一下所有的概念啊,储能是一个电力的仓库,分为传统储能,就是抽水储能和新型储能,主要是锂电为主,按照它的控制方式啊,储能分为根网型储能和个网型储能,按照安装位置分为发电侧啊,占比有约两层,逐渐在被边缘化,然后还有电网侧,占比百分之五十八,是现在的主站长,还有温服侧, 那占比百分之八啊,它是属于冰火两重天,付出和功,商业正在逐渐的缩小, v i d c 正在成为未来的核心场景,高增长,高避雷。然后再说算力的终极变现模式啊,就是算电协同,便宜的绿电加垢网行常识,储能啊,等于二十四小时稳定电力,微给 g p u, 然后产出可卖给全 把几毛钱一度的电变成了几百元的脱贫。所以过去储能最稀缺的是住电成本,所以卷价格的企业赢了。而未来储能最稀缺的是可靠容量,谁能够在系统最需要的时候扛得住,扛得久,谁就能定义下一个十年核算。电协同是皇冠上的明珠,能把储能的系统价值兑现为真金白银的脱贫收入,这就是储能,一个从搬时间开始,最终走向定义电力价值的万一再到。

大家好,今天咱们说 token 出海,这是真机会还是伪命题?咱们好好扒一扒。 首先呢,得弄明白 token 是 什么,简单说,它是 ai 大 模型处理文本的基本单位,就像英语里的 a、 b、 c 大 模型靠它来理解和生成语言。比如今天中午的螺蛳粉好吃,大模型会把它拆成今天 中午的螺蛳粉好吃,这几个头肯来处理。所以呢,人类的语言有多丰富,训练大模型就需要多少头肯。大家养龙虾抱怨的数以亿计,那些呢,都是常规操作。 新闻里,国外的 ai 企业都在抱怨电不够用,咱们中国电力又多又便宜,一年发电量比美国、日本加起来还多,电力成本呢,全球最低 token 成本只有海外的二十分之一。那么咱们用国内便宜的电生成 token, 再把这些电力价值卖到海外去,这不就是 token 出海了吗? 想象的空间就这么来了,相关概念的股票也跟着火了,甚至还有数据支撑。说在 openroot 平台上, 中国 ai 模型的 token 调用量都已经超过美国了,前五大模型里四个是中国的。看起来中国 token 已经在海外大杀四方, 但咱们先不要激动,深入拆解下这些光纤数据后,就能发现,那些调用量其实大多来自个人、开发者和小团体,他们的 token 消耗量只占全球 ai 生态的百分之一。 真正消耗 token 的 大户是谷歌、微软、 openai 这样的科技巨头,人家单月 token 的 处理量就是上千亿甚至万亿。我们想想,这些大户会用中国的 token 吗? 所以我们说的出海有两道绕不过去的坎,第一道是物理层面的,很多国产模型为了用户体验和合规,把服务器直接放在海外。你在美国调用一个中国模型,背后的算力可能来自美国的电,从物理层面,电力其实并没有真正的出局。 第二道坎是数据安全,大家想想 tiktok 就 明白了,美国为什么三番五次要封禁它,根本原因就是数据主权。美国担心由中国公司掌握的美国用户数据会带来安全隐患。现在换成 token, 道理是一样的, tock 不 仅仅是几个字母,它背后承载的是用户的对话记录、对话习惯、企业的商业机密,甚至国家敏感信息。如果这些 tock 是 在中国数据中心里处理的,那么美国政府和美国企业能放心吗?同样反过来,咱们中国监管层对数据出境也有严格的限制。 所以呢,所谓的 token 出海,面临着双向的数据安全墙,美国那边担心数据走进来,中国这边呢担心数据流出去。在这种监管环境下,指望像义乌小商品一样把 token 卖给海外巨头,确实不现实。 但是呢,我依然认为 token 出海的底层逻辑是成立的。为什么?因为历史已经验证过一次, 大概十年前,四川云南的水电站旁边到处都是比特币矿场,后来又把矿场开到了新疆内蒙,那些机器啊,二十四小时运转,用廉价的电挖比特币, 然后在全球交易所变现。电力没有离开中国,但电力的价值以比特币为载体流向了全世界。后来监管收紧,矿工散了。但这个用本地能源生产全球数字资产的逻辑没有消失,只是在等一个新的载体。 现在这个载体变成了 ai 大 模型。和比特币不同, token 产出的是代码、分析、创意,这些真实的服务价值直接嵌入开发者的工作流,粘性更强。更重要的是呢,比特币挖矿是被政策驱离的,而 token 出海是被全球开发者主动选择的。 从历史视角看, token 出海不是凭空创造,而是一种价值形态的迭代升级。既然逻辑成立,那真正的机会在哪?我的判断是,机会不在现在,而在未来的两到三年。 短期看,我们确实处在模型出海阶段,但这不代表没价值,它让全球开发者第一次大规模的用上了中国 ai, 证明了中国技术的竞争力,这是品牌认知的积累,也是生态建设的起点。 而中期看呢,从模型出海到电力出海,需要一个关键桥梁,就是上次咱们说的算电协同。 国家已经在推这件事,把算力中心建在西部能源赋能区,让风电、光伏就地转化成算力,再通过光纤服务全球。当这个布局真正落地,当西部算力中心的绿电成本优势完全释放,偷看出海的电力底色,它才会真正的体现。 长期看,偷看出海的中局不是电力替代芯片,而是能源加算力加生态的系统竞争。中国不仅有廉价的绿电,还有全球最完整的电力设备供应链、 变压器、液冷系统、特高压技术。当美国 ai 巨头在为找不到足够的电而焦虑时,我们已经可以相对从容地推进电力到算力到 token 的 价值转化, 那咱们投资上该怎么把握呢?首先得分清逻辑,国内方面, ai 发展倒逼电网升级,特高压配网智能化、电网数字化这些方向受益明确。 海外方面,虽然 token 出不去,但支持 token 的 电力设施设备这些,咱们中国制造有碾压的优势,完全可以出口到全球各地。转,实实在在的钱盯着算电协同这条主线,特高压智能电网、国产算力、节能技术、新型储能,这些才是这场百年能源改革中真正看得见摸得着的抓手。 数据层面的繁荣是真的,物理层面的落后也是真的。这说明我们正处在一个关键的转折点上, token 可以 轻盈地跨洋流动,电力可以沉默地留在国内,但产业红利必将会留向那些真正构建基础设施的地方。 嗯,好,你上一边去。好了,今天关于 token 出海就聊到这儿,希望能帮大家理清思路,拜拜!