放弃通用,追求极致固化,一块只能运行一个固定 ai 模型的芯片,是天才构想还是商业死路? 英伟达的 gpu 王座真的危险了吗?二零二六年二月,当科技界仍在为争夺英伟达 blackwell 架构 gpu 而绞尽脑汁时,一个不起眼的新闻引起了博主的注意。 一家名为 talas 的 加拿大初创公司正式发布了其首款产品 hce 芯片。虽然报道热度很低,为什么会引起博主的注意呢?因为这颗芯片的核心数据令人瞩目。在运行 matte 的 lama 三点一八 b 模型时,它能实现单用户每秒一万七千个 token 的 推理速度。这个数字是什么概念? 他将当时最快的专用 ai 推理芯片 sirius 甩开了近九倍,更是达到了英伟达旗舰 b 二零零 gpu 的 近五十倍性能更惊人的是其成本与能效。 据 talas 宣称,其方案的生产成本可比传统 gpu 降低二十倍,功耗降低十倍。一个由十块 hce 芯片组成的集群,总功耗仅需二点五千瓦, 用普通风冷就能解决散热,与那些需要夜冷功耗动辄数十千瓦的 gpu 服务器形成天壤之别。本期节目我们就来聊聊这个 talus 是 何方神圣? 这些逆天数据真实吗?首先,我们要了解一个前提,这一切惊人性能的代价是芯片放弃了几乎所有灵活性。 h 四一芯片采用台积电六纳米工艺制造,其核心原理是将 lama 三点一八 b 模型的权重和计算图以晶体管布线的物理形式直接刻在了硅片之上。 这意味着这块芯片从诞生的那一刻起,就注定只为这一个模型服务,无法更改基础权重,无法运行其他模型。 这种将软件彻底硬化的极端思路引发了行业巨大的震撼与争议。那 talus 是 谁? talus 并非行业巨头,而是一家成立于二零二三年、总部位于多伦多,团队仅有二十四人的极致精简的初创公司。 其灵魂人物是 ubisoft, 一 位芯片行业的连续创业者,他曾是另一家知名 ai 芯片公司 talisman 的 联合创始人兼 ceo。 值得一提的是, tencent 走的是基于 r i s c v 的 可编程 ai 加速器路线,而 magic 在 二零二三年离开后创立的 talas 却选择了一条几乎完全相反的极致专用化道路, 这仿佛一场硅谷顶级的路线分裂。他的前搭档、芯片传奇人物 jim keller 坚守通用可编程的信仰, 而 magic 则毅然走向了绝对固化换取绝对效率的极端。这支小团队凭借清晰的愿景和颠覆性的技术构想,在两年半内获得了超过两亿美元的融资。但更令人啧舌的是,他们声称打造出这颗震惊世界的 hce 芯片,实际研发费用仅花费了约三千万美元。 这种小团队高融资、低消耗、出奇效的模式,本身就像其芯片一样挑战着行业传统认知。 tallis 的 轰动绝非仅仅因为一个漂亮的性能数字,而在于它用最粗暴的物理方式试图解决困扰 ai 算力已久的核心瓶颈。内存强 在传统的 gpu 或 ai 加速器中,计算单元和存储单元是分离的,进行每一次矩阵运算时,海量的模型参数都需要在存储和计算单元之间来回搬运,这个过程消耗的能量和时间早已远超计算本身,成为性能提升的最大枷锁。 talus 的 解决方案堪称釜底抽薪。既然模型参数是固定的,那就不要搬运了。它们通过一种类似结构化 aic c 的 技术,预先设计好一个通用的计算基础芯片,然后仅为每个目标模型定制最顶上的两层金属眼膜。 这两层眼膜就像雕刻模板,同时决定了模型权重在硅片上的物理编码位置,以及数据流在芯片内部的流动路径。于是,在 hce 芯片内部,模型,即电路 lama 模型的每一层神经网络都对应着芯片上特定的晶体管连接 计算及电流矩阵乘法,不再由软件指令调度完成,而是输入数据像电流一样沿着预设的硬链线网络自动流转,瞬间完成计算存算。极致融合参数就长在计算单元旁边,数据搬运距离趋近于零,彻底消除了待宽瓶颈。 这种硬链线设计也带来了极致的简化,无需复杂的 hbm 内存,无需昂贵的二点五 d、 三 d 高级封装,无需夜冷系统软件站也因此变得极其简单,公司仅需极少人力维护。 这一切共同造就了其在速度、成本和工号上降维打击般的表现。尽管技术路径惊艳,但 talas 面临的质疑与其获得的赞誉同样激烈。争议核心围绕极致专用化这把双刃剑展开。一、技术灵活性与迭代风险, 这是最致命的质疑。 ai 模型正以月甚至周围单位快速迭代。今天为 lama 三点一八 b 定制的芯片。如果一两年后该模型被 lama 四或更优模型淘汰,这块昂贵的硅片就可能瞬间沦为电子砖头。 虽然 talus 保留了通过 l o a r 进行微调以及支持可变称下纹长度的有限灵活性,但模型架构的根本性升级无法支持。 talus 的 商业模式建立在客户愿意为某个特定模型承诺至少一年使用期的假设上,这在快速变化的 ai 领域是巨大的赌注。二、模型规模与扩展性挑战 hce 芯片承载的是八十亿参数模型,并通过激进的三到六倍量化来压缩空间, 而当前的前沿模型已迈入万亿参数级别。 talus 为千亿级模型提出的解决方案是使用三十颗专用芯片组成集群, 这虽然在其模拟中仍能保持成本优势,但多芯片互联的工程复杂度量率挑战以及仿真验证难度都将呈指数级上升。三、生态壁垒与商业模式的未知性 英伟达的统治地位不仅在于硬件,更在于其 c u d a 软件生态构成的护城河。 talas 提供的是芯片及服务的封闭解决方案。客户从英伟达生态切换过来,意味着要放弃原有的工具链和开发习惯,其商业模式仍在探索中。 是自建服务?是出售芯片,还是与模型厂商深度绑定?每种模式都充满挑战。它用的 hce 芯片无疑是一次大胆而闪耀的技术实验,它用最极端的物理方式为 ai 推理的内存强难题提供了一个充满想象力的答案, 并清晰展示了存算一体与软硬协调设计的巨大潜力,它可能不会取代通用的 gpu 成为主流算力的万能钥匙,但它极有可能在那些模型稳定、需求固定、对延迟和成本极度敏感的垂直场景中化身为一柄无比锋利的瑞士军刀。 无论其最终商业成败如何, tyus 的 这次豪赌都已迫使整个行业重新思考,在 ai 算力追求极致效率的道路上,通用与专用之间的边界究竟应该划在哪里?
粉丝11.5万获赞39.2万

你敲下回车,人家那边两千个字已经拍你脸上了,这事你敢信?就在二零二六年二月,农历大年初六年还没过完,一家加拿大只有二十四个人的小公司叫 talas, 突然扔出一枚深水炸弹, 他们搞出一款芯片,推理速度直接干到了每秒一万七千个 token。 什么概念?现在市面上最火的英伟达 b, 两百每秒也就三百五十个 token, 也就说这枚小芯片的速度是英伟达最新款 gpu 的 将近五十倍。成本呢,直接砍到二十分之一, 工号降到十分之一。最狠的是,这帮人为了追求这个速度,干了一件反常识的事,他们把 ai 大 模型直接用物理的方式焊死在了芯片里。你没听错,是焊死。 就像把一首歌直接刻在黑胶唱片上,这张唱片这辈子就只能放这一首歌。这到底是一次改朝换代的宣战,还是一场注定沦为电子垃圾的豪赌?英伟达的芯片神话,是不是要被这二十四个人撕开一道口子了?今天就用一条视频把这个事给你讲清楚。 咱们先聊聊英伟达这些年是怎么封神的。其实过去三十年,不管是 cpu 还是 gpu, 硅谷那帮巨头就一个信仰,造一个通用的计算平台。什么叫通用?就是我这个芯片得是个万能舞台,你不管是跳芭蕾还是唱摇滚, 不管什么软件什么模型上来都能演。英伟达最牛的地方就是它造了 gpu, 这个舞台还搭了个叫库达的生态架子, 任何模型甭管是 chat、 gpt 还是 lma, 上来就能跑。所以过去十年,大家心甘情愿掏空钱包买英伟达的卡,图的就是这个万能,这个省心。但是这个万能舞台有个要命的硬伤,叫内存墙。我给你打个比方, 你是个大厨,你的灶台是计算单元,你的食材仓库是显存,每次炒菜,你都得从仓库把食材搬到灶台上。 以前炒个小炒搬一趟就行,但现在模型大到几千亿,参数等于你要办一桌满汉全席,得来回搬几百趟食材,这搬来搬去的功夫和力气,早就超过炒菜本身了。整个行业包括英伟达,为了保住这个万能舞台,只能拼命把仓库盖大, 把搬运工练壮,但永远解决不了来回折腾的这个过程本身。这时候那二十四个加拿大人站出来了,说,你们累不累啊?既然这个舞台天天只演罗密欧与朱丽叶,咱还天天搬布景干嘛?直接用水泥把布景气死在台上不就完了吗? pass 的 思路就是这么简单粗暴。他们做的芯片叫 hce, 出厂的时候就把 mate 的 lama 三点一八 b 这个模型,每一个参数每一个权重直接对应到了芯片上特定的晶体管。你问他问题,压根不需要去内存里加载数据,电流一通过,答案啪的一下就出来了, 这就是速度暴增五十倍的秘密。那问题来了,把魔性焊死,到底是神操作还是骚操作?网上已经吵翻了天,正方说这是未来,你看他那个速度, 那不是回复,是直接未卜先知把答案砸你脸上。有人甚至说,这种速度根本就不是给人准备的,是给以后无数个 ai 智能体互相聊天用的。那个世界不需要等待,这就是把灵活性换成了极致速度。 就像你听歌是愿意听现场交响乐团,还是愿意听灌好的黑胶唱片,黑胶唱片音质完美,而且想听就听,不需要等乐团就位。但反方的话更难听,他们说你这是引阵止渴,是制造高级电子垃圾。 为啥?大模型现在十八个月就迭代一次,今年是拉玛三,明年拉玛四出来,你这块号称速度第一的芯片瞬间就变成一块废铁, 为了追求那点速度,把升级的路全堵死了,这不是自己把自己玩死了?这种分裂本身就说明行业共识已经被打破了,以前大家都信通用,现在有人开始走专用这条道了,而且走的这么极端, 那这场路线大决裂之后, ai 世界会变成什么样?咱们普通人能得到啥?或者会失去啥?我个人觉得未来的 ai 硬件会走向一个两级分化的世界。一边是云端,那些通用神灵就是少数,像英伟达这样的巨头,供养着几千亿参数的通用大模型, 他们负责思考,负责创造,负责给你写诗画画。他们像发电厂的高压电,庞大昂贵但无所不能。 另一边就是像它拉斯这种被死死刻进龟片里的电子牛马,他们会以百亿计的数量钻进你的手机,你的汽车,你家的扫地机器人,工厂的流水线上。他们不懂什么是诗和远方,他们生下来就只会干一件事,比如语音唤醒或者人脸识别。 但干这件事他们是光速,而且成本低到可以忽略不计。网上有个评论特别扎心,他说其实大部分人类一辈子也就说一种语言,做着一份固定的职业,这和大脑里刻死了一个模型有什么区别?想想还真是,我们在绝大多数场景下,根本不需要一个全知全能的神。 你家里的扫地机,它只需要认路避障,你管它是 gpt 六还是 cloud 五呢?这时候,一个永远不需要换代的钉子一样的专用芯片就是最好的答案。所以你看扎克伯格,如果看到这个芯片,他眼睛得发光。他手里有拉玛模型, 如果他能用这种技术把拉玛固化到每一台设备里,他就能彻底摆脱对英伟达的依赖,实现硬件及模型的终极梦想。这对麦塔是天大的好事,但对那些靠卖通用算力的云厂商来说,就是噩梦。 这场决战让我想起了当年的 intel 和 a r m。 pc 时代, intel 的 x 八十六芯片一统天下,啥电脑都用它, 这是通用。到了移动时代, a r m 走了一条完全不同的路,它允许每个手机厂商定制自己的芯片, 功耗低,专门为手机服务,这是专用。结果呢?两者共存至今,今天的 ai 芯片可能就站在这样一个历史岔路口。所以回到咱们开头的问题, 一个二十四人的小团队掏出一万七千 tokens 每秒的芯片,这不是一次简单的技术突破,这是用一种全新的物种对旧世界发出的挑战书。它不是要取代英伟达,它是要告诉你,未来的世界不需要一个神,而是需要无数个各司其职的牛马。 你觉得人类的科技树应该往哪个方向点?是继续追求那个全知全能的通用神,还是拥抱这些光速干活的电子牛马?欢迎在评论区谈谈你的观点。

兄弟们,这是用弯道超车英伟达吗?就在刚刚,一家二十四人的初创团队造出了一款芯片,是英伟达芯片性能的二十倍,你敢信?这款芯片的核心原理就是将大模型收 入在整块芯片上,从而降低传输损耗,提高性能。它 tko 总的输出效率高达两万每秒,对比目前最先进的 h 两百,也 最多才两千头克每秒。这原理就像我记得之前在私募做的时候,他们一些交易员为了提高速度,把交易软件烧在网卡上,使得去提升整个交易的流畅程度与响应速度啊。但是目前来说这款芯片还是有一些缺点,那就比如烧制的模 型不能变,而且现在目前烧制的是兰达的八 b 模型,但是这依然不影响给咱们自己的芯片公司一条弯道超车的路啊兄弟。

有人造了一块芯片,不能编程,不能升级,模型换代了就是废归。但它每秒能吐出一万七千个 token, 是 英伟达 gpu 的 将近十倍,造价只要二十分之一, 工号只要十分之一,凭什么呢?这家公司叫 taylor, 加拿大的,上周刚发布,他做了一件听起来很疯狂的事,把密特的拉玛大模型直接刻进了芯片的晶体管里。 注意,不是把模型加载到芯片上跑,是模型的参数本身变成了物理电路。三十二层 transformer, 每一层都是硅片上真实的导线和晶体管。用户的输入进来,电信号从第一层直接流到第三十二层,中间不经过任何外部存储, 推理,就在电流流过的那一瞬间完成。所以,不需要 hbm 高带宽内存,不需要先进封装,不需要夜冷, 这些现在 ai 硬件里最贵的东西全砍掉了。这件事的经济含义比技术含义更大。上一期我讲过, token 的 编辑成本率、算力加电力占七成以上, gpu 折九、内存、读写、散热系统都是编辑成本的一部分。但 talis 这块芯片造完的那一刻,所有硬件投入就结束了,之后每生成一个 token, 消耗的只有一样东西,电。 上一期我说 token 约等于电力变现,这块芯片把约等号拿掉了, token 等于电力变现。但这块芯片有一个致命的问题,他只能跑拉玛三点一八 b, 这一个模型 刻进去了,就是这个了,不能换,不能升级。等拉玛四出来,芯片就变废铁。这听起来像什么?一九四五年世界第一台电子计算机安尼克,编程靠物理接线, 你要算一个新问题,就得重新插把电了,可能搞几天,程序就是硬件,硬件就是程序。后来冯诺伊曼提了一个思想,把程序存在内存里,让机器通过加载不同程序做不同的事。 从那以后,硬件和软件分离了,计算机才真正可编程。 pc、 手机底层都是这个架构。他们所做的事,本质上是退回到了冯诺伊曼之前。但有意思的是,刻进硬件这条路,在计算机史上从来没有完全消失。 你家微波炉里的单片机程序就是烧进去的。 cpu 的 指令级 x 八六 a i m 也是。刻在物理电路里的规律是什么让一个计算模式足够稳定,它最终会从软件降到硬件。 所以问题不是能不能把大模型刻进芯片,而是大模型的哪些部分值得刻进去。 我的判断是,大模型正在走向分层,上层是调度,一个最聪明的大模型负责理解你的意图,把任务拆成小块, 这部分迭代块跑在通用 gpu 上。下层是执行翻译摘要,写代码格式转换。这些任务的模式是固定的,把中文翻译成英文,三年后和今天没什么区别。 这些执行层的小模型就是 tels 的 完美目标,一块芯片刻一个翻译模型,一块刻一个代码模型, 每块一七零零零 tokens s 编辑成本只有电费,快变的留在软件,慢变的沉降到硬件。计算机八十年来一直在干这件事。再往前推, transformer 架构从二零一七年到现在,核心计算模式没怎么变过, 矩阵乘法加 softmax 加残差连接,稳定了八年。八年在 ai 领域是地质年代,为什么不把这套逻辑直接做成硬件电路,就像 cpu 固化 x 八六一样,做一个 transformer 的 专用芯片。 最后说一个更大的变化,现在 ai 推理集中在大型数据中心,谁有数据中心加便宜的电,谁就有优势。但 tels 这类方案功耗是 gpu 的 十分之一, 一块芯片几十瓦就能跑完整推理,不需要夜冷,不需要机柜,它可以放在基站里,放在路由器里,放在任何有插座的地方。 ai 从集中在数据中心变成分布在每一个插座旁边, 那时候比的就不是谁的数据中心选址好了,而是谁的国家电网效率高,谁的终端电价便宜。 上一期我说理解 ai 经济得看背后的电。这一期想补一句,当算力呈降成硬件,电就不只是最重要的变量了,它是唯一的变量。

大家好啊,最近这段时间在西方的 a 圈里边讨论最多的这是一个小公司,就在前天,这小公司叫 ta 泰拉斯啊,不是特斯拉,是泰拉斯 t a a l a s t a。 这家公司呢,搞了一个事啊,他们把 ai 的 模型直接刻在了芯片上。然后呢,大家也要知道,无论是 deepsea 还是 gpt 啊,包括你现在说最火的这几家的,像千问啊,它们都是在模拟的参数运损,模型参数运行在内存里啊, gpu 像勤劳的搬运工是吧?每秒几十万次的从内存搬数据到计算单元,然后算完再搬回去。 这个搬运的过程就是治理 ai 的 一个重要的终极瓶颈,叫做内存强啊,无论英伟达的这个芯片有多强,百分之九十的能耗和时间都浪费在这个内存搬运上了。 然后 tiktok 这家新征程公司,它的解决法非常简单,搬运数据慢,我就把模型刻上去了,别搬运了对不对?他们把里尔玛三点一啊,这个八 b 的 小模型,全部参数通过光刻工艺,直接变成了规片上的物理电路。 看一下,以前模型是存在硬盘里的文件,需要播放器来解码,那现在呢,它变成一张黑胶照片,文字本身就是音乐。 芯片上的每个 g d 管对应的模型的一个权重或参数,电流通过就在进行推理计算。这种硬连线的架构呢,使得打破了相关的底层的依赖啊,数据和计算不分离,模型本身就是计算机,结果内存将消失了, h b m 的 高带突然不需要了啊,夜冷散热也省了,一张二百五十瓦的芯片跑出了一个比整机柜 g p u 还快的速度,推理速度一万七千个 toc 每秒。 这玩意有一个大问题,因为模型很多时候都不断在更新嘛,它把它刻在芯片上,明天出了新的新模型,怎么办?这个事呢?它做了一个什么呢?做了一个模型编辑器啊,能把手机网络呢自动翻译成芯片的电路。传统的 asic 的 设计,要流片要两年,当压缩要两个月,也就是说它可以两个月迭代一次这个芯片, 两个月迭代一次芯片,而且只改芯片最上层的两层金属眼膜,成本呢,也就大幅降低了啊。他们逻辑呢?一个大模型的推理呢?超过十亿美元的时候,让花两亿美元单独做一块芯片,只要节省百分之二十的推理的费用,实际上他们号称能节省百分之九十啊,这样开始一个全新的一个概念,软件定义硬件。 所以呢,这个情况,但是这里面会有什么?如果说推理速度提到一万七千个通通每秒,那很多模型就可以推到一个非常高的水平。当然这个是一个非常小的八八 b 的 一个小模型,但是如果你把一个比如二百三十五 b 的 一个大模型扣进去的话,那可能一个芯片可能会非常的大,但这是一条路啊,是一条测试的路, 但这个后面代价也是非常大的,对不对?一个是他除了推理速度以外,其他的准确度特别低,因为他这个非常小的模型。另外一个他每一次都要重新去做芯片,每一次升级都是做芯片的过程。这个思路属于什么呢?属于集市的这样一个架构, 他是极致的硬件,但后续东西可能对他就不是很有利了。你新的一些架构出现的话,那你要重新去设计个芯片,那你费的时间和相关的对后续东西的探索就更加的离谱啊,再加上我们现在的很多的芯片很可能要换方向啊,那这个事怎么办?是吧?有一些东西他现在还在 传统的传送门上,那其他的深度的 m o e 怎么办?他那个用的三点一码是传统的传送门,还没有涉及到 m o e 那 些怎么办?都有很多很多的问题,可能这条路走不通,但它只是一个测试,那这条路也是给我们提出更多的一些思考的方向,我觉得还是有价值的。 好吧,简单跟大家说一下啊,有朋友说老张你的会员视频很多都压住热点了,是很多朋友还很高兴啊,到哪看?关注我们的小程序,奥德豆豆与瑞克。老张科普课啊,这小程序赶紧到里边看好不好?我们现在正好年度会员,咱们的特价幺六九九九九啊, 这个要特价,现在那个平台给的补贴的,咱们还有几个名额,所以需要的赶紧。咱们这个年度会员,一年一百八十以上的会员视频,三十二场以上会员直播,所有转来免费看啊,现在咱们的阅读会员特价正在开啊,咱们到三月十五号结束 啊,阅读会员呢?幺幺九,原价幺九九的啊,除了时间,其他的跟年度是一样的啊。一个月咱们是十到十五个会员视频,这个两到三场的会员直播啊,所有需要包括之前的视频都能看。好,今天就到这,我是瑞小张,关注我带大家看中国科技的高度和温度,我们下期见,拜拜。

这是念 tax 吗?赵神运动又来了,他横空出世,很有可能对芯片行业形成一个降维打击,目前大家还在观察他的一个性能跟大规模运用的可能性,一旦落实,那我们大 a 很多股票的估值要大打折扣了, 明天我们就开工了。如果 ai 芯片方向有急跌,我觉得大家不要急着抄底,先让子弹飞一会吧。

这个重磅我简单的说一下,就说直接把模型直接刻在这个芯片上面啊。缺点是显而易见的,就是说 一块芯片只能运行一个固定的这个模型,如果他们能解决替换这个模型的时候,这个这个光刻的话,那么以后什么 cpu, 什么芯片与芯片的构成,什么 gpu, 这这那个两边协助都不需要了,这绝对是大力空啊。

幺七零零零 tokus 每秒,这不是显卡,这是 ai 芯片公司它拉斯的最新成果,直接把 mate 的 拉拉玛三点一模型焊进芯片里,速度碾压现有 gpu, 成本还更低,因为他,你的王座还稳吗?它拉斯搞了个什么黑科技定连线技术,不是让芯片跑模型,而是把模型直接焊死在硅片上,延迟几乎为零,成本大幅降低,功耗更省。 deepseig 二一集团已跑出幺二零零零 tokus 每秒的成绩,大模型成本结构将被颠覆。谷歌 deepmind ceo passabes 刚指出内存芯片短缺,限制 ai 发展, taxas 就 扔出技术炸弹,它不解决内存问题,而是直接绕过模型固化在芯片里,内存不再是瓶颈。英伟达靠 gpu 称霸 ai 时代, taxas 要用模型级芯片开启新纪元。 二零二六年, ai 芯片正经历泛式转移,从通用计算转向专用固化,从软件定义转向硬件原生,这是换代,而非升级。模型直接变成芯片后, ai 算力成本将断崖式下跌,大模型普及速度将超乎想象。 芯片战争进入下半场,英伟达、谷歌卡拉斯,谁能笑到最后?关注我,第一时间掌握 ai 芯片革命最新动态!记住,技术革命的最大红利,永远属于最早看懂的人!

就在前几天,一家叫 talus 的 芯片初创公司扔出了一枚重磅炸弹,他们发布了一款新产品,名字有点技术流,叫 h c e。 但真正让人惊掉下巴的是它的性能数据。 在处理特定 ai 任务的时候,它的速度据称比英伟达最新的 blockclark 架构 gpu 快 了将近五十倍。什么概念?就好比人家还在骑电动车,他已经坐上火箭。那么这家民不见经传的小公司是怎么实现这种降维打击的呢? 答案藏在他们的一个疯狂想法里。咱们都知道,现在的 ai 芯片就像一个超级图书馆,模型和数据都存在内存里,计算的时候需要来回调取,这路上就得耽误功夫消耗能量。 而 class 的 做法简单粗暴,别调取了。我把这本书直接刻在芯片上。他们把 met 的 llama 三点一大模型不是装进去,而是通过一种叫硬连线的技术,不理地、永久地释刻在硅片上。这样一来,芯片本身就成了模型, 电流一过,答案瞬间生成,根本不需要出去查资料。所以它快是理所当然的。 工号呢,自然也就降到了人家的十分之一,甚至更低。更让人觉得不可思议的是,创造这个奇迹的不是什么科技巨头,而是一支仅有二十四人的梦之队。他们大多来自 amd, 是 芯片设计领域的老兵,整个项目从零到一只花了大约三千万美元,用了两年半时间。 在动辄需要百亿美金建厂的芯片行业,这简直就像是用小米加步枪造出了一颗原子弹。听到这儿,你可能会想,那是不是明天我们就能用上比现在快几十倍的 ai 了。 别急,故事的另一面同样值得思考。这颗芯片虽然快,但它有一个死穴,它太专一了,因为它把 lama 三点一这个特定的模型克死了,所以它这辈子就只能跑这一个模型。 如果明天 metata 发布了 lama 四,或者 open i 出了更厉害的新模型,这块昂贵的芯片瞬间就过时了,变成一块电子板砖。 这就引出了一个核心的博弈,在追求极致速度和应对快速迭代之间,我们该如何选择? taurus 的 路径,像是在为未来的超级 ai 应用打造一种专用器官, 比如未来的巨深智能机器人,它的大脑可能就是一块专门为它设计的永不改变的高速芯片。 而对于我们日常使用的不断进化的大模型,通用芯片依然有其不可替代的价值。所以, telos 的 出现与其说是要杀死英伟达,不如说是给整个行业立下了一个新的坐标,它证明了当把专用这件事做到极致,天花板可以有多高。 好,最后,我想把问题留给你,如果未来我们常用的 ai 服务会因为使用了这种专用芯片而变得极快且极便宜,但它可能会比现在的版本落后一代。你愿意为了速度和成本接受一个不是最新但飞快的 ai 吗?欢迎在评论区留下你的看法。

二十五个人,只花了三千万美元,就做出了一块比英伟达最新旗舰卡快十倍的 ai 芯片,那他们究竟是怎么样做到的呢?英 伟达去年的研发投入超过一百亿美金啊,员工将近三万人,那两边都是做芯片,一边是整个行业最庞大的芯片帝国,那另外一边呢,是二十五个人的一个小团队,在多伦多悄悄干了两年半。上周他拉斯一出来啊,瞬间就吸引了全球的目光。 他做的事情在芯片史上就从来没有人干过,就是把 ai 的 模型的权重直接刻进晶体管理。这个有点不好理解啊,我打个比方,大家马上就懂了, 现在的芯片上跑的 ai 模型,就像每次回答我们的问题都要现场查资料那样,到书架上一本一本的找,翻到有答案的那页呢,他就记下来,才知道怎么样回答我们的问题。每一轮都是这样,翻书,记忆回答,再翻下一本, 为了找到正确的答案,每一秒可能要重复几十亿次。那这样光是翻书这个动作本身消耗的时间和脱口,已经是 ai 发展的最大瓶颈了。汤 老师的做法呢,很简单粗暴,就是让芯片把整本书先背下来,等到我们提问的时候呢,答案早已经刻在他脑子里了,就不需要再去查书翻阅,直接可以做到脱口而出,几乎是零延迟。 第一款芯片 h c y 呢,每秒可以处理一万七千个 token, 你 问他一个问题,完整的答案呢,瞬间就可以直接显示出来,不到一秒。那英伟达 b 两百做同样的事情呢,要慢上十倍, 制造成本呢?它呢,只有竞争对手的二十分之一。再简单说说创始人的故事啊,创始人 magic, 二零一六年呢,建了 ai 芯片公司 tencent。 二零二一年呢,他把芯片界的一个传奇人物拉了进来。 jin keller, 这个人设计过的 iphone 早期的处理器,也就是 amd 那 次绝地翻盘的主设计师 badrick, 以为引进了一个帮手啊,结果两年后呢,自己就被架空了。 keyl 把公司方向从 ai 推理芯片转向了通用计算。 badrick 于是决定离开,带着两个联合创始人,其中一个还是他的妻子,直接撸起袖子立刻开干。 二十八个月后呢, hc 一 就出来了,但这块芯片呢,始终有一个绕不过去的问题,它只能跑一个模型。 hc 一 出厂,就绑定了 mate 的 一款开源的 ai 模型,其他的一律都不支持。那如果你想换呢,要重新找 taylor 定制,从头开始等两个月。 偏偏 ai 这个行业啊,主流模型差不多十八个月就要换一代。等他的设计完,送去台机电制造,再到你拿到货,当初绑定的那个模型呢,可能已经落后一代了。你下单的时候绑定的还是最新的模型,拿到货那天呢,他已经是上一代的了。不过我觉得这个缺点可能恰恰是他最深的护城河啊。 真正大规模部署 ai 的 场景,追求的往往不是最新最强的模型。银行客服要的是稳定不崩的模型,搜索股权要的是毫秒级响应的模型,那手机翻译要的是省电的模型。这些场景有一个共同点,就是任务固定,没有人在乎你用的是哪一代模型?只要足够快、足够便宜,不出错就行。 卡拉斯压住的就是这个。当 ai 从实验室走进真实业务场景的时候,它不需要每个月都换新的,它需要的是一个被固定下来极度优化的版本,能够稳定跑下去。那如果这个判断是对的,只跑一个模型就能从最大的弱点变成没有人能复制的壁垒,那你觉得这样的芯片会有市场吗?

最近 ai 领域有个震撼的新闻,不是在大模型算法上,而是在底层芯片上。验证了木头姐年初的观点就是 ai 的 竞争未来会在定制芯片领域。 ai 全球大模型竞争你追我赶,但是底层的芯片几乎都是英伟达的天下。如今加拿大一家 tesla 芯片发布的最新消息,在 ai 圈引起了不小的震动。这家由 tenstrand 前核心团队创立的初创公司,提出了一个极其大胆的概念,把模型直接刻在芯片上。 这一想法也符合马斯克的商业白痴指数理论。马斯克提出的白痴指数就是某零件的总成本除以该零件原材料的成本。如果一个零部件的最终售价或制造成本远高于其原材料 如铝、钢、碳纤维等的价值,那么这个指数就会很高。如果这个指数太高,例如超过十,说明这个零件的设计过于复杂,制造工艺极其低效,或者供应商赚了太多的利润。用他的原话说,如果你做的东西白痴指数很高,那你就是个白痴。马斯克发现,在航天工业中, 一枚火箭的原材料成本其实只占总成本的百分之二左右,剩下的百分之九十八全是由于过时的流程、层层外包和复杂的官僚审批造成的。通过这个指数, spacex 开始自己制造零部件,将成本压缩了百分之九十以上,就像它的 plus 芯片尝试将模型直接固化在硬件上一样, 这也是在降低 ai 计算的白痴指数。如果运行一个模型需要消耗大量的电力,经过复杂的内存搬运,这些都是隐形的非原材料成本,那么通过定制化硬件把这些无用功直接砍掉,就是最极致的降本增效。 结合 talus 的 突破,我们可以从以下几个维度聊聊定制芯片如何彻底重塑 ai 科技的未来。一、突破内存墙从模拟到原生传统 gpu, 如英伟达的 h 一 百,本质上是通用处理器。运行 ai 模型时,需要不断地在存储器和计算单元之间奔运数据。 talus 的 解法是通过其 hard core 技术,直接将 ai 模型的权重固化在芯片的晶体管电路中。 这种做法消除了百分之九十以上的工号来源,也就是数据搬运。这意味着 ai 不 再是在通用机器上运行的软件,而是变成了纯硬件。 这种存储及计算的逻辑让推理效率提升了一千倍。二、极致的能效比是 ai 普惠的关键。目前大模型的运行成本极高,严重依赖昂贵的水冷数据中心。它是首款芯片运行 lma 三十八 b 模型,推理速度比目前顶尖 gpu 快 十倍, 成本却低二十倍。定制芯片让万物皆有 ai 成为可能。如果一个芯片只需几瓦功耗就能运行强大的模型,那么 ai 就 不再局限于云端,而是可以无处不在地嵌入到手机、机器人甚至家电中,且无需昂贵的订阅费。三、缩短从算法到落地的周期 过去开发一款定制芯片需要数年时间。 telas 的 创新,他们开发了自动化设计平台,号称能在两个月内 将任何给定的 ai 模型转化为定制规片。这改变了硬件跟不上算法眼近的窘境。当 deepsea open ai 或 meda 发布新架构时,定制芯片能迅速跟进并规模化部署,极大地加速了 ai 技术的商业化变现。四、推动 ai 架构的物竞天择通用芯片 gpu 的 强大在于它什么都能跑, 但这也在无形中限制了算法的创新,大家为了适配 gpu 都在跑 transformer。 当定制芯片变得廉价且快速时,算法科学家可以设计更加激进、非传统的模型架构,因为它可以针对这些架构定制专属的硬件环境, 这将引发 ai 算法的多样化大爆发,不再是一处架构跑天下。最后总结与展望, teles 的 新闻告诉我们, ai 的 下一阶段不只是算法的竞争,更是能源与成本的竞争,这些都可以通过优化硬件结构来实现。 就像人类大脑高速运转,耗费的能量只不过是一碗米饭, ai 对 能量的消跟人类本尊之间的白痴指数是异常的高。 虽然这种硬核固化模型的方法失去了通用性,一个芯片只能跑一个特定模型,但在推理市场上,效率就是生命线。当一个模型足够成熟,为其打造专属肉身,将是通往大规模 ai 应用的必经之路。这不仅局限在 ai, 还可能让机器人的发展产生质变机, 机器的胳膊、腿部等关节部件都可以植入定制芯片,然后用大脑来协调。英伟达当年推出针对显卡的专用芯片 gpu, 打破了英特尔的 cpu 的 天下。如今针对 ai 的 定制芯片也有可能打破英伟达一家独大的局面。

大家都知道,现在搞 ai 服务器和算力的全都在盯着英伟达的卡,不管是 h 两百还是 b 三百,算力确实猛,但价格也是真的贵,而且功耗和散热让人头皮发麻。今天给大家聊个实在的,一家叫特拉斯的加拿大初创公司,搞出了一张思路完全不一样的芯片,直接把大模型的推理速度干到了每秒一万七千个头啃。 这是什么概念?基本上一眨眼的功夫,几万字就出来了,延迟低到不到一毫秒,他们是怎么做到的?目前普遍在使用的 gpu, 本质上都属于通用计算芯片, 跑大模型的时候,计算单元得去显存里把参数权重翻过来,算完了再把数据塞回去。这就好比干活的工人不停的去仓库拿物料,大部分的时间和电力全浪费在了跑腿上。行业里管这个叫内存强, 现在数据中心里那些几千瓦的机柜,百分之八九十的电都耗在了搬运数据上,最后全变成了费热 tales 的 思路,简单粗暴,干脆不要这个搬运过程了。他们最新搞出的这块 hce 芯片,直接把一个八十亿参数的拉玛三点一模型物理固化成了硅片上的真实电路。 模型本身就是芯片数据通电进去,顺着排好的晶体管走线流过去,数学计算就自然完成了,软件直接变成了物理硬件。这么干的结果就是极其省电,因为省掉了显存来回读写的步骤,这张卡跑满状态下的功耗只有大概二百五十瓦, 这也就是一台普通家用电脑的水平,随便拿个普通的风扇吹吹就行,根本不需要上什么昂贵的夜冷服务器机柜。听到这,懂行的朋友肯定要问了, 大模型叠带这么快把拉玛三点一直接刻死在物理电路上?明天要是出了新模型,或者我想自己微调一下,这卡不就直接变成了电子垃圾吗? tels 的 团队也考虑到这一点,所以他们搞的是一套混合架构。大模型里面,最底层、最庞大、最不需要变的基础权重,确实被永久刻死在了底层的硬件线路里。 但在这些固定线路上面,他们留了一层可以擦写的高速缓存,也就是 sram。 这层空间虽然不大,但刚好够干两件事, 一是用来存放聊天时候的上下文记忆,二是用来跑微调的 loo 模块。也就是说,硬件底座提供了基础的大模型能力,但你可以随时在上面换不同的微调插线。哪怕退一步脚,就算开源模型真的大换代了,他们重新造新卡的速度也很快,因为芯片底层那海量的晶体管,全都是标准化批量生产的。 出了新模型,把芯片最顶层的两层金属走线重新定制一下就行。从拿到新模型到新芯片出厂,只需要两个月,完全跟得上软件更新的节奏。不过现在的问题是,真正厉害的前沿模型都是几千亿上万亿参数的, 受限于光刻机的物理极限,不可能把几千亿参数全部刻在一张龟片上。对付这种超大模型, taylor 的 方案也非常接地气,他们把模型做水平切分,例如一个有一百层的 transformer, 把前五层放在第一张卡上,第一张卡算完后,只传递一个很小的状态包给第二张卡,第二张卡接着算下去。 这个流水线式的做法对贷款的要求相对较低,普通的 pci 通道就够用,也就是说不需要昂贵的高贷款。互联不用专门的超级服务器机架, 普通机箱里插上几张这种低成本的卡,就能以更低的成本运行一个万亿参数级别的系统。总结一下,把模型直接做成硬件的方案,并不会完全取代 gpu 厂商在训练环节的地位,因为你要从头训练一个大模型,还是得老老实实的买 gpu, 这没得选。 但是在模型训练好之后的推理阶段,也就是真正拿给大规模用户去调用的时候, tels 的 这种方案的成本优势是碾压级的,据说在这种架构下,跑一百万个 tik 的 成本连一美分都不到。 如果未来推理算力真的能变得像自来水一样便宜,那整个 ai 应用的商业模式和落地玩法可能就要彻底变天了。你怎么看这款芯片评论区,聊聊你的看法。

今年最离谱的一条 ai 新闻,几乎没人聊。就在所有科技巨头为了英伟达的高端 gpu 抢破头的时候,一家成立不到三年的多伦多小公司 掏了直接掀桌子了。他们干了一件反常识到离谱的事,把大模型物理焊死在芯片里,不是优化,不是压缩,不是加速,是直接焊死。他们发布的 hce 芯片,专门为 mate 的 拉玛三点一八 b 模型打造。速度多少? 一万七千 tokens 秒什么概念?行业里公认的怪兽级选手 siri bruce, 同模型大概二零零零, tokens 秒提升接近十倍。对比英伟达 g b 两百,最新架构夸张到接近五十倍。 不是秒回,是你刚敲回车,答案已经在屏幕上等你。在 x 上平台上有测试网站 c j i t j i 点 ai, 你 们可以去看看。有很多外国网友说它不是 ai 在 思考, 是他早就想好了。更炸裂的是,他居然抛弃夜冷,抛弃 hbm 显存,抛弃通用计算, 十张卡总功耗二点五千瓦,空气冷却就能压住,成本只有传统方案的二十分之一。你知道他是怎么做到的吗?因为他根本不搬数据。过去三十年, cpu、 gpu、 ai、 加速器都在追求一件事,造一个通用舞台模型,在上面跳舞。 但问题是,舞台越来越大,演员越来越胖。于是出现了一个词,内存强。数据来回搬运的能耗早就超过计算本身。 而它拉斯的思路是,既然你每天只演罗密欧与朱丽叶,那我为什么不把布景直接用水泥气死在 h c e 里?每一个权重对应一个晶体管矩阵乘法不是调度执行,而是电流物理流过传统 p p u 像刻好的黑胶唱片, 插电就播,而且是疯狂倍速播放。但代价是什么?这块芯片一出厂,命运就锁死他,这辈子只能跑 lima, 三点一八 b, 不 能升级, 不能微调,不能换模型。如果明年 mate 发 lima 四,对不起,直接电子垃圾。这背后其实是一场路线分裂。 thomas 创始人, amd 和 nvd 的 架构师,也是 ai 芯片公司 tenstarrent 的 创始人。 而 tencent 后来迎来了芯片之神 jim keller。 jim keller 的 信仰是通用可编程,软件友好。而 badger 走向了另一个极端,极致固化换取极致效率,争议巨大。 有人说,模型一年一迭代,流片成本天价,这是死路。但也有人说,人脑不也是硬件固化的吗?我们大部分人一辈子说一种语言,做一个职业,你真的需要一个全知全能的通用大脑吗? 还是需要一个便宜稳定、毫秒级响应的电子工匠?也许未来的 ai 会分裂成两级,一端是云端庞大的通用神灵,另一端是被刻进碑里的廉价工匠, 数以百亿计嵌入世界每一个角落,一万七千头肯斯秒的怪兽已经出笼。这不是简单的芯片发布,这是在挑战一个时代的共识。我们到底需要更聪明,还是更快更便宜?如果是你科技树这一点,你会点通用神灵还是物理工价评论区聊聊?

每秒一万七千个 token, 初创公司 tylas 刚发布的 hce 芯片,把推理速度直接拉高了十倍,成本还只有 h 幺零零的十分之一。 这种芯片及模型的暴力方案,难道真的要终结 gpu 时代了吗?摇完了硬件,咱们看生产力。 asurepic 发布了全新的 ai 代码扫描工具,基于 cloud 的 四点五 opus 的 恐怖代码能力,直接扫描漏洞。 这消息一出,美股网络安全板块瞬间成压, ai 正在精准降维,打击传统安防。不仅是代码,印度 ai 巨头 seven 刚刚上线了英特斯 ai 聊天应用,在多语言处理上,他们针对本土语料做了深度优化。 全球大模型本地化竞争越来越白热化了。再看学术圈的新发现,清华 ar 团队揭示了人类与智家算法在视觉注意力上的本质差异。现在的算法在极端场景下还是容易跑偏, 这对我们优化端到端大模型非常有参考价值。回到刚才提到的它,拉斯这款 hce 芯片在拉玛三点一八 b 模型上跑出了一点七万 tokins 的 成绩。观众老爷们, 这意味着 lm 真正实现了亚迪 s 级响应,几乎感觉不到延迟,技术细节更硬核它拉拉斯放弃了通用算力,直接把模型架构刻在硅片上, 模型不再加载到内存,而是变成硬件逻辑。这种极端的专用 ace 路径,可能会重塑边缘测 ai 的 格局。而且这玩意工号降了十倍,成本直接缩减二十倍买不到。 h 幺零零 plus 的 思路是,既然通用 gpu 太贵,那就直接定制模型芯片。 二十四个人的小团队,真的硬刚了。英伟达大厂这边也有动向,欧普奈悄悄把长期算力支出目标下调到了六千亿美元,虽然还是天文数字,但可以看出,即便是巨头也在优化资源分配, 不再盲目堆料了。与此同时,欧普奈正在推进新一轮巨额融资。尽管支出目标微调,但为了 gpt 六的研发,奥特曼手中的钱袋子还得继续扩充, 钻离霸权的地位依然稳固。收回 antropic 的 动作,他对网安行业的冲击不容小觑。当 ai 能自动发现并修复漏洞时,传统安全厂商如果跟不上 cloud 四点五的迭代速度, 恐怕真的要凉凉了。最后插播一条 tech crunch disrupt, 两千零二十六的早鸟票,还有七天涨价,想去现场看 gpt 五点二深度应用的老哥们, 抓紧最后省六百八十刀的机会吧。从一点七万头肯的芯片到六千亿的算力博弈,两千零二十六年的 ai 圈依然是神仙打架,想紧跟技术最前沿,关注天天叫,咱们下期见!

每秒一万七千个 token 的 ai 芯片,凭什么比英伟达快七十三倍?跟半导体进化类似,从大哥大变成智能手机,算力芯片正从万能工具转向专业工匠。 tallis 的 hce 芯片直接把朗玛三点一八 b 模型刻进晶体管,就像把菜谱焊死在炒锅里,省去了翻书找步骤的时间。 实测显示,这种芯片即模型设计,让推理速度飙到英伟达 h 二百的七十三倍,功耗却只有十分之一,连散热风扇都能笑醒。 当电商、客服、车载语音这些场景需要固定 ai 模型时,专用芯片就是性价比之王。 tels 用台积电六纳米工艺,把定制周期压到两个月,就像快餐店能按顾客口味现场改装烤箱。这款芯片的缺点是不能像 gpu, 可随时切换模型,但就像你不会用微波炉洗衣服,特定场景要的就是专精。 随着 ai 渗透生活,这种焊死的芯片可能会悄悄占领三成推力市场,让大模型像电灯泡一样即开即用。

tales 公司正式发布了其首款 ai 推理芯片,命名为 h c e。 h c e 芯片的核心设计目标是将 mate 的 lelema 三点一八 b 大 语言模型几乎完整地集成到规片中, 这种集成方式只在优化大型语言模型在硬件层面的运行效率。在单用户场景下, h c e 芯片展现出每秒一万七千 token 的 惊人输出速度, 这一性能指标显著超越了市场上现有竞品的推理速度和效率表现。 h c e 芯片的发布标志着 ai 推理硬件领域的一项重要进展。主流 ai 推理任务广泛依赖于通用图形处理器 gpu 进行计算, 例如, nvidia 的 h 一 百、 h 两百系列是当前 ai 推理领域常用的 gpu 型号。 gpu 的 核心优势在于其通用计算能力和成熟的软件生态系统支持。然而, gpu 的 计算单元与存储单元之间存在物理分离的架构特点,这种分离导致数据在 hbm 高带宽内存 与计算核心之间传输时会消耗大量能量和时间,数据搬运过程中的能耗与时间开销是当前 gpu 架构面临的性能瓶颈之一。它拉斯 hce 芯片的核心设计理念是全面专用化、存算合一,极度简化。 该芯片采用 maskron 工艺,将模型权重直接编码在芯片的金属互联层中,模型权重与计算逻辑共存于同一硅片,实现了高度集成。此设计消除了对外部 dram 或 hbm 的 需求,简化了系统架构。 通过这种方式, hce 芯片有效解决了传统 gpu 面临的带宽墙问题。 hce 芯片采用台积电 n 六工艺制造, 芯片面积为八百一十五平方毫米,功耗约为两百五十 w。 由十块 hce 板卡组成的服务器总功耗约为二点五千瓦,可在标准风冷机架中稳定运行。 相较于需要液冷支持且功耗高达数十千瓦的 gpu 服务器, hce 在 功耗方面表现出显著优势。 hce 芯片的低功耗特性使其在散热需求上远低于传统 gpu 服务器,降低了运行成本和复杂性。 hce 芯片存在局限性, 其设计仅支持运行 lollam 三点一八 b 模型。该芯片几乎不具备可编程性,限制了其应用范围和灵活性。它拉斯公司借鉴了结构化 s a 的 设计理念,优化了芯片定制流程。 为适配新模型,定制芯片时仅需更换两层眼膜,大幅简化了制造步骤。这一创新流程将模型到芯片的周期缩短至约两个月。快速迭代能力使得它拉斯能够高效响应市场需求,实现技术快速更新。 talas 对 deepsea r e、 六百七十一 b 等大型模型进行了模拟测试,模拟结果显示,约三十颗 h c e 芯片协同工作可实现每秒一万两千 token 的 用户推理速度,这一推理速度显著超越了当前 gpu 的 性能水平。此外, hce 方案的推理成本也明显低于现有的 gpu 解决方案,这充分展示了 hce 芯片在大模型扩展性方面的巨大潜力。极端专用化策略面临模型快速迭代的固有风险, 若芯片支持的模型迅速过时,前期投入的巨额投资可能随之失效。多芯片系统在互联方面存在显著的工程挑战, 确保各部分高效协同系统同步性是多芯片设计的另一大难题,需克服复杂的持续问题。芯片制造的良率控制对多芯片系统置关重要,直接影响生产成本和可能性。 芯片不可编程的特性意味着出错余地基本为零。对流片前仿真要求极高精度。 tars 的 解决方案并非只在完全取代现有 gpu 数据中心,而是专注于特定应用场景。 其核心目标是为具有长期稳定性的模型提供极致的性能与成本效益。可能的商业模式包括提供 a p i 推理服务,直接销售定制芯片。此外,它拉斯还可与模型开发者合作,共同定制专用芯片解决方案。