谷歌下场造了一个大模型神级压缩算法,昨天一千多万人围观开盘,直接带崩了美光、闪迪这些存储芯片巨头。简单来说,它是一种把 ai 记忆占用压缩六倍、推理速度提升最多八倍,几乎不损失准确性的神级压缩算法,目标很明确,让大模型变得更小、更快,还更便宜。它彻底重构了 ai 的 成本结构, 而且它不只是压缩,还能让上下文能力大爆发。这个算法通过两步神操作实现无损压缩,先用核心步骤锁定向量的主要特征,再用简易比特的数学纠错机制消除微小偏差,最终达到近乎完美的零精度损失。 这意味着,你那台十六 gb 内存的 mac mini, 现在就能在本地免费安全地跑超强大的模型手机流畅运行,高质量 ai 也马上将成为现实。短期看,内存芯片厂商确实成压,但长期呢,单位内存需求下降,但应用爆发带来的总需求会飙升。 turboqant 解决的是效率问题,它打开的是 ai 普及的闸门。
粉丝4.5万获赞103.2万

说真的,每次看到大厂发那种颠覆性的论文,我内心都会先翻个白眼。但这次 google 这个 turbocharger, 我 得承认,有点东西,它不是那种我们把参数砍了一半,然后说性能持平,但常规操作,它是真的在动手术的刀法上换了逻辑。咱们摊开了说, 现在的的 ai 大 模型有个特别尴尬的毛病,健忘症兼囤鸡皮。为了记住上下文,他们得搞个 k v cash 键值缓存。这玩意儿就像是你跟别人聊天,为了不忘之前说了啥,得把每句话都录下来存脑子里,聊得越久,脑子越沉。传统的优化方法是什么? 是压缩,但那种压缩特别蠢,就像你把衣服塞进真空袋,结果为了封口,每个袋子还得配个充气泵和说明书。 troublecunt 最让我觉得有意思的地方在于,他换了个视角看数据,他直接把数据旋转到极坐标系里,这一步操作直接把那些繁琐的边界计算给省了。 这就好比大家突然约定都用时差,而不是秒来计时。虽然精度看似低了,但对于什么时候吃饭这事来说,效率高了无数倍, 这点让我挺震撼的。用一个比特的信息量去校准高维空间的偏差,这就像是用一根头发撕去拉住一艘正在漂移的巨轮。理论上,这叫 johnson linden strauss 变换。通俗点说, 他找到了数据里那个不变的股价,只要股价在肉稍微少点没关系,动起来还是那个位儿。结果呢?三倍的量化无损 k v 缓存,直接缩减六倍,推理速度在 h 一 零零上跑了八倍速。这意味着什么?意味着以后你在手机上跑个大模型可能不再是个笑话,意味着搜索不再是关键词匹配,而是真正的语义理解, 而且快到你感觉不到延迟,但我得泼盆冷水。 turbocont 确实漂亮,但它在实验室里跑分漂亮,到了真实世界那种脏乱差的数据环境里,会不会水土不服?我们总是习惯用更多来解决不够,用更大的显存, 更多的参数去掩盖效率的低下。但 turbocont 告诉我们,有时候理解世界的最好方式不是记录每一个细节,而是找到描述它的最短路径。

上周科技投资界很火的一个话题就是谷歌推出了特步矿的技术,它号称可以能够将大模型运行时的 k v cash, 也就是键值内存值减少六倍啊!这个技术一推出,存储 这美观科技啊,闪迪啊,三星电子的股价都大跌。今天我们就来介绍一下特步矿到底是一个什么样的技术,它到底厉害在哪里。相信了解了这些后,你就会明白他对于 ai 大 模型到底有什么作用。如果你是做投资的,对你的投资决策也会有帮助, 那我们先从大语言模型推理中最头痛的内存杀手 k v kash 讲起,这也是特博矿的诞生的核心背景。 而在大语言模型生成文字字的时候,其实它是逐个字蹦出来,为了生成下一个字,模型需要回顾之前已经生成的所有字。简单的来说, k v kash 这个键值缓存其实就是大模型 l a m 的 短期记忆。在没有 k v kash 的 情况下, 大模型每生成一个新字,都要把之前所有的字重新读一遍,有了它,模型就能记住处理过的内容,从而实现极速的推理。 那为什么它是瓶颈呢?虽然缓存能够加速计算,但它也带来两个致命的问题,一个就是限性增长,对话越长, k v k 使用的空间也就越大。如果你在写长篇小说或者分析长文档,显存就会迅速被填满。 第二个遭遇的问题就是内存强。现在的 gpu 算力其实很快,但是显存里边读取的数据的速度、带宽相对较慢。当 k v cash 变得巨大时, gpu 大 部分时间都在等数据传输,而不是在计算。 举个例子来说,想想你在读一篇啊,一本很厚的推理小说,如果没有 cash, 每读到新的一页,你都要把前面的章节全部读一遍,才能理解剧情,这个就太慢了。那有了 cash 呢?你把之前的关键线索记在了笔记本上, 但是呢,你也会遇到瓶颈,随着你这个书越来越厚,你的笔记本就被填满了,也就是说显存易出了。而且你翻阅笔记本找线索的速度也开始跟不上你阅读的速,这就所谓的待宽限制。胳膊框的出现呢,本质上其实就是发明了一种超级微缩胶卷, 把你的后笔记本压缩成一小片,但又不丢失关键线索。这个 point 使用了量化技术,就是所谓的 quantization 技术。简单来说,就是把高精度的大数字,比如说像 f、 t 六零这种十六位的浮点数,压缩成低精度的小数字,比如像四的这种等数。 但这里就面临一个巨大的挑战,那就是精度损失。如果你强行把所有的数字都压缩成呃 int 四这种整形数,模型就会胡言乱语,逻辑变得混乱。特步矿腾呢,发现了一个神奇的现象,叫异常值,就是说, 他认为就是 tv cash 中其实百分之九十九的数据都很平庸,数值很小,即便压缩了以后也没有什么关系。但是呢,有极少数的所谓的异常值,它的数值非常大,承载了模型最重要的记忆和逻辑。 那这样呢,就特步矿的它采取了一种保命策略,它就不像传统的压缩方法一样一刀切,而是采采用的就是异常值感知量化,它会先像雷达一样扫描这个整个 k v catch, 识别出那些极少的异常值,给它们分配。高精度啊,保留原来的这个精度啊,类似于 f p 十六这种。 对剩下的绝大多数的这个普通纸呢,进行高倍压缩,压缩成 excel 甚至更低。当然这里面牵涉到一个比较复杂的一个叫随机旋转,还有一个 one bit 的 这种机制来做具体的操作。这里不假拍讲,太复杂了,我相信普通的读者可能也并不关心。 虽然这种方法逻辑上看似很完美,但是在计算机底层却有一个大麻烦,也就是 gpu, 它喜欢整齐划一的数据类型。 想象一下,如果一个盒子里面既有巨大的石头,也就是十六 bit 的 这种异糖纸,又有细小的沙子,也就是四 bit 的 这种整形普通纸。那搬运工也就是这个 gpu 算子,它处理起来就会非常手忙脚乱, 如果解压缩的速度太慢,那省下的内存贷宽就会被计算延迟给抵消掉,我们也无法为了一个算子就去重新设计生产成千上万块 gpu 芯片。那这个时候最聪明高效的方法就是在软件层面进行优化。那其实在 turbo 框子中,这种优化主要体现在如何解决既要快又准的矛盾上。 那特步矿的做的一件事情就是在算子层面做了融合,就是在普通的推理过程中, gpu 先要从显存读起,压缩的数据放入缓存,然后再减压成原始数值,最后再进行计算, 这个每一步都要产生数据搬运的开销。那特步矿的呢,就编选了专门的扩大算子,它让 gpu 在 读取数据的一瞬间,直接在积存期,也就是 gpu 内部最快的地方完成了减压和计算。这种边读边算的方式呢,就极大的减少了数据在显存和核心之间的往返次数。 另外他用到了一个所谓的叫未包装的技术,就是让四比特数据在三十二位或者六十四位的英俊通道里边跑的顺畅,包括矿的。使用了这个未包装技术呢,就是把八个四比特的数字打包进一个三十二位的整数计算器里,这样的 gpu 就 可以一口吞下整个的数据量,包含的信息密度就是原来的四倍。 第三个就是使用异步处理异常啊, double quantum 的 算子设计也比较巧妙,它让 gpu 在 处理大量四倍的数据的同时,通过一个并行的极小通道去读取和还原那些高精度的异常值,那这两者在计算核心中会会合,这样既保证的速度,也掌握在精度。我们知道 gpu 的 瓶颈往往不在于算的够不够快, 而是在于数据运不过来啊,主要就是由于内存带宽的限制。假设原本我们从显存里搬运一百 g 的 f p 十六数据的 gpu, 那 现在通过 turbocharger 压缩压缩成了四个倍,也就是说只有原来的四分之一大小。 但在这种情况下, gpu 在 相同的时间内能处理的对话长度也就是吞吐量啊,其实理论上最大可以提升到原来的大约四倍。 我们来总结一下,其实突破框的这个要解决的核心痛点就是 k v cash, 随随着上下文自数限行增长,这就把那个整个文显存给撑爆了,那它采用的什么策略呢?就区别对待异常值和普通值,用四倍的换空间,用高精度保留智商。 那实现的方式呢?就是通过底层算子优化,让解压和计算同步,把理论上四倍贷款红利变成现实。 当 kvmatch 不 再是就是紧箍咒的时候,大模型的这个能力呢就发生了质的飞跃。最值得改变的其实就是两个维度,一个就是突破健忘症,也就是有了更大长的上下文,那比如说原来是一个 mini 的 上下文限制,那其实相当于现在变成了四个 mini 的 四个四兆的上下文限制, 那以前受制于这个现存模型可能只能处理五十页的文档就断篇了,那现在有了这个特步框的以后,同样的硬件可以处理两百页甚至更长的。 就是第二个就是告别打字机,这也就是更快的推理速度,因为数据搬运的话,瓶颈被打破了,这个模型生成文字的速度,也就是 token per second 会显著提升 啊,交互管会像真人一样,就是使得对话这个更加流畅。了解了 turboq 的 这个技术原理和作用以后,其实我们来聊一聊啊,就是对资本市场那个内存股的这个影响啊,就是从表面上来看这个有了这个技术以后, turboq 可以 使得大模型推理 使用到的这个内存大幅下降,感觉像是对这些内存公司的一个利空。但是个人来觉得这其实并不是,打个比方就是说其实就像车子卖便宜了,那其实车子的销量会更大, 那有了这个特步矿的技术,其实大模型的这个推理成本会大幅下降,那因为推理成本里边很大一块是内存的价格。倒,那既然推理成本能够大幅下降,那大模型的这个应用的潜力和空间也会大幅提升,用的人会越来越多啊。其实短期看上是一个利空, 但是我个人觉得长期可能是一个利好,因为大模型用的人越来越多,使用的成本也会越来越多啊。当然这个是我个人的一些潜见,仅供大家参考。好,谢谢大家。

最近谷歌发的一个量化压缩的算法简直太离谱了,跟全精度的性能是差不多的,但是它量化压缩到了斯比特,相当于是之前的十六分之一的内存损耗。 它这个算法不光是可以应用在 kvatch 上,也可以应用在模型压缩上面,但是它实际实验和测试基本上都是用在 kvatch 上,可以看到它的斯比特跟它全精度的评分是一致的, 而且在很多时候它用三点五比特和二点五比特,跟之前的完整的 k v k h, 它的性能是差不多的。 我们来详细看一下它这个技术。博克。首先我们说一下这个 k v k h 是 一个什么东西,因为现在很多模型它在运行的时候,它会计算前面的 k v k h, 只要你新的对话进来的时候,你前面的历史记录是没有变的,那么前面的很多计算好的东西你就可以附用,但是前面这个东西你必须要保存下来, 当你前面的这个历史记录非常长的时候,比如说有一百 k, 那 么它的 kvch 的 内存就会非常的大。还有一个点就是当你是多用户或者多任务的时候,那么你前面的 kvch 的 对话肯定有非常多的版本,所以说你存 kvch 的 时候,也需要存为非常多的版本, 那么你的这个内存肯定就上去了。怎么样下降这个的内存,而且它 k v k 的 效果还不会下降,这个就是现在模型推理非常重要的一个优化点,特别是像我们代码 动不动它的上下文就是一百 k, 动不动,它预见的提示词就是几十 k, 你 都还没发消息,它的系统提示词工具这些已经占掉了几十 k, 那 么 k v k 的 优化是非常 重要的。 ok, 他 就说了一下他们这个 turboquat 的 一个工作原理,它主要分成了两个部分,一个部分就是高质量的压缩,把这种向量如何量化到这种低比特,而且不会损失多少。 他们的这个方案是他会去简化了这些数据的一个几何结构,因为之前的几何结构它可能有非常高维的空间,然后方向那些会非常的复杂。 用人话来说就是你有一个面团,他一巴掌把这个面团拍扁了,把它拍到一个稍微大一点的平面,然后再对这一样大一点的各种 k o k h 进行量化压缩,把它量化到具体的比特位,但是量化到比特位的时候,比如说一比特就是零和一, 当它大于零点五的时候,它就直接氧化到一了,当它小于零点五的时候,它就氧化到零了,那么之间的这个误差怎么办?第二个部分就是来降低这个误差的,它应用了一个 q j l 的 算法, 他其实也是用了一个伊比特的压缩,把他换算成了一个方向和他的这个不长,这样的话,因为他是对这个误差的转化,所以说他用伊比特再加上不长的就不会损失掉过多的精度,因为他没有对原始的这种高维信息特别多的进行这种量化, 所以说它的准确度也会非常的高。最终达到的效果就是它跟全量上下文加载在 k v k h 三点五的时候,它的性能是差不多的,并且它的速度会非常的快,三点五接近四比特量化, 那么它比之前的全量 k v k h 十六比特要要节省了十六分之一,所以说它这个性能还是非常亮眼的,可以看到 他用的拉玛三点一八 b 的 来进行测试,完整缓存的十六部比特和他的三点五和二点五比特,二点五比特只损失了一点点,然后三点五比特几乎没有损失, 甚至在有一些上面他还要更好,在这种药物上会稍微差一点点,但是在这个 g b 效果又会更好,所以说他几乎没有任何损失, 而且它的项链压缩至少压缩了四点五倍,这个还是非常离谱的,因为我们跑本地大模型的时候,一般是跑个八币或者十六币,然后三十二币的模型基本上就是要三十二 g, 但是你想要跑到十六 k 或者三十二 k 以上,那么你就得预留出来这么多的一个 k v k 就 相当于三十二币,你就得有六十四币这个运存,那么你才能跑个三十二 k 级以上。但是如果有这个方式的话,六十四 g 的 内存它就可以跑六十四 k 或者一百多 k, 这个还是非常离谱的一个优化了。但是我讲的可能不太好啊,只能说大概把它这个逻辑讲出来了,如果大家对算法比较熟悉的,建议看一下它的原论文的这个逻辑还是非常的精妙。

你听说了吗?今天凌晨,谷歌啊悄悄放了一个东西,技术圈已经炸了,但品牌圈啊,基本没人能看得明白。它叫 jammin inviting two, 是 全球第一个多模态嵌入模型。 说人话啊,就是过去 ai 理解内容,靠的是读文字,你写了什么关键词,它就匹配什么。别管图片、视频还是音频, 他基本都靠猜。但 jimmy 的 引配跟 two 是 不一样的啊,他同时可以理解文本、图片、视频、音频甚至 pdf, 能把所有这些信息压缩成一个统一的 语义。指纹意味着什么?意味着未来。你所有新媒体平台的推荐算法,不再是只看你的标题和标签,他会真正看你图片的构图,听你视频的配音,读你产品的详情页, 然后判断这条内容跟用户的需求是否匹配。品牌方来说,这是一个关键的分水岭。能够去呢,你靠的是堆关键词骗流量。 未来你的内容本身必须是高质量,因为 ai 是 真的能看懂了。要找一个好的内容生成模型, 炫 ai 的 内容生成模型训练数据来自全平台九千万条真实内容,它输出的可不是关键词堆砌,是符合平台审美和用户偏好的完整内容。当推荐算法越来越聪明,内容质量的互成合只会越来越深。

google 发布最具性价比的视频模型 vivo 三点一 light, 每秒仅需五分钱。 vivo 三点一标准版的招牌功能, light 版也有文本生成,视频能力强大,光阴和物理流体效果堪称完美。 生成的视频自带环境音效和声音同步。 solo 才刚死,谷歌就出手了 c 弹词,海外最强大的对手来了。

昨天谷歌发布了新的模型哈基米三点一 pro, 如果我们只看名称的话,就会发现他只提升了零点一,那是不是能力也只是提升了一点点呢?并非如此,这次更新虽然是一个非常小的版本,但是他的整个推理能力有了一个非常大的跃升。而且我们看他官方展示的例子,只能说明官方很懂啊,他知道自己模型的强势点在哪,就是前端视觉, 所以他们展示的是一个视觉方案。那么这只是卖家秀,接下来呢,将给大家展示买家秀是怎么样的。 首先来到战备贷官网,不管你是什么账号,都可以进行使用,只不过额度不相同。就比如说我现在是一个免费的账户,点击右下角可以切换到 pro 模型,它默认使用的就是三点一,一个经典的小游戏,让它加上了音乐, 我与板栗仔不共戴天,就是我这个免费账户,只用它生成了这一个案例,然后就已经达到了限额。然后是我的 pro 账号,让它生成了一个动画 svg, 展示一只穿轮滑的鸵鸟,我觉得还是非常让人满意的,只不过这个行走动作呢,有点奇怪,像是倒着走一样。 只要你是付费用户呢,你这个额度其实就非常多,可以一直去用,但是相应的他也学会了 open 那 一套,对一些账户呢,给你随记录邮也就降至免费版,虽然次数少,但他肯定不会给你降至,原因呢,就是因为他肯定要让你看一个非常好的效果,然后你才会愿意花钱去购买他们的套餐。至于你已经购买的了,我就随便给你路由,一会让你好用,又让你不好用。 这个就比较烦人了,学坏。给大家看一下我其他的生成效果,重复了很多次,有的降智了,有的不降智。就比如说这个,当我点击皮卡丘的时候,他会有一个闪电。 我靠,但是有些时候他做的还挺好看的。你比如说一个精灵球,我去释放,然后会出来一个皮卡丘,它整个质感是不错的,只不过耳朵的位置错了。我也可以去继续跟他聊天,让他去纠正,他是可以纠正的。我测试过 制作一个赛车飞速行驶的 svg 动画,那它呢?就会自动帮我们进行设计,去思考应该怎么做。那最终结果是这样的,你可以看一看,是完全可以用的,非常的惊人。 但是因为我刚睡醒啊,有点起床气,没有那么激动。什么意思?在同样的提示词下,拆 gps 的 表现就非常的糟糕。而 cloud 的 欧帕斯四点六同样非常惊人,完全可用的状态。那国产模型里边 dbc 老师生成的呢?也是非常幽默,那可以看一下是飞驰。 哇哦,那现在我们再来看 jimmy 生成的这个,这样对比之下,我们就能发现他的细节比上面两个模型要好非常多。不过这个时候呢,可能有朋友要质疑, 那你生成个 svg 有 什么用啊?就只是看着好看,好像没什么用。拜托,这是 svg 啊,他是一个矢量图,这个意思是不管我们放大多少倍,他都是没有像素点的。就比如说,我们可以直接把这一段矢量图放在我们的网站中,我之前他制作一个精致的赛车网站,把 svg 动画当做头图展示, 直接让他来进行生成,这网站虽然生成了,但是说实话,配色整体的感觉是非常丑陋的,所以呢,我让他变得高级优雅,有设计感。这几个词呢,几乎已经被他训练在里边了,他一检测到这个词他就知道了啊,你想要一个那样的, 我就给你个那样的过礼盒了。属于是现在我们再来看这个风格呢,就变得非常高级了,包括这个车的颜色呢,也进行了重新设计。 哎呀我靠,艺术,这就是艺术。我这里呢还让他做了一个小小的演示动画,就是先是一个手机,然后变成赛车在赛道上跑,然后赢。我看一下 整个动画呢,可以说是非常流畅而且很巧妙。这个模型对于一些三 d 效果呢,做的也是非常不错。就比如说我让他制作了一个图书的网站, 然后是三 d 悬浮的书,然后可以这样去滑动去选,还让他制作了一个三 d 的 赛车游戏,你可以注意一下这个车上面的灯光反射做的非常好啊,还有这个碰撞, 每撞一下速度就会减慢,撞三次就死亡了。然后就是经典重现 mac os 系统,哇,整个图标的设计呢,也变得非常好看了哈,挺可爱的。 还有这个小游戏对赢家 x 贪吃蛇,这能放大吗?还可以全屏细节,还能在系统设置里面呢,去设置壁纸。 哎呦,总之这个版本的更新呢,前端依旧是非常的强劲,那至于后端,我们有更好的选择,高的欧巴斯, openid, 酷拽的都是不错的。 至于 jimmy 的 话,就写写前端吧,他们好像是要在前端的路上一去不回了,要走到头,依旧牛大了,依旧无敌,非常的寂寞。各位如果感兴趣的话,可以下去自己试上一试, 得出自己的结论,不要看我怎么说,也不要看别人怎么说,好不好用你用不用,最终呢还是自己来决定的。那以上呢,就是本期视频的全部内容了, 对你的帮助和这个视频做的还不错的话,欢迎给个一箭三连,有什么想看的内容呢,也可以在评论区留下你的足迹。那最后祝大家新年快乐,今天已经初四了,年都跑远了,给大家拜个晚年。依旧祝各位晚年幸福,晚年安康,我们下期再见!拜拜!


今天我们要聊的呢是一个最近非常火的话题啊,就是谷歌发布的这个 turboqant 内存压缩算法。对,这个算法呢,可以说在页内掀起了轩然大波,它不光是让大模型可以在普通的设备上面跑的更流畅了, 同时也让很多人都在说,是不是这个硬件行业要迎来一场变革了。没错,这个确实是最近非常火的一个话题, 那我们就直接开始吧。好的,我们先来看看,就是这个 turbo quant 算法发布了之后,这个存储巨头的市值为什么会在短时间内大幅缩水,就是三月二十二号的时候,谷歌推出了这个 turbo quant 极度内存压缩算法, 然后呢,就导致三星、 sk、 海力士、美光这些核心的存储巨头,在短短的四十八小时之内,市值总共蒸发了大概六千二百亿人民币。 天呐,那为什么会这样呢?就是因为华尔街把这项本来是用来优化系统的技术视作了一个硬件杀手。哎,这个 k v cash 到底在 ai 的 这个文字生成的过程当中扮演一个什么样的角色, 为什么它会带来这个所谓的内存强的问题呢?是这样的,就比如说像一个七十 b 的 大模型,在服务五百一十二个用户的时候,仅仅只是用来存储这个 kvatch, 也就是它的这个短期记忆就需要超过五百一十二个 g 的 高速显存。 这是因为每生成一个新的词语, ai 都需要去回顾之前的内容嘛,那这个历史记录就会越来越长,它所占用的缓存就会限性的增加。所以这就是为什么当对话变长的时候, 很快就会遇到这个内存不够用的瓶颈?明白了,那这个极坐标系到底是怎么帮助 ai 的 数据实现这种极速的瘦身的呢?这个嘛,就是传统的迪卡尔坐标系,表示向量的时候,它是需要在每个维度上面都保存一个值的,那这样的话就会有很多熔余。 而极坐标系呢,它是把这个向量用长度和角度来表示哦,然后这个 turboqant 就 发现了,其实 ai 的 数据它的角度是非常集中的,所以它就可以预测, 那这样的话它就可以在极坐标系下面把这个归一化的步骤给省掉,这样的话就可以在不增加任何内存开销的情况下, 让模型的体积大幅的减小。那这个 turboqant 它到底是用什么样的办法能够让这个模型在压缩到这么极致的情况下,还能够保证它的精度不会下降呢?这个说起来就很巧妙了,就是它把这个查询向量依然还是用高精度来表示, 但是呢,他把这个历史的鉴像量啊压缩到了只用伊比特来表示,然后呢,再用一个伊比特的除错器来专门记录这个正负号的残差,再配合上这种非对称的匹配方式,就可以用一个高精度的新的查询去匹配上很多个简化过的旧的记忆。 嗯,那这样的话,就通过这种数学的变换就可以把这个误差给抵消掉,所以他就可以做到再把模型压缩到原来的六分之一,也就是从十六比特压缩到三比特的情况下,还可以让这个模型的运行速度提升八倍, 同时做到零精度损失,完美的突破了这个行业里面普遍认为的四比特以下就会掉精度的这个限制。听起来很厉害啊,那这个 turboqant 算法它的出现到底会怎样推动这个 ai 的 平民化?或者说会给企业级的应用带来哪些新的可能呢?你这就问到点子上了, 就是这个算法出来之后啊,我们就可以在普通的 mac mini 或者手机上面就可以本地离线的去跑这些超大的 ai 模型了,而且还非常的流畅, 这就会让更多的人可以不用依赖于网络,也不用花一分钱就可以去体验到这种强大的 ai。 同时呢,企业级的这种数据库也可以借助这个算法去实现这种毫秒级的高准确率的这种语义向量解锁。 嗯,那这就会让一些之前我们觉得可能只有在科幻小说里面才会出现的这种代理式 ai 成为现实, 就是 ai 可以 帮你去连续的执行几天的这种非常复杂的任务而不会崩溃。哇,感觉这个变化真的是太惊人了,感觉未来的各种智能设备都会因为这个东西变得又聪明又亲民。没错,那这期节目咱们就到这里了,然后感谢大家的收听,咱们下期再见,拜拜!拜拜。

一分钟带你搞懂最适合大学生用的 ai, 来自谷歌的顶级大模型, jimmy 千万别把 jimmy 只当一个聊天的机器人,其实它包含了五大核心板块,每个板块的功能都不一样。网站我都放在结尾了,我们先讲第一个,核心大脑 jimmy pool。 不 管你是几千字的长文敲代码,还是做复杂的分析,它都可以搞定。 第二,图片生成模型 nasubao, 这是谷歌最顶尖的图像生成模型,不论是什么风格和种类,一句话就能生成超高精度的图片。 第三,视频生成模型, view。 这是个高质量的视频生成神器,不仅能生成电影级的画面,连逼真的背景音效都能一次性给你配齐。 第四,超级学霸 notebook am, 学习科研党必备的私人图书馆,人人给他几十篇的英文论文,瞬间能帮你提炼重点, 甚至能自动生成一段双人的博客,帮你更好的理解。第五,打工神器 workspace 插件,可以做 ppt、 邮件、文档、表格,主打一个全自动办公,这五大模块堆在一起才是真正的艰难。 下期我们会对 jimmy 做更详细的讲解,用最简单的方式,让小白也能轻松玩着这个顶尖大模型。

谷歌不愧是 ai 之父, ai 最严厉的父亲啊,他们昨天又发布了这个叫 turboqant, 那 是什么呢?就是说 一个新的算法可以去压缩咱们的这个 k v catch。 那 什么是 k v catch 呢?搞过本地部署模型的可能知道,那在占用显存的这一部分里面,模型权重算一部分,那 k v catch 也就是短期记忆,它其实也占用一部分。 那这次谷歌做的这个算法呢?就是说把这个 kvatch 的 这个占用量缩减了六倍,也就是本来比如说可能是十八,那现在可能只就占三了。 那它的工作原理呢?就是其实像以前,像以前可能使用的是标准坐标系,比如说有 x、 y、 z 去表示这些各轴的这个距离,那现在呢?采用的是 极坐标系,就现在可能就一个 r, 一个 theta, 那 可能就不能,就能够表示之前的这个 x、 y、 z, 那 就是通过这个原理去压缩了这个 kvatch。 那 其实这个事情可以小小的期待一下啊,就是如果真的呃,这个方法去开源了,谷歌开源了这个方法以后,那很多小显层的机器也能够去跑一些。 嗯,在过去跑不了的模型,那可能 mac mini 的 十六 g 它又支棱起来了。你像我以前用二十四 g 的 mac mini 跑一个 g p t 二零 b, 那 我还其实还算流畅,但是用十六 g 的 就基本上算是残废状态,就特别慢,特别慢,可以期待一下。

不是谷歌英伟达,这次第一名是中国的。就在今天,世界模型公认的试金时, world arena 榜单大地震极佳世界的 giga world one 直接断层领先,成了全球唯一综合得分破六十的模型。 不仅呢是视觉真实,三 d 准确度更是逼近满分。这哪是深沉视频啊,这直接在电脑里造了个真实的物理世界。为什么这次我们能实现教科书籍的超车呢?看懂这三个狠招, 一、死磕物理规则 giga what what? 融入了可微风物理引擎。简单来说呢,机械臂怎么动物体怎么交互?它算的啊,比教科书还准, 物理遵循度啊,比第二名高了整整百分之十六二。清华系梦之队创始人,皇冠博士呢,是清华自动化的领军人物,核心团队全是阿里、百度、地平线的顶级骨干。这帮人呢,不是在做聊天机器人,而是在做机器人的通用大脑。 三、硬核资本背书。他嘛,刚拿了十个亿的融资,华为哈伯投资呢,早就提前卡位了。马斯克正在重组 x ai 搞机器人 极佳世界呢,直接这边登顶了全球第一,信号很清晰, ai 呢,已经从屏幕里的玩具,变成了物理世界的工具。你觉得国产 ai 这种技术,换道超车,能在二零二六年彻底甩开硅谷吗?评论区聊聊吧,关注我,我是陈凡,带你了解更多能落地的 ai 商业玩法。