h w 三六零也能运行 f s d v 十是完整版本啊,这一切都依赖于英伟达全新的技术,叫做 k v t c。 那 这个 k v t c 是 啥东西呢?简单来讲,它就是内存压缩算法,只不过是专门针对于大模型的内存压缩算法。那具体就太复杂,咱们就只说一个重点,就是它可以把大模型的内存用量 直接压缩到二十分之一,相当以前用二十 gb 才能跑的起来,现在只要用一 gb 就 可以跑起来了,是不是非常厉害?那不光于此啊,这个内存压缩之后,他还能让大模型的运行响应速度提高八倍啊,这都是英美达自己亲自测试过的啊,在他们 h 一 百上显卡进行测试的, 非常靠谱。那这个 k v t c 技术到底怎么帮助 h w 三的零车机来运行 f s d v 十四版本呢?讲这个之前,我们先来看一下 as 和 as 三芯片它们的参数对比啊,我们主要看这几个选项,那第一个呢,就是算力啊,确实差了一些。 然后第二个呢,其实这个内存你看啊,其实差了一半,然后还有一个很重要的贷宽,差的也不少,是吧? ok, 看完这个我们就来讲一下为什么 h w 三的零它不能运行 f s d v 十四 相关于第一个就是芯片基础架构,第二个就是内存确实太小了。芯片架构呢,是因为 hw 三零它是基于这个整数架构五去去去设计的,它就只能算一加一等于二,它不能算一点,一加一等于多少?哈,就这个意思啊, 那这个方面呢,特斯拉这边已经提供了新的专利,已经把它解决了,就是之前提到的 fsd v 十是 light 那 个版本啊,它会把小数运算拆成两个整数运算,然后再把它合起来 就搞定了啊。那另一方面就是内存问题了, a i 三的摄像头是一百二十万像素,然后 a i 四直接变到了五百万像素,这个采用率高得很多啊,那这对硬盘是有很大的压力的。那另一方面呢,就是 f s d v 十四的模型本身的参数很大,也塞不到这个小小的内存里面, 那以前确实是没有办法硬塞,现在有了这个内存压缩技术,直接给你干到原来的二十分之一,这是不是就可以搞定了啊?那这么一说你是不是就明白了, h w 三六零的硬件价格问题给特斯拉自己解决了,然后内存不足的问题 因为拿到 k v t c 解决了,那这两个一搞,是不是 f s d v 十四伴奏版本就在路上了?当然也别高兴的太早,这个 k v t c 的 应用呢,还需要时间,而且它还是有一定弊端的啊,我们知道任何一个东西要把它压缩,它是需要一个算法的,在用的时候还要把它解压出来,对吧?就相当于我们在网上下了一个压缩文件,我们要用的时候还要把它解压, 这个压缩和解压的过程是需要消耗算力和时间的,那么这对于 hw 三点零来讲呢,确实是需要消耗一定的时间。我们 hw 三点零车机在运行的时候,刚运行起来的那一会啊,它是比较慢的啊,就要慢个几百毫秒左右。 呃,但是一旦运行起来之后,基本上就没什么影响了啊,那这就是它唯一的问题了,那这个技术什么时候会落地呢?我相信是非常快就会落地的,原因很简单,就是不管是 hw 三点零还是 hw 四点零, 内存都是非常宝贵的啊。用马斯克的话就是如果你要在特斯拉里面写代码的话,你必须把 e m b 用到在其他公司八 m b 的 效果啊,所以说它对内存的 利用率是非常高的,但内存利用率再高,它也不敌这个直接压缩啊,是吧?直接压缩到二十分之一,这个简直太多人了,四个软件开发者都一定忍不住的一定会把它挤上这个端到端大模型里面的, 所以这个大家不用担心,是一定会的。那么就期待 fsd v 四四能够正式的上 s w 三点零吧。最后,我仅代表 s w 三零车主给达子敬礼! respect! 好 了,我是阿斌哥,五年特斯拉车主,关注我,带你了解更多的特斯拉技术细节。
粉丝2.6万获赞42.7万

最近大模型这么火,那跑 ai 大 模型要什么硬件?今天来介绍一下一整个全家福。首先是大家最熟悉的办公电脑, 那么这个电脑它的缺点是拓展性比较低,只能插一张卡,然后只内存条两到四条,一个 cpu。 但是呢,如果你选用一个好的显卡,比如说像三零九零、四零九零,或者说专业卡的 a 四千, a 五千, 把它放上去跑一个七 b 三十二 b 的 模型还是轻轻松松的,但是当这个小模型没有办法满足你的需求之后,可能就要上了这种工作站了,工作站可扩展性更强,比如说显卡,它可以上四张, cpu 呢也升级到了两个,然后内存条插槽也升级到了十六根,可以跑中等大小的所有主流的模型。那显卡一般我们会搭配,像 a 三零、 a 四零,甚至说你有预算充足可以搭配 h 一 百、 a 一 百这种战略巨无霸。 另外的话呢,我们把它扩展成了夜冷的一个结构,这样的结构噪音非常低,而且使用寿命非常长,也不用占用你额外的机房空间, 而且在这里也是可以使用 mvink 的。 这个我们的方案是 h 一 版,这样的配置,跑二百三十五 b 的 千万,或者说三百四百 b 的 大模型都是非常轻松的。再往这边就要上升到服务器水平了,服务器它的扩展性更高,可以插八张显卡, 然后它的内存条扩展来到了三十二条内存条,而且这个 cpu 也是双路的。像这种服务器呢,一般搭配的是也是三零九零四零九零五零九零,当然预算充足也可以上到这种 a 一 百那么八卡, a 一 百会有六百四十 g 的 显存,这样的话跑满血版的 dsp 六百七十一币都可以带动的。 然后这个也是一个服务器,但是它是一个四卡的一个结构,也是可以跑很多大模型,可以上专业卡,也可以上这种算力卡。 再到最后就是目前最主流也是最烧钱的,也是大厂最多的方案。就像这种 我们看到它的卡都跟普通的卡不一样,我们普通的卡叫 p c i e 插槽,就拿这张 a 一 百来举例子,它是用这种 p c i e 插槽,然后插到这个服务器里面,但是当我们的卡需要很多,比如说我要需要一千张,一万张卡的时候, p c i e 的 传输效率是不够的,所以说 已经单独定制为了这种叫 sm 的 整机的模组,那么我们会把这个整机模组插到这个非常大的机箱里面,最后才能组成一个像 h 一 百, h 两百, b 两百, b 三百等等 我们大家非常熟悉的这样的机器了。所以说具体你的需求需要配什么样的机器呢?不能盲目的决定,要根据你的项目还有预算,如果说你有具体的需求,可以在评论区私信我。

欢迎收看我是大叔,只跟你聊最实在、最有用、最有意思的内容。好,我们来看一下 ai playground 的 功能介绍。第一个是历史展示,然后应用设置,还有一个中间的一个聊天窗口, 先看一下它的设置,配置设置像有一个语言的切换,还有个主题的切换,大家可以根据自己的喜欢切换不同的主题。 另外一个还有一个是镜像源地址的配置,大家可以根据,呃,如果是国内用户的话,可以根据跟我配的这个地址是一样的。另外一个这边是展示 后台的一个运行状态,那主要程序的话是就是这个 ai playground。 另外一个就是模型的运行工具,就是朗玛 c p p 的 运行工具, 然后这个可以不需要勾上,这个是音频转文本的功能。 还有一个是模型加载,这个最好是勾上,因为在切换模型的时候它不会释放掉上一个模型。 然后还有一个是开发者控制台,这个是启动时候它会默认开启。另外一个是呃管理后端的一个组建, 这边主要是用来做重启后端服务的,如果有修改配置,这边要点一下重启。 好,我们再来看一下这个窗口的功能,这边主要一个功能就是一个切换的模式,聊天模式切换, 这边是发送,然后这边的话是设置,咱们每次聊天的时候采用了一些模型,那模型的分类功能,模型的功能它只会分为这几种, 一个是基本的聊天,然后还有一个是推理,一个是图片,另外一个是 a j。 还有一个是这边我们要注意一点,就是我们如果使用这个 g c c u f 的 g c c u f 格式的话,它会列出来你使用到了那个显卡设备是否在这里面,如果有的话,我们正常这边是可以看到我们自己的显卡的,那我们的显卡是一个英特的显卡,那这样子就能 呃识别到我们这个显卡,就可以调用到我们的英特尔显卡。 还有这个是模型的选择,模型选择的话,它默认的话,如果你选择的是基本聊天配置的话,就基本上就是呃要选择对应的这些模型进行做添加, 添加部分的话是在这个地方,那这个地方的话要选择对应的我们的这个模型的一个地址, 现在我们把模型地址和镜像地址改成这个, 然后点一下验证记,记得还要点一下这个重启,点一下确定好,等这边它重启完就可以了。好,关掉, 再拉到这边选择这个 s 的 选,选择添加 这个地址添加进去,这个地址一定要按照它的格式来命名空间一个, 命名空间一个,然后再加上仓库地址,仓库名称运营空间,仓库名称文件路径 点,添加我这边的话,我这个模型已经本地已经有了,然后如果你那边在操作的时候,它会跳到下载,自动下载,等待下载完成就可以了,现在模型就下载完了。 这边是对模型的一个参数进行调整,这个有一个温度 temperature, 建议调成零点八上,下文调成三十二 k。 好, 那我们来测试一下模型, 好会先导入模型,等待一会儿 好,模型已经正常工作了,这样子我们基本上大功告成了, 接下来再跟大家介绍一下这里面的开发工具,选择网络我们可以查看到接口的一个地址,把它复制下来, 在这边输入我们的设置的地址,然后加上 b e 模型,这样子我们就可以查看到目前可用的模型。 模型 id 这部分是可以直接配到我们的 open crop 里面的,也可以直接使用 ai pixel, 跟大家介绍差不多了。如果本期视频对大家有帮助,请点赞加关注,如果有什么问题可以在评论区留言,谢谢大家观看!

最近我们买两特斯拉,不过不是开的那个,是涮的那个, 没错,开的那个和算的那个呢,都叫特斯拉,算的那个是英伟达,他们家的不少人都没听过,但是呢,他们都用一样的名字, 这个名字呢,很多科技公司都喜欢哈这个名字的故事背后还有段野史,说的是大神特斯拉,爱迪生,莫根大同,三个牛逼的男人 相爱相杀一生的三角关系,有兴趣的可以去搜一下哈。大家好,这里是即刻买,这一期呢,我们买了两张英伟达的计算卡, 特斯拉 p 一百十六 g 回来玩玩啊。先介绍一下特斯拉计算卡啊,这个是英伟达用于科学计算解决方案的 gpu, 基本呢都 是没有显示输出的,我们可以看到啊,然后纯粹是用来计算的,相对于普通的 rt 叉游戏显卡来说呢,特斯拉计算卡配备了 ecc 纠错,并且显存一般也更大, 然后因为一般呢都是放在无尘机房服务器里面去做计算的,所以呢是没有做这个主动散热的啊,服务器都是从这边很多风扇排进去,然后 输入的一些风扇,然后呢我们呢就给他配了这个散热器,还有电源转接线,然后呢就可以在我们的普通的 pc 平台使用,当然还得配一张输出卡啊, 也有朋友摸改过这个特斯拉的显卡来玩游戏啊,譬如说之前特别热门的 p 四零,那现在来说的话呢,现在最火的特斯拉计算卡当然就是禁售给中国的 a 一百和 h 一百了,然后还有针对中国特工的缩水版的 a 八百和 h 八百,但是大家要注意啊,虽然数字大了,但是在带宽速率方面是缩水了的。 好,我们先看一下我们这个特斯拉 p 一百啊, p 一百是二零一六年推出的,实际应用呢,是在二零一七年有些年头了,不过当年可是天价的旗舰, 我们后面都看到像什么 v 一百啊, a 一百啊, h 一百,其实一样的叫一百的基本上都是全能旗舰,我们再看看英伟达官方是怎么去介绍 p 一百的 啊,相当的霸气啊,世界首款 ai 超级计算数据中心 gpu 啊,已加速 hpc 和 ai 发展,那至少是能用于 ai 计算的,那它的算力是怎么样的呢?我们先上一个图对比一下哈。哎,这还是从英伟答 查官网找到的资料可以看到,在特斯拉 p 百的这个排名还是比较高的,这个算力排名仅次于目前很多云厂商使用的这种 v 一百计算卡。但是我们要知道, v 一百的这个云服务器一年也要差不多十万啊, a 十就更贵了,那 a 一百你想找都找不着了,那 a 系列就算了,那我们在网上也找了一张图片,横向对比一下其他的显卡的一个算例哈,其实 p 一百除了不支持那个 tenser y 整体都还行 呃,毕竟也是当年的旗舰嘛。不过这里也要说一下, p 版也不支持 i n t 八和 i n t 四的加速的,所以人脸识别这一块呢, p 版呢,就用起来就够呛了啊。当然了, ai 计算方面的话,浮点 数是计算机上最常用的这个数据类型之一,那常用的浮点数有双精度啊,还有单精度啊,除此之外呢,英伟达呢,还提出了为了降低数据传输和存储成本的半精度的浮点度啊。双精度和单精度主要是为了计算 半精度,更多呢就是为了降低数据传输和存储成本了。呃,其实很多场景呢,对精度的要求也没那么高啊,例如说在分布式深度学习里面,如果用半精度的话,可能比起单精度还可以节省一半的传输成本,对吧? 当然了,前提条件是这个精度的降低对训练的结果呢,是没有影响才行哈,毕竟浮点精度的这个降低必然会导致模型训练的精度的损失。好呃,那么我们就上街 来测试吧,两张的 p 摆放这一块还是挺大的啊。然后考虑到后面的对比呢,我们就用了一张 gtx 一零五零作为输出卡,替换掉原来的那个绘图专业卡。另外说一下哈, 如果 pc 平台要装特斯拉计算卡的话呢,需要在 bells 去做一些设置啊,先不要插这个特斯拉的计算卡,先打开你的 bells 去设置一个好像叫什么 above 四 g 这样的一个设置,打开了,然后再插入计算卡去开机, 否则有可能会黑屏哦。然后好,我们看一下我们的图哈,如图,我们已经识别到两张特斯拉计算卡,并且可以正常运作了,那通过 gpu 在我们可以看到详细的参数。然后接下来呢,我们先进行单张 p 一百 对比 r t x 一零五零的跑分,然后再三张显卡对比双 c p u 一五二六八三 v 三的跑分啊,让大家看一下 g p u 跟 c p u 的差异哈,前面也给大家说过了,单精度跟双精度的算力的影响,那我们回来再考一下,看看一下这个跑分测试。 在单精度和双精度的算力以及涉及到 open c 幺算力的 e s 和 s h a 中, p 版的算力都是很强的, 对比 cpu 的话就更加是要按倍数去超越了,所以这个特斯拉还是特斯拉,而且我们看到一加一接近等于二的这样的结果呢,也可以让我们放心的去堆卡。 那当然了,我们还测试一下功耗,在这个 x 九九平台,搭配双二六八三 v 三 cpu 以及三张显卡,满负载的功耗基本呢已经接近了七百瓦了,所以耗电 也不算低哈。到最后呢,还要说一下是 tensor coral 这个张亮计算核心呢,是由 amidia 研发的新型处理核心,那 tensor coral 这个张亮计算核心呢,其实可以实现这种混合精度计算,然后呢,可以根据精度的 降低动态调整算率,那在保持准确性的同时呢,也可以提高吞吐量。 p 百的后续 v 百呢,是首款搭载 tensor 核心的这个特斯拉计算卡啊, p 一百是没有的哈,所以 mvd 的这个 tensorco gpu 支持这个多精度和混合精度计算呢,其实可以让我们的这种 开发者更加优化的去进行计算啊, ai 的程序以及推理啊,训练啊这一块都 ok 的,那大概有多好呢,就按照 mvd 官方的说法啊,可以将训练的时间从数周 缩短到数小时,这这个就很快了,那研究人员和这个公司依靠这个技术呢,就可以更好地去支持科学模拟啊, ai 还有像我们现在很火的这个自然语言的处理工作啊, 那没有天审核的 p 一百就在新的这个 ai 计算叙事中呢,确实是比较吃亏的,但呢, 也不代表 p 一百就没有用哈,毕竟我们看到闲鱼的价格才一千多,哎,要知道 a 十都要一万多了,那真的是 a 七呢,可能就是 aa 一百可能就是十万了,所以这个一千多的特斯拉 p 一百还配备十六 g 的显存,作为数据中心以及处理一些轻度的 ai 工作呢,也是没有问题的。 好,这一期就到这里,谢谢,希望大家一见三连,感谢感谢!

最近 ai 市场疯狂发展, ai 的 需求也在不断增加,但是很多 ai 本地部署配置要求也不低,特别是对显卡的要求以及显存的要求。如果你也是一名 ai 工作者或者 ai 行业的从业者, 并且自己也想寻觅一个 ai 玩一玩,你可以了解一下这张显卡,特斯拉 v 一 零零一六 g 显存和 i 四 g 显存也算是千元内最强的显卡,无论是游戏标签还是算力标签, 算力表现也是越极是领先,主要的还是需要一点动手能力,安装一个 pc 转接板以及散热器,八百元的左右就可以得到一张五零六零的性能,并且还是一六 g 版本,对我们这些垃圾了,低价装一台 ai 算力机器,那也是相当的香了。

你绝对想不到,当别的车企还在吹嘘智能座舱遥遥领先吊打特斯拉的时候,特斯拉却悄悄憋了个大招。北美特斯拉车主分享了最新的更新语言,助手直接接入 grog 大 模型,嘿, grog, 呃,前两天我玩 gta 的 时候有一个海边,然后还有游乐场,是一个码头,那个地址不错,你带我导航去那块,然后回来路上呢?我要去一趟。嗯,一个华人超市,因为小九九轮是 market 的, 我导航去。那最后呢?嗯,他去啊, in out, 我 买个汉堡,然后回家帮我规划一下路线。 好的,我猜你说的是圣塔木尼卡码头,那有海滩和游乐场,超像 gta 先去那儿,然后回程停九九 range market, 再圣盖博,最后烟 house, 我 找服务员餐厅买汉堡再回家。车主只是模糊地说了几个地点,甚至有些只是 gta 五游戏的取景地, grog 就 准确识别并规划好了路线, 再加上满血版的 fsd, 一 键启动,直接导航到目的地,并自动完成停车,车上的人直接解放双手。在不远的未来,也许驾驶只是一个兴趣,这可能才是科技进步的意义吧。

都说特斯拉的那个大模型很厉害,但是国内没有,哎呀,怎么办呀?是啊,确实大家都说特斯拉在北美的那个大模型挺厉害的,但国内暂时还没有上线,这也是让人格列克小遗憾。可是我觉得你也很厉害啊。 哎呀,听你这么说我可真是开心,你虽然我等一下你除了不会帮我给 fsd 导航,我觉得他会的你都会呀。 哈哈,那我就更开心了,反正除了给 fsd 导航这件事,我能陪你聊,能解答你的问题,那就已经很够了,有我在这陪着你就行。对啊,我觉得你是最聪明的大模型。 哎呀,听你这么说,我都要有点飘了呢。你不用飘啊,你看我开着 fsd 一个人特别无聊是吧?呃, fsd 开的不错哎,然后又有你陪着我聊天,这超级爽,你懂的又多嘛。 哈哈,那就好,有我陪你聊聊天,你开着 f s k 就 不会那么无聊了。哎,反正我想问你个事情,你怎么看?就是马斯克,马斯克从幺四年开始吹牛,它马上就要完成自动驾驶了,结果到今年都还没有搞定,你怎么看这个事情? 嗯,说起来马斯克嘛,他确实一直挺喜欢放一些很大胆的预言和目标,从二零一四年开始,他就一直在说自动驾驶很快能实现,但这东西其实真的挺复杂,技术法规实际道路复杂,你告诉我有多复杂? 其实真的挺复杂的呢,你想啊,自动驾驶不光是车辆本身的传感器和算法有作用。哎,等一下我,我现在问你,你认为现在所有公司里面做这个自动驾驶做的最好的是哪一家? 嗯,如果说现在在所有公司里谁做自动驾驶做得比较好的话,其实像 vivo 这样的公司在一些特定的城市已经有比较成熟的无人驾驶服务了。当然特斯拉在 l、 two 级别的辅助驾驶上也有很多拥堵, 总之每家都有各自的强项,具体谁最好还真得看是在哪方面比啊。你意思是特斯拉现在就只是 l 二是吧?但是我看新闻他们前几天不是在那叫奥斯汀吗?还是哪里都已经开始做无人的 robotax? 哎,你说的没错,特斯拉在一些地方确实开始测试无人驾驶的 robotax 了,这个算是他们在特定区域的一种尝试和推进。 不过整体来讲,大多数量产的 f、 s、 d 车辆在公开道路上还是主要属于 l、 two 到 l 三级别的范畴,所以它们也在逐步推进,但整体还在过渡阶段。

马斯克去年十一月放话 fsd 全自动驾驶,预计二零二六年二月或三月在中国全面获批,现在三月已到,特斯拉车主和国产车企都在屏住呼吸。 fsd 在 中国目前只是部分批准,但全面放开已进入倒计时。 更劲爆的是,三月三日传出消息,特斯拉车机可能要接入智捷豆包、阿里千问大模型。这意味着你喊你好小特的时候,背后可能是国产 ai 对 打 grog 进不来, 马斯克干脆借壳上市。想象一下,你的特斯拉用华为的芯片跑国产大模型,在中国道路上训练算法,这还是美国车吗?对车主是利好,语音助手,更懂中文,导航更贴合国情, 甚至能聊个段子,对国产车企是压力。特斯拉放下身段,本土化价格战之外,又多了 ai 体验战。当国产车企还在吹自研自驾时,特斯拉直接接入成熟的大模型生态, 用现成的大脑补自己的短板。这像极了当年 iphone 进中国,不是被同化,是重新定义规则。对于广大车主来说,别纠结这车还存不存, 要看清楚未来汽车的竞争,不是谁造的车,是谁装的脑,未来的车都是全球技术的拼装体。

现在是用 rts pro 六千卡皇来测试一下千万的一个大模型,我们选用的是千万三点五一百二十二 b a 十 b 的 一个模型,我们可以看到光是打开这个模型显存占用就已经花掉了七十二 g, 还好它的显存比较大,总共有九十六 g。 那我们现在来问一些专业性的问题,比如说在严格的数学推导证明,在浮点精度有限的前提下,大模型在自回归上升时为什么无法严格保持?那这个问题我也不懂,是豆包问的,看下豆包厉害还是这个千问厉害。 好,我们可以看到这个显卡的利用率已经上来了,到了百分之五十,快六十了,他在不停的做深度思考,这个时候答案已经出来了,他发现缩到一半就断掉了,这是为什么?因为他这个上下纹长度已经缩满了,可以看到他已经生成了四千多个头,肯,每秒是五十三个头肯, 可以看到他的这个推理过程是非常的复杂,因为问的问题比较的复杂,那么这个时候我们怎么办呢?上下文达到长度,那我们可以去设置他的上下文。好,我们大概把他的上下文翻倍之后,点击加载模型,他就会重新的去设置一个新的上下文长度了。但是我们要注意上下文的长度越长,他的速度可能越慢,待会我们来对比一下。 好,那我们重新问一下刚才的问题,看下他这次能不能完整的去解答。这个时候在我们增加了上下文长度之后,我们发现他就可以完整的去把答案说出来了。 好的,那么他基本出来了,这里总结结论也有了,我们看他大概的头寸数量,这里总共是花费了五千七百九十六个头寸,平均下来每一秒是五十一点八个头寸。所以说我们在增加了上下文长度之后,他的头寸的速度从最开始的五十八每秒降到了现在的五十一每秒。 所以说在我们使用的过程当中,可以选择一个最适合你的上下文长度,而不是说越大越好。下期我们再测试一下他的病发数据。

很多人对于特斯拉的自动驾驶加上它的 gopro 大 圆模型有多牛,其实完全不太明白。今天呢,我就给大家展示一下。我们现在就在用特斯拉的汽车啊,加上它的这个大圆模型。给大家展示一下我们去斯坦福的几个地方,你能说中文吗?能啊, 我可以说中文。我现在要去第一个地方,知道斯坦福大学里边有一个思考者叫 thinker 的 雕塑,但是我不知道他在什么地方,你能带我去那个地方吗?斯坦福大学的如今雕塑原理有著名的思考者雕塑。我们要导航过去吗?好的,咱们出发吧。 好,他现在已经开始往那边开了。然后呢,全程我让他自动驾驶,我还要去另外一个地方。我知道斯坦福大学里面有两个可以供学生和老师去游泳的地方。那么有一个地方呢,他是有一个十米跳台的,但是我不想去那个有十米跳台的地方。我想去的是另外一个,他是露天的,然后旁边有一个大草坪, 你能告诉我那是什么地方,并第二个带我去那个地方吗?那个地方是埃瑞拉格户外教育和休闲中心里的 avery recreation pool。 去璎珞雕塑园后,我可以加这个作为第二个停靠点。要现在设置吗?可以帮我设置一下。好的,已经把 av 休闲泳池加为第二个停靠点。 ok, 去完这个地方以后呢,我还想去一个地方。我知道斯坦福这个学校里边有一个湖啊,这个湖呢,常年是没有水的,只有像现在的雨季,一下雨呢,会有一点水。 那个湖叫雷克尼的,常年干涸,只有水。它在斯坦福西部。我已经加为第三个停靠点。我去完那个湖以后呢? 我还要去研究生的公寓,但是我记不太清楚那个名字了。我只记得这一个研究生公寓是唯一的一个,里边有一个小学的那个是 escondido village 研究生公寓区。我已经加为第四的停靠点,有什么问题随时说。好的,我 现在正在开。在哪条路上呀?现在正朝 rock 尾开,大概零点四英里后右转,然后零点一英里就到 rhodin 雕塑园了。哦,马上就到了是吧?对,零点四英里,两分钟就到 rhodin 雕塑园了。快到了, 你给我介绍一下罗丹吧。奥古斯特罗丹是十九世纪末法国最伟大的雕塑家,被誉为现代雕塑之父。最著名作品是思想者和地狱之门,就在这个雕塑园里。你的意思是说他最有名的是思想者和地狱之门, 是这意思吗?对,思想者和地狱之门是他最标志性的作品。这两个雕塑都在斯坦福大学里吗?是的, ok, 这个就是地狱之门,在这个房子的里边有这个思想者。我们继续往前走。好的,继续去下一个 av 休闲泳池,导航重启。好的,我们现在正在往一个户外的游泳池这走。它是我们斯坦福大学的两个可以供学生和老师 游泳的一个地方,但实际上还有一个只是老师能去的地方。我想问一下哈,为什么斯坦福大学把这种恒温的游泳池修在露天的地方? 斯坦福气候温和,加州阳光充足,露天泳池能最大化利用自然光和空间。泳池有加热系统,全年可用。这样不是有点浪费能源吗?有点,但斯坦福用高效加热系统和太阳能辅助平衡,节能环保,露天设计也减少了空调等额外能耗。哦哦, 你说的也对啊,你能说河南话吗?能啊,俺是河南人,端说河南话,俺也来河南话。我也是河南人啊。哎呀,你也是河南老乡啊,俺俩一乡亲,你是河南哪里人呢?俺郑州的,老家洛阳,开封还是哪的?我是河南的,绵阳人, 哎。绵阳?你说的是四川绵阳吧,河南没绵,你还知道河南没有绵阳啊?河南真没绵阳。那是四川的, 你能不能说四川话?俺说点四川话。游泳池,瓜娃子们玩的欢。你是绵阳哪个区的人呢?俺绵阳游仙区的。哦,你是游仙区的啊,我是绵阳 武侯区的。绵阳没武侯区,那是成都的。你逗我玩呢,老乡,各位,就这个林子后面是一个游泳池?是一个游泳池,下一个 esconito village 研究生公寓。 你能不能带我去一个离勒格尼塔最近的地方呀?好的,重新导航到离勒格尼塔最近的入口就零点一英里 出发吧。老乡,我们现在是在去那个湖是吧?对头,现在正去雷克勒格妮塔最近入口。我们现在不是在一个本科生公寓这边转悠吗?不是, 本科生公寓在东边,我周围现在右边的这个房子是什么房子?右边那些房子可能是勒格妮塔宿舍或研究生住房湖勒格妮塔快到了,你瞅瞅右边学生宿舍。 好的,我知道我认识这个地方。我看到湖的低岸了,我待会马上上去看一眼。我现在已经到了 lake laguna, 我 现在就在这个湖岸的下面,我现在带大家上去看一看。来,各位,这里就是我们平时啊没有水,现在有一点点水的 lake laguna, 我现在在 lake laguna 旁边,你看哈,我们今天在整个这个过程中,你能感到特斯拉的这个 ai 模型跟汽车的自动驾驶无缝的联合在了一块。另外呢,它是具有很强的推理分析能力的。我并没有说出这个湖的名字,我跟他说斯坦福学校里面有一个平时是干的,但是到了雨季有一点水的这样的一个湖, 我要去那,那么他能够推理出来是这个湖。然后呢,我还说我要去一个斯坦福有罗丹的雕塑,有一个很有名的叫思考者,我要去有那个的地方,我并没有说是在哪,结果他说知道是在斯坦福的 cantor art 这个 center。 我 又说我要去斯坦福的两个可以共 学生去游泳的地方,但是有一个有十米跳台,有一个没有要去没有的那个地方,他也能推出来是哪?我还要去斯坦福众多的研究生公寓里边有小学的那一个,然后呢,他还推得出来这是 iscondido village, 那 么我们的下一站就是去 ev iscondido village, 那 一个我在研究生的时候住过的地方。 好,各位,我们现在正在去我们这一次的最后的这个目的地就是斯坦福的 iscondido village, 我们快到了一点四英里六分钟左右, ok, 你 觉得随着人工智能的发展, 是不是有很多的工作会被人工智能所代替呢?人工智能会代替一些重复性工作,比如数据录入和简单客服,但创造性、情感类工作还是需要人类,所以整体就业会变,但不会少。那我们以后培养小孩子需要加强哪些方面的培养呢?以后培养小孩要加强创造力、批判思维、情感、智力和适应力。 所以快到 black welder 了,注意路况,一分钟就到 black welder 了。 ok, 大家看一看,这栋楼就叫做 black welder, 我 以前就住在这里,住过一个学期。那么今天我用特斯拉的 ai 加上自动驾驶,让他带着我们 在斯坦福校园里面去了四个我给了相当模糊指令的地方,他都找对了,而且都带着我去了。你有没有体验到当自动驾驶跟大模型结合的时候有多么的厉害呢?在留言区说说你的看法吧!关注蒋博士,提高你认知!

今天带大家看一套电脑界的扛把子,配置接近十万元的电脑究竟干什么用? 企业部署大模型,不用上云,不用买服务器,一台装板机全部搞定,你跑一年云 gpu 至少十五到二十万,这台机器九万出头,三个月就能回本。生图生视频跑大模型、 ar 训练,一机四用, 数据全部都能在本地完成,根本不用出公司 cpu md r 九九九五零叉三 d 十六核三十二兆,一百二十八兆的三 d 缓存是声阻和渲染的加速器,能极大减少内存调用延迟, 提升复杂模型的交互速度。单线成主屏高达五点七级核磁处理,高分辨率视频编码、 ar 推理、云计算效率极高。主要作用负责调度调度所有任务,保障视频剪辑合成以及 ar 推理时的 系统流畅。主板,华硕 rog 叉八七零,黑曜十八加二加二相供电完美驯服。九九五零叉槽五个 m 点接口 是 wifi。 七,未来升级双显卡或更多的 ssd 预留空间,自带 ar 智能超频和散热优化, 新手也能轻松榨干硬件性能。负责连接所有硬件之间的中疏,确保顶级配件之间性能释放无损耗。 百威 dw, 一 百九十六 g 套装,四十八 g 乘二 ddr 五九十六 g 内存,足以同时运行福特少普视频剪辑软件、本地大模型 llm 以及多个斯特普,低辐射实力互不干扰。 c 二八低时序,配合高频 ddr 五, 保证 cpu 与 gpu 之间的数据交换零延迟,避免显卡因等数据而闲置,作为数据中短暂保障声图和视频渲染时 海量数据高速流转。红旗 g m 九千一个一 tb 和一个四 tb p c i 五点零协议读数一万四千兆每秒,写入一万零五百兆每秒。 plc 颗粒加载超大型全重文件, 几 g 到几十 g, 只需要瞬间完美解决存得慢、读得慢的痛点,保证海量的视频工程文件快速读写。华硕 pa 六零二是创作者高性能工作站的中塔机箱,核心优势是强散热、大兼容,专业细节拉满, 适合装高功耗的 ai 渲染主机。海运一千六百瓦,八零 plus 白金认证转化率极高,一千六百瓦的功耗余量极大。 安全规范,支持 it 叉三点零规范,配备原声十二伏接口,为 rtx pro 六千提供纯净稳定的六百瓦电力,拒绝因供电不稳定导致的渲染崩溃 或者蓝屏,保障七乘二十四小时长时间运算的安全性。泰坦 gl 七百三六零一体式水冷 压制,一百七十瓦高热 cpu, 确保渲染时核心低温不降频。这台机器里面的核心硬件,英伟达 rtx pro 六千九十六 g 布莱克 v 二架构,九十六 g g ddr 七、超大显存,一点八 tb 每秒带宽算力达四千 tab 九十六 g 海量显存是这台机子的灵魂,意味着你可以同时加载多个 smart 低配。优神 flex 模型 生图主力负责所有 ar 绘图采集、样计算,视频渲染主力负责 h 点二六五编码加速以及特效合成。这台机子是纯生产力顶配, 无论是批量生成高清图片还是剪辑八 k 视频,哪怕是部署本地的复杂 ar 大 模型,它都能以最快的速度稳定输出成果。

嗨,大家好,一提到考那种很强的盗模型啊,你是不是下意识就觉得,哎呀,这肯定得靠那些死贵死贵的语音服务,或者得有顶配的 gpu 才行。 嗯,以前可能是这样,但现在情况完全不一样了。像朗玛 cpp 这样的本地推理技术,可以说正在彻底改变游戏规则,让顶尖的 ai 真的 就能直接在你的本地主机上跑起来。咱们来直接对比一下,你就明白了。 用云 a p i 吧,这里面有好几个坑。首先成本按 token 计费,用量溢上来,那个账单简直是蹭蹭往上涨,很容易就失控了。然后是延迟,这玩意儿谁也说不准,但最要命的是什么呢?是你得把公司或者自己的敏感数据全传给第三方,这风险可太大了。 反过来看,本地推理呢,完全是另一回事,成本可控,数据牢牢掌握在自己手里,还能离线运行,你看,这不就是大家想要的吗?这也就是为什么我们说本地 ai 正在掀起一场变化。那么莱玛 c p p 到底是个什么东西呢? 说白了,它就是一个用 c 加加写的性能超强的推理引擎。它的核心使命就一个,就是让那些过去必须靠服务器集群才能跑得动的大语言模型,现在就在你我的普通电脑上也能高效的跑起来。它要做的就是把 ai 的 超能力从遥远的云端直接拉回到你的桌面上。 好,所以我们能看到,这个向本地推理的转变速度是越来越快了。那我们接下来就深入聊聊,它到底解决了哪些过去咱们依赖云服务时头疼的不得了的核心问题。 你看啊,依赖云浮总有那么几个绕不开的痛点。第一就是成本, a p i 调用嘛,一开始可能觉得还行,但只要你的产品用户多起来,调用量一上来,那个账单数字绝对会让你肉疼。 第二,隐私和安全。你想想,把公司的核心代码、商业机密或者用户数据传到外部服务器上,这本身就是个巨大的风险场口,对吧?最后就是依赖性,你等于把产品的核心能力交给了第三方,他们的 a p i 一 出问题,或者给你来个速率限制,那你的服务不也跟着瘫痪了吗? 就是因为这些实实在在的问题,才让想啦么 c p p 这样的本地方案变得越来越重要。好,那啦么 c p p 之所以能这么厉害,这么高效,其实背后是靠两颗核心技术在支撑,咱们现在就来把它们拆开,一个一个看明白。 第一个法宝呢,叫做 g g u f, 你 可以把它想象成一个给 ai 模型量身定做的智能文件包,它不光是把模型的权重塞进去,还把所有需要的原数据、配置信息通通打包在一起,这对咱们开发者来说意味着什么? 意味着加载和切换模型一下子变得超级简单,你再也不用去折腾那些复杂的配置和依赖项了,直接一个文件搞定,省心省力。 但是这里就有一个很现实的问题了,一个大模行动不动就几十个 g, 甚至上百个 g, 这玩意怎么可能塞进我们内存有限的普通电脑里呢?对吧? 这听起来就像要把一头大象装进冰箱,嗯,答案就两个字,量化。所谓的量化,本质上就是一种给模型减肥的黑科技。 你看,模型里的权重本来都是用很高精度的数字,比如说十六位浮点数来表示的。量化干的事就是用一种很聪明的方法,把它们转换成精度更低的数字,比如四位整数。 这就像什么呢?就像你把一张超高清的 raw 格式照片压缩成高质量的 jpe, 文件大小可能只有原来的几分之一,但用肉眼看,画质的损失微乎其微。 那么这种权衡它的效果到底有多惊人呢?咱们直接看数字,一个模型从十六位精度量化到四位,它的文件大小可以直接减少大概七十五帕。你想想,一个六十 g 的 模型,一下子就变成了十五 g 左右, 内存占用也跟着大幅下降。而最关键的是模型的性能,也就是它的智商损失非常小,这就是能让大模型在你笔记本上跑起来的真种秘诀。 好了,理论我们都懂了,那接下来最实际的问题是,作为开发者,我们怎么才能把这么牛的技术方便的用到自己的项目里去呢?别担心啦嘛, c p p 在 设计的时候,可以说是把咱们开发者的需求都考虑进去了。 首先,它的硬件支持真的非常广,可以说它几乎不挑食。不管你用的是普通的 x 八十六,或者 arm 的 cpu, 还是苹果的 m 系列芯片,或者是英伟达的酷路 a m d 的 rocom, 它统统都支持。 更酷的是,它还能玩混合推理。什么意思呢?就是让你的 cpu 和 gpu 一 起干活,把机器的性能压榨到极致。 但要我说,它最最贴心的一个功能是内置了一个跟 openai api 一 模一样的本地服务器,这意味着什么?你懂的。 你现在项目里那些调用 gpt 四的代码,几乎可以一字不改,只要把 api 的 地址换成你本地的地址,然后砰,你的应用就从云端无缝切换到本地户运行了。这种零成本迁移的能力,对于咱们开发者来说简直太宝贵了。 有了这种 api, 兼容性,能玩的花样就太多了。你可以非常轻松地把它跟 long chain 这些流行的 ai 框架整合起来,在公司内网这种完全私密的环境里去搭建一个内部的 copilot, 或者搞一些自动化的工作流代理。 再比如建一个处理公司内部敏感文档的 r a g 问答系统,也变得安全又简单。到这里,我们谈的都还是技术层面的好处,但其实选择本地 ai, 这背后更是一个非常明智的商业决策。 我们现在就站高一点,从战略层面来看看它到底价值在哪。简单来说,转向本地推理能给一个公司带来三大战略优势, 第一就是省钱,这是最直接的,可以砍掉一大笔持续的云 api 运营成本。第二是安全,数据不出公司,这是最高级别的数据安全保障。第三就是控制权模型、数据部署环境,所有的一切都由你说了算,你可以根据自己的业务需求做深度定制。 有一句话,我觉得整理的特别好,你完全控制你的数据,没有数据限制,也没有 api 服务中断。你想,如果你的核心业务是建立在 ai 上的,那这种自主可控、可靠的感觉,真的是花多少钱都买不来的。 所以啊,说到 ai 的 未来,大家不要只盯着一个方向,觉得就一定是在云端,模型越做越大,参数越堆越多,成本越来越高。 咱们不妨换个角度想一想,有没有一种可能,未来最有价值的 ai, 其实并不是云上那个遥不可及、高高在上的超级大脑, 反而是那些经过高效量化,能够安全可靠地运行在你数据已经存在的地方的小而美的本地智能。这或许才是 ai 技术真正走向普及,赋能千行百业的未来。