就在刚刚，大语言模型领域迎来了一项颠覆性突破， sub queue 技术正式发布。该方案基于 s s a 压二次稀疏注意力架构，它解决了传统 transformer 架构在超长上下文场景下计算量爆炸的问题。 sub queue 可以 聚焦真正重要的关联信息，大幅降低无效计算。根据官方公布的数据，在一百万 token 上下文场景下， sub queue 的 推理速度相比 flash attention 最高可提升五十二倍， attention 计算需求理论上减少近一千倍。同时其推理成本低至 opus 的 百分之五的情况下，还能支持高达一千两百万 token 的 超长上下文窗口，这样的性能表现可以说相当逆天。目前，这项技术成果已经在官网开放展示，感兴趣的用户可以申请 early access 进行体验。
粉丝1.4万获赞24.6万
相关视频
01:12查看AI文稿AI文稿全新大模型又又又横空出世了！ subq 彻底颠覆 ai 大 模型算力规则，直接破解了困扰行业多年的算力难题。一直以来，所有 ai 大 模型都逃不开二次方诅咒，上下文越长，算力消耗就成指数级暴增，普通人根本玩不起。 但 subq 用次平方稀疏注意力架构，彻底打破了这层天花板，算力近乎线性增长。一千两百万 token 超长上下文，全程稳定百分之九十八超高准确率， 不用分段剪辑总结，整段长文本精准推理，不翻车，速度比主流模型快五十二倍，算力直接省下近千倍。百万 token 处理成本仅一点五美元，整体算力成本直接干到 cloud ops 的 百分之五以下。 长文本剪辑，海量文档分析，超长代码调试，全链路 ai 智能体全面碾压竞品 ruler， 长上下文跑分远超 gpt。 cloud 全系模型， 不用堆算力，不用烧天价成本， subq 一 出， ai 大 模型将全面迎来降本提速的革命！你们觉得 subq 到底是颠覆行业的架构革新，还是单纯的资本炒作？来评论区聊聊吧，关注科技区块，看见更全面的科技事件！
27科技区角
01:42查看AI文稿AI文稿今天跟大家聊一下关于本地跑大模型这件事情啊，其实我觉得在现在目前这个阶段，本地跑大模型它的实际的用途并不是很高，非必要的情况下，我觉得还是接外部的 api 就 比较好 啊。我是通过了真金白银来得出的这个结论，因为我前段时间我的苹果 m 四十六 g 五幺二那个 都已经给我用满了，然后呢？我就想一次性换个好一点的吧，我就换一个内存大一点的。现在跑大模型不是要大内存吗？我直接买了那个一百二十八 g m 三 max 芯片的这个 mac pro， 然后结果发现用它来跑杰玛这些呃大模型的时候，其实它对话的速度还是很快，但是如果你把它接入到可拉扣的或者这种呃 a 阵盘里面， 他那个速度是你难以想象的那种慢啊。他手头跟加载要超超，不过差不多四分钟。我问他一个你好，他回答我要花四分钟，这什么概念？ 那后面会稍微快一点，然后整个机子呢？就非常的烫啊，非常的烫，你要知道可以，这可是 m 三 max 的 芯片，一百二十八 g 的 大内存，然后有四百 g 的 这种内存贷款， 他还是很卡，然后这台机器本身的价格要两万多块钱，那你想如果我买一个普通一点的，对吧？我把这个多出来的，比如说我买一台一万多块钱的 macbook， 然后我去把这个钱你去充 gpt， 你 去充呃， deepsea， 你 充 cloud， 你 能够充几年？你能够充好几年哦。
389老嗷嗷高
00:54查看AI文稿AI文稿各位朋友，今天聊个 ai 领域挺受关注的新进展， subkey 模型，它解决的是大模型的老大难问题。 传统 transformer 的 注意力机制，每家一个词都要和之前所有词算关联，文本越长，算力成本呈平方级暴涨，处理百万字资料根本不现实。 subkey 用了全新的 c a 二次稀疏注意力架构，核心逻辑很简单，不跟所有词较劲， 只动态调出和当前内容相关的词算注意力。这样一来，算力消耗随文本长度限性增长，不再是平房级。目前它支持一千两百万 token 的 上下文处理，百万 token 的 输入比现有优化方案快五十二倍， 成本只有同性能模型的百分之五左右。这相当于给长文本 ai 应用开了条低成本路径，不用再靠堆天价算力硬撑。
10海晏清的阳光海洋
00:48查看AI文稿AI文稿美国版 deepsea 来了！ ai 圈底层架构发生大地震，千万人围观！美国创业公司刚刚推出 subcube 模型，颠覆 transformer 架构， 独创 s s a 稀疏注意力，全球首个完全亚二次架构模型诞生，告别算力，平方级爆炸，直接干掉算力，浪费一千两百万 token 上下文， 一次性吞下整个公司代码库 r a g 技术可能真要凉了，速度比 flash attention 快 五十二倍，成本不到 cloud opus 的 百分之五，长，文本跑分直接超越 opus。 前 meta 研究员与连续创业者领衔狂揽两千九百万美元融资，估值直飙五亿美元。他们的口号是，效率即智能！这是真神降临还是营销噱头？评论区聊聊。
5160AI有点聊
01:13查看AI文稿AI文稿如果说你想部署像 gbt 这种大冒险啊，像我们声音克隆或者数字人这种项目到本地的话，本地部署硬件配置要求，这个是最低标准好不好？最低标准？ 首先我们看下这个是显卡啊，三零六零，它是显卡的算力速度，当然四零一定比三零快，对吧？啊？如果说你是二零也没有关系，但是这个是最重要的，这个是代表着显卡的现存十二 g 最低标准 不要低于十二 g， 很多大模型说他八 g 就 能跑，实际上在你电脑上运行的时候，你的电脑系统会占用很多的。这个现存实际上分给大模型的啊，比如说你是八 g， 可能是大模型只占四 g， 对 不对？你是十二 g， 大 模型可能就只占八 g 啊，刚刚好， 如果你的显存不够，你的运算的这个精度啊，包括你的这个速度会慢很多啊，这个呢是我们 cpu 的 内存十六 g， 这个必须是十六 g 起步，如果说你是八 g 内存的话，你很可能大模型你没有办法启动啊，这是第一个。 如果说你的这个能启动大模型啊，可能会说你的这个电脑会出现卡顿蓝屏啊，对不对？所以说如果说你想跑本地部署大模型，这个配置啊，最低配置好吧？
04:32查看AI文稿AI文稿为什么部署大模型一定要用 linux 系统？首先咱们得明确一点，不是说 windows 不 能部署大模型，新手用 windows 做小模型测试、原型验证完全没问题， 但只要涉及正式部署、大规模训练或者追求稳定高效， linux 绝对是唯一选择。这里为什么不介绍 mac 呢？ mac 的 硬件与系统是强绑定，不好换系统，再就是贵，性价比不如 linux。 那 linux 有 哪些优势呢？第一个核心优势也是最关键的，资源占用低，算力释放更充分。大模型最吃什么？内存、显存和 cpu 算力，哪怕浪费一点点，都可能影响模型的运行速度，甚至导致部署失败。咱们平时用的 windows 自带很多图形界面、后台服务，这些东西对咱们日常办公有用，但对大模型部署来说全是多余的负担，会白白占用百分之五到百分之十的显存和内存。而 linux 不 一样，咱们部署大模型用的 server 版 linux 没有任何图形界面，所有系统资源都能集中供给大模型，不会有一点儿浪费。比如同样部署 quan 七币模型， windows 一下可能需要十六 gb 内存加十二 gb 显存，而 linux 启动量化后，八到十 gb 显存就能流畅运行，这 对硬件资源有限的朋友来说简直是刚需。而且 linux 的 内核级资源调度比 windows 高效百分之十到百分之二十，尤其是运行 pie、 torch、 tensor、 flow 这些主流框架时，差距会更明显。这时你可能会说， linux server 版权是命令行界面，那我不得学 linux 命令吗？其实也不用， 一个 linux 运为面板就搞定，面板本身占用极少的资源，通过浏览器访问 linux 面板，通过自带的 ai 功能菜单，点击下鼠标，就能顺利部署大模型，有 有需要的朋友可以研究一下。第二个优势，稳定性拉满，适配大模型长周期运行。咱们都知道，大模型训练动辄几天、几周甚至几个月，期间只要系统崩溃重启 一次，之前的训练进度就全白费了，不光浪费时间，还浪费算力成本。 windows 系统有个通病，长时间高负荷运行后，容易出现卡顿、蓝屏，哪怕是服务器版 windows， 稳定性也比不上 linux。 lex 的 设计初衷就是为服务器而生，天生支持长时间无间断运行。很多服务器上的 linux 系统连续运行几年不重启都很正常， 而且它采用模块化架构，驱动网络协议，这些功能都能动态加载卸载，不用重启系统，哪怕调整一些配置，也不会影响大模型的运行，这对需要持续训练、稳 稳定推理的场景来说太重要了。第三个优势，生态适配完善，工具链更齐全。大模型部署离不开各种框架和工具，比如 v l l m dsp 的 这些加速框架， dakker cooper netis 这些容器工具，还有 mtop 这种 gpu 监控工具，几乎所有主流工具都是优先支持 linux， 甚至有些工具根本不支持 windows。 比如咱们常用的容器化部署 java 就是 基于 linux 内核开发的，在 linux 上部署容器启动速度快，资源占用低，还能保证环境一致性，彻底解决在我电脑上能跑，换台电脑就报错的问题。 而且像 nvidia 的 库达驱动 ten 四 r t 加速工具，在 linux 上的更新速度更快，适配更完善，能最大程度发挥 gpu 的 算力， 这是 windows 比不了的。第四个优势，开源自由、可定制性强，成本更低，对企业和开发者来说，成本和灵活性很 关键。 windows 是 闭源系统，需要购买授权，尤其是服务器版，授权费用不低，而且底层代码不公开，遇到问题只能等官方修复，很被动。而 linux 是 开源系统，完全免费使用，而且所有源代码都公开，遇到问题可以自己修改内核，优化配置。比如遇到 gpu 驱动不兼容，公 工程师可以直接修改内核驱动代码，添加支持模块，遇到性能瓶颈也能优化内存，管理、网络传输策略。另外， linux 支持 x 八六六十四位、 a r m 等所有主流架构，不管是云端服务器、边缘设备还是本地电脑，都能灵活适配，大大降低部署成本和难度。最后总结一下， 新手用 windows、 mac 做小模型测试，入门学习没问题，但只要涉及正式部署、大规模训练，或者追求稳定高效、低成本， linux 是 相对更好的选择。它的低资源占用、高稳定性、完善的生态和开源自由的特性， 完美适配大模型部署的所有核心需求。很多人觉得 linux 难学，其实现在部署大模型大多用大克一键部署， 不用深入研究 linux 命令，稍微了解一点基础操作就够了。或装个像 one panel 这样的 linux 管理面板，部署大模型和智能体，不需要敲命令。应用商店里集成了非常多的开源项目，点点鼠标就能完成部署。好了，本期内容就到这了，感谢观看，我们下期再见！
1085IT塔台
08:42查看AI文稿AI文稿是不是很多人刷到过本地部署大模型的教程？心想想试试。结果一查，显存要求直接蒙圈，我这八 g 十六 g 显存的显卡到底能不能装大模型？今天这条视频一次性给你讲透，不用记复杂的公式，听完就知道自己的显卡够不够用。 其实大模型要多大的显存，核心就看一个事，你部署它干什么用的。如果只是自己用，一个人访问，不用考虑多人同时使用，那主要看两个关键的点，一是把模型装进去需要多少显存，二是模型干活时动态消耗的显存。先讲第一个 装载模型的显存需求，这就像给大模型找个房子，房子得够大才能装下它。而房子的大小要看模型的压缩程度，也就是量化技术。 量化越狠，模型就越小，需要的显存就越少。我拿大家经常听说的 deepsea 二一六七幺 b 大 模型举例，一说数字你就懂，不用记复杂的计算。第一， 不压缩三十二单精度，一个参数占四个字节，整个模型要用两千六百八十四 gb 的 显存。啥概念？ 几十张专业级的 a 一 百 h 一 百显卡堆一起才能扛住，咱们普通用户想都不用想。第二个，半压缩十六半精度， 参数减半，显存也减半，还要用一千三百四十二 gb 的 显存，照样不是消费级显卡能扛得住的。第三个，八倍量化， 一个参数占一个字节，显存还要用六百七十一 gb， 数字还是很大。第四个，四微量化，这是咱们经常用的压缩方式，一个参数平均才占零点六字节，显存还要用四百多 gb， 就 算这样，普通显卡还是扛不住，想在咱们自己的电脑上用， 只能选它的经典版，也就是蒸馏模型。具体什么是蒸馏模型，我们后期单独再出一些视频讲。关于如何计算这个显存的大小，我这里简单的说一下，每个打模型其实里存的都是数字，比如长成了 这个模样，如果我们以十六精度存的情况下，那他就把这串数字就存成这样，本来实际的应该是精度越高，他越表达的越准确，这个大家都明白，是吧？如果以十六精度这一串数字用这样表示， 如果是八精度的情况下，那就是用这点数字表达这一大串数字，那如果是一精度的情况下，用四来表示这一大串数字，精度越小，他对这块的存储的也就越小，但是越模糊越不准确。比如用四精度来表示， 这盆全变成这样，你看跟上面比，这是圆模型，这是变成四精度后，精准度肯定又变小了，存种空间也会变小，这就是不同精度的一个说明。 十六精度其实就是每个参数占用十六比特，我们知道一个大 b 大 的比特等于八小个比特，所以十六精度的一个参数就是占用了两个大 b 大 的比特。 我们就拿以一 b 的 大模型举例，当然我们经常看到有六七幺 b， 或者是七 b、 十六 b 等等，我们就拿一 b 来举例， e b 的 一个大模型，它其实有十亿个参数，也就是这十亿个参数占用多少大的比特呢？就是十亿乘以 二这么多比特，具体这一个大 b 的 模型装在这个显卡的显存中要占多大空间呢？接下来继续算。一一 g 我 们知道是一零二四兆，也就是一零二四乘以一零二四 k， 也就等于一零二四乘以一零二四乘以一零二四，大的比特也就约等于一千的三四方，一千乘以一千乘以一千。 一 b 的 一个大模型是十亿乘以二比特，一 g 的 大小是十了三方比特。所以一 b 的 大模型需要的一个 空间是多少呢？需要的一个显存空间，那就是十一乘以二除以后边的这个值也就大概是两 g 的 一个大小， 那个数除完也就试着约等于一个两 g b 的 一个大小。这块大家都明白吧，也就是一个一 b 的 大模型 放到显存里，大概占用两 g b 的 大小。所以我们可以算出来，一个六七幺 b 的 大模型需要的就是六七幺 b 的 大模型，也就是需要六七幺乘以二，等于一千三百四十二个 g b 的 显存显存空间。只是把这大模型装进来，需要这么大的一个显存空间。 重点来了，除了装模型的固定显存，还有一个容易被忽略的动态消耗激活参数的显存大小。简单说，模型装进去只是待港，等他开始生成文字回答问题时，每生成一个字，也就是一个头肯 都要额外消耗显存。还是拿 dfseek 二一六七幺币的四位量化版举例，官方说它的激活参数量大概是三百七十亿，算下来每生成一个字就要多占二十一 gb 的 显存。这就意味着装模型要四百多个 gb， 每生成一个字， 再加上二十一 gb， 最低总需求就是四百二十多个 gb， 而且这只是粗略的估算，直接用的时候显存会更不够用，因为模型还要缓存计算数据，存临时计算的结果，就连咱们用的深度学习框架电脑系统也会占一部分的显存。 但是如果不止你一个人用，比如你做个小服务，让别人也能访问你的大模型，那显存需求就会翻倍。这就是多用户开发的乘法效应。最简单的情况，两个用户同时使用，那显存就是四百多个 gb 模型本身的，再加上二乘以二十一 gb， 两个用户的激活参数也就是将近四百五十个 gb。 当然，实际中还会有优化技巧，比如把多个用户的请求批量处理，共享一部分参数，能省点显存，但总体还是比单用户消耗的多。估测大模型推理的显存需求是一个复杂的问题，受到多种因素的影响， 第一，模型本身参数量，参数量越大，模型文件和集合参数的显存需求就越大。第二个，量化程度越高，模型文件占用显存就越小，但精度可能不足。第三个， 激活参数量。激活参数量直接决定了每生成一个头衔的显存开销。第四，并发用户，多用户并发会显著增加显存需求，具体增加程度取决于 激活参数的重复利用策略。第五，推理优化技术。 k vatch、 剔处理、算子融合等推理优化技术，可以在一定程度上降低现存的需求。讲到这，可能很多人会问，我不想算这么复杂，有没有简单的估算方法？当然有，记住以下七步就可以了。第一， 确定你要装的模型，比如 deepsea 二一十四 b， 选适合自己的，当然也可以选择对应的蒸馏模型。第二个，量化级别，新手优先选择四位量化，平衡显存和精度。第三，查官网信息，找到量化后模型大小和激活参数量， 比如上述举例中的 dfc 二一六七幺 b 的 四倍量化版本，官方说它的激活参数量大概是三百七十亿，如果没有直接给出激活的参数量，可以按照大模型参数的二十分之一到十分之一进行计算。第四个，算命法，多一个用户就要多一份激活参数的显存。 第五个，留余量，估算完再多加百分之二十到百分之三十，以应对 k v k 值中间计算结果和其他运行时的额外开销。六、实际测试最准的还要是装完跑一跑，看实际显存的占用。最后总结一句， 大模型显存不够，不是你显卡差，是压缩不够。并发症太多，余量没流量化，选对需求匹配普通显卡也能玩转大模型， 绝对有用的！收藏点赞！下次部署大模型直接对照着来，不踩坑。今天分享就到这里了，感谢大家的关注！
345宇哥白话讲AI
02:08查看AI文稿AI文稿一分钟教你如何把 deepseek 装进你的电脑！目前不属本地大模型的软件主要有欧拉玛、 a m、 studio v l l m、 点 c p p 等，对于普通人来说，最简单也是最容易上手的就是欧拉玛。废话不多说，首先进入欧拉玛的官网，点击下载链接，然后选择对应的系统进行下载，下载后跟普通软件一样安装即 可。安装完成后进入软件，点击左上角的盘符， 有底盘，然后是上下纹的长度，这个需要根据电脑的配置进行设置，如果电脑配置不高的话，设置太大可能带不动。然后返回首页，点击对话框右下角的模型选项，在这里可以看到欧莱玛推荐的模型，旁边有一个下载图标的，就是还没下载的模型，选择 dsp 二一 r b， 然后随便发送一条信息就可以自动下载了。下载完成后，我们就可以在本地使用这个大模型了。还有一种安装方式是通过命令行来安装的，进入官网，点击左上角的 mod， 在 这里可以看到很多开源的大模型。选择一个需要的模型，进来后可以看到模型的信息，已经安装命令，这个命令的最后一个词是模型的名 称，如果不指定参数的话，系统会默认选择。我们可以看到这个模型有多个参数的版本，在后面添加对应的参数，比如 dip 杠 r e 七 b， 然后复制这条命令，键盘按住 win 加 r， 输入 c n d， 并打开粘贴这条命令，即可开始下载。此外还有两个常用的命令，比如采用大模型列表，还有删除模型的，同样最后一个词也是模型的名称， 然后我们来看一下如何调用这个大模型。以 obsidian 为例，首先进入 obsidian， 点击左下角的设置第三方插件，浏览，搜索 compiler 并安装起用。然后主要有两个设置，一个是添加模型，另外一个就是设置制定模型。设置完之后，回到 obsidian 页面， 在左边的工具栏可以看到一个聊天的图标，点击后可以在右边看到一个对话框，在这里即可使用大模型进行分析、总结、查找或者修改你的笔记了。不止 office 店，现在只要支持大模型的项目基本都是能够使用的，比如前段时间非常火的 open curl， 同样也可以调用。
10大庄Allen
04:15查看AI文稿AI文稿五十个 g 的 ai 大 脑塞进笔记本，断网也能用，每个月省下两百块订阅费。这期视频从部署工具到模型测试，再到选购建议，新手小白保姆教程，看完直接上手。 先来介绍一下我的设备，一百二十八 gb 内存的 m 五 max macbook pro， 但大家不要误会，只要是 m 系列芯片的 macbook 都能玩本地大模型。部署本地大模型，首先呢，要下载本地 ai 运行推理中心。 macos 上这类工具不仅丰富，而且很多工具都会优先上线 mac、 优先 mac 内测，甚至只上线 mac 客户端，这是苹果生态的优势。同为新手，我更推荐免费开源工具 o m l x， 最重要的原因是它采用了专为苹果芯片打造的 ai 框架，而且新模型适配快，完美支持中文，新手友好且功能全面。通过 github 直接下载安装即可。打开软件， a p r k， 随便简 单填写，点击开启服务，开启完成。点击下方进入控制面板，输入自己填写的 a p r k， 点击勾选就能进入后台了。面板上方找到设置，先把语言切换成简体中文，点 点击模型下载器，这里就可以下载本地大模型了。 o m i x 会自动识别出当前设备内存，因为模型需要加载到内存运行，所以下载模型体积不能超过 mac 内存，超出的就会提示报内存风险。这里顺便科普一下苹果芯片的统一内存机制， cpu、 gpu、 苹果神经网络引擎以及系统共用同一物理内存， cpu 处理好的数据， gpu 可以 直接读取，无需复制。相比传统 pc 的 cpu 用系统内存， gpu 用自己的独立显存跑压模型时，数据必须在两者之间来回搬运， 响应更快、延迟更低，还更省电。大家可以根据自己的内存选择模型，提醒内存偏紧的也不太建议， 必要留点内存运行其他任务。同时建议勾选 m x 选项，筛选专门针对苹果芯片优化过的模型， 比如前几天刚发布的千万三点六二七 b 能力在追赶币源模型，满血版才五十 g b 左右，还有各种大小的量化版，从 十六 gb 内存到一百二十八 gb 内存都能玩。大家根据自己的网络环境选择海外社区或者国内社区，把模型下载到本地。下载完之后进入到模型设置界面，点击加载。模型设置里主要提嘴是否开启思考的区别，开启思考更智能，但响应慢， 关闭思考直接秒响应，但没有自我推演，不如完成。进入到对话界面，就可以像其他线上 ai 那 样对话了，但所有的对话都是基于本地存储和运行，拥有绝对的隐私权，断网也能运行。你也可以通过对话里设置提示词来规范 ai 输出。 甚至可以通过 open ui 兼容接口把本地大模型接入到小龙虾、 cloud code 等服务，完全免费实现 token 自由。虽然能力赶不上最新的线上大模型，但本地大模型也在不断迭代，在部分场景完全可以取代线上付费模型。 本地模型呢，除了能力，输出速度同样直观重要。这是我针对该模型满血版和两个量化版专门测试的数据。主要说下输出速度，人眼阅读中文大约五 toky 每秒，全精度满血板约九 toky 每秒，刚好够看输出质量，几乎无损的巴比特量化版，速度翻倍到十八 toky 每秒，比你独自还快， 我个人会作为主力模型使用四比特量化版速度直接干到三十三 toky 每秒，日常任务非常够用。这里呢，又要科普一下，本地跑大模型，速度平静不是算力，而是内存带宽。 模型每输出一个字都要把整个模型权重重读一遍。 m 五 max 内存待宽是六百一十四 gb 每秒，运行五十一 gb 的 模型，理论上每秒能把这个模型搬运十二遍，最高输出速度也就是十二投币每秒。 测试的九投币每秒已经接近这颗芯片的物理极限了。再加上一百二十八 gb 统一内存，别人显卡装不下的模型，你甚至可以同时加载多个按需秒切直接调用。 苹果在 m 五全系列芯片每一颗 gpu 核心里都内置了 ai 加速器， ai 算力相比上一代提升巨大。到这里我觉得给出大家选购建议就顺理成章了，如果你还搞不清楚自己的需求， 那就用手头现有的设备，根据上面的流程部署玩玩就行。如果想买台新迈克入门尝鲜十四寸 m 五基础款，三十二 gb 起步够用，想做主力创作 m 五 pro， 六十四 gb 是 甜点档，性价比最高 山炮满血版大模型玩多模型并发， m 五 max 一 百是八 gb 是 最佳选择。总之希望能帮到大家，也非常感谢大家能够看到这里。
4738Apper
01:40查看AI文稿AI文稿现在很多人都在提本地大模型，但大家其实都很模糊，为什么要做本地大模型？用什么硬件才能运行？该搭建哪些模型？公司到底有必要部署它吗？今天我就用通俗的话给大家简单讲明白。首先要明确本地大模型目前主流的解决方案有两种，因为达安卡和 max studio 核心区别在于适配场景该怎么选呢？如果是一人公司的老板， max studio 会更合适，它既能当日常办公电脑，又搭载了性能极强的 max 系统。比如两万多价位的 m 二 ultra， 六十四 g 版本，内存宽带能达到八百 gb 每秒，完全能满足单人使用需求。我特意整理了一份对比表，大家可以参考一下。 m 二 ultra 和 m 三 ultra 系列的内存宽带都是一样的，而 m 四 max 的 宽带速度只有前两者的三分之二。像 open class 这类智能机器人，在 max studio 上的响应速度肯定比不上英伟达恩卡，但如果你的性能需求极高，那英伟达的解决方案会更贴合。就拿五零九零 d v 二来说，像电商行业每天要处理大量数据报表，比如一次性解析十到一百张报表， max studio 大 概需要一分钟才能给出结果，而英伟达恩卡二十秒就能完成，这个速度差距非常明显。另外，要是你需要考虑企业疾病发，或 者有多个用户同时使用，那英伟达安卡几乎是不二之选。不过 max studio 也有优势，同价位里它可以运行更大的模型，适合电商、律所这类客户量庞大的行业。再说说我们平时常用的模型，种类其实不少，比如千万三点六三五 b a 三 b 的 mo e 模型，还有千万三点五二七 b 这种单词模型，都是我们部署的比较多的， 适配不同行业的需求。对电商行业的朋友来说， erp 系统就是核心命脉。把本地大模型接入 erp 后，它能帮你清晰统计卖出了多少货，成本多少、利润多少，哪个 sku 销量最高，能创造更多价值。甚至像今年六幺八、双十一， 哪些产品可能成为爆品，行业趋势如何， ai 都会给出精准分析和方向。当然，最终的决策还是在你手里，但它能帮你规避盲目判断，提供更科学的参考。所以，如果你是企业老板、管理者，不妨多花点时间，深思熟虑，再决定是否配置本地大模型，毕竟它能真正帮企业解决实际问题，提升效率。
125荼荼说AI+
01:31查看AI文稿AI文稿为什么好像很多人都做本地大模型，那用什么硬件跑本地大模型，搭建什么模型，以及为什么公司需要它，其实根本不清楚，那今天我来简单讲一下。首先本地大模型我们主推因为达安卡和 max studio 这两种解决方案，这 两价格上也差不多，要如何去选呢？如果你一人公司老板，那么 studio 这个又可以当电脑，是个非常强大的一个性能的慢系统，两万多价位的 m r ultra 六十四 g 系列，内存带宽八百 gb 每秒， 我拉的对比表大家可以看一下 m 二和 m 三以及 m 四， m 二和 m 三 ultra 系列的内存宽带只相差不到百分之五，而 m 四 max 宽带速度只有他们的三分之二。像类似于 open cloud 这样的机器人的话， studio 的 回复速度各方面肯定是没有 n 卡快的。但是如果你和我一样对这个性能要求极高，那你可以考虑一下英伟达的这套解决方案。就拿这个五零九零 d v 二来说的话，像电商行业每天要处理大量的数据报表需要处理， 比如说帮你看十个到一百张表，这么多的数据， studio 基本上要一分钟直接给你数据，这个差距就非常的大了。 如果你还考虑企业并发或者是更多的用户同时去使用的话，那用 n 卡是你基本上不用考虑的一个选择。但是 max studio 它就可以跑这种 mini max 这种非常大的模型，像我们平时电商以及律所这种客户非常非常多。那么我们平时装的什么模型呢？ 我们装了很多的，比如说千万三点六三五 b 的 这二七 b 的 m o e 模型千万三点五，二七 b 这个是氮四模型。然后再就是比如说 g m 的 二十六 b 也是一个氮四模型。 对于电商行业的朋友来说， erp 就是 电商的命脉嘛，接入 erp， 比方说你到底卖出了多少？你的成本是多少？那么你的利润是多少？哪哪个 sku 的 产品是卖的最多的？哪个给你创造更多的价值？然后包括比如说今年双十一或者双十二啊，哪个可能会成为爆品，哪个趋势会更好？那么这些 ai 全部都会给你答案。 当然决定权最后还是在你，但是它能给你一个非常好的方向。如果你是一个老板，也是一个管理者，那么你可以在深思熟虑之后，再去思考是否要配置到模型。
867小辰Ai智能
01:39查看AI文稿AI文稿我的天呐，现在还有人在买那个 cobalt 跟那个小龙虾的那个 u 盘啊啊， 我现在目前就告诉你，怎么样能获得一只免费的龙虾，安装到你的电脑还是安装 安装到你自己的 u 盘，其实很简单，你只要通过国内的一个模型叫 workbody， 那 还有不管是 workbody 还是任何一个国内的一些模型，它都 ok 的。 我们只要做到一点，就是你只要下达指令，跟他讲 你给我下载呃的 cloudcool 或者是 opencool， 就是 这些小龙虾，小龙虾还有哈姆斯，你都可以自己到下到本地去， 你只要跟他讲他给你下到本地，你如果说或者是你自己想要想要方便的话，对吧？那你自己下到本地之后，你在先没有安装，你直接通过这个直接通过这个安装的包直接拖到这个拖到这个 u 盘， 你叫他直接拿安装包直接放到桌面就行了，你再拿桌面放到 u 盘，或者是你跟可乐的口啊，你或者你跟那个沃克巴蒂直接讲一下，你说你拿，你拿这个文件包之后，你再给我装到这个 u 盘里面去就行了，他就会给你，全部给，全部给，你给可以搞定。 那你看我的这个，我的这个 workbody 就是 这样子，你看像我的 clockclock 跟 hans， 他 就是这样给我搞定的，其实没有那么，没有那么复杂，也没有那么 呃，那就是你不要不要一一一股脑地听的那个线上说，哎呀，免费安装或者免费部署，你直接让他帮你搞定就行了。
198AI小友
