mac+studio可以扩展内存吗
粉丝89.6万获赞1698.0万
相关视频
06:15
02:02查看AI文稿AI文稿今天拍这视频最大的一个投资就是它 max 六 m 二 max 的 芯片到现在也是不过时，而且用起来非常流畅，最主要的原因是它的接口够多， 散热够好， gpu 也会比 m 四要好上一些。所以说接下来五年的时间，它就是我的办公主力。但是咱们预算有限，所以买的只是一个三十二加五幺二的最基础的版本，那五幺二的硬盘对于我们这种经常剪片子的人来说是不够用的，所以我给添了一个小工具，就是它 超级薄。这个其实是 m 一 m 二 m 三通用的 mac mini 的 一个扩展底座扩展物，它是 sata 家的，也是苹果官网的御用品牌，那它给 mac studio 用也是完全没有问题的，因为 mac mini 拉高就是 mac studio， 所以 说给它放上之后，颜色和粉 底部是这样的。然后后边给它连接上这根 type c 的 线， 就能够实现前边的所有的接口的拓展。三个 usb a 的 接口拔下来展示吧，这个麦实在是太重了， 接下来跟大家重点一下这个东西能够扩展哪些接口。首先第一点，前边两个读卡器的接口，一个 sd 卡，一个 tf 卡，然后三个 usb a， 这三个 usb a 上面都有字，写的很清楚，两个五 g bps， 一个十 g bps， 虽然它是黑色，但它并不是普通的 usb， 二点零 速率都在上面，是非常快的，读一些高速的 u 盘硬盘也是完全没问题的。这边还有个实际 bps 的 type c 的 接口，读一些高速硬盘也是完全没问题的。如果你以为这样结束了，那你太小看这个苹果官网的御用品牌了，首先不用它的时候，它的线 是可以收纳到后边。第二点，这个位置有一个类似于放电池的这么一个小卡扣，打开之后你可以在里面放 nvme 的 固态硬盘。那我这个是一个短的，给大家做一个展示，其实放二八零是最合适的，所以说这个拓展屋他既是一个硬盘拓展屋，又是一个 多种接口以及多媒体的，最关键的是它的颜值好，而且它下边有这种开孔，不影响里面硬盘散热，也不影响你的 my studio 散热。所以说这两个东西搭配在一起，你既扩展了丰富的接口，你在里面塞一个大容量的 ssd， 也能扩展更多的硬盘的使用空间。
454科技大盘鸡
03:56查看AI文稿AI文稿什么问题？没啥问题，就是升级。对对对，现在内存四 g， 四 g 就 想放十六 g 的。 对对对，升级跟内存就会快很多吗？是快，尤其是打开多程序的时候，因为你这个四个 gb 基本上不够用。对，这个是最早的。 对，快十年的，这个本一五年的还可以升到十六 g。 nice， 这级别太小了。干净吗？很干净，电池都没鼓包。十来年电池倒是非常好，因为用的也不多，这个就是备用器。你这不用电池，你放十来年它也会放坏呀。 有个山坡，山坡上的早 熟到你的 心总这样冲不翻，你却要说前世对对方说着来世再见， 现在就是十六 g。 原来四 g， 哎，你好，变的好了，现在是四 g 变成十六了。 ok， 好 了哈。
116NB快修中心
22:35查看AI文稿AI文稿过去我搭建的每一个 mac 机群最终都会遇到同样的痛苦。糟糕的多。拜托，直到这个为止，我搭建过 mac mini 机群或者 mac studio 机群，而且它们确实能用。 你可以运行更大的本地人工智能模型，更大的 l l m。 更大的模型通常意味着更多的知识，更智能的答案。大型模型也需要大量内存。将几台机器组合成一个集群，意味着你的模型可以共享所有这些 ram 或统一内存。这在 apple 四了康领域是众所周知的，但一直以来都存在一种权衡， 机器越多，速度越慢。好吧，今天就到此为止。接下来我要展示的东西会改变一切。机器越多，速度反而越快。 各位，我们能做到你甚至不需要四台 max studio， 每台都有五百一十二 gb 的 内存，总共两 tb。 你 甚至可以在每个价值五百美元的迷你 max 上进行集群。他们是不是很可爱？那我 check， 我 希望你还留着你的 max studio， 因为你会喜欢这个的。 结果表明， exo 正是我之前在 mac mini 集训中展示过的工具，它非常容易设置。然后他们消失了好几个月。我以为这个项目被放弃了。其他人都这么认为。嗯，他们一直在发推文说实现了宪性扩展。 d p 烟生八位量化，拥有六千七百一十亿，参数大小超过七百 gb。 而且整个夏天他们一直在预告这个。好了，他们终于达到一点零版本了。但是为了获得那种限性扩展，抱歉，绿线实际上不是限性的。但你明白我的意思，不仅仅是 exo。 为了让我们走到今天，有三个层面的技术必须像星星连成一线一样完美契合。 然而， x o 一 点零版本竟然变得更简单了。它只是一个安装程序，你需要把它安装在你想要作为集群一部分的每台机器上。顺便说一句，即使这个视频仍然不是 x o 赞助的。 我上次关于它的视频效果非常好。请稍等片刻，我来处理一下账单。说真的，我刚进安全运营中心的第一个月，特别害怕接触生产环境。 我只需要一个可以合法且安全的进行实践的地方。这正是 try hack me 能给你的。这就是 try hack me 基于浏览器的网络安全培训平台，无需安装，无需设置。点击一下，你就进入了真实的实验室。 让我来给你们展示一个对新手友好的开源情报挑战。在 o s i n t。 房间里，你会得到一张图片和一个问题，仅凭一张照片文件，你能发现多少信息？我将打开虚拟机，抓取图像并运行退出工具 image jpg。 它提取了包括用户名在内的数据和原数据。现在我们进行转换。我会在公共网站上搜索那个用户名。 找到了头像吗？是只猫？那座城市追踪个人资料的足迹指向伦敦个人邮箱。在开发者足迹上，我找到了 overflychme com。 好 了，我就先讲到这里。房间里还有更多问题，你可以在 trychme 网站上自己完成剩下的部分。为什么我觉得这对开发者和初学者来说很棒？实践出真知结构化路径， 模拟真实公房的场景，游戏化的进度，还有他们的人工智能导师 echo 来指导你。点击下方链接参与。 从 o s i n t 房间开始，看看你能走多远。很多房间是空闲的。使用我的代码 z i s k i n 二十五。如果你想获得完整访问权限，年度计划可以享受百分之二十五的折扣。链接在下方双击。 首先，我准备在所有四台机器上启动 x o k。 我 们用活动监视器来关注一下各项指标。内存使用率和 gpu 使用率是我们在这里最关心的两件事，因为内存在机器学习任务中起着重要的作用。 gpu 使用率可以让我们知道这些进程是否在 gpu 上运行， 这正是我们想要的，而不是在 cpu 上，这样速度才快。顺便说一下，对于 m 三 ultra max studio， 我 把它们都连接起来了。它们必须通过雷利接口使用网状网络连接，我稍后会解释，而且它们加起来总共只用了六十六瓦的电。 太疯狂了！ x o 一 点零中的一切都是由 ui 驱动的。即使它们确实有 api 访问权限，你也可以在菜单栏中看到 x o 以及你的四台机器或你正在使用的两百三十四台机器的拓扑结构。 然后你就有了这个仪表盘按钮，这样就把你带到了。没错，新的 x o 仪表盘这里会显示拓扑结构和聊天记录。我要删除我在这边的所有，你好和你好吗？在这里你可以选择你想要的模型。你可以运行 deep seek， 三点一八 bit。 我 接下来会演示还有 kimi k 二 thinking 宽窄四百八十。这些都是大型模型，但它们的分片方式略有不同。分片？那是什么？ 听起来真恶心哦。分片就是将模型分成不同的部分，这样就可以在一台机器上运行模型的某些部分。在另一台机器上运行模型的其他部分。过去你们会使用流水线分片，但现在你们可以使用张量并行。 之前 exo 拆分模型的方式叫做流水线并行，每个阶段仍然是按顺序运行的。我是亚历克斯，起码他是 exo 的 创始人之一。所以你实际上并没有获得任何速度提升，因为一次只有一个设备是活动的。 现在有了低延迟的 r d， m a 就 可以实现不同类型的并行，即张量并行，这使你能够真正实现并行。现在不是按阶段运行，而是将每一层分成独立的计算块并行执行。 哦，是啊，让我们从这个 q， w， e， n 两千三百五十亿参数模型开始。我们将使用 m， l， x， r， d， m， a 和所有四个节点。这就是我们的拓扑结构。我要启动它，然后留意一下内存。 每台机器上的内存都在增加，因为它正在被加载到内存中。这需要一点时间，因为它是一个大型模型，你可以看到内存压力正在变得有点高。但是 拜托，这太离谱了。每台机器都显示五百一十二 gb， 我 们要加载更大的模型。这台机器已经用了八十四 gb。 这台八十二 gb， 这台也是八十一 gb， 这台也是八十一 gb。 它是如何 分割模型的呢？它使用了苹果的一项新技术，可以用张量并行来分割模型，并且可以将不同的层放在不同的机器上。顺便说一句，这确实优化了推理。这个小界面非常酷，你可以删除十粒，也可以启动多个十粒。 而且由于每台机器都有五百一十二 gb 的 内存。如果我愿意，我可以启动多个 qwe， 两千三百五十 e 或其他模型的十粒。咱们问它点什么吧？你好， 我知道，我知道，我的提示词太迅了，我能和你说什么呢？这个视频不是关于这个的，这个视频是关于这项技术背后的原理，而不是你的提示词有多好。那是其他视频的内容。我们这里能达到每秒三十七个头肯记住这个数字，因为现在我要删除这个实力，然后只在一个节点上再次启动这个模型。 哦，对了，它可以在一个节点上运行，空间还很大。您好，您好，今天有什么可以帮您的吗？每秒三十个 token， 一个节点上三十个，四个节点上三十七个。这就是张亮病情如此出色的原因。 实际上，这是一个不好的例子，因为这个模型是 m o e， 也就是混合专家模型。这意味着是的，它有两千三百五十亿个参数， 但当他真正被加载并使用时，你只会激活这些参数中的一个小子机。而且这类模型不像密集模型那样，通常不能很好的进行分片或在不同机器上拆分。 稠密模型可以很好的拆分。我马上给你们演示。等一下， alex， 你 提到了 r d m a， 你 想用 r d m a 吗？不不不，是 dna r d m a。 它是远程直接内存访问。哦， 所以苹果在这里做了一些了不起的事情。你还记得 find 爆土让我们多么震惊吗？是啊，也就出来不到一年。 我们一开始拿到了最初的设备，然后 mac studio 也有了 m 四 max 和 m 四 pro 都有了，而且它在传输文件或驱动八 k 显示器方面的速度已经非常令人印象深刻了。 当这波可以用来将多台机器连接在一起，就像几个月前你在我的 mac mini 集群视频和 mac studio 集群视频中看到的那样。然后我就想，好吧，这有点限制性。这就是它有点慢的原因。 但苹果并没有就此止步，发布这项技术就万事大吉了。不，他们决定哦，我想我们可以用完全相同的硬件，并在软件上做得更好。 关于 macos tahoe 的 ui 设计，大家可能褒贬不一，但二十六点二版本确实很棒。 它们起用了 thunderbolt 上的 r d m a。 这意味着机器之间的通信现在可以快十倍。朋友们，这就是消除我们平静的原因。现在没有理由不像 markiplier 那 样把五十台 max studio 连接在一起。惊叹一下这个 羡慕吗？记得我那又大又旧的浴室吗？是啊，这可是个大家伙。嗯，是啊，所以硬件方面都准备好了。要让一切顺利运行，还有一个缺失的环节需要解决，那就是 m l x。 m l x 是 一个阵列框架，专为在 apple silicon 上进行高效且灵活的机器学习研究而设计。它是专门为 apple 芯片设计和优化的。 我之前在频道里展示过很多次。如果你用的是 l m studio， 你 可以获取 g g u f 模型或 m l x 模型。 g g u f 模型配合喇嘛 c p p。 这是一个非常非常流行的运行推理的工具，换句话说就是运行模型和生成文本。 alama 构建于 lma cp 之上， lm studio 也构建于 lma cp 之上，但 lm studio 还能访问 mlx， 而 mlx 有 点像英伟达硬件上的 cuda， 它是专门为利用硬件优势而设计的，实际上性能更高，速度更快。 它只适用于 apple c p 那 样是跨平台的。这是 apple c p p 的 优势。它可以在 linux 上运行，可以在 windows 上运行，也可以在 mac 上运行，但 mx 在 apple silicon 上速度更快。上次我给你们演示 mac studio 集群时，我使用了 mlx distributed， 这是一种在多台机器之间建立通信的方式， 以便在多台机器上以集群方式运行 mlx 模型。当时 mlx 使用的是常规的 findbot， 通信网络速度很慢， 所以即使我们运行了大型模型，速度也明显下降，而且我甚至无法让真正巨大的模型运行好了。 m l x 已经将新的 r d m a 功能整合到其库中。如果你想用，可以直接运行。 我得告诉你，这玩意不好弄。和我之前的视频类似，我花了一段时间才设置好，因为有很多部分需要安装，而 xo 通过一个安装程序就帮你消除了这些环节。它基本上自动化了一切。但如果你想自己运行 m l x distributed， 你 可以看看这个，开发者们会对这个感兴趣。 ds 二拥有一千两百三十亿参数。 ds 现在被认为是开发者最佳的开源犬种模型。 它在软件开发者的基础测试中表现非常出色。让我们在 mlx distributor 上运行它。现在我必须编写一堆脚本来协调所有这些，这样才能容易地从一台机器上运行。 首先，你必须在所有机器之间起用无密码 s h。 你 必须确保 r d m a。 网络像我展示的那样通过 thunderbolt 以网状模式连接，而且它们必须在你的局域网上，因为它们必须通过根节点的 ip 地址进行通信。 然后将所有模型复制并分发到所有机器上，以及将所有脚本分发到所有机器上。这些都需要你自己编辑。顺便说一句，我可能会把所有这些东西都放到我的 github 上。如果你有兴趣，请在下方留言。但通常 mlx 团队的安妮会创建自己的要点， 并将所有说明放在那里。所以我可能不必这样做。去看看阿娜的推特，如果他还没发推，可能很快就会发了。我实际上在下面放了他的链接。我们现在来看一下一台机器，我要启动 m l x 生成命令。我用的是 def straw 一 百二十三 b instruct 四 bit。 好 的，四 bit， 我 待会试试。六 bit。 听起来很奇怪，但你会明白的，这会带来很大的改变。开始了，请转载一篇关于 thunderbolt r d m a。 的 两百字的文章。 现在这只在一台机器上运行，就在这台机器上，速度不是很快，但它是一个非常庞大密集的模型。这是一个密集的模型，应该可以在多台机器上很好的进行分片。暗示一下，暗示一下，我们将会看到，所以现在我们每秒能得到九点二个 token。 呃，我喜欢稍微快一点的，所以我要在所有四台机器上运行。开始了，留意一下内存和这里活动监视器中的 gpu 历史记录。我们每台机器上大约有三十六 gb。 这里有 gpu 历史记录。你可以想象第一台机器也在做同样的事情， 而且它很好地利用了 gpu。 从图标来看，几乎可以肯定是百分之一百了啊。看，每秒二十二个 token。 使用更多机器时，我们每秒处理的 token 吞吐量增加了一倍以上。这就是 r d m a 带来的好处。现在不仅仅是稠密模型在通过张量并行进行分片时能让你获得更快的性能，而且这个模型还被量化到了四位。 这意味着完整的模型可能原本是十六位的，并且丢弃了一些信息。这就是量化。量化的目的是为了让模型能够在较小的硬件上运行。通常当量化的时候，你会这样做。 如果你还没看过 julia turker 的 频道，它有一个关于量化非常好的视频，我会在下面链接。你可以量化到八位，六位，四位，三位。每次量化你都会损失一些信息，所以你可能无法获得最佳结果。那么，如果你采用 devstra 并减少量化程度呢？ 比如说，你只把它量化到六位，而不是四位。嗯，当你这样做的时候，实际上你会得到非常不同的性能。实际上这样更好。 好的，我们在一台机器上运行六位。在单台机器上运行六位模型应该比四位模型慢一点，或者可能差不多。 好的，让我们在一台机器上运行六位模型。在一台机器上，这应该比四位模型慢一点，或者差不多。是的，我们现在是每秒六点四个 token， 因为这是一个更大的模型在单机上运行。但如果我们在所有机器上运行这个模型呢？成了， 所以我们在每台机器上使用了更多的内存。我们现在达到了四零四一 gb， 而不是三十 gb。 正如你从 gpu 历史图中看到的那样，我们正在充分利用 gpu。 我 们现在这里得到了每秒十七个 tokens， 所以 这里我们看到使用多台机器时，六位量化能带来近三倍的提速。 我们稍微岔开一下，来看看一个在单机上运行的小模型。但我想向你们展示 g g， u f 和 ml x 之间的区别。我用了宽三四 b 一个很小的模型，它们都是四位的，一个是 g g， u f， 一个是 ml x。 写一段文字， 速度相当快，每秒一百三十一个 token 是 哪个？你猜猜看。我们开始新的对话吧。这次选择 ml x 版本，写一段文字， 每秒一百六十八个 token。 所以 你可以看到，对于完全相同的模型， mlx 版本在 apple silicon 上要快得多。顺便说一句，这是正在运行的 lm studio， 它能够同时运行两者，而且 lm studio 非常简单，但是它不具备集群能力。 如果我们用拉玛 cpprpc 来集群这个 qn 三四 b， 这就是拉玛 cpp 集群。你的模型的方式。是的，这有可能，但设置起来也有点困难。 为了你们，我已经做了所有这些，并且一直在测试。我使用这些设备的时间还不多，所以肯定还会有更多的测试。 但这就是我得到的。对于相同的模型，在四个节点上速度降到了每秒四十五四十六个 token， 从一百三十一降下来，降幅相当大，这就是问题所在。这是因为拉玛 c p p r p c。 没有使用 r d m a 和张量并行， jeff galein 及 donato capitol 一 直在使用拉玛 c p p rpc 进行更多测试。 donato capitol 还在 framework desktop 上创建用于集群的工具箱，而且我已经运行了 q e n。 三编码器。这是一个拥有四千八百亿参数的模型。 如果我们在四个 framework 桌面节点上进行集群，我们每秒能得到七个 token， 这并不理想， 不过这是有可能的。这真的很酷。这是一个四千八百亿参数的 coin coder 模型。顺便说一下，我用一百二十八，两百五十六一直到一千六 g 的 prompt size 运行了。这个 我实际上确实包含了一个三六零零 token 的 提示，但框架机群未能成功运行。这里看到的好处是，它在所有不同的提示中都相当一致。我们现在大约每秒能得到七个 token。 我 想看看我们能得到什么。 用 exo 集群启动 q e n 三编码器四千八百亿参数模型。我们将使用 m l， x， r d， m a。 进入 tensor， 并在所有四个节点上运行它启动。我喜欢看到所有四台机器的内存同时增加。这太酷了！ 我真希望可以多玩一下这个集群，但这是苹果借给我的，他们想要要回去了，所以我必须尽快完成所有的测试，然后把它还回去了。看看那东西跑的真快。 我们在四个节点上获得了每秒四十个 token。 对 于一个四千八百亿参数的模型来说，每秒四十个 token 相当不错。 剩下的就是把它连接到你的代码编辑器了，而且我做了关于那个视频，我为此制作了会员视频。顺便说一下，如果你是本频道的会员，非常感谢你频道的会员可以获得额外的视频。感谢大家的支持。哇，这真是太酷了！每秒七个 token 桌面，所以稍微有点不同， 每秒四十个头啃。但我已经向你们展示了 max 六上的单节点与四节点改进的对比。所以你知道它能做到什么，不过受到更大的模型，让我们看看还能做些什么。我要删除这个 kimi k r instruct， 它的大小是五百七十八 g b 还有 tensor r d m a。 启动这个可能需要加载更长的时间。现在每台机器的内存使用量大约是一百一十五 g b。 一百三十，一百三十五。它一直在运行。顺便说一下， kimi k 二 thinking 有 二五六零零零的上下文长度。所以，是的，我那些简单的 hello world 提示语根本不足以充分利用这个系统，但 m l x distributed 会根据提示语的大小动态调整。 你可以看到他使用了一百五十 gb 的 内存，但如果我给他一个更大的提示语，他会使用更多。看看这个。他加载完毕了，可以用了。内存压力下降了，但每台机上的内存仍然是一百五十 gb。 hello 他 只是跟我打了个招呼， 我觉得他在嘲笑我。他说你给了我一个简短的提示，所以我也给你一个简短的回答。这可能非常聪明，也可能非常愚蠢。我不知道选哪个。好吧，你知道吗？这是我的架构提示， 设计一个可扩展的电商平台外部应用程序架构。这个通常会给我一个相当长的答案。这是一个相当大的 prompt， 成了，它开始设计架构了， 速度相当快。现在每秒 tokens 是 三十四点八。它实际上还实时调整显示。三十四点六，你可以看到每台机器上的内存只增加了几个 gb。 有趣的是，这个模型的 gpu 使用率并没有达到百分之一百，它已经堆叠到大约百分之九十的高度了。我希望这些图标能有更好的显示效果，但这就是我们能得到的全部 gpu 历史记录了。三十三点八个 token 是 最终答案。 现在如果你不知道的话， kimi k 二，总共有一万亿个参数。我们刚刚运行了一个万亿参数的模型，它是专家混合模型，所以不是同时使用所有参数。但即便如此，每秒三十多个 tokens。 哇，好了，该轮到大 boss 了。 d p g v 三点一八 b 各位，这甚至还不到四比特，这是八位，而且是原始训练，大小就像完整版一样。我希望你们现在就去评论区猜猜他会有多快，或者他是否能启动，让我们拭目以待。一百二十 g b， 每台机器都在运行，而且还在继续。一百五十，一百七十各位，我们已经达到了每台机器两百 g b， 稳定在每台机器一百八十三 g b。 每台机器都有这么大的内存，我承认这有点奢侈，但这确实加载进去了，让我们把提示词粘贴进来。 deep seek v 三，目前排名最高的开源软件开发模型之一。 不过我得说，这是我见过 max studio 集群运行 deep seek 时功耗最高的，达到了五百零九或五百一十二瓦。 哇哦，他现在开始畅饮了。现在他在狂饮。开始了。 现在虽然没有 kimi k 二那么快，但也足够快了。我的意思是，这比我阅读的速度快多了。我们现在是每秒二十五个 token。 对 于这么大的模型来说，这其实已经很不错了。 现在这些大型模型是专家混合模型。我确实想尝试一个非常大的筹密模型，但现在我们需要在 m l x distributor 层面获得支持。我们需要在 x o 层面提供支持，以便这些模型可用，能够呈现出来，并且能够被我们使用。但幸运的是，要让这些模型可用并不难。 我们可能只需要提交一个艺术或者其他类似的东西。现在，你可以用小巧的 m 四 mac mini 来运行 x o， 而不用运行这台价值五万美元的集群，并且仍然可以享受到轻松设置、自动发现和组合统一内存以运行更大模型的好处。然而， m 四 mac mini 没有 thunderbolt 喔， 它们有雷力四，尚不支持 r d m a。 苹果请修复它，或者给我们配上 thunderbolt 五的 m 五 mac mini 也行。求求了，要获得 r d m a。 支持，你需要 m 四 pro 或更高级别的芯片，这样才能获得 thunderbolt 五。 所以去看看新的 x o 一 点零，看看 m l x distributed 以及 apple 的 mac os 二十六点二，它将在软件中起用此功能。 太疯狂了。希望你喜欢这个视频做这件事很有趣。如果你想了解更多关于 m l x distributed 以及我是如何运行它的细节，请观看这边的视频。感谢观看，我们下次再见。
4921声译看世界(求关注版）
02:35查看AI文稿AI文稿现在内存是多大的？现在是六的吧？内存是十六 g 硬盘是你升级完内存之后，它速度肯定是明显的提升， 三十二 g 内存，内存压力非常小。
