粉丝1.1万获赞4.9万

我们都知道,因为苹果的统一内存架构,运行内存可以直接当显存来用,所以只要内存够大,不用买显卡都可以轻松地运行很多大语言模型。今天我们来对比一下两款在 mac os 上面跑大模型的软件, olam 和 lm studio。 olam 需要自己安装 open web ui 才有网页的 ui, 好 处是它可以变成公开的网站,哪里都可以访问。而 lm studio 自带的 m l x 框架,而 lm studio 支持, 所以在运行 mx 格式的模型的时候运行起来会更快。 alamo 需要安装插件才可以使用 m c p 服务器,而 lm studio 原声支持。 alamo 只支持官方给的模型,而 lm studio 支持 hugging face 的 模型, 而且可以直接在软件里面下载模型,又多又方便。 alamo 是 第一次运行模型的时候把模型加载到内存,而 lm studio 是 切换模型的时候加载模型,哪个更好,那就见仁见智了。 等一下将会在我的 m 四 max max studio 上面运行,他有六十四 gig 的 统一内存,我们这是选了这个 open ai 开源的二百亿参数大约十二 gig 的 模型来测试一下他们的速度对比,确认他们是同一个模型 来先上我拉满。选中模型之后,先问他一个简单的问题,让他先热热身,把模型加载到内存,然后我们让他用拍档写一个实现快速排序的代码, 速度不错。完成了之后我们来看一下它生成 tikken 的 速度,结果是大概七十九个 tikken 每秒。 下面我们来看一下 i'm studio 怎么样。同样选择模型,明显他需要更多的时间加载,加载完之后问他同样的问题,这里我用同样的倍数播放。这次明显更快, 它的速度是一百一十三个拓客每秒,比欧拉玛快百分之四十三,太厉害了。最后我们不要忘记,这个网站不只是可以作为欧拉玛的 ui, 也可以作为 im studio 的 ui, 所以 也可以在这个网站上面使用 im studio 运行的模型,只要在这里的设置填写 im studio api 的 地址就可以。好了,这次先到这里,下次再见。拜拜。

今天给大家介绍一下我在 mac 上经常用到的一些 ai 相关的一些开发和学习的一些工具啊。嗯,首先我们来看一下这个 m l studio, m l studio 是 一个可以说是图形化的一个一个这个界面啊,可以帮助你能运用本地的大模型。你先看打开这呃页面以后呢,会发现这个空无一物啊,我们可以看到左边有个按钮,可以看我们 这个你的设备所支持的这个所有的模型,这些都是它列出的一些模型,我们可以在里面看千问的这个 vi 的 八 b 的 模型, 还有这千问三的这个模型,四 b 的是四 b 的 都可以进行下载。选中任何一个模型呢,都给你看它的这个适不适合你这个机器啊,可不可以完全加载到你的 gpu 里面去,它下载大小是多少? 一个模型的详细资料在这边都是有显示,像 deepsea 这个,根据千问三这个蒸馏的八 b 的 这个模型也是可以下载的。 那选好模型呢,我们可以进行下载,比如说我们千问十四 b 的 这个模型,我们看下载, 我们就可以在这个下载这个窗口里看到这个你的程序正在进行下载这个模型啊,模型下载完成以后呢,它自己就会进行解压。好,这样我们回到聊天的这个界面的时候呢,我们选择要加载的模型,比如说我们刚才下载这个 d p c 这个模型, 看模型正在加载啊,我们还可以进行这个手动调餐啊,我们调它的上下文的这个长度啊,及它的这一些高级的一些微微的缓存量化等等这些参数啊,但一般我们是用的不到啊,我们加载完成以后,我们可以试一下啊,比如说介绍一下 m l studio, 你 看这个,这就是我们本地跑的这个 deepsea 的 一个根据千万生流出来的八 b 的 一个模型啊,它也是在本地运行,我这个电脑呢是 macbook air, 它六 g 的 内存, 然后本地呢加载这种八 b 模型是完全没有问题的啊,我们也可以选择另外的一个千万十四 b 的 一个模型, 先把这个模型退出,然后把千万十四 b 加载上去,就是说你可以选择你自己喜欢的模型,或者在不同的需求下用不同的模型。十四 b 要比八 b 肯定要慢一些哈,因为参数会更多,它运行起来会更 更慢一些,他的推理的会慢一些,这就是他一个模型的一个加载和使用啊,我们在右边也可以看到,他可以设置对你的模型的进行一个温度的设置啊,海量的设置啊,一结构化输出的一些设置 啊。好,回答也出来了,我们看一下啊,这是这是用中文的回答的,我看十四亿的模型要比刚才八 b 要慢一些,因为它推理它用到的这个硬件的要求就会更高一些。还有上一个视频介绍的 mac mini pro 那 个环境下呢,是三十二 b 模型是没有问题的,也是十分流畅的, 我们看到这个功能还十分强大的啊,我们还可以对这个模型进行这啊远程提供一些服务啊,提供网络上一些服务,所以 mr steadon 呢,可以说是本地运行大模型,在你非常关注你的数据的这个隐私性的一些情况下, 我们就可以这对,这就可以使用这种图形化的这种界面啊,比欧伽玛要稍微简单一些,不需要更多的配置你就可以使用哈。不联网的情况下,我们的数据保证安全的情况下。好,结果出来,我们看这个是这 m 三的 啊,四 b 的 这个模型,我们的 token 大 概是在九点六一个啊,也还是可用的,在十六 g 的 这个 macbook air 的 环境下是没有问题的。 好,今天先介绍这么多,如果大家对这对其他工具有兴趣的话,可以给我留言讨论啊,也可以一起学习如何运用一些打磨性的工具啊,提高我们的一些生产效率以及一些生活的乐趣啊。好,关注探长优质前沿技术资源,不错过。

不是,哥们都二零二六年了,你还不会用自己的死记硬背录音吗?没关系,今天一期视频包教包会。好,先简单说一下,这是我们录制开始结束的地方, 那中间这一片呢,就是我们录音条显示的地方,下面这些呢就是我们调试的音轨,然后在上面这些呢就是机架的一些小工具,然后右键它就可以看到每个工具是干嘛的, 然后拖动录音轨道呢,就是在上面这个地方看见没,在这拖下来他就显示出来录音轨道了。那为了让你们都能学会,都能清楚,接下来我将直接录制我的电脑机架。那首先我们打开机架呢,大概页面就是这个样子,我给它放的比较大,你们可以看的更仔细一点。 那下面这一小块呢,就是我们录音开始结束的地方,把你的纸针放在上面,可以明显的看到他是干什么用的。那首先第一个呢就是返回零点处,那他返回零点处返回的是什么?返回的是中间这一片显示录音的这条线,我们可以切换到右上角的这个聆听工具 点对我们点一个地方,然后他是会变地方的,假如说这里有一条录音条, 那我们就可以点击播放,开始他就会从这个地方开始播,我们点暂停,他就会停下来,那如果开始录音呢?他就会从这个地方开始录。那假如说我们要录伴奏和说话音轨,我们就把我们伴奏和说话音轨的录音给他勾选上, 那我们需要录哪个音轨,我们就勾选哪个音轨,然后勾选完过后,我们返回另点处,然后开始录制,他就录进去了。那我们录好怎么导出呢?我们看上面这里是有一个框选的,我们先把它拖过去,然后再把它框选回来, 像这样把我们需要导出的框选一下,然后右下角如果框选一些小地方,框选不到的话,我们可以直接把它拉大,然后框选或者右键这个白色的地方, 可以直接根据所选设置循环,他就会把我们刚刚录的这一段给它框选起来,然后我们点工程点导出混音,然后选 vf 文件,分辨率可以改高一点,改成二十四比特,那右上角呢?选循环之键, 那左上角编辑下名字,然后选一个文件夹就可以了。那接下来就说进阶录音环节,比如说你录了一段音频,你录进去了,但是你觉得它的效果不好,我们这个时候先把我们音轨上面的刚刚录过的删掉,我们点右键框选 全部给它删除,然后回到顶点,然后播放伴奏,然后点开始录音。好,刚刚录了这一段,然后下面的说话,你就当我在唱歌。 ok, 我 们点暂停,然后选到这个鼠标箭头工具, 比如说你刚刚有一段没录好,你需要先点击空白处,先把框选给他取消。比如说刚刚这一小段没录好,看到这个音频了吗?我们可以用拆分工具把这一小段给他删除掉,我们可以用聆听先听一下。 好,刚刚录了这一段,对,我就觉得这一句不好,我可以给他右键删除掉,然后我们复制一个新的音轨出来, 我们可以直接在左下角把刚刚的音轨给它取消掉,我们勾选新的音轨,然后把伴奏的音轨也取消掉,因为我们伴奏已经录好了,我们可以直接从这里播放, 然后我们点击开始录制,我们就可以把刚刚的啊重新录的再给他补进去,是不是很好理解?那这样的话呢,你进行一些简单的拆分操作,就可以给大家完成一个,嗯,相当于剪辑过后的音频会更加的好。 那右键呢?就可以看见所有的工具是干嘛的,可以多去试一下,主要呢也就用到箭头工具、拆分工具、范围工具, 还有这个聆听工具。好,那机架的录音其实很简单,并且它出来的音质是目前最好的,比你用什么录音软件都好很多。如果你想发作品,一定要学会用 siri 录音,不会的话一定要多看几遍视频,然后多去尝试,多用几遍就会了。