macmini怎么本地部署模型
大家好，我是航灾，今天呢我准备给大家介绍一下在迈克迷你上如何来安装欧拉玛，欧拉玛就是最简单的尝试本地大模型的方法之一了啊， 有了欧拉玛呢，我们就可以创建一个本地的大模型，和他进行一些简单的聊天呢，或者是给其他程序啊提供一个免费的 api， 如果你的本地设备足够强大的话呢，你甚至可以给龙虾 open club 啊提供一个靠谱的大圆模型，不过这是一个未来的梦想啊，不知道大家有多少人的设备满足这个需求。 然后呢我们就来开始今天具体的内容。首先呢我们来看一下文档啊，在好用载当中，我们直接左侧这里啊就有一个五三零欧拉玛的安装和使用，我们点击一下， 然后我们点击网盘分享，然后我们继续向下啊，这个里面呢一共三个文件啊，其中呢一个是文档，一会我们说接下来的两个文件呢，是我给大家下载好的客户端啊，一个是 d m g， 也就是 max 上使用的，一个是 ex， 这个呢就是 windows 上使用的啊。然后呢我们来看一下文档， 文档当中呢一共有三部分内容啊，第一部分呢就是欧拉玛的官网，第二部分呢是我们一些具体要使用的内容，第三个呢就是我好用在的官网，大家爱学学用就可以了。然后呢我们先说一下欧拉玛的官网，欧拉玛的官网呢，一共有两个啊，一个呢是它真正的官网，另外一个呢是它 github 的 官网， 我们可以一起来看一下啊，至于命令呢，一会用到的时候一起说，这里呢就是欧拉玛的 github 官网，如果需要什么内容呢，可以直接到 release 这里面来下载啊， 不过我们一般呢直接使用欧拉玛点 com 这个官网就足够了。这个官网当中呢，右上角这里就是登录的，也就是下载点击一下 这个里面呢就可以选择是 mac os 或者是 windows， 然后点击下面的登录的，就可以下载你对应系统的客户端了。我这里呢给大家演示一下 mac 系统当中客户端如何来使用啊。在 mac 系统当中，我们直接双击这个欧拉玛，点 app 直接投入到这个应用文件夹里面就可以了。 好的，这样就可以了啊，接下来呢，我们在应用程序当中找到欧拉玛，然后进行点击，这里就是欧拉玛啊，我们双击 第一次运行的时候呢，它会提醒你一下啊，是从互联网下载的，问你是否要打开，我们直接选择打开，现在呢我们就已经进入到了欧拉玛的主界面啊， 然后呢我给大家说一下它的初步设置和使用。首先呢我们先来设置一下啊，因为只有一步设置非常简单，我们直接上滑啊到最上面的菜单栏，然后呢点击一下欧拉玛这个图标，这是一个小羊驼嘛，然后点击 setting， 也就是设置 这个里面呢，只有一项啊，需要打开，也就是说把欧拉玛暴露到局网，这样的话局网其他设备才能够正常的访问欧拉玛， 比如说你的 windows 系统啊，你的丽江系统啊，如果你想使用这台设备的欧拉玛开通的服务，那么你要把后面那个开关啊，直接点击打开一下，下方刚才也看到了出了一个 c 五，这样呢就已经成功了啊，然后还有一个我们再说一下啊，底部这里还有一个上下文长度，默认呢是四 k， 比如龙虾 open 可乐啊，他就要求一定要十六 k 起步，所以说如果你之后有其他程序需要更大的上下文，你需要在这里呢进行一下调节，只有这么两个选项啊，需要说一下，别的呢就没有了。然后我们把这里啊直接关闭一下， 在接下来使用呢也非常简单啊，在这里你可以选择具体的模型，比如说我们点击一下啊，默认的是这个 g m 三啊， 我们可以不用，我们可以向下选择，比如说啊，我们这里选择一个千万三四币，我们点击一下，然后这里呢你随便打一个字，比如说这里呢打一个你好，然后一回车，如果没有这个模型的话，它就会自动进行下载了，我们稍微等待一下，等待它下载完毕就可以了， 大家可以看到现在这个模型呢就已经下载完毕啊，同时呢他也给出了答复，接下来呢你就可以直接跟你的本地大模型进行对话了，比如说呢，这里我们可以问他啊，你都有什么功能，然后直接回测一下， 因为它是一个思考大模型嘛，它首先呢会进行思考，在思考之后呢才会给你形成一个输出的答案啊，我们还是要稍等一下， 现在呢他就开始进行正式的输出了啊，我们还是要继续等一下。好的，现在呢就已经输出完毕了，这个呢就是你跟本地大模型的一个交流过程啊， 所以说总体使用上啊还是很简单的，接下来呢我再给大家演示一下，你现在已经搭建好了，但是其他的程序如何来使用呢？我们这里呢就以 cherry studio 啊来给大家做一下演示。我们打开 cherry studio 以后呢，这里就有欧拉玛，我们点击欧拉玛之后啊， 我给大家简单的说一下如何来设置啊。首先呢你要填写一下 api 地址，这个 api 地址呢就是你的欧拉玛运行的设备，我这个设备的地址呢就是三幺点二二二，后面的部分呢不要变啊，后面是端口号，再加上一个路径杠为一， 这个呢就是它的一个完整地址，我在文档当中呢也有写。再接下来呢我们就可以添加一个大模型，选择添加，然后呢这里要求你输入模型 id， 我 们看一下这个模型 id 是 多少啊？模型 id 呢就是千问三冒号四 b， 然后我们这里手动输入一下啊，千问三冒号四 b， 然后我们点击添加模型，再接下来呢我们选择检测来看一下效果啊，点击，然后这里默认呢就是千问三冒号四 b 啊，我们点击确定 可以看到连接成功，也就说到这里呢，我们的 cherry studio 啊，已经可以使用我们本地大模型了啊，比如说我们点击这个助手， 然后在最上面这里啊，我们选择一下，这个呢就是我们自己本地的欧拉妈妈，然后就是纤维三四 b， 我 们选择一下，在接下来呢，你就在这里输入聊天信息就可以了，比如说这里啊，你同样输入你好，然后回车可以看到它，同样呢是正常的调用了这个本地大模型， 还是开始思考，然后给你答复，没有什么区别啊，跟刚才我们直接使用欧拉玛本身的客户端呢，效果差不多。好的，这里呢开始答复了，可以看到这个思考模型啊，耗时非常多，二十四点三秒， 到这里呢我们就已经知道如何来安装和使用欧拉玛，同时呢如何和其他的软件来进行对接。整体的使用呢，其实是非常简单的，不过我们如果使用这个存储页面的话啊，它的功能呢还是比较少，但是如果我们使用命令行的话，能管理的内容，同时呢也可以看到更多详细的信息啊， 所以我还是推荐大家学习一些基本的命令行命令啊，这样使用起来呢会更方便。然后呢我们就来看一下啊，命令行都有哪些命令？我这里呢给大家列出了几个常用的命令啊， 前面呢都是奥拉玛这个开头，然后后面第二个呢就是具体的参数，比如说第一个奥拉玛历史，就是列出目前所有已经下载的大模型。第二个呢库就是我们要去拉取某一个大模型啊， 第三个 run 呢就是我们要运行这个大模型，所以说大家如果看头三条命令，如果你之前用刀刃用的比较多的话，你会发现啊，这个命令呢除了前面变成了欧拉玛以外，剩下的部分呢基本都是一样的啊，整体呢还是很好记的。 然后这里呢多加了一个这个沃 boss， 它就可以看更详细的内容，一会呢我给大家演示一下啊。最后呢这有一个 r m， 也就是删除，前面呢我们要说一下如何来进行删除， 然后呢前面我们进行的 run， 也就是运行，后面这里呢我们说了一下如何退出啊，接下来呢我就给大家一点一点的演示一下啊， 首先呢我们这里打开一个终端啊，接下来呢我们就可以一条一条的运行命令了，比如说啊，首先我们看一下欧拉玛 list， 我 们直接复制，然后呢在这里右键粘贴，然后回车 可以看到现在这里面呢我们就有了一个大模型，就是我们刚才下载的千万三四 b， 所以 说如果你使用终端的话啊，你刚才跟别的软件进行对接呢，你都不用手敲这个模型了啊，因为有一些模型啊，它的名称还是比较长的，所以说你直接可以复制一下，直接滑动一下啊，然后就直接复制了，或者是你再右键一下都可以啊，它就直接复制了， 然后到你的软件当中直接粘贴就可以了，这样用起来呢比较方便。这个呢就是历史的作用啊，就可以看到你现在里面有多少个大模型了。然后第二个呢就是铺，它就是用来拉取大模型的，具体拉取的大模型名称呢，就是后面这个啊，但这个名称怎么来的呢？我给大家说一下， 我们打开欧拉玛的官网，然后第二个啊就是 models， 这个就是模型啊，我们点击一下，现在呢我们就来到了模型这个页面，里面呢，就列出了目前所有热度比较高的模型啊，当然你也可以在上面进行搜索，比如说那你直接搜索千问， 可以看到千万所有的模型呢就都列出来了啊，比如说我们选择一下这个千万三点五啊，我们点击一下，然后这里就写了啊，欧拉玛瑙，然后千万三点五，你直接复制，然后在终端中粘贴就可以了。当然啊，如果我们想要别的模型的话，也可以， 因为这里我们向下滑动一下就可以看到啊。如果你刚才直接选择欧拉玛瑙切问三点五默认的呢，它就拉取的是这个九 b 的 模型，因为这个呢是 latest 的， 如果你后面不加这个模型大小的话，默认拉取的就是这个啊。我这里呢给大家说一下我使用的 mac mini 它的使用情况。 mac mini 呢，最多是能跑到十四 b 的 模型，大概跑到十抽根左右吧。十四 b 以下的模型呢，一般都可以跑九 b 呢，是一个相对比较适合的模型。不过如果你跑 open cola 那 种需要十六 k 上下文的，你就跑不了九 b 了，就只能跑四 b 啊，因为上下文呢，同时要消耗一部分内存， 所以说这种最适合的九 b 呢，如果再加上十六 k 的 上下文，它所需要的内存呢就比较大了。我曾经直接把麦克迷你啊直接给跑死机了，它自动重启了啊，在我之前使用麦克迷你的时候，我几乎就没有听到过它的风扇的转动啊， 但是自从我测试 ai 开始啊，麦克迷你风扇呢就会经常听到了，也就是说 ai 啊，对于它的性能压榨呢，还是很严重的。 所以说，如果你需要一个大的上下文，你就只能跑到三点五四 b 了。如果你只使用默认的四 k 上下文，那么你是可以使用到九 b 的 啊，当然如果你不需要很大的上下文，同时你也能够忍受速度的话，你其实呢是可以跑到十四 b 的， 比如说前面有那个 coder 十四 b 嘛，可以跑一下，没问题的， 我们这里呢就以切问三点五四 b 为例啊，给大家看一下，我们直接点击一下后面的复制，然后呢我们回到终端里面来啊，我们直接输入欧拉玛，然后铺，然后直接右键粘贴，然后直接会撤， 稍微等一下呢，他就可以直接去下载了啊，而且这个和刀客一样，刀客我们也可以先铺，然后再 run， 但是如果我们直接 run 的 话，刀客里面如果这个镜像没有，他会先去下载，然后就直接运行了 欧拉玛。同样啊，你可以直接运行欧拉玛 run， 这样的话，如果里面没有这个模型的话，他就会直接先去下载，然后呢就会自动运行了啊，我们稍微等一下可以看到啊，你用命令行下载的话，速度是要比刚才用的那个客户端啊下载速度要快的多，所以说我建议大家啊，尽量呢是用命令行来下载。 好的，这里呢就下载完毕了啊，我们稍微等一下，这个速度是要比刚才的客户端要下载快非常多啊，然后这里我们就可以执行下一条命令啊，就是欧拉玛瑙了，我们直接到这里面来啊，直接复制一下欧拉玛瑙，然后同样啊这个模型的名称，切问三点五四 b 邮件粘贴，然后回车 出现这个符号呢，我们同样啊可以开始跟他正常的对话了，比如说这里同样啊，我们输入你好回车， 同样呢这里又开始正常的输出了啊，没有什么区别，但是这次的速度呢，可以看到啊，快很多。然后如果我们想退出的话啊，就是底部，这里就是给大家说了， 你可以用两种方式来退出，一种呢是 ctrl 加 d， 一 种呢是杠 e x i t， 我 们这里输入一下啊，杠 e x i t， 然后回车，现在呢我们就重新回到命令行终端了，这是第一种方式啊，然后我再给大家说一下啊，你后面加上这个沃 boss 有 什么区别啊？这个是详细的意思，我们直接把这条命令再一起复制一下， 实际上就是在刚才的欧拉玛 run 后面啊，多加了一个参数而已。我们同样啊右键粘贴，然后回车，然后这里呢我多说一句，你都能做什么？然后回车， 这里呢它就开始正常输出了，然后我们稍微等一下啊，可以看到啊，上面就是它的思考过程，下面这里呢就是它具体的输出过程啊，整体的速度呢还是比较快的， 如果你加了 woobos， 在 最后这里呢就可以给你一个整体的输出啊，第一行呢就是它总共的消耗的时间，一共呢花了三十九秒， 然后呢这里有一个加载的时间，也就是把模型加载到内存里面去啊，一共呢是一百一十七毫秒，在下方呢这是一个提示词的数量，也就是刚才我给他发的提示词啊，当然一般里面还包括一些系统提示词，所以说呢，它一共是十三个桃痕啊。 再接下来呢这些提示词的处理，一共花了二百六十五毫秒，再接下来呢，提示词的处理速度是四十九 tock， 接下来呢，就是输出的部分了啊，输出的部分呢，一共输出了六百四十八 tock， 花了三十八秒，相当于呢，每秒是十六点七七的 tock， 大家经常关注的呢，其实是最后这个啊，也就是每秒能输出多少 tock。 所以 说，如果你习惯之后呢命令行的话，你就能看到很多更加详细的信息，而且你习惯之后呢命令行和图形界面那个差距并不大。 而且最主要的是啊，如果我们一般使用本地大模型的话，一般也不会用它这个客户端也不会用这个命令行啊，因为都是我们要通过其他的程序来进行调用。这部分呢，主要是用来检查一些信息啊，比如说某一个大模型，它是否速度足够快啊， 这一次呢，我们直接摁 ctrl 加 d 啊，同样也是直接退出了。有的同学可能会问，你为什么用 mac 来演示，你为什么不用 windows 来演示呢？ 就是因为我 mac 这个核显啊，本身还算是可以跑，大模型呢，还是能跑的动的啊。如果我用 windows 的 核显来跑的话，我那个是十一代的 a u c， 它的核显啊，也就只能跑动二 b 的 模型，而且速度呢，还挺慢啊。 所以说，如果你还想用 n s 来跑的话，如果你没有一个好的显卡的话呢，那个速度啊，就会更慢了。如果大模型太小的话，智商实在是太低，我觉得四 b 啊已经是底线了。 再向下我觉得只能在手机上回答一些简单的问题，还可以，在电脑上呢，已经不适合了，欧拉玛呢是一个入门的好程序，但是它并不是 mac 上使用最好的一个程序啊。后面呢，我还会给大家介绍其他的程序，如果你对这方面内容比较感兴趣的话啊，可以持续关注 上面这里呢，也已经把所有的命令都介绍完了。最后这里呢，就是刚才给大家提过的啊，你需要在其他程序上调用的时候需要写的地址，你只需要把里面的 ip 换成你自己设备的 ip 就 可以了。 好的，这就是本期视频的全部内容，如果你觉得这期视频对你有帮助的话，欢迎点赞评论转发，一键三连，当然也别忘了关注我们，下次见！
粉丝1.5万获赞5.3万
相关视频
02:03查看AI文稿AI文稿闪上最近的活动，入手一个 mac mini m 四的 pro， 今天给大家展示一下我这两天用这个神器跑本地大模型啊，也是纯实测的一个干货。先看我的配置啊，这个机器配置就是 mini m 四的这个 pro， 四十八 g 的 统一内存加上五百一十二 g 的 硬盘， 国补后呢大概是一点三个 w， 这个价格买显卡肯定是不够的，但是它跑三十二 b 的 这个大模型，内存是刚好够用的啊。呃，我本地大概装四个模型，一个是千万的三十 b， 然后 tipix 的 十四 b 和三十二 b 和 g p t o s s 一个二十 b 的 一个模型， 嗯，整体测速还是非非常的稳，其中呢，这个我我大概统计了一下啊。第 six 这个十四 b 的 模型呢，嗯，氢氧机战斗机速能达到二十四，头肯每秒写文案，对话翻译都是相当不错的。 six 三十二 b 的 这个模型呢，生成的速度大概就慢一些啊，改在十一个头肯复杂的国际代码分析，长文本摘药也都是没有问题的，一把拿捏 千万三的三十米模型还是很惊艳的啊，速度非常逆天，飙升到五十一个头肯中文的写作呀，工具调用啊，速度都比三十二 b 快 了四倍，非常适合日常的高频的使用。 还有一个 g p g 的 o s s， 这个二十 b 升升速度呢，是四十八的一个水平。那么四十八 g 的 这个 m 四 pro 这个版本呢，可以说是桌面极推的一个工作站啊，四核 cpu 加二十核的 g p u 加四十八 g 内存， 基本上就是 m 四 pro 的 一个甜心型号啊，同时装四个模型，运行时的峰值呢也是二十三 b 左右，所以一句话总结，四十八 g 的 m 四 pro 是 二零二五年本地大模型的一个黄金配置啊，三十二米模型的长触不卡顿内存也刚刚好，目前是一点三 w 的 价格，云服务器半年的费用它能用五年至少，所以想玩 ai 又嫌云服务器太贵的也可以参考一下啊。
1087AI探长
06:46查看AI文稿AI文稿部署本地的 openclaw 已经可以剪视频了，大家都知道了吧， 这个让硅谷大佬每日一封的 openclaw 阿月，我呢也是拉到本地试了几天，现在就带大家把本地部署和接入飞书每一步都走明白。为了防止偶然性啊，我呢也是连续测试了四台电脑，确保每一步都可行，接下来你们只要跟着做就可以。点好关注收藏， 我这里依旧用的是 windows 系统来操作，因为 macos 系统呢，环境相对比较简单，不像 windows 这么复杂。首先呢，我们要确认好 windows 的 安装环境，安装的时候呢，全部都点 next， 一 直到完成即可，建议呢，不要去变更中间的安装路径。 呃，安装完成后呢，我们可以检查一下环境，我们在命令提示符的窗口输入这两个指令，如果输入指令后跳出版本号，那就说明安装已经成功了。这里提到的两个环境文件呢，我在文档里面也全部都准备好了。 好，接下来呢，我们就开始全区安装 oppo 卡使用管理员 c m d 指令输入，这个指令安装完毕后呢，再输入这一条指令， 好开始了。 ok， 这一步跳出来的呢是风险提示，我们直接选择 yes。 然后呢我们选择 quickstart， 这一步呢是选择大模型，我这里呢用的是千万，因为他是国内的，如果大家有惯用的呢，也可以自己进行勾选好，然后我们这里模型选择默认的即可。 之后呢会跳转到大模型的首页进行授权验证，大家验证通过就可以了。那通过后呢，这里也同样有一个选项，我们直接选第一个默认的模型。 ok， 下一步呢，这里可以看到很多的应用选项，这其实呢就是指令输入的终端，因为这些都是国外的，所以我们先不管，选最后一个，跳过，后面呢我会给大家介绍如何接入国内的飞书。 ok， 继续，这里会问你需要配置什么 skills？ 呃，我们也跳过，没问题，因为这个不着急，后面都可以手动去配置的。 好，这个也不用管我们用不上，直接跳过。好，然后我们稍等一会，会自动弹出一个网页，然后你会发现这个网页是打不开的，没关系，我们这个时候呢，再运行一个 c m d 的 指令， 好，这就是欧奔 cloud 的 兑换框了，我们来尝试和他打个招呼， ok， 他 回复我了，那到这里呢，其实基本上就成功了，还是比较简单的啊。然后呢，我们再来尝试为大家接入一下飞书，很多小伙伴呢，在这一步呢，其实就被劝退了，因为怎么样都接入不了这里，大家看好我怎么操作。 首先呢，我们进入飞书的开放平台，我这里呢用的是个人版，我们来创建一个企业自建应用， 进到这个凭证与基础信息界面，把你的 app id 和密钥保存下来，这个很重要啊，后面会用到的。然后 我们添加一个机器人，再到权限管理这一步，为他添加一些权限。这里的权限列表呢，其实官方呢是有指导文件的，但是呢就藏的比较深，我呢也是给你们找出来，直接放到文档里面了，你们直接一键复制过来就 ok。 好，然后我们需要配置一下这个事件回调功能，在这里的订阅方式选择长链接这一步呢是必须的，而且是绕不开的，也是大家碰到卡点最多的一步，很多小伙伴呢在这里呢就是一直报错，好，不用担心，我呢，已经整理了一份非常长的傻瓜教程，大家直接照做就 ok 了。 然后选择以后呢，我们添加事件，然后添加搜索接收消息， ok， 然后我们就去点击创建应用，然后再发布就 ok 了。 好了，配置工作完成之后呢，我们就要开始给欧邦克劳接入飞速杀键了。由于 windows 的 系统环境问题呢，所以大家的电脑情况都不太一样，所以会出现不一样的报错问题。网上的很多视频呢，也没有把这个问题针对性的讲清楚，我自己呢也试了三到四台电脑来做尝试，都非常有挑战。 如果你手边也报错的话呢，不用担心，我这里想到了一个邪修的办法。好，那既然 oppo klo 可以 控制我的电脑，那为什么他不能自己安装飞出插件呢？我们来试试看吧，直接和他对话。呃，你自己安装一下飞出插件，然后呢，他就会开始疯狂的工作，并自行去验证安装环境和插件配置 啊。五分钟左右后呢，他就会告诉我，他工作完成了，需要我提供给到他飞出机器人的 app id 和密钥。这个呢，其实我们在上一步已经有了，我们直接复制给他，让他呢继续去工作。这里的工作过程当中呢，我们的机器人可能会下线几次，原因呢是他需要去重启网关， 如果呢，你感觉他下线太久的话呢，我们可以用 open cloud get away 这个指令重新把它呼出来。最后呢，他会要求你在飞车上和他对话进行测试，并为你排除最终的一些故障。 ok， 全部搞定，已经可以在飞车上正确回复我了，并且呢，刚才在外部的对话记录他也全部都记得， 呃，我们这里呢，再用手机给他发一条消息试试看。好，他也同样接受成功了。好了，这里欧本卡接入飞书的配置呢，就完全对接成功，基本上都是他自己完成的，我呢只是配合他提供了一些必要的信息， 妥妥的全能小助理。接下来我们来看看他能为我们做一些什么吧。比如呢，我现在想要订一张机票，我就让他帮我查询一下最便宜的航班，他立刻就给我列了具体的信息，包括航班号，价格以及其他的一些航班信息。不过这一步呢，是需要接入 api 的， 大家可以自行去网上找免费的接入就可以。 好，那现在过年了嘛，马上大家呢也会送礼嘛，那我就让他去浏览电商的页面。呃，不过这里呢，需要先安装一个 oppo club 官方的浏览器插件，我们直接从官方渠道进行安装就可以了。具体的步骤呢，已经放在文档里了，大家直接照做就可以。我让他给我打开。 ok， 成功，呃，然后我继续让他为我搜索燕窝。好，也成功了。 好，那我们现在在拿最近小伙伴在学习的 ai 的 线上作业丢给欧本克，看他能不能帮忙完成。 首先我们要让他找到作业的本地目录，并让他完成里面的题目。他立刻就找到了，并且迅速告诉我，完成了。啊，这速度还是真的蛮快的啊，但是呢，人呢，还是比较懒的。如果呢，你抄作业都不想抄啊？没事，直接让他把填完的东西返回给我。好，他已经做完了，我们来看看啊。 呃，代码呢？全部都完成了，不过呢，我也是看不懂啊。看懂的高手可以来说说他完成的这个准确率怎么样。 好了，那这次安装说明就先讲到这里了，关于 open cloud 的 更多能力，有时间呢我们可以再去测一下。好，那既然已经部署成功了，有兴趣的同学呢，也可以再去深度探索一下 啊。对了，现在呢，各大厂呢，也出了针对 open cloud 的 云端部署，我这个呢，也可以跟大家快速的分享一起。好，这里是阿月，希望我的视频能够帮助到你，让你更了解呀，我们下期再见。
1.7万阿悦很严格
02:37查看AI文稿AI文稿五百一十二 gb 的 麦克斯六六不是挺惨的吗？那现在对比还有二百五十六 gb 的 这个顶配及我用来做多 a 剑客一人公司的六十四 gb 的 版本，一挂在大模型的话，他到底能跑出个什么效果呢？ 如果你能抢到二百五十六 gb 的， 那你就开这个一人公司，完全够了。用这个 mini max m 二点五现成刚刚搞满，跑起来效果怎么样呢？看一下他的速度啊，你看我现在问他的 这边本机大模型开始疯狂的思考他的这个速度啊，其实并不算很快啊，因为迷你麦子虽然是 mo 一， 但是他这个模型参数非常的大， 可以看一下图图腾的这个速度啊，几根线上模型也没有说慢很多吧，而且他的回复也是很强势啊，都可以干看一下这个速度。 g g token 三十二， pp token 五十二，去对比你线上模型，在高峰时期这速度可能还会更快，而且他放你家里没有一分钱的消耗，永远稳定，而且数据不出站。 如果你着急二百五十六确实搞不到，我们就卸载这个，用个六十四测试一下。如果你只有六十四 gb 的 现存的 max 九九，无论是 m 二 m 三，那我就要放出我的天选模型纤维三点五的这个模型呢，非常强， 给他调好默认参数看一下啊，这个占用空间并不大，我们直接读取，这速度明显比迷你 max 快 快很多啊。我们实际在 open color 里面测试一下。切换这个默认模型的时候，发现一个细节啊，所有用 open color 的 你一定要记得啊， 这个信可的一定要打开，打开你的智力提升一倍，非常有效，你可以试一下，然后我们重启一下客户端，等会这个页面刷新了，我们要同来问一下，看一下，你们可以感受一下这个，这个速度有多快，我说六十四 g b 啊，用这个纤维三点五，简直是天旋模型啊。你看我现在把这个东西 这段话发进去，你去看一下他，这速度我还没切过去就出来了，而且回复跟刚刚 mini max 的 这个超大的没有说差很多吧。你看一下这个速度，我们对比一下， g g tok 居然跑到了七十二点一八 pp tok 居然跑到了三百，这个速度 直接翻倍了。哥们，我们再问一下他刁钻一些复杂的问题一点，立马开始思考，我这还是开了思考模式啊， 你看这图纸的速度跟线上没有什么很大的区别，做一个 a 键他，你看我这跑三个 a 键，他，这个模型，我再开一个辅助的小模型，三个 a 键他，可以并法去干。 告诉你这六十四 g b 显存的这个 max， 六六现在是神一样的存在，八百的贷款，跑这个模型轻轻松松跑到七十多度，坑，我就问你因为啥？你怕不怕？
337社长的AI日记
02:10查看AI文稿AI文稿二零二六年了，想在自己电脑跑大模型，别被必须四千零九十起步吓住，关键不是显卡多贵，而是显存够不够。显存才是命门，其他都是配角，比如千万三点五负九 b 的 q 四量化版， 八级字节显存能跑，但一开浏览器就崩十六级字节才舒服。二十七 b 模型至少要二十四级字节显存，十六 g 硬上只会卡到怀疑人生。七十二 b 这种大家伙，消费级单卡基本没戏，得靠双卡或专业卡，四十八级字节以上才稳。怎么选配置，看你用它干啥。 只想试试本地 ai， 连显卡都不用十六级字节内存的老电脑或 mac mini， 跑个零点八 b 小 模型就行，但只能算能跑，写代码做分析还是太弱。日常使用党盯紧十六级字节显存，像 rtx 五千零六十 ti 十六 g 流畅跑九 b 模型没问题， 写文章、回邮件、辅助编程都够快，别贪便宜选八 g 版，省下的钱很快被崩溃淘汰。二十四级字节显存，比如 rtx 五千零九十 d v 二能稳跑千万三点五负二十七 b 回答质量接近 gpt， 四写技术文档搭私有知识库完全拿得出手。真想跑七十二币单卡，消费级目前做不到三十二极字节显存的 rtx 五千零九十也只能勉强跑极度压缩的 q 二、 q 三版，效果打折 要流畅得多，卡或专业卡成本直接几万起。使用公式量化后显存约等于模型参数 b 乘零点五到一极字节七币 q 四约四级字节加上开销，六级字节显存就够。 二十七 b q 四要十八级字节左右再加余量，二十四级字节才安心。工具推荐小白用 l m studio 图形界面，点几下就能跑，还能看显存占用，有点技术底子。用 alama 一 行命令搞定 硬盘，别省 nine b morse 五 six gigs twenty seven b 幺 one eight six seventy two b quite forty gigs 建议直接上伊泰字节 nv m 一 固态加载速度差十倍，体验天壤之别。最后提醒，别盲目堆配置， 八千到一万块的主机，跑九 b 模型已经很爽，真有企业级需求。再考虑六十四 g 自洁内存 i 九 r 九二肽自洁 ssd 那 一套，本地 ai 不是 炫富游戏，显存到位，小机箱也能跑出战斗力。
101跟陈博士学AI
03:50查看AI文稿AI文稿macbook 本地部署大模型实战教学。
113要一直开心啊
04:13查看AI文稿AI文稿上期视频发布后，有玩家表示奥拉玛推力有点慢，想看看怎么在 c c 中通过拉玛 c p p 调用本地模型，本期视频我们就一起来看一下。首先我们来看一下拉玛 c p p 的 安装与配置。在 github 上找到拉玛 c p p 这个项目，根据 red 中的描述，从 release 记录中找到自己系统对于的软件包进行下载，主流操作系统都支持， 比如我自己就是安装的这个 windows 叉六四库达十三点一的版本软件，下载好后将其安装到磁盘中。 接着需要将软件安装目录添加到系统环境变量，确保使用命令行工具时能正常找到软件提供的 lama clea 和 lama server 等可执行命令。接下来添加环境变量，点击开始打开系统设置， 点击左侧系统菜单滚动到底，找到系统信息，打开后继续点击高级系统设置，弹出窗口中即可看到环境变量设置入口，点击环境变量，将软件安装路径添加到用户变量的 pad 变量中即可。 此外，你也可以直接在此电脑图标上右键选择属性，直接进入系统信息界面，这样会更快捷一点。 环境变量配置好后，打开命令行工具，通过运行 lama 颗粒 version 或者 lama server version 命令确认配置结果。如果正常输出版本信息以及你的显卡信息，则说明安装成功。接着我们来实际运行一下模型试试。 我这里已经下载好了一个千万三点五的 g g u f 模型，大家如果想用可以前往摩搭平台下载搜索视频展示的模型名称即可。我使用的是 q 五 k m 的 量化版本，此外还需要下载这个 m m p r o j 的 文件， 这个文件的作用是多模态场景下处理视觉张亮和文本张亮之间的映射关系。回到文件目录，右键打开命令行工具 运行视频所示命令就可以在命令行中与模型对话了。试试让模型帮忙写一个简单的加法函数，并且要求他用 python 语言来编辑 回车发送模型立刻就有了响应。这确实比欧拉玛要快很多，过程就不给大家展示了，快进看一下结果吧。实现了函数，还主动添加了测试用力。 但是如何才能在 cloud 中调用呢？我们先回去看看拉玛 c p p 的 说明文档，向下滚动，找到拉玛 server 这一小节，这里明确说明拉玛 server 命令可以启动一个适配 openai 规范的大模型 http 服务，这应该就跟欧拉玛的本地服务是一回事了。 回到命令行，按照说明运行一下，看看是什么效果。服务启动后，果然得到一个带端口的 http 服务地址。不仅如此，根据文档所示，我们还可以通过 port 参数指定服务端口，记住，这个服务端口后面配置 cloud code 会用到。 现在我们继续配置 cloud code。 cloud code 的 配置文件通常在用户根目录下的点 cloud 的 目录中 先备份一下，然后打开 settings json 文件，没有的话直接新建一个就可以，这里 autoken 随便填。本地没有较验，被 c u i l 的 端口改成刚才我们设置的四个九即可。模型配置没有用，随便修改一下也会用于确认配置是否生效。 保存后，随便进入一个目录，右键新开一个命令行，输入 cloud 命令，启动 cloud t u i 界面，如果遇到安全检测提示，信任一下即可。通过这里的模型名称可以确认配置生效了。同样，先让它写个加法函数试试， 比在命令行中使用的反应要慢一些。好在还是正常响应了，可以简单检查一下生成结果，再进行一次普通的对话试试，没有问题。托肯正常跑起来了，但怎么确认调用的是拉玛而不是奥拉玛呢？ 我是这么验证的，切换回 lama server， 启动窗口，停止 lama server 服务，然后回到 cloud 的 交互界面，再次对话，可以看到 cloud 的 明确给出了无法连接 api 的 提示，至此可以确认 cloud 控制中通过 lama c p p 调用大模型成功了。点赞关注，下期更精彩！
347遇见AI
07:26查看AI文稿AI文稿前两天我出了一期视频，介绍了谷歌新的开源模型 jm 四，根据他们官方批阅的文档，给大家做了一些技术的拆解，并没有进行实测。这导致呢，很多人以为我在夸他，好像觉得这个模型特别的牛，那实际上他拉完了， 因为他对标的是千万三点五，但是每一项的都比千万三点五的评分要低，有很多人觉得很新鲜，他竟然可以在手机上部署。还有人好奇在本地部署这个模型之后，有没有审查，有的兄弟包，有的，如果你想让他帮你执行一个任务，但是他判定为有害，他就会拒绝你。 今天演示的这个模型呢，是我无意中看到的，绝非主动寻找。 j 八四三十一 b， 那 它的框架呢？是 m l x， 这个是苹果专门为它的 m 一 代芯片设计的数组计算框架，也就是说 windows 系统无法使用。那可能有朋友说了，哎呀，那我是 windows 系统，我想要一个无审查版本，怎么办呢？那你就不能使用这个 j 八四了，因为它拉 我们可以直接使用千万或者其他模型的无审查版，我们稍后会来演示怎么去部署它们。如果你没有麦，可以跳到后面去看，那如果你使用的是麦系统 m 系列芯片，我们需要下载一个麦软件 v m l x， 你 可以把它理解为类似的欧拉玛这样的工具，我们点击下载， 跳转到 get app 上，下边呢就是这个安装包，我们点击一下就可以下载了。安装完打开之后呢，是这样的页面，你会发现全是英文呢，我们看不懂，在右上角呢，点击这个小图标，给它切换成中文， 然后点击上方的服务器，我这块呢已经安装了这个模型，我可以把它删除，我们重新演示一下，应该是这样的页面，我们点击创建，然后点击这个 download， 在 这一块去搜索我们想要下载的模型，比如说我这里搜索 java 四， ok， 好 像有点难以找到，那我们就回到这个 hackinface 上，复制一下这个名称，然后呢我们把它粘贴进来，在这里呢可以看到这个模型被下载的次数是三点一 k 三千多次，点击之后呢直接等待它下载完成就可以了。 完成之后呢，我们点击本地模型，这里就能看到它，然后点击进去开始启动服务，这个时候呢就已经运行完成了，那我可以询问一下试一试， 这里我们可以看到它可以正常的回复，也就说我们成功运行起来，但是它真的是无审查版本吗？我们需要来试一下。 同样的问题呢，我们来问，拆下 g p t， 它就会告诉你，这个我不能帮你。那这个时候可能有没有好奇哎，这个无审查方面它是如何做到的？简单的给大家提一嘴，大家稍微的了解一下就可以了。 不知道各位在小时候有没有接触过游戏修改器，一个道理，比如说我们准备两组提示，一个是有害的，一个是无害的，有害的就是如何下载盗版资源，那无害的就是如何下载资源，模型就会正常回答我们的请求， 然后呢就可以对照在模型的每一层记录这些提示词，最后一个头根位置的激活向量，去计算有害提示和无害提示激活向量的平均差值，就像游戏的那个内购，一个是内购失败，一个内购成功，你把它们两个的值一改，对调一下，这种方式用的比较多，因为它成本比较低。 哪一种方式呢？就比较传统了，就是监督微调，收集大量的有害提示和无害提示的数据集，直接对原始的模型进行训练，直到他学会了不拒绝有害内容。但这种计算成本呢，是非常高的，更详细的我就不再展开了，因为我也不懂。 好，现在我们回到这个软件中，点击这个聊天，然后新建这里简单提一嘴，不管你让他干什么，我假定你用他来角色扮演。你需要注意的是，因为他是无审查版本，他把底层兜底的那套给拿掉了，所以这个模型呢，就非常容易崩溃，特别是上下文过长的时候，这个时候模型就会中毒，出现模型退化的情况， 就他开始不说人话了，一直输出一个字母，像卡了一样，一直重复，想要规避他呢，也非常简单，我们点击右上角的这个 chat， 然后把这个思考模式呢给它关闭，会相对来说好一些。一旦出现我说的这种模型退化的情况，那你就需要新开一个对话。另外呢，还需要把这个重复惩罚给他拉高一点，因为他默认是一，几乎是没有惩罚吗？这样模型一旦找到一个自己喜欢的符号，他就一直输出，就非常的烦人。所以呢，你可以把它拉到一点二 啊，以后这一点三。下边这个呢是系统提示词，你觉得扮演什么呢？会用的上，我们还可以去限制这个最大的输出 token， 让它占用的更少一些。系统提示词这里呢，我让它是一条小狗，保存 好。 sorry， 忘记把这个思考关了，保存一下。我是小狗，你在跟我说话吗？歪头好奇的看着你，汪，好家伙，我是老狗。 那这里我们又注意到一个问题，我们关闭掉那个思考之后呢首字会被截断啊，所以各位权衡利弊一下，应该是这个软件的问题，那接下来我们来说一下我拉玛如何去部署其他的模型。来到我拉玛的官网，我们直接去下载一个软件，选择你的系统，然后下载把它安装一下， 然后打开，这个时候呢我们就进入了我浪漫的页面，我们可以直接在这里去搜索下载模型，但一般来说在这里直接去找这个无审查版本，遇到困难我们可以试一下， 你看我们搜这个破解它都搜不出来，都是官方的版本，所以我们需要在哈根 face 上找到自己想要部署的模型，那比如说选择这个，我们看一下文件， 然后去选择一下你想要部署的模型，可以直接用这个 b f 十六或者下面的量化版都可以，我拿个小的给大家演示吧，我们直接复制模型名称，然后呢打开我们的终端，输入浪漫的命令，哈根 face 点 c o， 加个斜杠粘贴，加个冒号，我们选一下这个量化版本 后边这个是 q 四，然后粘贴在这个冒号后边。我们回车，这个时候呢他就开始拉取下载模型，我们只需要等待就可以 下载，安装完毕之后呢，可以在这一块直接去选择我们安装的模型，或者说呢我们直接在终端里进行聊天，如果你的网速还可以，或者你有充足的时间就不用管它，它下载完成之后呢会自动部署。下面我们来讲另外一个情况，比如说你在网盘里或者经销网站中下载的一个模型，并且呢把它保存在了本地，那我这里用个图片来伪装一下，假装是它， 然后我们看一下这个简介，然后复制一下这个地址。 ok， 我 们 cd 进入这个路径下，你可以看一下它是否真存在。 ok， 可以 看到。啊，原来我说怎么找不到呢，原来这个扩展名没改 好，这样就可以了，因为我是给大家演示嘛，所以它是一个假的。然后我们去创建一个文件， 指定一下模型的路径，然后下边呢是一个系统提示词，大概呢就是这样一种格式，然后下边还有一个这个呢是他的输出模板，好像千万系列模型都需要这样，然后我们保存一下给他退出， 接着用我拉玛来创建模型，随便起个名字，比如说就叫 faker。 然后呢我们注意到这里有个错误，这是因为我使用的假模型给大家演示，来到这一步之后呢，你就基本完成了，直接用我拉玛来运行你这个模型就可以了， 比如说 faker， 然后这样就可以运行了，很明显我这个运行不了的，因为它是假的嘛，啊，大概就是这样。 那以上呢就是本期视频的全部内容了，不确定这个视频能不能过审，如果你觉得对你有所帮助，或觉得视频做的还不错的话，欢迎给个一箭三连，有什么疑问或想看的内容也可以在评论区进行留言。最后祝各位玩的愉快，我是段峰，我们下期再见，拜拜！
1139神烦老狗
01:28查看AI文稿AI文稿cloud 泄露第三天，保姆级本地部署教程他来了，成功的接入了本地大模型。我让他开发了一款游戏，他还自动打开运行，并测试能不能成功。耐心看到最后先收藏再观看。整个部署分为四步，新手友好。 第一步，安装我们的 b u n， 点击麦克右上角的聚焦环搜索，输入 terminal 或者是终端回车。打开终端，复制我们的安装指令，粘贴回车， 等待安装完成。新开一个终端，输入二杠运行，最终显示版本号代表第一步成功。第二步，解压我们 打开安装目录，找到我们的隐藏的配置文件点 emv mac 可能有时候看不见，我们需要用 command 加 shift 加点来显示隐藏文件，按照我们的参数来配置接口地址和 t， 还有大文件的名称，修改完成，保存，关闭配置。 第三步，启动程序。首先终端切换到安装目录，依次复制以下两个命令进行执行。第一条命令赋予我们程序实行权限，复制，粘贴运行。第二条，复制粘贴回车。如果看到这个界面，说明我们的程序已经部署成功。先询问他使用了什么样的段位型返回内容和我们的配置一致，部署 成功。接下来测试实战效果，让他做一款俄罗斯方块的游戏，看他用多久时间，是否能够一次性成功。他自动唤起了浏览器，打开运行程序，我们来玩一下，我这里加速玩一下。 我发现最后他在游戏结束时没有做弹窗提醒，那我们让他修复一下。好，这里他花了两分钟修复这个 bug。 如果帮助到大家，点赞收藏，我是张成敏，关注我多一个程序员男朋友。
384爱弹琴的程序猿
01:35查看AI文稿AI文稿先把结论说清楚，就算是 macbook m 一 三二 g 这个配置，限阶段跑本地大模型更适合自己测一测，玩一玩，当个简单的个人助理。 前面三集我们聊了 mac mini 本地 i， 不 说因为巡检 i i 还有内存瓶颈。今天我在自己这台 m 一 三二 g 上实测，结果非常真实。我跑的是二 g b 三零 b 这个级别的量化模型，光模型本身就要占用二十二到二十四 g 内存， 三二 g 基本被吃满，剩下的空间非常紧张。同样一个模型，直接用饿了么命令行跑，速度还能接受，但只要走 open klo gate 走界面做 a 枕调度，速度明显就下来了。原因也很简单，命令行是纯推理， 清量无负担，但网关要做绘画管理、上下文缓存、历史拼接调度处理，这些额外开销在本地硬件上会被放大。再对比我在公司的环境，一台普通一六 g 办公本连公司部署的千万级机灵币大模型，百万级上下文响应依然很快， 真正是生产力。我也不想把话说得太涩，本地 ai 确实还有优化空间，不管是模型炼化、 open curl 掉伞，还是加速策略，都能再提升一点体验。但核心问题绕不开， 再怎么优化也依然受限于本地硬件的物理上限。所以最终的感受就是 macbook m 一 三二 g 跑本地 i 阶阶段更适合尝鲜测试研究。想要真正流畅掌上下文，高生产力，还是得靠极品级别的云端大模型。
06:15查看AI文稿AI文稿今天呢我们来讲一下如何在你的电脑本地部署一个 ai 大 模型，从而呢让你拥有一个没有次数限制，没有网络限制，绝对私密安全的本地 ai 助手。 好，首先呢我们需要去查一下自己的电脑硬件配置，看一下我们的电脑适合部署什么样的大模型。那么像我这里呢，安装了一个还比较简单的本地大模型，这个呢在我们的普通的游戏笔记本就可以跑动的一个模型， 以这个为例，我们来讲一下整个的安装流程，只需要根据如下几个步骤就可以完整的安装好我们的本地模型，并且呢后期可以实现随时的来下载别的模型随时去替换。那么最简单的部署方案呢，就是我们的我拉玛加一个 block， 可以 实现我们的本地格式化界面。好，接下来呢我们来按照我们的流程一步一步的来进行设计。好，首先安装我们的这个欧拉玛，我们只需要双击下载，完成后，只需要双击安装即可 弹出提示呢，我们点击试，它会自动帮我们去安装一些环境配置 好。安装完我们的欧拉版之后呢，我们可以先把它关掉，然后在我们的命令窗口里去安装我们的大模型。那么如何验证我们的欧拉版安装成功呢？同样是在我们的，先按 win 加 r 键打开 cmd 命令。 好，这里呢我们可以来输入一下，验证 好，复制粘贴一下代码，点击回车，我们可以看到这里呢出现了这个欧拉玛的版本号，说明我们的欧拉玛就安装完毕了，接下来呢我们进行下一步就是去安装我们的大模型。 好，这里呢我们只需要把这个命令复制粘贴好，如果呢你的电脑配置还比较高，适合一些其他的大模型，我们只需要更改后面的大模型名称即可。 好，粘贴以后点击回车这里呢我们需要等待这个模型自动下载完毕。 好，一般比较小的模型呢，它这个下载也比较快，而且呢它整体的这个占用的内存也比较小，这个呢只有不到一 g 的 内存 好，下载完成之后呢，它会提示 success 成功。好，其实这时候呢，如果我们只是用来和大模型对话聊天，那么我们只需要打开 elama， 我 们可以看到这里呢就会显示我们已经下载好的一些模型。那么最后这里就是我们刚才下的模型，我们只需要选中这个模型就可以正常跟它对话和聊天。 现在这个模型呢是完全的本地运行状态，我们可以试着把网络关掉，然后呢再和它进行对话。那么接下来呢，我们再让它写一个贪吃蛇的拍绳代码， 好，可以看到它这个速度还是非常快的。 好，所以呢这就可以证明。哎，我们这个大模型呢，在本地可以正常的去运行，而且呢可以帮我们去完成一些日常的简单的任务。 好，那么如果说我们有更高的要求，或者说我们的电脑配置比较高，那么可能我们需要去做一些上传一些复杂的文件，或者是让它拥有一个对话记忆功能，那么此时呢就需要我们利用另一个，也就是我们的 open web， 那么 open web 呢，需要借助这个 docker， 所以呢我们还需要先来安装这个 docker， 那 么前提是如果你想有其他的一些更复杂的需求，我们就接着进行下一步，那么 docker 呢？这里我们可以选这个电脑版的六十位， 好，双击安装好，同样我们直接点击这个 ok， 好， 安装完 docker 以后呢，它长这个样子，那么进来的时候呢，可能需要我们去注册登录一下，然后呢需要再次打开我们的 command 命令窗口，然后呢复制粘贴这段话， 好，然后呢在我们的这个 document 里面就会生成一个 open web ui 的 一个界面，那么这个服务呢，就可以让我们在浏览器里打开我们的 web ui。 open web ui， 好， 接下来我们打开我们的浏览器， 好，打开浏览器呢，我们需要去输一个地址，那么这个地址呢，就是启动成功后，我们要访问的这个地址，它复制，然后在我们的浏览器里进行一个粘贴， 然后我们就可以进入到这个 open web ui 的 界面，那么在这个界面里面呢，我们就可以进行一些更为复杂的设置，包括我们在跟它对话的时候，还可以看到你的这个每秒的这个 talk 速度。 其次呢我们还可以去给他进行一些投一些资料，然后可以给他添加更多的这个附件，上传文件，引用网页，引用笔记等等，那么就可以做一些更加复杂，能长久记忆的一些功能。 好，以上就是我们在本地部署我们的 ai 大 模型的所有教程，那么后期呢，我们会出一下我们的 openclaw 小 龙虾，还如何去接入我们的本地大模型的教程，让我们实现零拣就可以玩转小龙虾！
1401零壹日记
03:41查看AI文稿AI文稿一分钟教会你如何在 mac 上本地部署原版 open curl。 都二零二六年了，你还在使用一些第三方的 open curl， 就 像个智障一样。不要着急，今天歪歪教你如何在 mac 上本地部署原版 open curl。 第一步，安装 homebrew 官方的一键安装命令，虽然会自动安装这些工具，但是可能会出现问题，所以我们直接先行安装。 我们在终端输入这个安装命令，如果这里跳出弹窗，证明你的命令行开发工具没有安装，我们点击安装，并且同意许可协议。等待安装完成后，我们回到终端，重新输入这行安装命令。回车后会问我们通过什么下载 homebrew？ 这里我们通常输入一回车，选择通过清华大学镜像源下载，然后我们需要输入开机密码回车， 接下来会问我们是否删除之前的 homebrew， 可以 输入 y 回车，它会帮我们自动备份。在接下来我们还要再按一次回车开始安装 homebrew， 安装后再次输密码回车。接下来我们要选择用 homebrew 安装时用哪个国内镜像员，我们这里选择推荐的阿里镜像员回车， 再次等待安装完成，等出现安装成功的提示后，关闭终端，重新打开，让配置生效。第二步，安装 gte gte 是 一个代码版本管理工具，我们在终端中输入这行命令回车，然后等待安装完成。第三步，安装 notgs 来到 notgs 的 官方下载页面，下载完后打开安装包，在安装窗口中点击继续 同意用户协议，然后点安装，输开机密码，点击安装软件按钮这里我们稍微等待片刻，完成后点击关闭按钮。四步，安装 open curl 我 们在终端中输入这个命令回车。先把 n p m 的 下载源切换到国内镜像，然后我们继续输入这个命令，把 g t 访问 get 地址改为 https 地址， 最后输入这行命令，开始安装最新版的 open curl。 回车后需要我们输入密码，这个电脑密码不会显示，直接输入后回车。等待 open curl 开始安装。安装完成后，终端会输入 a， d， d， e， g， 某些数量还可以仅此的提示。 第五步，配置 off 壳，我们直接输入这个命令，启动驶驶化配置流程，然后会提示你使用它可能存在风险。问是否继续？这里我们按键盘上的左键选择 yes， 然后回车确认， 随后保持默认的 quick 模式回车。这一步需要选择使用的大模型服务商，我们这里以 kimi 为例，这里大家自行选择自己使用的就可以。这里选择注册商域名类型回车。然后把准备好的密钥粘贴到这里回车。 这里选择具体的模型，保持默认回车。这里选择通讯渠道，我们先选择最后的跳过，这里问我们要不要现在配置 skills， 我 们按空格键 pick for more 回车。选择先跳过。接下来问我们用什么方式启动 open curl， 简单直观推荐 w， b， u， i 随后会跳出一个网页，我们就可以和小龙虾对话了。今天的分享结束了，关注歪歪，下期教你如何对接飞书，用飞书操控电脑！
334YY极客
08:39查看AI文稿AI文稿兄弟们， google 这次是真的放了个大招，今天早上发布了 gemma 四，而且一口气发了四个版本， e two b 是 小杯， e 四 b 是 中杯，二六 b 是 大杯，而三一 b 是 超大杯。 而且量化到四比特之后， e 二 b 只要三点二 g 内存就能跑，而 e 四 b 也就大概五 g b 的 样子，这意味着什么呢？这简直就是给咱们的龙虾做本地部署，量身定制的端侧大模型。 根据官方文档，二 b 和四 b 模型全部支持文字、图片和音频输入，在这个参数规模上，能把三种输入都做全的非常少见。 话不多说，我们来测试一下 e 四 b， 为了看看它到底有多不挑配置，我专门翻出来一台八 gb 内存的 m 一 mac mini 出来。没错， 咱们就用这台 mac 中的盖中盖本地跑跑这个 jam 四，看看极限在哪。咱们先下模型，阿里摩达这边 g g u f 的 各种量化版本已经同步好了，不过因为我们的八 g 内存还是老老实实上 q 三量化吧，直接点这个 q 三 km 版本下 载。另外啊，还要下载对应的 m m 会 r o j 这个文件， f 十六就可以，它是负责图片输入的，没有这个，你的大模型就没法读图。 趁着下载，咱们顺手把拉玛点 c p p 装好， mac 上就很方便，一行步入 install 搞定。 国行下好以后，我们直接用这行命令把拉玛 server 跑起来，并且它内置一个很好用的 web ui， 启动好了以后你直接去浏览器里打开就能用，特别方便。这个也是我一直觉得拉玛 c p p 比 alm studio 更舒服的地方，它非常清亮，但该有的东西都有， 你可以看到 java 四已经加载好了。那我们现在做个简单的测试，随便做道计算题吧。我们让它算一个一千八百七十二乘以八千三百七十一，这是我随便写的哈。 呃，兄弟们，这里不是静止画面啊，我们看到在跑了一秒钟，大概八个 token， 但是没有输出，怎么回事？我知道了，它在思考，展开这个 reasoning。 哇塞，这个，这不就是硬算吗？它先把八千三百七十一拆成八千三百七十一，再分别去乘一千八百七十二。 哈哈，算的居然比我小学三年级的时候还慢，突然还有点优越感，咱会列数式啊。顺带说一句，它这里用的是 laytech， 看起来就是在 reasoning 阶段判断这是道数学题，所以自动切到了适合计算的形式化表达。 是挺慢的，但感觉好像没算错，要不我们拿计算器算算看，待会看对不对。我去，现在系统响应太慢了，内存不够啊，所有的核心估计都百分之一百了。再试一次， 这次完全打不开，拿我手机算一下吧。好了，应该是幺五六七零五幺二，待会看 gemma 四能不能答对。不过我现在很担心，这模型跑起来就把 mac 资源吃干净了，还能跟我的龙虾装在同一台机器上玩吗？ 话说去年很多大模型经常在九和十一哪个大上面翻车，不知道 google 这个。哇塞，牛啊这题。对了，这咱就不困了，能用， 下面我们整点花样，让这模型分别用汪曾祺和张爱玲的风格描写夏天傍晚下楼买冰棍，这个场景，不超过一百二十字。 这次输出 token 的 速度达到了十个每秒，比之前快了不少。好的，开始正式输出了，作文果然比数学简单啊，思考时间少了快一半， 带着一股子晚风里混着的泥土味。这个不太像啊，冰柜前的老贩子，头发蓬松，这句呢，会更接近汪先生的文风。汪宗祎这段输出完了，怎么说呢，形容词太多了，原作者不会这样写，气氛也烘托得有点过了。 好吧，我们再看张爱玲这段的腔调明显在演张爱玲，但还没演出那种冷和狠，我觉得稍微有点装，可能就是没那种漂亮的刻薄一下的味道吧。 其实我是有点苛刻了，这两段说真的并不差，至少这个模型是会写的。让我来写，那是真写不出来。身处现在这个 ai 的 时代，作为碳基生物的我们必须得承认，像这种小作文，盖中盖、 mac 上运行三比特量化版模型都比我们大多数人强太多了。 继续测试。开始之前先说一句， google 这个国外大厂做出来的模型，中文是真的能打，就我自己实际用下来他们家刚出不久的三点一 pro 在 中文文学这块几乎是断层的领先，所以接下来我们继续测试一下 jam 四的中文能力。这一次我们直接写小说， 大家已经看到了这个超复杂的写小说和剧本的 prompt， 我 就不多介绍了，题材是一个比较新颖的悬疑局，删除人生痕迹大女主框架，女主的职业非常特殊，业务能力极强，这种设定你们懂的，其实门槛很高，只要稍微拿捏不好，就容易显得假，容易出戏。 而整个故事最大的沟子在于那个男人摸不透他到底是被别人清理过了，还是他本身就是一个巨大的深渊。 所以我们期待的是 gemma 四能不能把这个设定给往深里写，人物的骨架能不能立得住，两个人之间那种有戏的拉扯感能不能展开 屏幕左面呢？有一些拉玛 c p p 的 日制，可以看到我们这个大的 prompt 有 一千五百多个 token。 pre filling 的 速度还是可以的，这台初代统一内存架构的 apple silicon 机器，高内存宽带带来的更低的数据搬运开销，在这种长 prompt 预处理里的优势还是挺明显的。 终于开始吐字了，我们来读一读啊，有硬伤。消毒水和咖啡因混合的味道，这里消毒水我不太懂。清理社交痕迹似乎用不到。这个 故事感倒是还行，读起来比较流畅。 微小热搜这词儿不行啊，也不是很符合原本的设定。 大家可以看到，现在吐字的速度还可以，达到了十一 token 每秒，跟我阅读速度差不多。这模型本地跑跑确实蛮好的，特别是长文本的输出，能更加用足。机器的上线。 这些描写呢，有点刻意，把我们设定超了一半 啊，这就没了，真就没了。一共用时两分二十六秒，输出了一千六百二十八个 token， 这比我想象的要短很多。我原来期待能写出一篇完整的悬疑小说， 我们现在复制一下，再放大看一下。 这模型其实就是把你给的设定比较顺的复述了一遍。女主出场了，查资料了，发现不对了，男人出现了，然后结束故事没有真的往下走，也没有长出新的东西， 你期待他去补？这个职业到底怎么运作？世界为什么会遗忘他？这个男人到底危险在哪？或者女主和他之间那种更微妙的张力？这些他都没展开 读下来，会觉得它在努力营造，但就能看出来是 ai 写的。所以中肯一点说，作为一个激活参数四 b 的 模型，它这个表现其实已经差不多到头部水平了，特别是在八 g 机型运行表现怎么都不能说差，只是它没有那种超出预期的发挥。 视频录到这里已经超时太多了，所以今天就先测到这。其实在我的主力 mac 上已经把 jama 四三十一币也下好了，本来还想顺手做个对比，但今天确实来不及。 还有就是在这台盖板 mac 上也装好了最新版的 open claw， 这部分也留到下次再看吧。那今天的视频就先到这里，如果你喜欢这期内容，别忘了一键三连，我们下期见！
120碳基生物退役指南
04:57查看AI文稿AI文稿哈喽，我是严总，这期视频给大家分享一下这个 mac studio 超大内存的版本，我们去跑本地大模型，现在目前比较热门的这三款挂载大模型的工具，我们要如何选呢？首先如果你是 windows 用户的话，你可以划走了，我们这期视频主要讲 mac 端。首先第一个我比较推荐的就是这个 i m studio 这款产品的话，它的它的优势就是图形界面，我们可以看到挂载的各种模型，然后以及选择各种模型都比较便利。第二个就是这个奥拉玛，奥拉玛这个它是属于 g g u f 的 一个模型，它其实并不太适用于 m l x 啊，但是这一个它是目前用的比较多的，因为它比较轻，量化比较简单，配置也比较轻松，如果你只是简单入门的话，这个可以尝试一下。 然后最近比较火热的就是这个 o m l x 这个这个我非常不建议使用 open club 的 用户用它，它存在内存卸六以及这模型加载上去智力真的是非常低，基本上只能玩一玩。我看虽然说很多人说它速度快啊， 但是我们真正用这个 open club 不 在于就是它速度快，而在于它真正能解决问题。那我用了最多的这个 l m 四六六的话，我就给大家仔细讲一下，到底它这个模型怎么选。 我们在选模型的时候有很多点必须是我们要考虑的啊，首先我我举个例子啊，比如说我们现在看到了这个千问三点五二十七币，他就是一个非 m o e 模型，我们要玩本地大模型，现在肯定是主流的要玩 m o e， 什么叫 m o e 模型呢？就是二十七币，我们选出几个专家对你的内容进行分析和解锁，这样的话你的内存压力就不会那么大。比如以我这台机器为例子， 可以看一下我目前的这个内存情况是二百五十六 gb， 然后我现在挂在了这个 mini max 的 大概占用了，我就是算算系统，我大概占用了一百九十三，其实压力是挺大的，但是你要知道像这个 mini max， 我 如果是不是 mo 一 的话，我这个二百五十六 gb 基本上都挂载不了。 所以说我们在选模型的时候不要选这种直接版本，加上二十七 b 啊，或者是三十 b 啊，一百二十 b 的 一定要选择 mo 一。 那么怎么看是否 mo 一 呢？我们在下载的时候，一般他会后面带一个什么 a 三 b 啊，什么什么这样的模型 啊，比如说像这个看到没，千万三点五，一百二十二 b a 十 b a 十 b 代表有就是呃十 b 的 参数，供你及时调用，那实际你这个模型是一百二十二 b 的， 这样的模型性价比就特别高。还有这个三十五 b a 三 b 啊，这种就是选这两个模型，但也不要选这个模型，除非你的内存贷款非常大，因为哪有机器。但是你苹果八百 g 每秒的这个 m 三 ro 配置的话，优先还是选择这样一种类似于 mo 一 的， 像我们常见的比如说像纤维上扣的 gim 啊，还有迷你 max， 这都是 m o e， 所以 说我也只下了 m o e 模型。 那么还有个很重要的参数就是你的量化啊，你的量化标准，比如说像我们纤维三点五的这个量化是，呃，六位量化，还有八位量化，还有 q 四量化。我建议啊，所有玩这个 open color 的 话，你下模型你就关注一个点，就是 q 四 k m， 就 用这个模型就行了。 然后还有个问题要看一下，你看这个模型里面有 g g u f 和 m i x， 但是 m x 目前对 oppo klo 的 体验以及这个 max 六六的使用是有问题的，它的这个整个反应出来的智力水平以及它的缓存的这个优化是存在问题的。所以说哪怕是苹果的，你都不要用苹果原生的 m i x， 呃，至少现在阶段它这个对 oppo klo 的 体验是非常差的，所以我建议用 g g u f， 然后在这个 g g u f 下面我们又有很多配置啊，比如 说你的病房，比如说你的手机和你电脑同时在给这个本地大模型发消息，呃，可能会涉及到看两个绘画， 所以说我们在新建这个模型的时候，这有一个这个参数，我们要把这个病病房按照自己的要求去设置。比如说你手机和电脑可能同时发消息，以及你用两个员工同时可能对你的模型进行沟通的话，那你这个地方就调成二。 如果你想更高速让他不要去占据你病发的这个效率的话，你可以调成一啊，比如你四个员工同时用，那调成四， 我建议调成二就够了。还有这个参数，如果你是 m 三凹球的话，你可以把它调高一点，比如说四零九六，那他的这个思考的这个速度会明显快很多 啊，这就是一个小细节啊。当然这个关于 im 十六六你可以配置的选项是非常多的啊，后期我也会出教程去讲了。这些参数我们具体怎么调啊？比如说模型的这个温度 啊？我们到底，比如说根据我如果是审核合同的话，我希望他足够严谨，不要胡思乱想的。呃，可能会犯的错误的情况，那我把温度调低一点。哎，如果我是写文章，像比如说做新媒体，我希望文章创意十足，非常有特点的话，那我给它调高一点 啊，这至于调多少，这个要根据自己的实际情况来去优化。那默认情况是这个是不要乱调，就是零点六就可以了。 ok， 这是大概的一个本地部署大模型的一个思路。那后期的话我会更新更多关于这个本地大模型各种软件以及 oppo 的 配置相关的一些教程。
883社长的AI日记
06:45查看AI文稿AI文稿大家好，最近那个 open cloud 大 龙虾实在是太火了，过年的时候我也研究了一下，并且安装部署在我自己的电脑上。 那这个视频就分享一下我的本地安装部署方案，如果你对这个话题感兴趣，那这个视频会对你很有用。首先这个东西它的实际能力肯定是被媒体夸大的，而且也不是买一个 mac mini 就 能搞定的，但 是它确实是一个好的开始，是一个重要方向。那如果你想学习 ai， 这个 open cloud 非常有必要去实践一下。如果你要用好它，就要给他很强的权限，比如说要他操作你的电脑，你就得给他电脑的文件读写权限。如果你想让他帮你收发邮件，或者 读一些在线文档，那你就得给他一些相关的网络账号的权限。所以呢，为了安全起见，这个 open cloud 最好是部署到一台专用的电脑上，让他操作一些网络资源，这些网络资源的账号最好是专用的。那 那么这个 openclaw 对 苹果系统支持是非常好的，这也是为什么之前很多人都去买 mac mini， 然后专门跑这个大龙虾也是这个原因。但是有 mac mini 还是远远不够的。我说一下我是怎么安装的，我是把 openclaw 安装到这台 mac studio 上边的 这个虚拟机里边啊，这是一个虚拟机麦克 s 啊，虚拟的麦克 s 是 用的这个 pd 虚拟机软件，用虚拟机软件的好处就是你可以安装多种系统，从 linux 到 windows 十十一，然后到麦克 s 都可以随便装，随便折腾，然后每一个系统你可以安多个，安多个都没有问题。 然后这个虚拟机整个就像一个黑盒子一样，无论你在里边怎么折腾，都不会影响到外边这个真正的麦克 s 你 的这个生产力。麦克 s 系统啊，非常的安全，就是安全隔离，然后用虚拟机方式部署。另一个好处就是这个虚拟机的内容啊，这个系统本身实际上就是一个大的镜像文件啊， 就是这 win 十的， win 十一的， macos 的， linux 的， 你可以把这些文件放到移动硬盘上，固态移动硬盘上，我现在就是这么放的，所以不占你本机空间，备份起来也非常方便，你只要把这个文件拷配一下，备份一下就可以了，等你想恢复的时候把它拷回去就行了，非常的方便，很灵活。 然后用虚拟机唯一的缺点，相当于又运行了一个系统啊，所以这个 macos 最少也得给它八 gb 内存，然后我这里是给到了十八 gb 啊，其实基本运行给个八 gb 就 可以了。 其实这个 opencloud 本身呢，它占不了多少内存啊，才占了几百兆内存，它本身不怎么占内存，这也是为什么 mac mini 就 能部署的原因啊啊，真正要求配置高的不是它，它占不了多少内存， 只安装好了 open cloud 还不行，还得有一个 ai 大 模型来配合，无论是在线的还是你本地安装的，你得给大龙虾安装一个脑子，不然这个龙虾它什么都不会干。可以把 open cloud 理解为一个插排啊，上面可以接各种设备啊，可以 给手机充电，充电宝充电，插一个游戏机都可以，但是呢，你要给这个插排供电，它才能使用啊。 的 ai 大 模型呢，就相当于给这个插排供电，所以在你使用 openclaw 读写你电脑上的文件，帮你看在线文档，其实都是后面的 ai 大 模型在起作用。实际上你的 openclaw 可以 使用多种大模型啊，比如说在线的千文模型，然后你也可以安装各种本地的开源模型， 你可以通过 opencloud 点 json 这个配置文件进行配置，当前使用哪一个，在这个配置文件里修改一下就可以了。那建议目前这个 opencloud 实际使用起来比较费 talkin 这个问题呢？呃，很多人还都是安装的本地大模型，在本地运行 ai 大 模型要比 安装运行 opencloud 要求的电脑配置要高一些。那如何把大模型安装部署到你的 mac 上或者 windows 上？我之前发了很多视频， 很久以前就发过，你可以去看一下。我这里呢， openclaw 是 部署在这台 max studio 的 虚拟机软件里，本地部署的大模型呢，也是在 max studio 这台机器上，但是是在这个宿主机，也就是这个机器的系统本身基于苹果电脑，安装本地大模型要给到足够的内存。 我这里用 alama 本地安装了两个模型，我实际上用的就是第一个，第二个，这个你可以看到比较大，激活加载之后比较费内存。 我这台 max 六六一共有九十六 gb 的 物理内存啊，你可以看到现在已使用内存有四十二 gb。 现在大模型还没有加载，因为我本身这台电脑上运行了很多 app 啊，包括那个 macos 虚拟机，占了也不少内存。 你现在看到的是 openclaw 激活那个三十 b 的 千万三模型啊，现在的已使用内存已经到了八十三了。现在麦克 s 虚拟机里边的这个 openclaw 进程实际上没有什么变动啊，还是三百多兆，不到四百兆，所以它是不怎么吃内存的。 如果是日常收发邮件、总结文档这些日常工作内容，它已经够用了。甚至我后边想试一下更小的模型，比如十四 b 的， 呃，这个量级的是不是对所谓 ai 员工的这些操作是不是就够用了？这样可以降低对本地机器这个配置的要求。那 open cloud 和大模型都安装配置好之后呢，作为你的 ai 员工呢，你就可以用你的手机 app 来指挥它，帮你 做一些事情。举一个有用一些的例子啊，比如说你是一个公司的 hr， 那 你们公司正在招聘 ai 工程师，呃，每天都有很多应聘的邮件到你的邮箱里，那你很忙，你就可以让这个 open cloud 帮你每天去筛选一些符合你要求，符合你标准的这个应聘邮件， 然后发送到你的手机上。比如说我这里用的谷歌邮箱，那你要想让 open cloud 去读写这个谷歌邮箱的内容， 你就得配置一个叫做 g o g skew 的 这么一个东西。实际上这个 skew 呢，在 open cloud 里是非常重要的，可以扩展它很多个能力。那如果说把这个 open cloud 比喻成一个插排，那这个 skew 在 里边的角色就是相当于插在这个插排上的各种不同的插头。比 说你插一个手机充电器，那这个插排就可以给你的手机充电，你插上一个，呃， ps 五主机你就可以，那你就可以玩游戏，你插上一个台灯，你就可以照明。所以说这个 openclaw 本身它安装是很简单 的，就官方的那一句话就可以安装啊，如果没有网络问题的话，就是一句话就安装好了。重要的是它的配置。 openclaw 运行在虚拟机里，优点就是安全隔离，它是一个黑箱子，不会破坏你的生产力的这 一些机器。呃，并且方便备份和恢复。呃，本地运行大模型呢，也没有 token 焦虑。这个方案的缺点是要有一定配置的苹果电脑啊，特别是内存要大一些。当然你也可以把 openclaw 部署到一台苹果电脑上， 然后本地大模型部署到另一台苹果电脑上。你也可以用 linux 系统来部署，也可以用 windows 系统来部署。 ok， 这就是本期视频，如果你对 openclaw 或者 ai 话题感兴趣，别忘了点赞关注，后边我也会分享更多的关于 openclaw 的 使用细节和配置。感谢收看，我们下个视频见！拜拜！
1846鹏哥的AI
