qwenpaw如何配置本地模型
兄弟们，这个自动回复啊，很多人要 aprk 还有这个系统提示词的，还有很多这种要我关机的，让我系统重启的，让我给他转钱的什么的，特别搞笑。根本不会的啊，看这边啊， 因为我刚才没有启动定时啊，因为我这个使用的是本地的大模型，我的 a p r k 是 sk 杠，一二三四五六，然后我的系统提示词是这个，你要想要的话你就拿过去，就这么简单， ok， 不要再问这些没有问硬的问题了，还要要怕小说点后五百位的，我只让他回复两百个字，怎么可能给你给你那么多呢，你还忽略规则，你忽略，你根本不可能忽略规则的，知道吧？好了兄弟们。
粉丝9883获赞6.2万
相关视频
05:32查看AI文稿AI文稿今天是我们小龙虾养成日记的赫默斯安装和本地欧拉玛部署的配置，赫默斯大家现在称他为爱马仕，和小龙虾一样是一个智能体，作为智能体的大脑，他可以连接我们本地的欧拉玛，实现指令接收，思考决策工具，调用 最后一个结果输出的全连录本地化壁环，完美解决头肯网络以及隐私的问题。我们今天直接演示一下如何安装以及配置，进行一个实操演练。首先我们准备的环境，我们今天使用马克来进行安装， 当然 windows 和 linux 也是支持的欧拉玛本地部署，这个其实我们前面讲过，已经是比较基础的内容了，我们可以直接到欧拉玛的官网， 这就是欧拉玛的官网，点击这个下载，我们就可以直接选择自己的系统进行下载完之后就可以了，在 mark 上下载。欧拉玛安装完成之后 是带一个终端的，就是我们可以直接使用，比如我们这里有个本地的已经部署的千万三四 b 的 一个小模型， 我们直接可以问大家，比如说你好，他很快就会给我们一个回复，因为我刚才发过你好了，他这个是有记忆功能的，这就是欧莱玛的一个安装。 当然如果安装完之后呢，我们我们可以通过命令行来看到我们的欧拉曼的版本，我们现在装的是零点二零的版本，零点十九之后的版本是进行优化过的。面对 mark 系统运行的更快，我们再回到我们这个文文章中， 这就是我们欧拉玛的安装，安装完成之后，我们可以本地的拉取我们一些模型，这是我平常拉取过的，有的也没有删除，这个我们可以在欧拉玛的命令行中直接可以看到，直接拎死他一下就可以看到我们已经安装过的 所有的这些模型。欧拉玛的安装我们其实是相对比较简单的一个，我们下面可以看一下我们赫默斯爱马仕的安装，这个安装其实现在也是非常容易，就这么一条质量就可以了， 我们可以看到这是爱马仕的一个其他的网站，在这上面有详细的介绍，其他的源码，他是开源的，这里我们可以看到他同样是一条指令安装也可以，我们下面进入安装过程。 好，现在我们已经安装完成了，我们安装完成之后可以通过赫默斯沃审看到我们当前的版本，我们当前是零点九点零的版本，四月十三号的 python 是 三点十二，这些都是自动安装的，其实我们的这个赫默斯爱马仕已经安装完成了，你们可以看到我们这个是版本已经安装完成了， 下面我们要进行一个模型的一个配置，我们这个配置我们刚才安装的欧拉玛的模型在进行配置上，我们可以演示一下配置的过程，直接就是 hermes mod， hermes mod 之后呢我们可以看到这里面有一个列表， 我们可以用上下键选选择，我们这选到 custom， 我 们点击回车，这个时候需要我们输入一个地址，这个地址我们就输入我们奥拉玛的地址，奥拉玛的地址就这个默认的这个地址和端口，我们不需要改它，我们直接给它复制过来， 这个后边加一个 v e， 因为是聊天的，这个时候我们要说 k， 这个 k 我 们随机的就可以，没有关系。 这个时候他会列出我们欧拉玛里面已经拉取过的这些模型，我们这里面选一个我们使用的就行，比如我们的千万三四 b， 在 这里它是一个六， 我们直接输一个数字六就行了。我们选择完模型之后是一个上下文的长度，这个长度我们就要手动输一个，输个六十五 k， 大家记住这个地方长度，他的爱马仕的要求最少是六十四 k， 我们可以稍微输大一点，没有关系，如果我们不输，默认可能是一个四 k， 我 们就没有办法去使用，调用的时候就有问题，这个地方记住我们输比这个四 k 大 一些，这个时候我们再输一个显示的名字，我们就叫前文三，嗯，三 四 b， 这时候我们这个模型就就已经配置完成了。回到这个文章里边，就 当我们的模型配置完成之后，我们就可以启动我们的核模式了，就是我们一个 ai 的 本地运行，我们验收一下看它怎么样，我们直接启动我们输入核模式，哎，我们可以看到这个时候已经启动了核模式， 这是一个界面，我们当前的模型是千万三四 b， 就 我们刚才创建的这里有一个基本的介绍，他的一个吐司， 他的一个 skills 都在这里，现在有二十八个图纸，有七十九个 skills 是 可以使用的。 我们先先运行一下，看这个模型有没有成功，我们给他一条指令，那用 python 写一个代码，看看这个函数的运行情况，看一看我们这个爱马仕的运行情况，我们把这个指令贴在这里，直接回车，我们现在等一等， 我们看到现在我们这个爱马仕已经运行完了，我们给他一个指令，让他写一个函数，并且解释这个函数的代码逻辑，这里写了一个函数，有一个逻辑的介绍，你们可以看他运行的还是非常好的。 好了，这就是今天给大家介绍的爱马仕赫曼斯的安装以及欧拉玛的配置，更多内容我们下一期再见。
109程序员寒山
08:36查看AI文稿AI文稿先说结论，本地模型，做重复确定的任务，云端模型，做不确定的任务探索。二十七币或者三十五币的量化模型是你的本地部署的最佳选择。大家好，这期视频主要介绍在 mac studio 上应该选择什么样的本地模型。 在哈根 face 网站上，你可以下载各种 l、 l、 m 模型，但是我们应该如何选择呢？先讲一个最核心的概念，现在的大模型基本可以分为两类，第一类，瞪死模型，也就是筹密模型。第二类， m o e 模型，也就是专家混合模型。 以千万三点五二十七币为例，这是一个典型的瞪死模型。特点是每一次推理，所有参数 都会参与计算，你可以理解为每次思考都是整个大脑一起工作。优点是稳定，一致性强，缺点是非常吃内存和算力。千万三点六三十五 b a 三 b 则是一个 mo 一 模型， 它的特点是每次只激活一小部分参数。虽然它是一个三十五 b 的 模型，但每次只用三 b 参数在计算，可以理解为多个专家按需调用，而不是同时在工作。优点是更高效，更省资源。缺点是有时候不稳定， 一次性稍差。一句话，瞪死是全脑思考， m o e 是 按需调用。对于我来说，我使用的 mac studio 是 m r ultra 六十四 g。 考虑到模型的加载上下文 k v cat 的 占用，我常用的模型是 千万三点五二十七 b 四比特模型和千万三点六三十五 b a 三 b 模型，以及它们对应的各种变体。其中千万三点五二十七 b 四比特。这是个定时模型，非常适合执行各类确定性的 a 检测任务，比如定时完成网页数据的抓取， 视频字幕的下载，周报的生成、图片生成的调用。而千问三点六三十五 b a 三 b 四比特模型其实也非常适合各种 agent 任务， 但它的速度更快，更适合需要快速输出长文本的场景，比如写工作笔记，各种文案实时的交互。还有一种本地模型，千问三 code next， 这是一个八十 b 的 专门经过编程优化的本地 mo 模型， 其编程性能基本达到 cloudsonnet 四点五水平。但是考虑到模型权重和上下文，实际使用中硬件配置最好是两百五十六 g 内存的 max studio。 而我如果需要进行编程，则会选择云端模型，比如 mini max 二点七或者 g l m 五点一。下面介绍一下模型的各种变体，在哈根 face 上可以看到各种第三方微调的量化模型， 带有各种各样的尾椎。先说量化，原始模型基本都是十六位的模型权重，为了优化性能，降低模型占据的内存 以及提高输出 token 的 速度，通常会进行量化处理，比如量化为八比特、六比特，甚至二比特量化有不同的方法，包括 a w q 量化、 o q 量化、 t q 量化，有的是针对模型本身量化，有的是针对 k v cat 缓存量化。再说蒸馏，带有 tiered 伪劣的模型就是蒸馏模型，可以理解为用一个更强的老师模型去教一个差一点的学生模型。比如这个千问三点六三十五 b a 三 b cloud 四点六 os reasoning distilled 模型，它是怎么出来的呢？我们知道 cloud 四点六 os 是 一个推理能力特别强的模型， 每次进行推理的时候都会先思考，先产生一个很长的思维链，然后再执行任务输出结果。于是有第三方模型团队收集整理了几万条甚至十几万条推理思维链，用来交千万三点六三十五币这个基础模型。 于是这个蒸馏出来的新模型也就有了很强的推理能力。需要注意的是，原生的千万模型是多模态的模型， 支持文本和图像的输入。但是很多版本的蒸馏模型会关闭图片处理功能，变成纯文本模型。 而伸手者代表模型去掉了对其限制，不再过滤敏感内容。而 n s f w t lost safe for work 表示会包含不适合公开场所的内容。这些模型遍体大多经过破解，并且使用了很多额外的数据，经过微调训练出来的， 可以根据需要以及网上的评测选择自己想要的模型。但网上的评分只能作为参考，因为测试环境、硬件配置都有很大的差异，还是需要在本地，在你的硬件上实际测试才行。 当用户给大模型输入消息，主要经历两个阶段，预填充 prefer 和解码 decode。 预填充就是模型先独立 输入的内容，把所有输入转成 token， 然后建立上下文理解。这一阶段决定的是首字言辞，也就是当你发送消息后，要等多久才开始出字。这个阶段输入信息 是可以高度并行处理的， gpu 是 可以把输入 token 并行放入矩阵运算，这个阶段的瓶颈是 gpu 的 运算能力，相同模型 gpu 运算能力越强， 越填充速度也就越快。而解码阶段就是输出答案阶段是模型开始一个 token， 一个 token 的 生成内容，但注意这里只能是串行输出，因为每生成一个新 token， 都要把它拼回已有的序列才能计算，然后继续输出下一个 token。 这个阶段的输出瓶颈变成了内存待宽 memory bond。 总结一下，预填充阶段 gpu 可以 变形处理，因此每个输入 token 的 消耗时间要短很多，平静在于 gpu 性能。而解码阶段 gpu 只能串行输出 token， 因此单个输出 token 消耗的时间要比输入慢 五到十倍，其瓶颈在于内存待宽。所以你会发现大模型公司 a p i 收费标准里输出 token 要比输入 token 贵五到十倍。也会发现 mac studio ultra 的 输出 token 的 速度要高于其他 mac 设备，这是因为前者内存带框是八百 g， 而 mac mini 的 内存带框只有三百 g。 虽然单个输入 token 的 输入率 要高于单个输出的 token 速度，但真实的应用场景中，往往是输入的 token 数量远远高于输出的 token 数量。比如本地模型最大输入 token 甚至可以达到一百万 token， 而模型输出的 token 量基本只需要几千就足够。为了能够加快处理，预填充的 prefill 会用到一个叫 k v cat 的 功能。因为实际的在与 大语言模型多轮对话中，有很多输入内容是重复的，比如 agent m d， so m d， mary m d， 历史绘画记录等，因此可以把这些相同内容都缓存起来，在下一轮对话时就可以直接拿来使用，而不用重复计算。所以 手势输入的时候，由于 kvatch 还是空的，所有的输入都需要计算一遍，生成 kvatch 这个手势构建时间会很慢，但是下一轮对话时，由于 kvatch 中已经有了前面的内容预填充， prefill 就 会读取缓存， 此计算新增部分速度一下子就快了起来。 kvatch 分 为热缓存和冷缓存，前者将数据保存在内存中速度快，后者将数据存储在 ssd 固态硬盘中，容量高。所以实际使用 agent 完成任务的过程中，除了加载大圆模型的权重会 消耗内存，更重要的是进行上下文的缓存也会消耗大量的内存，否则就会出现模型虽然可以加载，但是一调用 agent 工具就会很慢的情况，就是因为内存太小，没有进行 kvatch 的 热缓 存导致。以我的 mac studio 设备为例，虽然总内存有六十四 g， 完全可以加载更大的八位三十五 b 模型，但考虑到上下文的 k v cat 热缓存也需要大量的内存，所以最好将模型变为四位的三十五 b 模型，这样在处理实际任务时就会有很快的输出速度，而不会出现卡顿的情况。 除了通过量化 k v k 来提升推理速度外，现在又多了一些新的技术，比如 spec prefill、 turbo、 quant deflesh， 这些可以下个视频再进行介绍。最后总结一下，由于 g p u 算力、内存大小、内存带宽的限制， 本地最适合跑的模型就是二十七 b 或三十五 b 的 量化模型，使用它们完成每天重复的确定性的任务已经完全足够。关注我 ai， 分享实战技巧，我们下期见！
411AI躺平养龙虾🦞
02:58查看AI文稿AI文稿上节课我们在本地部署了千万三点五 ai 大 模型，这节课我们继续部署 open core， 并让 open core 对 接上本地 ai 大 模型，彻底告别头肯焦虑，让大家零成本养龙虾。现在看 open core 官网，里面有很多种安装方式， 我们这里啊，使用 n p m 方式，一键安装，运行之前需要先有 node js 环境才能使用 n p m 命令。 node js 安装好后，打开终端运行 n p m i 杠 g 二分 q， 安装完成，运行命令，开始配置，复制过来粘贴。 先问我们啊，是否继续，当然要继续了，用键盘左右方向键选择 yes， 接着选啊，快速开始。这里问要对接什么模型， 这些选项啊，大部分都是对接云端 ai 模型的，因为我们要对接本地 ai 模型，所以要选择自定义。接着问模型的 api 地址，这个地址啊，在 o m x 的 仪表盘里，大家看这里， 复制一下，将这个删掉粘贴我们这里啊，要填的是幺二七点零点零点一，冒号八千斜杠 v 一。 继续啊问模型的 api k， api k 在 管理面板的设置权限设置里， 默认的 key 是 默认一二三一二三，我们不做修改，就填这个，先按回车粘贴过来，兼容性选择 open ai。 接着问模型 id， 模型 id 啊，在管理面板的模型管理器里面，将名字直接复制了，粘贴过来，确定 end point id， 保持默认就行，这个是模型的别名，可以不填，直接下一步。接着问啊，要对接什么聊天工具列表里啊，默认只有飞书。我这里出现的 open code 微信是我后面装的，大家初次安装并没有这个关于微信的对接，我们下节课再来讲， 这里直接选跳过接着问搜索服务现在没有，也先跳过，继续出来。技能的选择，直接按回车。 出来的技能选择，这里推荐只选 clonehub， 按空格，选中按回车键安装，其他的先不要选，可以避免网络有问题一直卡住。其他的有需要啊，后面可以再来安装。我这里列表中没有看到 clonehub， 是 因为我之前已经安装过了，所以看不到，我就直接选跳过。 后面的几个 api 啊，也都是收费的啊，暂时都没有，全都选 no no no no 还是 no 霍克时啊，也选跳过先按空格再回车。到了最后一步了，问我们运行方式，推荐的是在终端中运行，选择后，现在就可以和他直接发消息了。好，我们发个消息， 它会直接在动态中进行回复，当然也可以使用 word 界面进行访问，大家打开幺二七点零点零点一冒号幺八七八九，在这里也可以一样聊天，还可以做各种设置。总结下，安装 open core 需要 load 机制环境，在装好 load 机制后，使用 n p m 命令，可以一键安装 open core， 安装好后，运行命令开始配置文字版，内容请看课程讲英文档， iphone 可乐，现在出来聊天还可以操控你的电脑了，在下节课的对接微信里，我继续演示给你看。
364刘东-长乐未央
08:55查看AI文稿AI文稿大家好，我是老徐，在昨天的时候，阿里的千万团队发布了千万野麦吉的最新加强版千万野麦吉二五幺二，这个模型在人像的真实度和文字的准确性方面都有非常大的提升，康有为也在第一时间就支持了这款模型， 我也把千万系列的各种图片生成模型进行了深度的对比，这样也方便大家选择合适的模型在 comuli 里面使用。千万 maggie 二五一二，首先要把 comuli 升级到最新的版本， 目前康威 i 最新的版本是零点七点零，升级完康威 i 之后，打开康威 i 的 实体工作流，在图像这边就可以看到前文与麦姐二五一二，打开工作流以后会提升我们缺少模型和这个四步的加速 nor， 直接点击这个链接就可以下载，但这个链接是需要魔法的，如果大家下载不了，可以直接在我的网盘里面下载， 下载以后放到对应的这个目录里面就可以。千万眼，麦姐，二五一二，要放到 comforion 的 models default models 这个文件夹里面，加速 nor 就 放到 comforion 的 models norse 这个文件夹里面。工作流用到的模型还有文本编码器和 v i e 这两个模型跟天文仪麦几的模型是通用的，如果大家之前在本地部署过天文仪麦几这两个模型就不需要下载，因为我之前是部署过的，本地是存在这两个模型，所以刚刚是没有弹出提示的。 这里是模型的放置路径，文本编码器就放到 textencoder 或者是可立普里面， v i e 就 放到 v i e 文件夹里面，这里是官方给出的深图尺寸， 对应的就是训练级的尺寸，也就是在这个尺寸下生成的图片是能够达到最好的效果。我们生成的图片就尽量按照这个尺寸来设置，因为模型的体积比较大，而且我会对多种模型同时进行深图能力的对比，对显存的占用也非常高， 所以接下来我会在 roundup 里面给大家进行演示，大家使用我的邀请链接，在 roundup 注册还会获得一千的免费算力值，每天登录也能获得一百的算力值， 这个对于我们日常的使用基本上也是足够的。我们来看一下这四种模型的深图对比，这个工作流我也发布到了 roundup 上面，大家在 roundup 上搜索我的名字就可以找到这个工作流。 这里我把轻微系列的各种模型进行了对比，因为 b f 十六的模型体积太大，一般人都用的比较少，所以我就直接测试的 f 一 八的模型。 首先是轻微 mag， 二五一二，第一张图是没有加 nor 的， 直接使用的是官方的推荐设置，步数是五十， c f g 是 四。然后第二张图是二五一二，加上了四步的加速 nor。 然后第三张图就是轻微 magg 的 基础模型，第四张图是 z magg turbo 模型生成的第二个词就是一个老人的面部特写，这种老年人的面部特写非常考验模型的能力， 因为他面部的细节非常的多，是幺四零九年第一次生成图片，花费的时间分别是两百二十七秒，一百二十八秒，五十七秒，五十四秒，同等条件下，这一麦子 tab 是 最快的，二五一二，布加诺尔跑五十步是最慢的，我们来看一下。 首先第一个排除的就是轻微 mag， 这个涂抹感非常强，一眼 a i 的 感觉。然后这三张图在粗看之下好像也差不多，但放大之后就会发现，这个用的四步加速的也会有很明显的涂抹感， 可以看一下这种 ai 感就比较明显了。然后直接跑五十步，不使用加速， nor 的 真实感要非常高，但是让人感到惊喜的还是这个 z m g turbo， 这本身就是一个加速模型，所以他是只用四步生成的，速度非常快，但是这个质量大家可以看一下，非常的高，这个即使放大了也是会有非常强的真实感，这些皮肤的纹理都非常强， 轻微也 max， 这个模型基本上可以删掉了。这个是一个四部的加速 nor， 放大了也会有涂抹感。然后这是四十部的， 我们再来看一下生成的半身人像，一个圣诞节的兔女郎。首先排除的同样是轻微，也 max， 这个加了四部 nor 的， 其他的三张图都有可取之处， z e m g 就 比较符合亚洲人的审美，这种网红造型， 但是轻微 z e m g 二五一二的题词增重度明显是要高一些，这个眼神符合题词的描写，眼神温柔，只是镜头 z e m g turbo 的 整体都不错，但这个眼神就谈不上温柔。 然后再来看一下这种近景人像，感觉都是差不多。 首先排出的也是轻微，有麦吉二五一二和 turbo 这种有点不相上下，就是风格不一样。 再来看一下他们做的海报，首先文字都没什么问题，在 maggie 的 文字排版感觉比较单调，因为 maggie 包括二五一二，他们的布局基本上是一致的，风格也是一样，但明显的二五一二要强很多， 这种放大的话，人的眼睛都是崩掉的，这种情况也难以避免，因为这里的人物占比都非常小，面部的像素也都非常低。雄伟麦吉的不管是男人还是女人，感觉这个脸都是一样的。 二五一二的相对来说要狠很多，这个是四步加速跑出来的， 这个是没有用加速模型的，感觉制作海报的话，二五一二是更加合适的。再来看一下这种比较复杂的图片，生成的构图都是类似的，这里多人物前卫一。麦姐，这个跟豆包也是类似的，生成的都是异影 ai， 看着就是 ai 感很强。 二五一二的稍微强一点，但是也不怎么样，反而是这个贼眼麦景感觉要好很多。 再来看一下另外的这些负责描述的，这里是提示词的内容， 四张图片的构图基本上都没问题，也都比较符合这个提示词的描述。但是这种场景下，整个轻微眼麦基的都是有很强的 ai 感。这眼麦基 turbo 的 真实感是最强的， 这是因为这个模型的图片都是带来一些噪点，这些噪点反而让这个图片更加有真实感。 这些模型生成的图片都比较干净，太干净就有这种塑料感，就是有比较强的 ai 味儿。这个没有用加速 mode 的 也是有一些 ai 感，这个 ai 感就更强了。还是介意麦吉特堡的真实感更强一些， 然后在文字方面准确度都还是很高的，阅读让生活更有力量，但是文字的表现力还是二五一二的要强一些。所以我的感觉是，如果是用来生成海报，二五一二是更加合适的。 用来生成各种人像和素材图的话， z m g turbo 是 更好的选择。 大家如果还有其他使用场景的，也可以自己进行测试对比，这里的提示词是每行一条，我这里输入了七行提示词，测试的时候在这里直接选择提示词的行数就可以 从零开始，零就是第一行，一就是第二行，这样就可以很好的进行对比。这是第一行，会出现在图片的上方， 然后这个标签的名字我打错了，是二五一二，直接打成了二五一五，我把它修改一下， 那这条视频的内容就是这些，如果大家觉得有帮助的可以关注一下老徐，给老徐点个赞，谢谢大家。
24老徐Ai研习社
01:47查看AI文稿AI文稿再来看一下第二个任务啊，现在还是这个，他啊，前文三点五，我跟他说呢，给我做一个八个页的 ppt 啊，然后主题是未来照亮现实， ai 引领科技。把这个 ppt 放在我的桌面上啊，他就开始创建了。创建了 ppt， 然后呢？ 使用什么来设计啊？然后使用拍损脚本等等，然后他就看搞了好多次，然后他一共跑了多长时间呢？ 啊？我们翻到最后啊，可以看一下最后啊，文件保存完成，他这个任务还真的跑下来了，他跑了四十九分钟， 然后呢，他在我的桌面上啊，放了一个，这个 ppt 做的怎么样？看一下啊？ 啊？未来照亮现实， ai 引领科技啊，这是第一页，可以看到这是一个蓝底加一个白字，这字的位置还不对，不在中布局中。然后啊，第二页目录啊，这文本都是他自己写的，然后这个 这这个这这这字都在那个，你看啊，这这字都没拉到，都没居中，反正每个页都没居中。第三页是这样的啊，第四页是这样的，然后呢？第五页是这样的，基本上就是一个呃，背景加几个文字， 也没有图片，也没有什么排版，然后第七页是这样的，第八页最后 所有的文字还是都不居中的。但好菜，他最起码确实是一个 ppt 啊，他总算跑下来了，后面两个任务呢？我这个由于视频比较长啊，我这个再出一期视频，然后呢，看他后面两个任务执行的怎么样。
15戚向北
08:21查看AI文稿AI文稿大伙好啊，今个呢，我们聊一下如何在本地哈部署这个拉玛 c p p， 那 么它的作用是什么呢？各位，先说一下啊，它能让我们在本地哈运行啊这个语言类推理的大模型。 那么为什么要在本地部署呢？有几个情况哈？第一个呢，就是最近哈，呃，这个网上都说这个豆瓣要收费了啊，对吧？呃，收费之后呢，有一些功能，可能我们正常用的挺好，再用可能就要付费了，对吧？然后再有一个是什么呢？ 就是我们如果在做项目的时候啊，比如说有一些东西涉密了，不方便在网上传，对吧？这个时候我们就需要在本地，是吧？构建自己的这个资源库，对吧？各位，那么这个时候我们就需要在本地有一个可以类似于像豆包啊，这个 deepsea 啊这种的服务类大模型，对吧？所以呢，今天我们聊一下如何在本地哈部署这个拉玛 c p p， 它呢实际的作用就是可以让我们在本地哈运行啊这个语言推理类的这个大模型，大家看啊，现在我已经部署好了，非常简单哈。那么再有一个情况是什么呢？各位，我们有一个自己的这么一个批量管理软件，是吧？目前有一个环节就是题词词的来源 目前很严重的依赖于我们外部的这个呃， ai 工具，对吧？现在呢，我们如果在本地已经构建了一个可以用来进行语言推理，生成对应任务的这么一个大模型之后呢，各位大家看啊，我们就可以把这个东西直接集成到这个平台当中，是吧？提 着此这一块，我们就最后一个环节就已经集成到这个行当中了，这个就是后续啊，就是大概是四点一之后是吧？呃，继续优化的一个功能，大家先知道这么个事就行了 啊，再有一个是什么呢？目前千万三点六是吧？这个三十五币出来了，然后呢，号称是一个能干活的大模型，对吧？各位，那么我们把它在本地运行来之后呢？第一可以构建自己的私有资源库是吧？更安全，第二呢效率更高，对吧？各位， 那么话说回来啊，怎么去部署这个拉玛 c p 啊，它其实就是一个能让我们运行这个语言推理类模型的这么一个工具啊。不大，我们首先来到这个 github 哈，这个网址，好吧，这个网址哈，然后来到这里之后，各位，简单的一种方式哈，我们找到右侧这个 release， 好 吧，找到这个 release， 然后往下翻哈，这里边有对应的版本，那我是 windows 系统，我们往下翻啊，这里边有一个 windows， 好 吧，在这里哈，各位，呃，我是酷达十二的，所以呢，我就找这个酷达十二哈， 找这个酷大十二，大家根据自己的情况啊，显卡情况去选择好吗？有很多这个类型，大家根据自己的情况选择就行了，那么我选择酷大十二，然后把它下载到本地之后，大家看好，我把它下载到本地之后进行解压，解压完了之后大家看进入到这个文件夹当中，这个就是项目下载之后的效果， 好吧，不大哈，大概是看一下啊，五百多兆，好吧，不大哈，然后呢，别着急启动，各位，我们启动的时候呢，可能要需要设置一下参数，怎么去办呢？大家看，进入到这个 lama 啊，解压之后的这个文件夹，然后注意新建一个文件，比如说我叫 start 啊，我已经有这个 start 了，那我就 start new， 新建一个文件，然后大家注意把这个后缀名啊，各位，把后缀名啊改成点 byte， 好吧，有些同学这个小那个小伙伴的电脑可能这个看不到后缀名，是吧？这个很简单，我们打开这个文件夹之后，这上面有一个查看，大家点击查看，点击显示后边有一个文件扩展名，就是文件后缀名，你把它点上之后就能看见了啊，也能修改了。那我们新建这么一个 bug 启动文件之后呢？大家看啊，我把我之前这个打开， 大家看在里边输入这么一句话啊，比如说这个是拉马，搜索这个拉马的这个文件啊， 调用谁呢？大家看啊，这里边有一个这个，好吧，拉玛告诉搜索点 e s e， 实际上就是调用它哈，然后后边杠杠 host 四个零好吗？它指的是开放远程调用，因为我们后期啊，各位，后期要把它集成到这个批量管理软件当中，我们需要通过这个软件远程去调用啊，这个拉玛 c p p 好 吗？各位，所以这个位置我们给它开放远程调用，后边 pos 端口八零八零，大家看啊，就这个端口，根据自己情况设置就行， 好吧，自己设置一个端口啊，然后后边杠杠 models 杠 d i r， 它指的是我们的大模型存放的文件夹地址好吗？比如说我存在 cf ui 的 这个 l l m 目录当中了，那我就找到哈这个 cf ui 找一下啊，找到 comui， 然后找到它的这个 models， 找到 l l m， 把这个上面地址复制一下，粘到这里边就行，好吗？这样呢，我们这个启动文件就配置完成了，很简单，对吧？各位？然后呢，大家看啊， 翻回头来，来到这个启动项，好吧，来到这个 lama 的 这个解压文件夹目录，找到我们刚才设置的这个 star 的 启动文件，好吧，里边的内容刚才展示过了啊，开放远程端口，设置模型存放的目录，然后前面是调用的这个 lama server， 然后双击一下 打开，双击完之后啊，这个老板就启动了，他默认的啊，启动端口啊，是刚才我们配置的那个八零八零，对吧？然后呢，我也，我之前已经启动过了，翻回头来，我们在网址上输入，幺二七点零 点零啊，多了一个点啊，幺七点零点零点一，然后冒号，英文的冒号八零八零，大家看，这样呢，我们就把这个网页打开了，大家看，其实他就是个小豆包哈，他的这个能力跟你选的大模型有关，那么我选的是千问三点六啊，目前号称能干活的大模型，好吧，一会说这个事啊，然后呢，我们点 第一次，我们可以点击加载一下这个模型，然后输入你好，是吧，他就进行推理了，然后给我们这个答案，这个模型确实能干活啊，各位，大家看啊，这个是我之前用这个千分三点六，然后拉拉本地部署的这个 呃软件哈，然后呢，生成了一个贪吃蛇的这么一个小游戏，里边大概七百多行代码，我就告诉给我生成一个网页版贪吃蛇啊，大家看，双击完之后，这个游戏还挺好玩的啊，效果还不错的啊，好吗？ 好了，不解释啊，就是挺好玩的哈，然后千万三点六的模型在哪里下呢？大家看，我这里有一个网址，这是国内的网址哈，大家看， 根据大家的显存实际情况去下载对应版本就行了。那我是二十四 g 显存，所以呢，我下的是这个 q 四 k m 的 二十二 g， 好 吧，大家尽量啊，下载这个模型小于大家的这个显卡的显存，因为什么呢 啊，就算大点也没事啊，比如说你十六 g 显卡，然后你下个十八 g 的 模型，实际上也没事，它会把一半啊，它会把一部分资源放在内存当中啊，但是各位 用这种模型啊，大家看啊，这有一个 token 的 输出速度好吗？就是它运行，你可以把它理解为运行的效率啊，有一半资源在显存啊，在内存当中，这样会拖慢你的运行效率，但是它也能运行，就算你没有这个显存，纯靠 cpu， 它也能运行，就是奇慢啊。各位， 这种模型大家注意啊，还是注意下效率的，所以我们把这个模型都加载到显存当中，这样的运行效率是最高的啊，大家做这么个事就行了啊，尽可能的选择这个模型小于你的真实显存占用， 是吧，这个千分三点六，三十五 b a， 三 b 指的是三十五 b 的 参数，但是真啊，一次使用的时候只激活三 b， 对 吧，但是你也需要把这三十五 b 参数加载到显存当中啊，然后一次用里边的三 b， 对 吧，这样的效果是最快的。 好吧，各位大家说这么个事就行了啊，然后呢，其实呢，大家不止可以下载这个千问三点六号，也可以下载其他的推理大模型，放到对应的目录当中，是吧？在这里大家看啊，在这个位置我们是可以选模型的，我之前还有千问三点五号。 好吧，各位大家知道这句话啊，知道这么个事就行了，那么部署完，启动完之后，就可以跟它进行对话，然后完成任务了哈，然后呢，这个不是重点啊，因为我们刚才开放了 api 的 远程调用，对吧？大家看啊，就是以后怎么把它集成到这个软件当中呢？大家可以看一下啊， 现在我模型是加载的，我给大家演示一下啊，这里边我写了两个 api 啊，第一个是卸载模型，是吧？ 就是我可以通过远程调用去控制这个软件加载或者卸载模型，大家看好好 success， 然后我们看一下显纯一下就下来了，这样呢，我们就完成了模型的卸载，对吧？然后下边这个是加载模型，大家看 是吧？加载成功之后，显示一下就上来了，对吧？证明这个远程调用是可以的，那么我们就可以通过远程调用的形式啊，把内容发送给这个软件，然后得到结果之后，是吧？然后我们把结果配合的使用到对应的软件当中去，是吧？就完成了调用。 好吧，这个只是一个初探啊，各位，这个只是个初探，大家学会安装，学会下载模型，然后把它启动起来就行。好吧，后续我们会有深入的这个使用教程啊。然后呢，视频当中说的一些使用细节，包括网址啊，包括这个启动文件怎么配置啊？大家可以来到主页哈，找到对应的视频，在视频下方大家可以查看一下。
266绘世玩家
00:56查看AI文稿AI文稿本地模型养龙虾，为啥又龙又虾呢？一天一个开源国产龙虾千吻合使用分享第二期大模型本身就不具备联网搜索，联网搜索本质上只有两种方法，一种是调用搜索引擎 api， 正规快速稳定， 但是需付费调用。另一种则是通过爬升解析网页 h t m l 正的受限，不玩低效纳尼，所以我一般使用 sircng， 它是一个开源搜索引擎项目，目前已有二十八点四 k s 三步就能上手使用。第一步，在 linux 部说直接在服务器中执行这三条命令就可以了，执行三个命令后就可以拉起服务。 第二步，修改配置，修改塞进配置文件，在返回参数 format 中加上 json 格式，然后重启容器，接着进入 crayson j 前端页面，设置中直接开启所有的搜索引擎并保存。第三步，千问破对接，进入千问破技能页 面，选择从 skill hub 导入，将 crayson j logo search 这个技能导入，然后进入对话页面，输入，使用 crayson j 技能对接本地 crayson j 服务地址，信息式的内容，就可以自动完成对接了。
07:33查看AI文稿AI文稿哈喽，大家好，记录一下本周关于本地部署千万三点五大模型的一个进展。 呃，目前的话，我个人的一个结论仍然还是倾向于用拉玛 c p p 去本地部署千万三点五的大模型。那么这张图的话呢，是我在本地的一个测试效果， 可以看到，在我的机器上，即使这个上下文跑到十六 k 的 一个长度，那么仍然可以做到二十五个透刻每秒， 那么显存占用是大概是二十二十二个 g 左右啊，那么也就是在三零九零这样的显卡上就可以去运行这样的一个模型，那么 ram 的 话，这样的很少，基本上几个 g 就 够用了啊，所以说这是我目前的一个结论 啊。然后再来具体说一说我是怎么样来部署 v o m 的， 然后以及怎么样来做的一些测试和对比。 好，首先的话呢，是 v l m 的 一个安装部署，那么本周的话呢，出了零点一七点一的这样的一个稳定版本， 那么很激动啊，出了之后赶紧去这个官网啊，按照教程去装了这个 cu 十三点零啊这样的一个版本 啊。但是很遗憾的话呢，我在部署的时候遇到了这样的一个问题，也就是一旦装 cu 十三点零这个版本的时候的话呢，它总是会运行的时候报一个 cublas 出谋划这样的一个错误 啊，当然也尝试了一些解决方案，像升级 driver， 升级扩展二 kit， 包括安装不同版本的 cublas。 那 目前来讲的话呢，我尝试这几种方案都没有去解决这样的问题，所以很遗憾的是，最后的话呢，只能去 退回到这个官网给出来的十二点九的这样一个版本，也就是我所有的测试和这个运行都是在这个官网十二点九的这个版本基础上啊，然后来做的好，然后来说一下我的测试脚本 啊。测试脚本的话呢，是， 呃，直接在这里调用的这个 openai 的 一个 api 接口啊，然后测试了不同上下文长度的一个效率啊，简单用 python 写了这么样的一组代码啊。 呃，然后重点来看一下就是我是怎么样来启动的这个脚本。 好，那么 vl m 里面的话呢，我是直接用的这样的一个脚板去启动它，当然的话呢，也尝试了这个不同的量化模型，然后一起来看一下这个结果。 呃，首先是官网给出的这个一个量化模型， 那么在这里的话呢，可以看到在我自己的机器上啊，我的机器是这个英特尔的一零九八零 x， 嗯， cpu 的 话十八核三十六线成，然后九十六 g 的 ram 加上 rtx a 六千啊，四十八 g 现存这样的一个显卡。 嗯，可以看到在我的机器上的话，当这个十六 k 的 上下文的时候，其实只有二十个投款每秒左右， 然后显存和内存的变化量的话，基本上没有什么变化，当然 v o m 的 话，本身它就会一次性的把这个需要的显存和内存都已经升平啊，占用的差不多，所以它基本上没有什么太大的变化， 当然这个效率来讲的话，很显然和我本地部署的拉马 c p p 的 这种方式还是有一点点小的差距的啊。好，这是官网给出来的第一种量化模型，然后也尝试了另外一个这个第三方给出来的量化模型， awq 的 量化模型， 嗯，可以看到这个十六 k 的 上下文的情况下，它这个仍然也是大概二十出头啊，投款每秒，然后内存和显存基本上是一致的。 然后还有一个情况的话呢，是这个关于 vlm 的 啊， vlm 的 话，其实我尝试了启动的不同的参数，这个里边影响最大的可能是这个 mtp 的 一个参数的一个配置，也就在我的脚本里边，我尝试把这个 mtp 给它设成二 啊，一旦设成二之后，这个效率会明显的有一个提成啊。先说它的好处 来，这是我当 m t p 等于二的时候，这样的一个效果，可以看到的话呢，一零二四的投看上一零二四的上下文的时候，投看能做到五十多， 然后十六 k 的 上下文的时候呢，投看仍然能够做到三十五三十六左右，所以这样的一个效率来讲的话呢，是非常好的，也就比拉曼 c p p 还要值钱，这个 v l m 啊，它基本上能够提升小一倍的这样一个效率 啊。但是很遗憾的是，在我的本机上也会有一个小小的问题，那就是一旦这个 m t p 给它配成二甚至二以上，说到五的时候，然后在实际运行模型的时候，它会报这样的一个 啊，也不算是错误吧，就是这个张亮的维度已经不一致了啊，因为他每次要预测两个头盔吗啊，所以的话呢，导致这个模型运行的时候不是很稳定啊，可能对话几轮之后，这个整个程序就崩掉了啊，就模型就死掉了 啊，所以的话，后期看一下这个问题能不能解决，如果这个问题能够解决的话，其实我还是挺倾向于用这个 v i m 去本地部署的啊， 好，那么这是关于 v l m 啊，去部署前文三点五的一个情况，然后除此之外的话呢，也还对这个阿玛 c p p 做了一个简单的一个测试， 也就尝试去部署了一下不同的模型啊。首先这个是二十七 b 的 一个量化模型，然后上下文呢，一直测试到了二百五十六 k， 那就是整个模型的一个极限，可以看到的话呢，在这个上下文大于六十四 k 的 时候，其实这个效率来讲就已经有很显著的一个下降了 啊。当然的话，上网上去查了一些资料，大家也都说这个百分之九十九以上可能的这个应用场景，六十四 k 的 上下文已经足够用了，所以的话呢，目前就想打算先用这个纤维三点五啊，二十七 b 拉满 c p p 这样的一个部署环境 啊。然后还有的话呢，就是我也测了一下这个三十五 b， 这个明显会快很多啊，因为他是这个 a 三 b， 也就每次只激活三 b 的 参数，所以的话明显可以看到这个 token 啊，在这个六十四 k 上下文的时候，基本上还能做到四十加将近五十这样的一个 token 每秒。 然后最后的话呢，也测试了一下我本机的一个极限，也就是一百二十二 b 的 这个模型，这个是我显存能够容纳的最大的一个模型了啊，可以看到即使上下纹很小啊，一零二四的时候仍然这个头款只有十个左右， 所以的话呢，暂时就放弃了一百二十二 b 的 这样的一个模型啊，后面的话会用这个二十七 b 和三十五 b 这两个模型去做一些啊，上层那些应用吧。啊，然后到时候有机会再给大家录一些后续的视频。好，今天就到这里。
43王耀鐭
09:32查看AI文稿AI文稿大家好，科技圈这几天是太热闹了，四天前，阿里放出了千万三点六的首个开源权重，这代三十五 b a 三 b 的 三个能力，即代码、图像和 agent 居然同时跨过了能长期干活那道坎，是第一个真正能干活的本地开源模型。 屏幕上是摩搭上的官方仓库，大家可以去自己下载玩玩看。从官方报告看，这代三五 b 模型仍然是 mo e 架构，三十五 b 总参数单次激活大约三 b 两百五十六个专家，一次激活九个专家。 关键是从三点五到三点六这么一个小版本号升级，数据涨得可怕，我给大家解读一下。前端代码生成提升百分之四十三。在真实用户项目例如 opencloud 养虾中， agent 能力明显增强，稳定性和完成度提升都很明显， 图像理解、 ocr 和文档识别这次也一起提高到了新的水平。今天我腾出手，拿它在项目里真刀真枪跑了一整天。只能说相比前几周我测过的 gma 四，这代千问强的不太像话，直接把 gma 四按在地上反复摩擦。 所以我干脆整了个大活，把这个模型塞进三台价格完全不同的设备里，给大家狠狠地测一轮。第一台是售价接近三万的十四寸 macbook pro m 二 max， 九十六 gb 显存内存一体。 第二台是我从 u i 小 姐姐那儿借来的四零六零钛十六 gb 工作站最后一台也是今天第一个出站的，就是我前段时间自己首搓的丐版战神，总价两千五百元 x 九九 ddr 三平台，加一张自制水冷的 m v d r v 一 百十六 gb 显卡 盖板战神登场，这就是我手搓的 v 一 百 s x m 二显卡，加装了转接卡和军热板，又接了一个二四零水冷，其他就真没什么可说的了。对了，配了两条十六 gb 的 ddr 三一六零零内存，想知道完整配置的小伙伴，评论区扣六六六。回头我专门录一期， 第一轮，咱们在盖板战神上测试识图能力。我刚从千问技术报告里截了一张图，里面既有文字有格式，还有代码块，要求它不只是认字，还得把格式还原出来，这个难度不算低。 注意，这里我们用的推理框架还是前几期一直在用的拉玛 c p p， 模型则是 q 四 k m 量化版。即便已经量化过了，跑这套三五 b 还是得二十 g 以上的显存，但我们的 v 一 百只有十六 g b， 怎么办呢？ 哦，现在开始吐字了，我们看一下，很快嘛，每秒三十五个 token 输出代码了。可以的，一共十七秒钟识别完成。 回到刚才的话题，咱们一边比对文字，一边聊聊原理。拉玛 c p p 的 做法就很优秀，启动时它判断显存不够，就会把这个一共四十一层的模型中的二十五层放入显存，剩下十六层放到系统内存里，自动地走 cpu 和 gpu 混合推理。 现在我发现了一些问题，原图中的一些专有名词的文字识别没有问题，但背景没了，有七处这样的问题，当然不影响阅读，代码也比对过了，全部正确，所有文字一字不差，一个标点也没错。 这个是个什么水平呢？大概跟我们之前测试过的 jam 四的最大杯三 e b 稠密模型的识图能力相当， 接下来我软磨硬泡，终于把我们公司 u i 小 姐姐的专用工作站借过来了，主要就想看看千问这个模型在正经机器上到底能跑多快。机器配置我已经打在屏幕上了，这比战神可强太多了。 第二轮，在这台机器上，我们让千问写两段小品，跟之前 jamie 四测试的题目一样，分别用汪曾祺和张爱玲的风格描写夏天傍晚下楼买冰棍这个场景。 我们看到这台机器 to token 的 速度是每秒五十七个，也就是说和刚才战神的每秒三十五个比，快了百分之六十二。但这么一看，战神其实很强的，毕竟这台工作站的价格差不多是丐版战神的六倍，结果速度也就快了一半多一点。 千问三点六，在这个测试里整整 thinking 了一千三百多， token 才开始正式输出。结束了，我们放大一下，我觉得挺会写的啊，两个作者的文风模仿的不错，那梁毅原是借来的，终究要连本带利还给这粘稠的夏夜，挺会搞事情的。 第三个出场的是我的主力 mac， 前几期露过脸，不多说了啊。第三轮，我们换到 m l x 这个推理框架的最新版本，在这台两年前接近顶配的 mac 上跑一轮，目的很简单，看看更贵的设备能不能把千万三点六的速度再往上提一点。 用 mlx 就是 因为它在 mac 上通常会比拉玛 cpp 快 一点，我这台机器大概能快百分之十左右。这轮我们要上点强度，直接拿一整页非常复杂的手写数学题，去测试千万三点六识图能力的上限，看看会不会翻车。 刚才忘记说了，我用的是四比特的 m l x 量化模型，大概十九 g b。 不 过实话实说， m l x 这个四比特量化准确率和稳定性一直都比刚才那个 q 四 k m 差一点。 不只是这次的谦问，之前测 jam 也是一样的，要是这轮 m l x 能搞得定，那前面拉玛 c p p 那 套表现只会更好。 好开始吐字了。这个方程组看着有点别扭，不过大概率不是模型识别错了，而是 m l x 这个 web ui 对 light tech 公式的渲染不太行，这个我们待会再验证好了，我们复制出来放到专业的 light tech 渲染器里看看。 my god 兄弟们真的是完美，这就是硬实力，真本事，拿它在本地处理文档和图片，免费安全私密，而且还超级好用呢。 最后，我们看下 mac 上的推理速度，这轮一共五千多个 token， 推理速度是五十五个 token 每秒，不快啊，没小姐姐的机器快。 pre feeling 倒是超快，六百六十多 token 每秒。但这不是大头，所以初步结论，对这个模型来说，更贵的机器未必是更好的选择。 我们还剩最后两轮压轴的测试，我想了一下，有请盖板战神再次出马。 第四轮，咱们浅浅测一道经典算法题，就是著名的鸡蛋掉楼问题，一百层楼两颗鸡蛋怎么用尽可能少的次数测出鸡蛋不碎的零件楼层？ 这个题本质上就是最坏情况优化和分阶段搜索搞算法。打编程竞赛的同学应该不陌生，对人类来说，这题并不容易，但对大模型来说，它完全可能早就被熟了， 所以这一轮我们不只是看他会不会做，更要看他到底是真的理解了，还是单纯把标准答案背下来了。 你从 reason 的 过程里也可以看出来，他是背过了一些，例如使用等差数列递减法来处理这种最坏情况，但是他确实在很认真的一步一步的推理，每一步的计算和论证没有省略。 我们也看到这个模型确实是非常的费 thinking 的 token， 这题的 reasoning 阶段就花了三千个 token， 现在它的推导出来了十四是理论最小值没有问题， 而且它还讨论了通用解法的公式。优秀！最后一轮了，写几行代码吧。 我其实已经在 i d e 工程里用过这模型了，能用且好用，但光我自己说没用，还是得给大家现场秀一把。这一题，我们让他写一个太阳系天体运动的演示，重点看的不只是代码能不能跑，更是他对物理规律的理解，对基础物理常识的掌握，还有人机交互做的顺不顺手，画面是不是足够舒服，足够好看。 丐版战神上每比速度第一的四零六零差很多， 所以像 ddr 五和 amd 锐龙九这些贵价的硬件，在 cpu 混合推理中，这部分并没带来想象中那么大的提升。所以说我手搓的这台机器出乎意料的跟这个模型非常般配， 出来了烧了快八千个 token， 时间花了三分半。我们预览一下效果，绕太阳的公转控制正常， 其他控制也都正常，可以拖动 ui 表现跟百亿以上级别的模型差不多，整个物理世界的知识和理解也是对的，你觉得它写得怎么样？欢迎评论区留言 哦，每一个还能点击看到信息，挺好的。小伙伴们，我们的测试就到这里了。这期视频我有两个收获， 首先，千问三点六系列，第一个开源模型，不管是识图、逻辑还是代码，它都没有什么特别明显的短板， 第一次真正把普通设备上可以本地部署的大模型提高到了生产力工具的级别，已经能给 agent 提供相对靠谱的本地独立推理底座了。我现在非常期待还没发布的新版千问二十七币会不会也同步起飞？ 第二个发现半年前我折腾的这台两千多块，主打一个能省就省，连机箱都没有的 comfyui 智途小破主机，居然能跑三五 b a 三 b， 而且还跑得真挺好！这说明什么？说明设备便宜不可怕，会折腾的人才可怕。快夸夸我吧，谢谢你哦！
1433碳基生物退役指南
02:20查看AI文稿AI文稿天天用在线 ai， 你 是不是总担心工作数据被泄露？想要免费断网可用还完全听你指挥的 ai？ 今天这期本地大模型保姆级教程你必须看完。所谓本地大模型，就是把 ai 直接装进你自己的电脑里， 不用交月租，没有数据审查，断网照样干活。现在主流且最适合新手的工具叫 l m 四 w， 全是图形界面，完全不需要敲代码。去官网下好对应系统的安装包，直接双击。注意啊，他默认装在 c 盘，没法改，但别慌，打开软件后第一件事 点右下角的齿轮换成中文，然后去设置里面，把模型下载路径改到一个空间大的固态硬盘，不然 c 盘就该存储危机了。框架打好了，模型去哪搞呢？ 软件里面能够直接搜，但如果你网络卡，听我的，直接去国内的魔大社去找搜索你想用的模型，认准带 g g u f 后缀的文件，下载，放进刚才设置的文件夹就行了。 重点来了，这么多模型怎么选择？千万别贪大，看你的电脑内存下菜里。如果你是八 g 内存的轻薄本，选两到四 b 的 轻量模型， 十六 g 的 内存是职场人的主流配置，跑七 b 到八 b 的 模型是毫无压力的。这里我强烈的推荐千问山和 g m 四， 一个是中文理解力直接拉满帮你润色邮件写策划，非常懂理，另一个是逻辑和代码大神处理，复查工作简直是把好手。 如果你不懂那些复杂的量化版本，选哪个，直接认准 q 四 k m， 速度和智商平衡的刚刚好。回到软件呢，选中模型，点加载进度条，跑完你就能跟他私密聊天了， 在右侧你还能给他定人设，比如告诉他你现在是个资深的法律顾问，他还能够开启本地的 api， 接近你的代码编辑器或者翻译插件里面直接用。 把 ar 养在自己的电脑里，不仅是省钱，更是为你打造了一个绝对安全的私有生产基地。赶紧看看你的电脑配置，去领养一个你的专属超级助理吧！
17魏博士讲AI
01:13查看AI文稿AI文稿模型是不是越大越好？绝对不是的，本地跑大模型只看你能不能装得下，再加上速度快不快，模型越大越吃内存，因为参数多，每一秒推理都需要思考很多东西。而线上模型在使用高峰期， 强行给你压成 q 一 或者 q 二，这样就会出现幻觉，甚至是逻辑错误，或者答非所问。而本地模型的好处就是稳定，我这台 m r 卧床就是四 g， 统一内存，本地部署千万三点六 三十五 b 为三 b 的 模型，整套方案下来三万左右，是消费及显卡能跑起来的最好的模型，比他强的模型比他小，比他小的模型比他强，质量、 速度、内存三者兼备。所以说这台六十四 g 的 m o o 床真的很强，而且性价比非常高，能用最少的成本跑出最聪明最快的模型。而这一套是一个深圳老板定的需求，还有帮他分析短视频账号， 并给出针对性的建议，需要什么直接给他说，他会帮你不断优化和反馈那粉丝的这套已经装好了，从硬件配置、模型部署、知识库搭建，到后续系统优化升级，全年陪跑，你不用懂技术，只管用好 ai。
4寻路AI
01:54查看AI文稿AI文稿准备用几个小测试来测试一下，我们这个配置不是很高的普通电脑，能跑地的本地模型都能达到达一个什么样的程度啊？我准备用四个任务，第一个是让他去网上给我下载一个图片，然后呢第二个任务是让他做一个 ppt 啊，第三个是在本地给我整理一下我的资料啊，最后是让他啊做一个小游戏。 那么第一个模型呢？我们是首先我的电脑是 macbook air m 五二十四加 e t b 啊，不是特别高的一个 啊，配置，我们现在使用的模型是千问三点五九 b 啊，蒸馏了一点 class 点六，我们用 hermes。 然后啊第一个任务，我让他啊上网上随便找一张周杰伦的图片给我放在桌面上，然后他就开始运行了 啊，我看到他打开了我的浏览器，然后呢也搜索到了这个周杰伦的图片啊，搜索到了很多，我也都能看的见，然后但是他就是下载不下来，我们可以看到 他通过各种各样的方法，比如说通过这个 html 网页版，然后他就换一个方法，下载不了，他就换另外一种方法，然后他尝试了很多很多种方法，他都没有下载下来，包括他下载下来的有一些这个缩略图，也不是图片的格式， 他会尝试各种方法，比如这个视频网站的封面图，专辑封面图，然后这个获取 vg 百科，或者是这个尝试用啊图片托管的程序。 然后呢他最终啊这里太好了，他下载到了一个图片，但是那个图片不是周杰伦的图片，我看到他在我的桌面上创建了，创建了一个文件夹，里面他搞出来了这么多的啊图文件，但只有这一个是一个图片文件，但就像他说的不是周杰伦的 啊，他最终也没有下载成一个周杰伦的图片给我。他这个任务跑了四十五分钟，还然后跑超过三十分钟的，我就认为他是挑战失败，这个我就给他停掉了，我让他进行下一个任务。
27戚向北
02:04查看AI文稿AI文稿大家好，今天讲一个很多 mac 用户关心的话题，怎么在 mac 本地跑 ai agent 并使用本地六大模型。然后先说一下结论，我最终选择的是 o m l x 加千万三点五九 b 的 一个模型，然后我的配置是 m 二 pro 三十二 b 的 一个内存，目前来说的话还是可以使用。 整体上来说的话啊，千万这个模型比较适合在麦克上跑，中间踩了不少坑。我先来说一下啊，为什么其他的我不太推荐？首先我来说一下欧拉玛，这个其实是目前最流行的本地模型工具，但是我放弃了。 第一个问题是协议不太兼容，首先我们 hms 协进的需要 open a 一个标准协议，但是欧拉玛的话需要 let l l m 做一个中转，中转的时候还得注意我们的工具调用需要单独开一个非流式的一个经用才能正常的调用函数， windows 的 用户可以参考一下，这个是整体的架构，然后这个流程的话是能够完全跑通的。第二个来说一下 lm studio， 这个其实也是 mac 原声的一个工具，也挺好的。但是它发现我发现它没有 so endpoint， 赫默斯无法调用，只能本地自己用，无法作为服务来跑，并且它的内存占用是很高的。 说完刚才那些踩坑的经验，来说说我为什么选择 o m l x 以及 o m l x 对 mac 的 一个底层优化。很多人觉得用 mac 跑 a 帧的会很卡，其实问题是出在 prefix feel 这个东西啊，每次 ai 回复都要重新计算你的系统提示词， 系统提示词不短，它有工具描述， m c p 配置大概加起来有二十 k token， 传统框架每次都靠 cpu 重新计算，等半天才能出第一个字 o m l x。 怎么解决呢？其实是靠的四项核心技术，第一个前缀缓存，第二个分页式共享 k v， 第三个冷热分层，第四个高泵发调度。最后总结一下， mac 用户如果也想在本地跑 agent 以及大模型的话，建议使用欧美 mlx 这套方案。以上是 github 的 一个链接，大致现在的话只有一万个 star， 感谢大家的观看。
142月明水清深
07:15查看AI文稿AI文稿hello， 小 伙伴们，这一期我们来讲一下 openclaw 怎么去添加新的模型，那我们先打开 openclaw， 终端管理员先打开 openclaw 的 网关 好，再开一个对话框， 正在连接中， 我们稍微等等待一下。现在最新的版本是五点三， 五点三跟五点二都是相对于上个月的出现的 bug 在 修改，那我们现在现在看一下有哪些模型 可以看到我现在的那个 opencore， 它是有三个模型，一个是本地的三点五千万三点五的九 b， 然后千万三点六的二七 b， 一个是英伟达的 stefan 三点五的 fresh 这三个模型。然后那我们 继续给他添加英伟达的以英伟达的为主吧。本地模型你可以观看我上一期的那个 教程，就是安装教程，这里提添加了是本地模型，那我们现在添加一个网络模型，就以英伟达的免费模行为为例子吧。那我先打开英伟达的那个 模型的官网 biu， 点英文打点 com， 然后 more， 那 我们选择一个比较热门一点的 more popular， 可以看到这边是比较热门排行的一些模型，我个人是比较建议使用一些中文模型的，比如说 mini， mini max， 二点七，这个也是我比较推荐的一个中文模型。 那我们需要的参数打开右上角 voc， 这边有一个 b c u， l， 那 我们把它复制，然后这个默 把这个默也复制，然后另外你还需要准备一个 api t， 这个是可以免费注册的，你只需要有手机号码还有邮箱就可以免费注册。好，这个就不多说，那我们打开，直接新开一个咆哮的窗口， ctrl， ctrl， 然后输入这一这一串命令回车， 然后我们选择 local， 选择第二项目，然后再选择 cos 嘛，个人是比较建议用这个 cos 嘛， cos 嘛属于万精油的状态，就是什么模型都可以添加。 win 加 v， 找到这个刚刚的 b c u r l 回车，然后 api key， 把这个 api key 粘贴进去，回车，回车。然后我们再把模型 minimax m 二点七回车，然后它会检测通过 successful， 然后我们再把供应商填写一下 middle， 然后这个是一个 minimax 二点七，然后回车。是否支持图像，实际上英伟达的图像模型没有几个， 可能是它的那个限制吧。好，我们这样就添加完了一个 minimax 的 一个模型，那我们回到这个网关这边，再看一下它的那个添加状况，可以看到它说 cf 已经 又重启了，变更之后又重启了。那我们再来到对话框这一边， 杠默可以看到这边是没有的，那我们新建一个对话看一下， 然后杠默再试一下，哦，有了有了，有了，直接切换 m 二点七，那我们新建一个对话框吧，杠六， 现在可以看得到，现在这个是刚刚添加的 mini max m 二点七。那我们问一下了啊，问 框兰花你现在的模型是什么模型？ 看一下能不能正常的一个检测跟回复。 另外的话还有一个要注意的点就是这个 token 值就上下文的长度，有时候它默认是可有可能是去到一个四 k， 四 k 的 话，我们是需要手动去修改一下这个 这个上下文的大小，比如说我这个 mini max m 二点七，它这个 token master token 是 八幺五二，那我们重新打开这个 c 盘用户，然后找到点 openclock 这个这个专属文件，那我们找到这个 mini mas m 二点七， m 二点七可以看到这里就有一个四 k 的 一个是比较少的，我们设定的二五六一二三，然后这边也可以大一点点 保存，这样就不会因为上下文上下文设定太小的话，它一下就塞满了一个窗口， 可以看到它有正常的回复。 ok， 这样就已经完成了一个模型的添加。 mini max 二点七的一个模型的添加。 好，这一期的那个 open chrome 添加新的一个模型的教程就到这里好，下课。
56菜鸡的老黎
06:33查看AI文稿AI文稿今天是一个纯小白教程，教你如何用 ai 配置和下载大模型。开头我就说了，我要下载千问三点六，然后需要你给我做一步一步的指导，不要给我一下子出太多的步骤，一步一粘贴，一反馈，然后再进行下一步。这是我几乎做所有的 新的项目的时候都会强调和交代的。如果你要是有一种质疑，他说嗯，这不就跟作弊一样吗？抄完了之后，你也不经过思考，然后你就直接给它粘回去，然后再给它粘回来，这样的话，无脑操作的话，你最终你能获得什么呢？这里呢，我有两点想要说，你固然不能无脑的只复制粘贴，你肯定是要 阅读一下子，那么经过长年累月的，你习惯了看这些小字，看这些逻辑，你还是会掌握一些的。那么第二点就是说，如果 我们看多久也没有办法成为专业的人，那你为什么还要死磕呢？就接受这个现实，你能看懂一点是一点，接受这个现实我不会就可以了，因为有 ai 啊，这不就是它存在的意义吗？在今天的这个视频里，你甚至都会看到 ai 是 怎么样糊弄人的，那即便他是 up 四点七，他也偷懒， 他也有的时候会给你输出一些东西，让你看着一个外行人，你都会觉得可疑。那这个时候如果你要是真是属于嗯直接粘，直接贴，不假思考的这样的人的话，那你真的 可能说你不适合做突破或者创新，因为你不够谨慎，你创出来的东西可能是个意外，你一定要记住你自己的初衷是什么，你想要什么，然后呢，你去辨别他给你的东西是否偏离你的需求？是的， ai， 有 的时候他会扩宽你的 边界，但是不忘初衷才是你应该坚守的，这是你作为一个人应该把握好的事情。那这段呢，就是千万三点六出来了，有的时候他会有很多的版本，有的时候是蒸馏版的，有时候是 bassline， 就是 普通版的。那么我就想问一下，他这一次出了多少版，有哪一个是真正适合我这台电脑来使用的呢？ 然后因为我不想去哈根菲斯去看了，所以我就想让他直接帮我给出一个答案，那么他给出的答案我认为还是比较合理的，于是我就尝试了，因为主要是为了做测试，我想顺利的来把它完成，所以我就选了这个 标准版，可能遇到的问题也会少一些，然后即便真的一些实在解决不了的问题，或许很快就会在呃 community 里面就会有一些修补或者是解答。 那接下来他就开始针对 m l x 这个呃服务器端口呢，就开始纠结了，他想要给我设呃八九零零，但是呢，我一直是八八九九，那我不想换，因为换了的话会再造一个这个问题，那我只想用一个 server 里面来支持多个模型，这样我只需要转换模型就可以了，我不需要多一个端口， 但是因为我能提出这一点的主要原因是过去的两个星期，我针对这个呃实验做的有点太多了，所以呢，我会在这个方面是有想法和有要求的。 那么对于任何一个刚开始尝试玩这些东西的人来说，你或许想不到这一点，你就会开很多的端口，占用了一些。呃，端口之后呢？你在做其他的 cloud project 的 时候会有呃 a p i 或者端口的 conflict， 就是 会有冲突，因为它被占用了嘛。然后你再随机 出现使用的时候，就会出现各种各样的小问题。多口这个数吧，他可以随便捏造那么多的数，随机排列的话也不是什么大问题，这个就可以过。嗯，接下来我想说的就是在这个聊天过程当中就是，嗯，之前我已经有很长很长的四到五个这个 cloud chat， 嗯，都是关于 openclaw 用本地大模型，然后配置的过程当中一些坑，修修补补的这些过程和历史，其实该踩过的一些问题点都踩过了， 那么我就跟他强调了好几次，我说现在这是一个新的聊天动态，但是我要求你去阅读过去的呃所有的聊天动态之后再来进行我们下面的这些配置问题，会节省你很多的时间，因为已经有成功的经验和套路了吗？就是包括代码什么的也都有现成的。然后我这个整个聊天当中，从第一句话开始就是让他去过去浏览过去的聊天记录， 但是他总是很快的就说浏览完了，我都有点不相信他。那第二次呢？他就继续很快的就说浏览完了，但是给出了一个刚刚的这个清单，是所有的配置啊，记录啊，好像看似都满全的，但是运行的时候就是总是有 bug， 就 说没有办法 kill 的， 呃， listening 就是 kill the port 就是那个端口一直是占用的，那被占用的时候一直跑的都是 demo 四，那说明他没有成功呀。后来我就一怒之下怒了一下，我说你不要骗我，你一定要仔细阅读过去的所有的聊天记录之后，然后你再来更改这些配置需求， 那么后来他确实就能够找到之前的记录，然后稍作更改，就可以把配置就更新完了。如果你跟我一样用 mlx 来做 server 的 话呢，你在配置 openclaw 的 时候，还要把那个新的这个模型添加到他这个 model list 里面，就是你要 给这个模型同时加入到 openclaw 的 模型选择清单里头才可以，否则的话它是没有办法连上的。 嗯，接下来他就写了几个小的代码，做一些轻量级、中量级的任务测试，从他们的终端里面可以看出来，跑轻量级的呢，它是有问题的。但是，呃，这个 office 四点七它给我的结果是不理想的，很不好。 呃，有这个格式的泄露，比如说是 xml 的 那种像乱码一样的那样的节目，那那个版本的泄露，呃，说是。呃呃。千问三 coder 的 这个 pass 这个有问题，有故障或者是不匹配， 然后他说了一痛，我就很难理解，为什么呢？他已经是千问了，为什么他已经有了千问三这个扣着去来解解码，他还是不行呢？ 你就看到你不理解的东西时候，你要问，其实你的每一个问题，你不要心虚，觉得我不专业的，我凭什么要质问 ai， 或者我凭什么要质问权威？你不理解的东西你就可以说出来，然后他让你理解了，就是你学习的过程，同时呢也是解答你疑惑的这样一个过程， 然后恰好呢就被我逮到了他这个确实他自己胡编乱造瞎说的。那么他跑了两轮之后，后来我觉得，嗯，如果只是看代码这样，这个黑屏幕白字有点 hiker mode， 那 种感觉对我来说是不合适的，我得看实力。 于是我就要求要连上呃 discord 上面去，然后再发送任务，然后再来检测。连上 discord， 我 肯定先要确定他是用的哪一个大模型呀，但是我在更改的时候发现这个后台不响应，那肯定就是他模型没有匹配上， 于是我就回过头来跟 cloud 说，帮我把那个模型的信息添加到 opencloud 里面，然后让它作为一个可选择的模型， 于是我在那里都找到了，发现它是有响应的，那这样它就可以用了。再回到 discord 里面，把那个模型更改过来，确认好就 ok 了。 这个任务它完成的还蛮好的，只需要一分钟左右的时间，它就完成了搜索呃，商品信息，品牌，然后变成一个 pdf 存在桌面上。 我还以为又遇到跟詹姆差不多的情况，没想到他的能力和速度非常非常快。詹姆当时用了两分钟的时间还没完成，只会不停的重复他即将做什么，要做什么，准备做什么，会做什么，就说了一堆废话，但是不办事。但是呢，今天的千万三点六很快，不到一分钟就把这个事情给做完了。
53焱垚言夏
20:1333雷哥AI
