claudian怎么使用本地模型

最近 e a 大 神 capcity 又一篇铁丝爆火，教大家如何使用 abc 管理自己的知识库，搭建自己的知识体系。我们在网上看到了很多对于 abc 搭建知识库的流程的一个梳理和实践， 但是我发现我在自己实践的时候， abc 它本身是不带这个 clouding 的。 今天这期视频就教大家如何在 abc 中安装上 clouding。 只有安装上了这个 clouding， 我 们才能够借助大模型，通过对话的方式，让它帮我们搭建我们的 abc 的 知识库，比如说操作文件，提取文件，生成文件啊，对文件进行一个汇总。 所以说今天就教大家如何装这个，也和大家分享一下我的踩坑记录吧。首先我犯了一个错误，就是第一反应想到的是去网上找一些安装教程，我发现网上的安装教程并不多，而且呢写的也很草率。实际上我应该去 github 上找到 clouding 的 官方仓库，然后看它的 readme 中是怎么说如何安装这个 clouding 的。 在这个地方它给了两种安装方式推荐的呢，是第一种，从这个仓库中下载 mind js， manifest 点 js 和 style 点 css 这三个文件，然后在 opposite 的 根目录下找到 pluggin 这个文件夹，新建一个 clouding 目录，然后把这三个文件放到这个文件夹中， 在设置中，然后开启这个 cloud 这个插件就可以了。是不是看到这里感觉很简单？还有第二种安装方式就是用这个。 br a t 首先我们需要在 obsidian 的 插件市场里边安装上这个 br a t。 然后配置 github 的 呃， token 认证这个方式呢？我也尝试了，发现我没有尝试成功，不知道是网络问题还是我生成的 token 配置， 有些选项没有选上，就导致这个投屏一直认证失败，所以说我们还是用他推荐的这种方式，他推荐的这个方式呢，也有一个坑，就是直接读他的这个描述呢，就以为他这仓库里边就已经放好了这三个文件，把这三个文件拷贝在这就行了，实际上不是这么简单，是应该把他这个 仓库完整的下载下来，然后运行这个仓库，最终生成其中的两个文件，我忘了是哪两个了，然后再把这三个放到这个库里的源码，放到那个， 搁到你这个目录下就可以了，而是运行这个仓库，生成这三个文件，然后再放在这上面。我是怎么发现的呢？因为我自己也是按照他这个描述把仓库原码放在下面，发现开启不成功。最终呢，我是借用这个 windows server 的 能力，让 ai 帮我解决这个问题，最终帮我安装上了。安装上了之后呢，我们在这个 obscene 的 设置里边，在这个第三方插件，在这地方我们选择卡拉 ok， 在 这点击打开就能够正常的开启这个卡拉 ok 了。开启之后呢，我们在右侧就能够看到这个插件了，这个时候呢，我们对话还是失败，你看我尝试了很多次，你好，然后他说那个， 呃，就是无法响应嘛，这个时候是因为我们还没有配那个大模型的那个 apikey， 就 像我们用可拉的扣子一样，我们也需要在这里边配置它的选用的那个大模型的那个地址，还有你的啊 apikey， 在 这个配置中选中第三方插件，然后选择可拉点，然后点击这个设置，然后一直往下滑，滑到下边有一个自定义变量，在这个地方按照这种格式 去配置。你的大模型接入的地址和模型的一个自定义变量，在这个地方按照这种格式去配置。你的是智普的那个扣丁 plan 啊，我这个地方隐去了，实际上这应该挺我自己的这个密钥，大家把自己的密钥放在这就可以了。然后这个时候你在右侧，你再问他，你好，然后他这个时候就能够正常的回复了，你问他是什么模型，他也能够正确的回复你了，就说明已经连接上大模型了。那这个时候你再让他去操作你的文件，他就可以正常的帮你管理你的知识库了。如果这期视频对你有用，记得点赞关注，我们下期再见！

哈喽，大家好，之前呢图文发过我的个人知识库的分享，那个知识库就是搭建在 o c d 里边的个人知识库， 我是把 o c d 跟可乐结合了，是把收集的一些资料，有个人的一些记录都保存在这个仓库里边，我现在正在这演示的是一个比较有趣的插件，你向右边这个是我知识库的三 d 结构，每一个节点就是我的知识点，我们可以 通过这个动态的效果看我们生成的产品的一个树状，还有这个三 d 的 知识图，这个我感觉美观效果要大于实用效果，这个呢方便我们在知识库里边去查阅我们知识点的链接， 这边呢，所有的节点都是我的文章创作内容的一些节点，每一个节点都是一篇我的笔记或者是文章。 那之前呢，我们使用 opc 的 时候，每个节点的颜色还有这些功能的设置，可能是对新手入门不是很友好，但是有了 log 插件之后，他就会帮助我们直接用一句话就可以去整理这个 opc 的 这个系统。 那今天这条视频就通过一个我最新发现的方法，把这个 log 插入到 opc 里边，这个插件是没有删掉到官方社区 市场的啊，大家需要手动的去下载，为了测试方便呢，我就打开测试仓库给大家演示一下。这这是我之前做的一个测试项目，这边是没有快捷键的，我们点击设置， 然后进入到第三方插件，一定要把安全模式关闭，我们去浏览插件市场，去搜索这个叫嗯， rock 的 这个插件，点击安装，我们进入到 rock 里边，我们点击添加插件， 你搜索这个插件，直接安装就可以，安装完成之后呢，这会显示已安装的 qq 点的插件，我们点击设置， 然后选择语言，我们选择简体中文，我们往下拉，这里呢有一个自定义环境变量，然后这里有一个大概的格式，填写完之后呢，大家重启一下这个 abc， 然后就可以直接完成将 collog 插入到 obsidian 里边的这个操作了。将这个 collog 点插件插入之后呢，它在左手边会生成一个快捷按钮，可以直接帮我们打开这个 collog， 就 相当于把这个 collog 给内嵌到 obsidian 这个笔记软件里边了，你不用再在终端行里边去输入命令，然后生成的文章，你要告诉它保存到 obsidian 的 仓库笔记里，点开之后呢，它就会直接弹出这个 collog 对 话窗口。简单说一下将 collog 插入到 obsidian 里边的一个实际应用吧， 你像我这个仓库的一些笔记内容，还有整理的一些文章，这里都可以通过在这个跟 klog 的 对话的时候，直接让他帮我生成一些，包括标签了笔记的属性标注创建这个仓库的，所以包括帮我更新这个目录的结构， 排序库的内容，他都会帮你去整理，包括我平时在做的这些分类的个人工作或者自动化的项目，都是可以通过补点这个插件，让 klog 的 来帮我完成。 然后说一下他跟在终端命令行里边的一个区别，区别呢就是这样的界面可能对我们处理文字类的内容更友好，这样呢，大家看起来可能从视觉上可能会更舒服，因为毕竟这个终端命令行是黑框框的形式，一般呢，终端命令行我是用来做一些 代码的项目，对于搭建个人的知识库呢，我一般都是在 app 这一个软件里面就可以完成。你包括我最近让他给我做的一些项目，都可以是很 直观的去了解每个项目的一个进展跟工作的内容。这些项目的内容全是让 ai 帮我生成的，整理的都很详细，然后他会对这些代办的事项进行标注，你完成一项之后就可以选择确认。 那刚刚的这个教程呢，就是教大家最基本的一个 ai 工具的搭建，就是把 cloud 插入到 office 里边，通过这个 cloud 点的插件。嗯，那今天的内容就到这里了，谢谢大家。

hello， 同学们，然后这一期呢，主要是教大家怎么装这个 gmar 四的模型和这个 code。 gmar 七 b 这个模型。然后呢，我是用 workbody 去装的，你用 qcll 去装也行，你用 opencll 去装也行，都可以的， 因为自己装的话是比较麻烦的，因为自己装的话可能要去这种开源网站先去下载，再去部署，还要用那个 c m d 权限去操作。这个反正我觉得比较麻烦，我直接就把这个 语句做好了，这个语句然后直接发给 workbody 或者 qq， 你 让他去执行就行了， 然后这边就可以让他去执行。我之前是做了这个，把这个投喂给他，然后 workerbody 就 会自己帮我部署这个欧拉玛这个开源模和开源模型这个东西。 然后呢，现在还没装好，不过现在这个欧拉玛已经可以用了，大家可以看一下，但是它是一个全中文的界面，不是全英文的界面， 所以呢，这个欧莱玛呢，还是要变成这个汉化版才行。这个欧莱玛我觉得还是挺可以，它它可以集成这个 open cloud cloud code code， open code 这些都可以去集成， 然后集成以后呢，你还得去下载，就是下载速度有点慢， 让他去集成这个 openclo， 集成这个 cloud code， 这样的话，然后一般都是用这个金面大模型。 e 四 b， 我 比较喜欢这个，这个其实都本地的，然后这边选择模型的时候，大家一定要切记要选这个本地的， 他本地是直接部署好的，你这个云端的是没法用的，云端的他是需要，应该是需要国外的账号才可以用，好像 我是先把它本地部署了，用 workbody 或者 qqlab 本地部署，然后他把本地的大模型都给下载下来，就直接调取本地的就行了，明白了吧？然后现在呢，就是说要去，他要去做这个结合，不过现在下载速度比较慢，大家可以看到等下载完之后就可以使用了。 然后这个 workbody 也在部署，相当于是让这些来通力合作。我现在就在研究哪个模型非常更好用吧，因为我做这个软件开发，需要大量的用这个 ai 来帮我做软件，做小程序。 然后这块呢，我比较喜欢看看是咱们中国国产的这个龙虾好用还是国外的龙虾好用， 比对一下国产的腾讯，反正这几天我用的是挺习惯的，它的交互了以及对中文的识别能力是相当强的。 这个欧莱玛它是一个国外的，应该是一个桌面，桌面的一个开源的系统， 可以调，可以相当于就是调取，相当于调取这个 open cloud， 调取 qcloud code， 调取这个 gmail 四模型，它应该是把所有的模型做成了一个桌面的扣端，让你可以去对话，是这么个意思。 ok， 今天这期就教就到这了，然后大家可以截图看一下我做的这个， 这个这个部署任务吧这个指令，然后大家可以根据这个指令也安装一下，自己尝试一下把这个自己的龙虾养的特别好，然后争取能提高工作效率，那以后你只要上班，你就往那一坐，就可以开始喝茶看报纸， 让龙虾帮你工作就可以了。 ok， 这期就做比较简单的，然后下一期我再教大家怎么用龙虾去开发小程序，开发软件， ok， 这期就到这，然后感谢大家的观看，记得给我点点关注， ok， 下期再见，拜拜。

大家好，本期内容我来分享如何在本地部署谷歌新开源的多模态 ai 模型代码四，我会分享命令行和格式化界面两种安装方案，零基础也能轻松搞定。 最后我还会教你如何修改部署的路径，彻底解决大模型占用 c 盘的问题。本地部署的优势就是你的数据可以完全保存在自己的电脑上，隐私安全有保障，而且支持模型微调， 可以打造专属的 ai 助手。但是他也是有缺点的，就是我们需要稍微懂一些技术，还有就是硬件的支撑，如果电脑配置高，自己可以部署折腾一下。有了本期视频，就算你不懂技术，跟着视频操作也可以部署成功。 本期演示我只分享入门版本，主要就是参考部署的方法和流程。接下来我手把手带大家用欧拉玛一键部署。 首先我们先来了解一下 jam 四到底是什么，它是谷歌新发布的开源多模态的 ai 模型，与 jimmy nay 是 同源的。 简单来说，谷歌就是把自家的 ai 技术打包成了一个免费开源的版本，让每个人都能用上。它的能力是非常全面的，支持文本交互、图像识别、音频处理，还能生成代码， 基本上覆盖了所有的 ai 应用场景。下面我们再来看一下它的核心优势。核心优势它有三个，第一个就是多模态能力，文本、图像、音频代码，一个模型全部搞定。 第二个就是完全免费，它没有会员订阅，没有暗次收费，可以随便的去使用，甚至用它去开发商业化的产品。第三个就是比较重要的隐私安全保障，本地部署模式下，所有的数据处理都在自己的设备上完成， 敏感信息不会上传到云端，这是三大核心优势，就是在我们安装之前，需要我们了解一下这个安装环境。首先系统兼容性 demo， 四是支持 mac os、 linux、 windows 三大主流操作系统，基本上覆盖了绝大多数的用户。 然后就是内存要求，如果你的电脑小于三十二 gb， 推荐安装四 b 版本，自己安装体验折腾一下就可以。如果你的内存达到或超过了三十二 gb， 那 就可以选择二十六 g 或三十一 g 的 版本。 在这里有一个小提醒，就是如果是 mac 电脑 m 系列的芯片，它的显存和内存是合二为一的，大家直接看内存就可以。如果大家不是 mac 电脑，比如 windows 或者 linux， 那 么就优先看显存，显存不够再看内存，这是关于这个配置的查看。像这个本地部署也非常简单，仅需两个步骤即可完成。第一个就是安装欧拉玛，这个欧拉玛就可以理解为是本地大模型的一个容器， 它是装大模型的，有了它才可以运行。第二步就是我们容器安装好之后，我们需要给它把模型放进去，就是部署模型，两个步骤即可搞定。下面我们直接进入实操环节，我们来一起看一下部署的全部流程。 在这里第一步我们就先要有这个欧拉玛，他是一个大模型的容器，就是我们打开之后选择右上角的 download， 这时候我们就需要选择匹配自己系统的版本，在这里我这是 windows， 然后我们选择 download for windows， 在这里选择 download for windows 之后就会弹出窗口，我们选择路径直接保存就可以，当下载好之后，然后我们就安装即可，安装好之后打开就是这样的主界面，这个是我之前安装的版本，部署着一个一点五 b 的 zip， 然后下一步就需要我们去选择大模型，我们还来到刚刚乌拉玛的这个界面，在这里我们选择左上角的 models， 然 然后在这里我们可以看到该马四，然后我们选择进来，它提供了好多个版本，在这里我就选择一个入门的版本，主要就是演示安装的流程，比如我们选择 e 二 b， 然后我们选择，这时候我们就看到了这个安装命令，选择右边的这个两个方框，然后选择 copy， 然后下一步 我们就按键盘上的 windows 加 r 键，这时候出现运行窗口，然后在这里面输入 cmd， 然后直接回车， 回车之后就出现了这个命令窗口，然后我们刚刚复制了直接鼠标的右键，可以看一下，这个命令就粘贴过来了，然后我们直接 回车好了，这时候它就开始部署到本地了，在这里我们需要等待一段时间，好可以看一下出现了 success 这个提示，就证明安装成功了。现在我们在这里可以直接和它对话，比如我们输入你好当前什么模型，然后我们发送 可以看一下，他现在回复我们了，我是一个大语言模型，我叫 jama 四，这时候我们就在本地已经部署成功了， 然后我们再回到欧拉玛的客户端，在这里在这个对话窗口右下角这里，这里可以选择模型，然后我们找到刚刚部署到本地的 jama 模型好了，这时候就切换好了。同样在这里我们也可以直接和他对话，比如我们输入你好，然后发送， 这时候他就回复我们了，你好，很高兴和你交流，请问有什么帮助到你的？到这里我们就已经部署成功了。前面我们分享的是使用命令行 c l i 模式去部署，其实还有一个简变的方法， 在这里我们还可以选择模型后面对应的这个按钮，也是可以直接部署的，这个是非常方便的。好，最后我再分享一个大家比较关心的问题，就是我如何设置这个本地模型的一个部署路径， 在这里我们也不用去改环境变量了，这个客户端是直接支持的，我们选择左上角的设置，然后在这里选择这个 model location， 在 这里我们就可以去设置模型的一个保存路径，在这里大家自己设置就可以，是非常方便的。 好，下面我这里演示的是上传了一张图片，就让他识别这张图片，我们一起来看一下他给我们的结果，好了可以看一下，我们给了他一张图片，我们问他这是张什么图片，他给我们的回复， 这是一张符号或者是图标，然后他还分析了主要包含的元素，还有用途预测等等，能够精准的识别内容，并生成详细的描述， 表现还是可以的。好了，现在我们本地部署成功了，然后刚刚我们也做了一个功能测试，第一个就是我们和他对话，就是文字处理，第二个测试的就是这个图像识别，他也是可以精准识别的， 他虽然是多模态的，但是目前我们用的这个容器不支持多模态的输入，我们暂未测试音频和视频的识别。好，最后我再补充两个细节，就是第一个欧拉玛的拓展性他是非常强的，除了可以部署这个 demo 四， 还支持比如通用签问或者是 deepsafe 等众多的开源模型，部署方法也是完全一样的，一条命令就能去部署。第二个就是本地部署的真正价值不仅仅是隐私保护，更重要的是支持模型微调， 可以用自己的数据去训练模型，打造一个完全专属的 ai 助手。好了，这就是我们本地部署的所有内容，大家感兴趣的可以自己折腾一下，探索更多的玩法。好了，我们本期内容分享就到这里，可以留下你的想法，我们下期再见。

大家好，这两天杰纳斯啊，非常热，有人说他是一个开源模型的一个新王者啊，到底是不是呢？我们今天可以来测一下，刚好这两天有一个特别重重要的一个新闻，就是说，呃， 捷豹四呃跟卡布扣的，在这个奥拉玛这个角度上可以做一个无缝的集成，只需要两步操作，第一步就是你装奥拉玛，然后呢下捷豹四的最新的 efo， 比如说我的这个笔记本电脑，它是 rtx 四零六零的一个显卡，它有八 g 的 显存，我这个机器有十六 g 的 内存。 那么这时候呢，我们就可以下它一个 efo 的 一个模型，也就是捷豹四 efo 大 概九点六 g 下，下来以后呢， 然后用再装一个 cloud code， 你 可以用那个，比如说你去 windows 一下，你可以用它的 cloud shell 命令啊，一键安装，安装好以后，你你可以用这个奥拉玛的一个集成命令，把 cloud code 让他去用本地的杰纳斯 eiffelb 的 这个模型，那就这条命令， cloud cloud 杠杠 model。 杰纳斯，然后呢他会先去 下载这个模型啊，他发现我已经下载过了，所以马上就成功了，然后他马上呢去启动这个 cloud code， 然后让他去用这码四这个模型，然后他会问你几个问题，最后呢就是会让你信任这个当前的这个文件夹。好，我们现在已经到这了，我也是刚刚装好，我们来试一下， 请帮我写一个写一个 hello word 的 htm 页面，并在默认浏览器中打开。 好，我们看一下啊，它的这个怎么样？它现在用的就是我们的本地的杰纳斯 infob 的 这个模型小模型啊，然后我们看一下它的一个 gpu 的 一个利用率啊， gpu 一 现在有百分之九十六，那跑满了，你看到了是吧？ gpu 一 的这个利用率跑满了，我们看看它到底怎么样啊，哈哈， 它现在这个要显示 token 哦，出来了，大概花了不到两分钟吧。三分钟啊， and i will use the batch。 对， 它是先计划啊，然后 yes， ok， 那 现在 open yes， 继续 ok， require pool yes， 哦，打开了，看到吗？ hello， word this is the basic html page。 那 好，我们再让它做一个稍微难一点的，我说写一个最简单的贪吃蛇游戏，并在 切神浏览器中打开，我们看一下啊， 一起创建。 ok， 我 们这样好，打开了，就是贪吃蛇，我看一下啊，可以看能不能玩。 ok， 这个是最简单的，还没有碰到。这个还没有，还没有开始就结束啊，就是不是还没有开始就结束，这个人最简单，但是我们已经看出来这个杰马四啊，他的一些这个功能，我觉得就是他的这个编程的能力啊，我觉得还是可以的啊，因为我这个是小参数模型呃，你不能对他有太高的要求。 ok， 那 么我们今天用这个 cloud code 和 java 四 evo b 这个，呃，一块编代码的。这个游戏呢，我们就告一段落了，我觉得它还是有点用的啊，有些很简单的任务，我们是可以用本地模型的，这样的话也节省非常昂贵的云端 api talk 的 费用。好，谢谢大家。

大家好，我是航灾，今天呢我准备给大家介绍一下在迈克迷你上如何来安装欧拉玛，欧拉玛就是最简单的尝试本地大模型的方法之一了啊， 有了欧拉玛呢，我们就可以创建一个本地的大模型，和他进行一些简单的聊天呢，或者是给其他程序啊提供一个免费的 api， 如果你的本地设备足够强大的话呢，你甚至可以给龙虾 open club 啊提供一个靠谱的大圆模型，不过这是一个未来的梦想啊，不知道大家有多少人的设备满足这个需求。 然后呢我们就来开始今天具体的内容。首先呢我们来看一下文档啊，在好用载当中，我们直接左侧这里啊就有一个五三零欧拉玛的安装和使用，我们点击一下， 然后我们点击网盘分享，然后我们继续向下啊，这个里面呢一共三个文件啊，其中呢一个是文档，一会我们说接下来的两个文件呢，是我给大家下载好的客户端啊，一个是 d m g， 也就是 max 上使用的，一个是 ex， 这个呢就是 windows 上使用的啊。然后呢我们来看一下文档， 文档当中呢一共有三部分内容啊，第一部分呢就是欧拉玛的官网，第二部分呢是我们一些具体要使用的内容，第三个呢就是我好用在的官网，大家爱学学用就可以了。然后呢我们先说一下欧拉玛的官网，欧拉玛的官网呢，一共有两个啊，一个呢是它真正的官网，另外一个呢是它 github 的 官网， 我们可以一起来看一下啊，至于命令呢，一会用到的时候一起说，这里呢就是欧拉玛的 github 官网，如果需要什么内容呢，可以直接到 release 这里面来下载啊， 不过我们一般呢直接使用欧拉玛点 com 这个官网就足够了。这个官网当中呢，右上角这里就是登录的，也就是下载点击一下 这个里面呢就可以选择是 mac os 或者是 windows， 然后点击下面的登录的，就可以下载你对应系统的客户端了。我这里呢给大家演示一下 mac 系统当中客户端如何来使用啊。在 mac 系统当中，我们直接双击这个欧拉玛，点 app 直接投入到这个应用文件夹里面就可以了。 好的，这样就可以了啊，接下来呢，我们在应用程序当中找到欧拉玛，然后进行点击，这里就是欧拉玛啊，我们双击 第一次运行的时候呢，它会提醒你一下啊，是从互联网下载的，问你是否要打开，我们直接选择打开，现在呢我们就已经进入到了欧拉玛的主界面啊， 然后呢我给大家说一下它的初步设置和使用。首先呢我们先来设置一下啊，因为只有一步设置非常简单，我们直接上滑啊到最上面的菜单栏，然后呢点击一下欧拉玛这个图标，这是一个小羊驼嘛，然后点击 setting， 也就是设置 这个里面呢，只有一项啊，需要打开，也就是说把欧拉玛暴露到局网，这样的话局网其他设备才能够正常的访问欧拉玛， 比如说你的 windows 系统啊，你的丽江系统啊，如果你想使用这台设备的欧拉玛开通的服务，那么你要把后面那个开关啊，直接点击打开一下，下方刚才也看到了出了一个 c 五，这样呢就已经成功了啊，然后还有一个我们再说一下啊，底部这里还有一个上下文长度，默认呢是四 k， 比如龙虾 open 可乐啊，他就要求一定要十六 k 起步，所以说如果你之后有其他程序需要更大的上下文，你需要在这里呢进行一下调节，只有这么两个选项啊，需要说一下，别的呢就没有了。然后我们把这里啊直接关闭一下， 在接下来使用呢也非常简单啊，在这里你可以选择具体的模型，比如说我们点击一下啊，默认的是这个 g m 三啊， 我们可以不用，我们可以向下选择，比如说啊，我们这里选择一个千万三四币，我们点击一下，然后这里呢你随便打一个字，比如说这里呢打一个你好，然后一回车，如果没有这个模型的话，它就会自动进行下载了，我们稍微等待一下，等待它下载完毕就可以了， 大家可以看到现在这个模型呢就已经下载完毕啊，同时呢他也给出了答复，接下来呢你就可以直接跟你的本地大模型进行对话了，比如说呢，这里我们可以问他啊，你都有什么功能，然后直接回测一下， 因为它是一个思考大模型嘛，它首先呢会进行思考，在思考之后呢才会给你形成一个输出的答案啊，我们还是要稍等一下， 现在呢他就开始进行正式的输出了啊，我们还是要继续等一下。好的，现在呢就已经输出完毕了，这个呢就是你跟本地大模型的一个交流过程啊， 所以说总体使用上啊还是很简单的，接下来呢我再给大家演示一下，你现在已经搭建好了，但是其他的程序如何来使用呢？我们这里呢就以 cherry studio 啊来给大家做一下演示。我们打开 cherry studio 以后呢，这里就有欧拉玛，我们点击欧拉玛之后啊， 我给大家简单的说一下如何来设置啊。首先呢你要填写一下 api 地址，这个 api 地址呢就是你的欧拉玛运行的设备，我这个设备的地址呢就是三幺点二二二，后面的部分呢不要变啊，后面是端口号，再加上一个路径杠为一， 这个呢就是它的一个完整地址，我在文档当中呢也有写。再接下来呢我们就可以添加一个大模型，选择添加，然后呢这里要求你输入模型 id， 我 们看一下这个模型 id 是 多少啊？模型 id 呢就是千问三冒号四 b， 然后我们这里手动输入一下啊，千问三冒号四 b， 然后我们点击添加模型，再接下来呢我们选择检测来看一下效果啊，点击，然后这里默认呢就是千问三冒号四 b 啊，我们点击确定 可以看到连接成功，也就说到这里呢，我们的 cherry studio 啊，已经可以使用我们本地大模型了啊，比如说我们点击这个助手， 然后在最上面这里啊，我们选择一下，这个呢就是我们自己本地的欧拉妈妈，然后就是纤维三四 b， 我 们选择一下，在接下来呢，你就在这里输入聊天信息就可以了，比如说这里啊，你同样输入你好，然后回车可以看到它，同样呢是正常的调用了这个本地大模型， 还是开始思考，然后给你答复，没有什么区别啊，跟刚才我们直接使用欧拉玛本身的客户端呢，效果差不多。好的，这里呢开始答复了，可以看到这个思考模型啊，耗时非常多，二十四点三秒， 到这里呢我们就已经知道如何来安装和使用欧拉玛，同时呢如何和其他的软件来进行对接。整体的使用呢，其实是非常简单的，不过我们如果使用这个存储页面的话啊，它的功能呢还是比较少，但是如果我们使用命令行的话，能管理的内容，同时呢也可以看到更多详细的信息啊， 所以我还是推荐大家学习一些基本的命令行命令啊，这样使用起来呢会更方便。然后呢我们就来看一下啊，命令行都有哪些命令？我这里呢给大家列出了几个常用的命令啊， 前面呢都是奥拉玛这个开头，然后后面第二个呢就是具体的参数，比如说第一个奥拉玛历史，就是列出目前所有已经下载的大模型。第二个呢库就是我们要去拉取某一个大模型啊， 第三个 run 呢就是我们要运行这个大模型，所以说大家如果看头三条命令，如果你之前用刀刃用的比较多的话，你会发现啊，这个命令呢除了前面变成了欧拉玛以外，剩下的部分呢基本都是一样的啊，整体呢还是很好记的。 然后这里呢多加了一个这个沃 boss， 它就可以看更详细的内容，一会呢我给大家演示一下啊。最后呢这有一个 r m， 也就是删除，前面呢我们要说一下如何来进行删除， 然后呢前面我们进行的 run， 也就是运行，后面这里呢我们说了一下如何退出啊，接下来呢我就给大家一点一点的演示一下啊， 首先呢我们这里打开一个终端啊，接下来呢我们就可以一条一条的运行命令了，比如说啊，首先我们看一下欧拉玛 list， 我 们直接复制，然后呢在这里右键粘贴，然后回车 可以看到现在这里面呢我们就有了一个大模型，就是我们刚才下载的千万三四 b， 所以 说如果你使用终端的话啊，你刚才跟别的软件进行对接呢，你都不用手敲这个模型了啊，因为有一些模型啊，它的名称还是比较长的，所以说你直接可以复制一下，直接滑动一下啊，然后就直接复制了，或者是你再右键一下都可以啊，它就直接复制了， 然后到你的软件当中直接粘贴就可以了，这样用起来呢比较方便。这个呢就是历史的作用啊，就可以看到你现在里面有多少个大模型了。然后第二个呢就是铺，它就是用来拉取大模型的，具体拉取的大模型名称呢，就是后面这个啊，但这个名称怎么来的呢？我给大家说一下， 我们打开欧拉玛的官网，然后第二个啊就是 models， 这个就是模型啊，我们点击一下，现在呢我们就来到了模型这个页面，里面呢，就列出了目前所有热度比较高的模型啊，当然你也可以在上面进行搜索，比如说那你直接搜索千问， 可以看到千万所有的模型呢就都列出来了啊，比如说我们选择一下这个千万三点五啊，我们点击一下，然后这里就写了啊，欧拉玛瑙，然后千万三点五，你直接复制，然后在终端中粘贴就可以了。当然啊，如果我们想要别的模型的话，也可以， 因为这里我们向下滑动一下就可以看到啊。如果你刚才直接选择欧拉玛瑙切问三点五默认的呢，它就拉取的是这个九 b 的 模型，因为这个呢是 latest 的， 如果你后面不加这个模型大小的话，默认拉取的就是这个啊。我这里呢给大家说一下我使用的 mac mini 它的使用情况。 mac mini 呢，最多是能跑到十四 b 的 模型，大概跑到十抽根左右吧。十四 b 以下的模型呢，一般都可以跑九 b 呢，是一个相对比较适合的模型。不过如果你跑 open cola 那 种需要十六 k 上下文的，你就跑不了九 b 了，就只能跑四 b 啊，因为上下文呢，同时要消耗一部分内存， 所以说这种最适合的九 b 呢，如果再加上十六 k 的 上下文，它所需要的内存呢就比较大了。我曾经直接把麦克迷你啊直接给跑死机了，它自动重启了啊，在我之前使用麦克迷你的时候，我几乎就没有听到过它的风扇的转动啊， 但是自从我测试 ai 开始啊，麦克迷你风扇呢就会经常听到了，也就是说 ai 啊，对于它的性能压榨呢，还是很严重的。 所以说，如果你需要一个大的上下文，你就只能跑到三点五四 b 了。如果你只使用默认的四 k 上下文，那么你是可以使用到九 b 的 啊，当然如果你不需要很大的上下文，同时你也能够忍受速度的话，你其实呢是可以跑到十四 b 的， 比如说前面有那个 coder 十四 b 嘛，可以跑一下，没问题的， 我们这里呢就以切问三点五四 b 为例啊，给大家看一下，我们直接点击一下后面的复制，然后呢我们回到终端里面来啊，我们直接输入欧拉玛，然后铺，然后直接右键粘贴，然后直接会撤， 稍微等一下呢，他就可以直接去下载了啊，而且这个和刀客一样，刀客我们也可以先铺，然后再 run， 但是如果我们直接 run 的 话，刀客里面如果这个镜像没有，他会先去下载，然后就直接运行了 欧拉玛。同样啊，你可以直接运行欧拉玛 run， 这样的话，如果里面没有这个模型的话，他就会直接先去下载，然后呢就会自动运行了啊，我们稍微等一下可以看到啊，你用命令行下载的话，速度是要比刚才用的那个客户端啊下载速度要快的多，所以说我建议大家啊，尽量呢是用命令行来下载。 好的，这里呢就下载完毕了啊，我们稍微等一下，这个速度是要比刚才的客户端要下载快非常多啊，然后这里我们就可以执行下一条命令啊，就是欧拉玛瑙了，我们直接到这里面来啊，直接复制一下欧拉玛瑙，然后同样啊这个模型的名称，切问三点五四 b 邮件粘贴，然后回车 出现这个符号呢，我们同样啊可以开始跟他正常的对话了，比如说这里同样啊，我们输入你好回车， 同样呢这里又开始正常的输出了啊，没有什么区别，但是这次的速度呢，可以看到啊，快很多。然后如果我们想退出的话啊，就是底部，这里就是给大家说了， 你可以用两种方式来退出，一种呢是 ctrl 加 d， 一 种呢是杠 e x i t， 我 们这里输入一下啊，杠 e x i t， 然后回车，现在呢我们就重新回到命令行终端了，这是第一种方式啊，然后我再给大家说一下啊，你后面加上这个沃 boss 有 什么区别啊？这个是详细的意思，我们直接把这条命令再一起复制一下， 实际上就是在刚才的欧拉玛 run 后面啊，多加了一个参数而已。我们同样啊右键粘贴，然后回车，然后这里呢我多说一句，你都能做什么？然后回车， 这里呢它就开始正常输出了，然后我们稍微等一下啊，可以看到啊，上面就是它的思考过程，下面这里呢就是它具体的输出过程啊，整体的速度呢还是比较快的， 如果你加了 woobos， 在 最后这里呢就可以给你一个整体的输出啊，第一行呢就是它总共的消耗的时间，一共呢花了三十九秒， 然后呢这里有一个加载的时间，也就是把模型加载到内存里面去啊，一共呢是一百一十七毫秒，在下方呢这是一个提示词的数量，也就是刚才我给他发的提示词啊，当然一般里面还包括一些系统提示词，所以说呢，它一共是十三个桃痕啊。 再接下来呢这些提示词的处理，一共花了二百六十五毫秒，再接下来呢，提示词的处理速度是四十九 tock， 接下来呢，就是输出的部分了啊，输出的部分呢，一共输出了六百四十八 tock， 花了三十八秒，相当于呢，每秒是十六点七七的 tock， 大家经常关注的呢，其实是最后这个啊，也就是每秒能输出多少 tock。 所以 说，如果你习惯之后呢命令行的话，你就能看到很多更加详细的信息，而且你习惯之后呢命令行和图形界面那个差距并不大。 而且最主要的是啊，如果我们一般使用本地大模型的话，一般也不会用它这个客户端也不会用这个命令行啊，因为都是我们要通过其他的程序来进行调用。这部分呢，主要是用来检查一些信息啊，比如说某一个大模型，它是否速度足够快啊， 这一次呢，我们直接摁 ctrl 加 d 啊，同样也是直接退出了。有的同学可能会问，你为什么用 mac 来演示，你为什么不用 windows 来演示呢？ 就是因为我 mac 这个核显啊，本身还算是可以跑，大模型呢，还是能跑的动的啊。如果我用 windows 的 核显来跑的话，我那个是十一代的 a u c， 它的核显啊，也就只能跑动二 b 的 模型，而且速度呢，还挺慢啊。 所以说，如果你还想用 n s 来跑的话，如果你没有一个好的显卡的话呢，那个速度啊，就会更慢了。如果大模型太小的话，智商实在是太低，我觉得四 b 啊已经是底线了。 再向下我觉得只能在手机上回答一些简单的问题，还可以，在电脑上呢，已经不适合了，欧拉玛呢是一个入门的好程序，但是它并不是 mac 上使用最好的一个程序啊。后面呢，我还会给大家介绍其他的程序，如果你对这方面内容比较感兴趣的话啊，可以持续关注 上面这里呢，也已经把所有的命令都介绍完了。最后这里呢，就是刚才给大家提过的啊，你需要在其他程序上调用的时候需要写的地址，你只需要把里面的 ip 换成你自己设备的 ip 就 可以了。 好的，这就是本期视频的全部内容，如果你觉得这期视频对你有帮助的话，欢迎点赞评论转发，一键三连，当然也别忘了关注我们，下次见！

大家好，给大家安利一个 obsidian 的 神奇插件，叫 cloudian。 我 们平常都会用一些 markdown 的 东西去记些东西啊， 不管是平常工作里的内容啊，看论文，还是说记一些土豆，我都会选择用 obsidian， 然后我平常会写土豆这个是用 ai 生成的，然后我刚刚做了一个悬窗，然后在这个地方我选完之后，这边会同步过去，然后我也可以新增一个 test， 二，就它们是联动起来的。那这个东西我做了多久呢？ 十分钟，因为我有一个神奇插件叫可捞店，开始跟他说帮我做 h t m l， 后来我觉得 h t m l 就 没法不断地去互动，去交互，我本地改了，那边也显示不出来，我说能做个插件吗？他就做了插件。做完插件之后，我一想在插件里去看，和我在 off 店里直接看好像没啥区别，那我就让他帮我做了一个悬浮弹窗， 总共花了十几分钟，就只跟他说话。除此之外呢，他也可以去帮你管理你的整个 pc 店的内容，可以让他去分类，可以让他去改格式。那么剩下问题来了，为什么我要用 cloud 店，我不用 cloud code， 它的 co work 模式呢？我觉得更方便吧，首先你把它切到 kmi 二点五之后它是国产的， 然后他是也有多默契能力，基本上什么事能干，然后就是更便宜，不是什么活都需要让 cloud code 这么贵的模型去干的。如果说你就是生成一些东西，整理下格式，那你平常记这么多东西，然后全都备进去，是花很多钱的。 好，接下来我给大家讲一下怎么装这个插件。好，那么来看一下怎么安装，以及怎么样把它从 cloud code 的 切到 kimi 二点五，这样可以更便宜更方便。 我们首先呢它的插件官网就是可捞店嘛，安装的，在这个地方这个网页上下这三个东西，复制到这个里面新建一个文件叫可捞店，然后再去 app store 里面把插件 in app 打开就好了。 然后我们看一下这三个文件，或者你直接打包 vip 下好之后呢，我们打开点 app store， 这个路径就是安装的路径，然后找到这个 plug ins 就是 你插件，然后在里面新建一个文件叫可捞店，它本来是没有的， 然后把这三个东西复制进去，这个是后面生成的，你在审核中就会生成这个文件，等一下我们去 apple c 店里面再去操作一下，然后我们先看一下怎么样去切模型，这个都在 github 的 issue 里面，都有人去讨论，然后有人提过怎么样去解决 ppi 的 问题， 这里面是有写的，其实就在插件里面环境的地方去配置你的 api k， 这个 api k 是 你的服务商官网，东西直接复制出来就好了。 我们来 opc 店里面去实践一下这个地方，我们打开 opc 店之后，嗯， come on， 加 p， 打开设置，或者你直接找设置， 然后来到第三方插件啊，这个地方你要把安全模式关闭才能去装第三方插件，然后在第三方插件里面找到可捞点， 把这个打开就好了。然后你点开可捞点这个插件之后，想要去把它切成 kimi 的 话，划到最底下，在环境 custom， rgb 这些东西全都贴进去就好了， 你可以看到他把 cologold 的 模型给覆盖成了 k b 二点五，然后上面是你的 a p i k， 然后你就可以像我这样去使用了，说什么都可以，真的很好用，可以去帮你理解很多东西。后面我也就会去分享更多关于 ai， 关于 web 扣定的想法跟玩法。我是小新，关注我带你一起去逛 ai。

使用欧拉玛可以一键部署本地大模型，我选择的模型是千万三点五九 b， 现在来演示一下， 可以看到 gpu 使用率向升，由于我这台电脑的显卡配置比较低，所以输出的比较慢。 好，终于输出完成了，接下来是 gg 教程。 首先肯定是要下载欧拉玛的这个软件，进入欧拉玛的官网之后，选择 windows 点击下载，当然这个下载起来会非常的慢， 我也给大家把安装的程序上传到了网盘下，下载后双击打开直接安装，安装完成之后就是这样一个界面，可以在这里点击你想要的大模型，比如说这些是云端大模型， 从这里开始就是本地大模型，这个是谷歌开源的本地大模型街吗？ deepseek 千问三，还有其他的一些模型啊， 对于模型怎么挑选，得看电脑的配置，比如说我这台电脑 cpu c a m d 二五六零零两根 d d e 二四的一六 g 内存条， 显卡是一六六零 s 六 g 的 显存，这个已经是非常老的显卡了，后续我准备根据我的电源升级成四零六零 t 一 六 g 显存的，所以根据我的电脑配置 选择了比较小一点的模型。那你的电脑适合哪一个大模型？可以把配置发给豆包问问，让豆包帮你分析适合下载部署什么样的大模型。今天的教程就到这，关注我，评论私信。

大家好，最近大家都应该刷到那条新闻了吧，深圳一个程序员用了某个在线工具，才三天就花掉一万二，全是掏坑费用，真的太吓人了。很多朋友跟我说，现在都有掏坑焦虑了，不敢随便用，不敢随便问，生怕一个不小心就扣费， 其实真的没有必要，今天我就教大家一个完全免费，不靠 talkin， 不 联网也能用的方法。本地部署大模型用到的工具就叫欧拉玛，它就是专门让你在自己的电脑上快速跑大模型的，像什么 deepsea、 千问这些主流大模型全都能本地跑。 接下来我就一步步带大家操作，跟着我做，你也能轻松把大冒险装在自己的电脑上。首先我们打开欧拉玛的官网， 这个时候我们会看到右上角有一个下载按钮，来我们点击一下， 在当前页面我们就可以选择适合我们操作系统的版本， 那么我的是 windows， 我 就选 windows， 然后继续点击下载按钮，这个时候呢就已经开始下载了，因为这个文件比较大，它需要的时间可能会长一些， 然后我们就找到我们下载完的这个文件，双击 双击之后就会开始安装，然后我们进行下一步 啊，等他完安装完成以后呢，他就会自动启动，那么这个时候呢，就出现了这么一个界面，就说明已经安装成功了。 我们来看一下这个界面，这里呢给大家说一个小技巧，如果在安装过程当中遇到什么问题，我们可以把问题发送给抖包，让抖包来协助解决。 那么接下来呢，我们就来验证一下欧莱玛是否运行成功， 当我们看到这个反馈界面的时候，就说明已经成功了， 那么这里呢，我也会把一些常用的指令分享给大家，赶快去下载试试吧！

来回答一下最近问的比较多的问题。第一个， power shell 窗口怎么打开？咱们以桌面环境为例，按住 shift， 再按下鼠标的右键， 点击在此处打开 power shell 窗口，这样就行。第二个问题，欧拉玛的版本，在 power shell 窗口中输入 欧拉玛杠 v 回车，可以看到我当前的欧拉玛版本号是零点一八二。第三个问题，欧拉玛下载大模型后，怎么更改大模型的存储位置？在欧拉玛任务栏的小图标中，右键选择 setting 设计， 可以看到奥拉玛默念的储存地址是在 c 盘，我们点击这个按钮，重新设定一个位置，我给它放到 d 盘，新建一个文件夹，奥拉玛 model 好， 点击确定， 这样就更改过来了。第四个问题，选择好模型，点击下载按钮后，界面没有反应，大家可以在输入框内输入一个问题，比如介绍一下自己 发送后就显示正在下载模型了。第五个问题，欧拉玛的官网下载速度太慢怎么办？ 升级出现无法访问的现象？关注我，我给你发网盘的链接。

欧曼曼的三种用法，第一种直接在可以里面输入消息， 因为是流逝输出，所以看着内容很凌乱。 第二种是在欧曼客户端程序对话框里面输入消息， 这种消息的展示也非常美观，能很好处理流逝输出。 第三种是使用 o m 提供的 a p i 服务， 方便外部应用集成，可以在 call 程序里面进行调试。 以上就是三种 o m 的 用法，关注我，了解更多暗玩法。

今天我将跟着大家一起本地步数加码四，接入 open core， 彻底告别托肯焦虑，接下来跟着我操作。 这里我们先进入 elama 的 官方网站，进入官方网站过后，我们直接点右上角的 download 下载，我们这里是 windows 系统，选择下载 for windows， 点击这里， 这里就等它下载好。下载好之后，我们这里就直接双击运行，这是它的安装界面，我们直接点安装这里，等它默认安装好。 好了，这里 elama 就 安装好了。然后我们到这个地方 elama 的 官方网站，选择 models， 这个地方选择 command 四， 然后这里我们选择我们的模型，这个模型的选择我们根据我们的显卡显存大小来选择。我们这边看一下我们的显存是多少， 这里看到我使用的是四零七零的显卡，显存是十二 g b 的 显存，十二 g b 的 显存的情况下，我们可以选择这个九点六 g 的 模型，这个一四 b， 这个我们直接点进去，选择一四 b。 点击进去过后，我们直接复制这条命令，然后运行一个 cmd 窗口， 直接粘贴这里，它就会欧拉玛会自动地给我们安装这个模型。呃，这里等的时间是比较长的， 这里模型已经下载下来，并且运行起来了，我们向它发送一条消息，试一下你是谁， 反应还是可以的，这就跟了我们信息回答了。好了，在这里过后呢，我们就可以把这个窗口关闭掉， 关闭掉过后，在 lama 这个地方我们去选择这个模型，在这个位置也就可以和它进行通话了。 比如我们问他一句，你可以帮我做些什么， 他已经帮我回答了，在这里呢，我们因为我们是在本地虚拟机上安装的，所以而且我们为了方便以后可以在其他计算机上也可以调用，我们在这地方设置这个位置 点，这个位置点设置这个允许在网络上运行，把它开起来点了就可以了。 好了，我们下一步就开始配在 open core 上配置啊，在这里我们进入虚拟机之后，我已经执行了 npm i， 刚接 open core 全曲，安装 open core 的， 我们这里可以执行一下 mini， 看下我们安装的版本。 openclock 杠 v 是 安装的最新版本二零二六点四点五版本，然后我们执行 openclock on， 在 这里我们进行一个调试，这个地方我们 yes， 这里选择快速，这个地方它是让我们选择大模型，呃，大模型它这里有，我们选择本地的这个位置点确定 这里我们直接就选择本地的，不要选云，上面是带云端的，就选择本地模型。 这地方让我们选择模型，我们选择这个，这就是我们刚刚这个就是我们刚刚下载好的模型，就是 直接回车。等一下， 这里让我们选择通讯工具，我们这直接跳过，暂时不管这个，直接跳过。 呃， scale， 我 们这边也选择否先进行最简单的安装 网关，我们就直接重启， 选择 open ray web ui 好 了，我们看一下 open core 运行起来了没有。 open core getaway style sta 好了，已经运营起来了，我们进去看一下， 这边需要 token， 我 去看一下 token 是 多少，关于 token 的 话就是我们，我现在是在虚拟机里面安装的， 我要重新打开看一下，在虚拟机里面安装，我们就直接去通过这条 mini 访问我们的虚拟机， wsl 的 虚拟机访问，然后无斑图选择 home 目录，选择我们的用户， 然后这里选择点 opencloud 这个文件夹，然后这一个 opencloud json 让我们看一下，到 git 里面去，这个地方就是我们的 talking， 复制粘贴下来到这个地方，点连接好了，我们尝试给他发一条消息，你是谁？ 在主位置这个地方，我们可以看到这地方是我的模型。 我再问他一条消息，你现在使用的是什么模型？ 看这里已经是我当前运行的模型 工具，在这里我们就可以看到了，我们现在整个 open call 来使用的是我们本地模型，就不需要去购买 token 了。好，今天内容就这么多，谢谢大家。

前两天我出了一期视频，介绍了谷歌新的开源模型 jm 四，根据他们官方批阅的文档，给大家做了一些技术的拆解，并没有进行实测。这导致呢，很多人以为我在夸他，好像觉得这个模型特别的牛，那实际上他拉完了， 因为他对标的是千万三点五，但是每一项的都比千万三点五的评分要低，有很多人觉得很新鲜，他竟然可以在手机上部署。还有人好奇在本地部署这个模型之后，有没有审查，有的兄弟包，有的，如果你想让他帮你执行一个任务，但是他判定为有害，他就会拒绝你。 今天演示的这个模型呢，是我无意中看到的，绝非主动寻找。 j 八四三十一 b， 那 它的框架呢？是 m l x， 这个是苹果专门为它的 m 一 代芯片设计的数组计算框架，也就是说 windows 系统无法使用。那可能有朋友说了，哎呀，那我是 windows 系统，我想要一个无审查版本，怎么办呢？那你就不能使用这个 j 八四了，因为它拉 我们可以直接使用千万或者其他模型的无审查版，我们稍后会来演示怎么去部署它们。如果你没有麦，可以跳到后面去看，那如果你使用的是麦系统 m 系列芯片，我们需要下载一个麦软件 v m l x， 你 可以把它理解为类似的欧拉玛这样的工具，我们点击下载， 跳转到 get app 上，下边呢就是这个安装包，我们点击一下就可以下载了。安装完打开之后呢，是这样的页面，你会发现全是英文呢，我们看不懂，在右上角呢，点击这个小图标，给它切换成中文， 然后点击上方的服务器，我这块呢已经安装了这个模型，我可以把它删除，我们重新演示一下，应该是这样的页面，我们点击创建，然后点击这个 download， 在 这一块去搜索我们想要下载的模型，比如说我这里搜索 java 四， ok， 好 像有点难以找到，那我们就回到这个 hackinface 上，复制一下这个名称，然后呢我们把它粘贴进来，在这里呢可以看到这个模型被下载的次数是三点一 k 三千多次，点击之后呢直接等待它下载完成就可以了。 完成之后呢，我们点击本地模型，这里就能看到它，然后点击进去开始启动服务，这个时候呢就已经运行完成了，那我可以询问一下试一试， 这里我们可以看到它可以正常的回复，也就说我们成功运行起来，但是它真的是无审查版本吗？我们需要来试一下。 同样的问题呢，我们来问，拆下 g p t， 它就会告诉你，这个我不能帮你。那这个时候可能有没有好奇哎，这个无审查方面它是如何做到的？简单的给大家提一嘴，大家稍微的了解一下就可以了。 不知道各位在小时候有没有接触过游戏修改器，一个道理，比如说我们准备两组提示，一个是有害的，一个是无害的，有害的就是如何下载盗版资源，那无害的就是如何下载资源，模型就会正常回答我们的请求， 然后呢就可以对照在模型的每一层记录这些提示词，最后一个头根位置的激活向量，去计算有害提示和无害提示激活向量的平均差值，就像游戏的那个内购，一个是内购失败，一个内购成功，你把它们两个的值一改，对调一下，这种方式用的比较多，因为它成本比较低。 哪一种方式呢？就比较传统了，就是监督微调，收集大量的有害提示和无害提示的数据集，直接对原始的模型进行训练，直到他学会了不拒绝有害内容。但这种计算成本呢，是非常高的，更详细的我就不再展开了，因为我也不懂。 好，现在我们回到这个软件中，点击这个聊天，然后新建这里简单提一嘴，不管你让他干什么，我假定你用他来角色扮演。你需要注意的是，因为他是无审查版本，他把底层兜底的那套给拿掉了，所以这个模型呢，就非常容易崩溃，特别是上下文过长的时候，这个时候模型就会中毒，出现模型退化的情况， 就他开始不说人话了，一直输出一个字母，像卡了一样，一直重复，想要规避他呢，也非常简单，我们点击右上角的这个 chat， 然后把这个思考模式呢给它关闭，会相对来说好一些。一旦出现我说的这种模型退化的情况，那你就需要新开一个对话。另外呢，还需要把这个重复惩罚给他拉高一点，因为他默认是一，几乎是没有惩罚吗？这样模型一旦找到一个自己喜欢的符号，他就一直输出，就非常的烦人。所以呢，你可以把它拉到一点二 啊，以后这一点三。下边这个呢是系统提示词，你觉得扮演什么呢？会用的上，我们还可以去限制这个最大的输出 token， 让它占用的更少一些。系统提示词这里呢，我让它是一条小狗，保存 好。 sorry， 忘记把这个思考关了，保存一下。我是小狗，你在跟我说话吗？歪头好奇的看着你，汪，好家伙，我是老狗。 那这里我们又注意到一个问题，我们关闭掉那个思考之后呢首字会被截断啊，所以各位权衡利弊一下，应该是这个软件的问题，那接下来我们来说一下我拉玛如何去部署其他的模型。来到我拉玛的官网，我们直接去下载一个软件，选择你的系统，然后下载把它安装一下， 然后打开，这个时候呢我们就进入了我浪漫的页面，我们可以直接在这里去搜索下载模型，但一般来说在这里直接去找这个无审查版本，遇到困难我们可以试一下， 你看我们搜这个破解它都搜不出来，都是官方的版本，所以我们需要在哈根 face 上找到自己想要部署的模型，那比如说选择这个，我们看一下文件， 然后去选择一下你想要部署的模型，可以直接用这个 b f 十六或者下面的量化版都可以，我拿个小的给大家演示吧，我们直接复制模型名称，然后呢打开我们的终端，输入浪漫的命令，哈根 face 点 c o， 加个斜杠粘贴，加个冒号，我们选一下这个量化版本 后边这个是 q 四，然后粘贴在这个冒号后边。我们回车，这个时候呢他就开始拉取下载模型，我们只需要等待就可以 下载，安装完毕之后呢，可以在这一块直接去选择我们安装的模型，或者说呢我们直接在终端里进行聊天，如果你的网速还可以，或者你有充足的时间就不用管它，它下载完成之后呢会自动部署。下面我们来讲另外一个情况，比如说你在网盘里或者经销网站中下载的一个模型，并且呢把它保存在了本地，那我这里用个图片来伪装一下，假装是它， 然后我们看一下这个简介，然后复制一下这个地址。 ok， 我 们 cd 进入这个路径下，你可以看一下它是否真存在。 ok， 可以 看到。啊，原来我说怎么找不到呢，原来这个扩展名没改 好，这样就可以了，因为我是给大家演示嘛，所以它是一个假的。然后我们去创建一个文件， 指定一下模型的路径，然后下边呢是一个系统提示词，大概呢就是这样一种格式，然后下边还有一个这个呢是他的输出模板，好像千万系列模型都需要这样，然后我们保存一下给他退出， 接着用我拉玛来创建模型，随便起个名字，比如说就叫 faker。 然后呢我们注意到这里有个错误，这是因为我使用的假模型给大家演示，来到这一步之后呢，你就基本完成了，直接用我拉玛来运行你这个模型就可以了， 比如说 faker， 然后这样就可以运行了，很明显我这个运行不了的，因为它是假的嘛，啊，大概就是这样。 那以上呢就是本期视频的全部内容了，不确定这个视频能不能过审，如果你觉得对你有所帮助，或觉得视频做的还不错的话，欢迎给个一箭三连，有什么疑问或想看的内容也可以在评论区进行留言。最后祝各位玩的愉快，我是段峰，我们下期再见，拜拜！

今天呢我们来讲一下如何在你的电脑本地部署一个 ai 大 模型，从而呢让你拥有一个没有次数限制，没有网络限制，绝对私密安全的本地 ai 助手。 好，首先呢我们需要去查一下自己的电脑硬件配置，看一下我们的电脑适合部署什么样的大模型。那么像我这里呢，安装了一个还比较简单的本地大模型，这个呢在我们的普通的游戏笔记本就可以跑动的一个模型， 以这个为例，我们来讲一下整个的安装流程，只需要根据如下几个步骤就可以完整的安装好我们的本地模型，并且呢后期可以实现随时的来下载别的模型随时去替换。那么最简单的部署方案呢，就是我们的我拉玛加一个 block， 可以 实现我们的本地格式化界面。好，接下来呢我们来按照我们的流程一步一步的来进行设计。好，首先安装我们的这个欧拉玛，我们只需要双击下载，完成后，只需要双击安装即可 弹出提示呢，我们点击试，它会自动帮我们去安装一些环境配置 好。安装完我们的欧拉版之后呢，我们可以先把它关掉，然后在我们的命令窗口里去安装我们的大模型。那么如何验证我们的欧拉版安装成功呢？同样是在我们的，先按 win 加 r 键打开 cmd 命令。 好，这里呢我们可以来输入一下，验证 好，复制粘贴一下代码，点击回车，我们可以看到这里呢出现了这个欧拉玛的版本号，说明我们的欧拉玛就安装完毕了，接下来呢我们进行下一步就是去安装我们的大模型。 好，这里呢我们只需要把这个命令复制粘贴好，如果呢你的电脑配置还比较高，适合一些其他的大模型，我们只需要更改后面的大模型名称即可。 好，粘贴以后点击回车这里呢我们需要等待这个模型自动下载完毕。 好，一般比较小的模型呢，它这个下载也比较快，而且呢它整体的这个占用的内存也比较小，这个呢只有不到一 g 的 内存 好，下载完成之后呢，它会提示 success 成功。好，其实这时候呢，如果我们只是用来和大模型对话聊天，那么我们只需要打开 elama， 我 们可以看到这里呢就会显示我们已经下载好的一些模型。那么最后这里就是我们刚才下的模型，我们只需要选中这个模型就可以正常跟它对话和聊天。 现在这个模型呢是完全的本地运行状态，我们可以试着把网络关掉，然后呢再和它进行对话。那么接下来呢，我们再让它写一个贪吃蛇的拍绳代码， 好，可以看到它这个速度还是非常快的。 好，所以呢这就可以证明。哎，我们这个大模型呢，在本地可以正常的去运行，而且呢可以帮我们去完成一些日常的简单的任务。 好，那么如果说我们有更高的要求，或者说我们的电脑配置比较高，那么可能我们需要去做一些上传一些复杂的文件，或者是让它拥有一个对话记忆功能，那么此时呢就需要我们利用另一个，也就是我们的 open web， 那么 open web 呢，需要借助这个 docker， 所以呢我们还需要先来安装这个 docker， 那 么前提是如果你想有其他的一些更复杂的需求，我们就接着进行下一步，那么 docker 呢？这里我们可以选这个电脑版的六十位， 好，双击安装好，同样我们直接点击这个 ok， 好， 安装完 docker 以后呢，它长这个样子，那么进来的时候呢，可能需要我们去注册登录一下，然后呢需要再次打开我们的 command 命令窗口，然后呢复制粘贴这段话， 好，然后呢在我们的这个 document 里面就会生成一个 open web ui 的 一个界面，那么这个服务呢，就可以让我们在浏览器里打开我们的 web ui。 open web ui， 好， 接下来我们打开我们的浏览器， 好，打开浏览器呢，我们需要去输一个地址，那么这个地址呢，就是启动成功后，我们要访问的这个地址，它复制，然后在我们的浏览器里进行一个粘贴， 然后我们就可以进入到这个 open web ui 的 界面，那么在这个界面里面呢，我们就可以进行一些更为复杂的设置，包括我们在跟它对话的时候，还可以看到你的这个每秒的这个 talk 速度。 其次呢我们还可以去给他进行一些投一些资料，然后可以给他添加更多的这个附件，上传文件，引用网页，引用笔记等等，那么就可以做一些更加复杂，能长久记忆的一些功能。 好，以上就是我们在本地部署我们的 ai 大 模型的所有教程，那么后期呢，我们会出一下我们的 openclaw 小 龙虾，还如何去接入我们的本地大模型的教程，让我们实现零拣就可以玩转小龙虾！

前天我安装了 alama 本地大模型， 今天呢，就想在本地安装 open 可乐，让 open 可乐调用这个 alama 的 本地大模型。 首先呢，我用这个豆包大模型，然后问他一下怎么在本地安装 apple， 在 mac 电脑上面安装， 然后我就按照他的指令一步一步来安装。 由于是新电脑，所以不能直接复制拉取 opencloud 的 这个命令，先打开这个终端 看。我一开始直接复制这个命令拉取的话，它就出错了，它说缺少这个运行的环境， 所以根据它的提示，我就先安装了一个 pro 这个命令的环境。 把这个环境安装好了以后呢，还要安装这个 node js 这一个环境，这两个环境都安，安装好了以后才能安装这个 opencool， 否则的话是装不上去的。 现在反正都有大模型，有什么问题的话，你直接把这一个问题啊贴到这个大模型里面，然后问他下一步该怎么办就可以了。 用 blueprint 测试好。 blueprint 已经安装好了， 那现在安装的是 node js u d g s 已经安装成功，这时候就可以安装 oppo nano， 将 oppo nano 从原代码拉取下来， 将命令行输入到终端里面去， 这时候提醒我说镜像有问题，所以还是直接拉吧。 本来想它能不能快一点，通过镜像能不能快一点，但是镜像不行，这下面就按部就班的，根据它的提示，能够我们一步一步来安装 openclaw。 安装 openclaw 的 时候先选择呃，这个快速安装模式， 现在这个 open class 是 最新的，二零二六点四点九， 那 quick start 这个模式，我们选择 quick start， 下面配置飞速机器人， 这个飞速机器人的，呃，应用权限，这个上面要仔细一点， 我这个 oppo 可乐安装好了以后一直连不上飞速，后来查找原因，嗯，就是这个飞速机器人的这个应用权限没有配置好， 这种还要记得发布，不发布的话它也是不行的，就是音乐没有声，音效好。这个 opencloud 已经启动了， 等 oppo 可乐启动了以后，这时候我连接它的这个本地大模型还是不行。为什么呢？因为这个我连接的一开始连接的是千万三点五二十七 b， 二十七 b 这个大模型呢太慢， 所以它一直在这动， 后来我把它大模型改成千万三点五的九 b， 你 看这个是我连接飞速的时候，连接了好长时间都没连接上，后来还是一步一步排查原因啊，才才找到了。就是它的应用权限里面 没有配置好， 最终那个飞速机器人要和这这一个 opencloud 要进行配对，在飞速机器人里面发一个，你好，它会产生这个配对码，把这个配对码呢粘贴到这个聊天 界面上面去，它会自动的进行配对。那第一步呢，就是要把这个 搭模型要配置好，这个搭模型也花了我很长时间，主要是，嗯，电脑后台开的程序太多了，可能它运行不起来，跑不起来，所以现在更换了一个千万三点五九 b 的， 你看现在界面显示飞速配对成功了， 然后我问他，你用的什么大模型，看看这个模型有没有突出 这个反应。 open color 的 反应还是有点慢啊，这要等一会儿，它不像那个直接和大模型对话， 你看他出来了， 他显示的是饿了吗？千万三点五九 b， 这个模型九 b 参数是千万三点五的这个版本，然后他还告诉我运行的速度有点慢是什么原因， 你看它也出来了，说显存或者内存的限制，其实这个在本地跑这个大模型还是有一些弊端的，除非你的硬件特别好。 好的就这样这个本地的 openclock 和本地大模型就已经安装好了，谢谢。