ollama本地部署怎么配置多用户

ai 应该怎么玩啊？很多观众想玩 ai， 可是我一搜教程，这网上攻略不是麦克就是引导你关注公众号，刷到我，你就不用乱走了，跟着我的视频几步走，就可以把 ai 的 语言模型部署到你的电脑里， 随开随用。 ai 的 本地部署啊，就以最火的国产 deepsea 为例，根据体量呢，共有大小七个模型，其中这个七十 b 和六百七十一 b 两个，大家伙离普通玩家过于遥远一点，五 b 呢，又太屌丝了。就以我现在测试的电脑为例，三十二 g 的 内存，八 g 的 显存， 一台普通的游戏电脑啊，那我想轻度体验 ai 的 话，我尝试一下十四 b 这个模型还是可以的。这个模型的体积只有九个 g 的 大小，还不到五位数的一半，但是理论的推理速度却可以达到一百二十。 tocos 每秒。 有人要问了，老是在 ai 的 教程里面看到这个 tocos， 这到底是什么意思啊？简单的说，一个 tocos 就是 两个汉字，或者是四个英文字母，也就是说，部署好的 ai 呢，每秒钟能跟你说两倍 tocos 的 字数。 我们确定好模型之后，就建议使用欧拉玛这个工具来进行本地部署。这是一个开源的工具啊，很多的外国大神在维护，介于等着我自己看攻略时遇到的困难，我再强调一下啊， deepsea r 一 十四 b， 这个是我们的 ai 模型，欧拉玛呢， 是部署模型的工具，所以说各位不要看到英文字母就麻了。 deepsea 模型，欧拉玛，部署模型的工具，这就相当于是三角洲和 wegame 的 关系啊。下面就简单了，先下载一个欧拉玛客户端，下载完成后双击安装， 安装完成之后在系统搜索栏输入 powershell， 右键管理员打开输入这个欧拉玛铺 deepsea r 一 十四 b， 然后回车，这个时候就会自动开始下载 deepsea r 一 十四 b 的 模型， 下载时候偶尔会遇到这个百分之九十九下载不动的情况，这时候董哥教你一个小妙招，按下 ctrl 加 c， 这时候下载就会中断，并且弹出一个新的命令行，你在这个新的命令行里面再次输入下载的命令，这个下载就会继续，并且下载速度会恢复正常。模型下载完成之后再输入欧拉玛瑙这个命令，这样 deepsea 二一十四 b 这个模型就已经成功的部署并且运行起来了，你也就可以不受限制的和它交流起来了。

很多朋友呢在下载完龙虾之后，非常关心的一个问题，我是不是可以用一些免费的模型，然后去让龙虾进行使用，那这样的话我就可以不花钱了。之前我也给大家介绍了一些免费的厂商，提供了一些免费模型，但是那些免费模型呢，他是会限定一些额度的， 那就会有很多朋友问说，我本地部署模型是不是 ok 的？ 那怎么让龙虾去连接本地的部署的模型呢？那这期视频呢，我们就来看一看怎么实现。首先呢在本地模型部署有一个非常牛的软件，就叫这个欧拉玛， 这个软件呢我们可以下载之后，它可以去帮我们去下载对应的一些我们想部署的模型，并且呢在它软件里面可以进行一个启动， 这样的话就不需要我们自己去找对应的模型资源，然后进行一个模型文件下载，然后再去启动对应的模型，所以说这个软件呢非常的方便。那这个欧娜玛的一个安装呢，我们这个地方直接就是给大家提供了下载链接， 就进入到欧娜玛点 com 这个地方，然后点击对应系统的一个下载方式，比如说你是 windows 就 直接点，然后下载完了之后直接安装就可以了。那安装完了之后它是一个什么效果呢？主要是有两个地方，首先呢 安装完之后它有一个文件夹，文件夹里面呢它会有一个 app 的 入口，可以把对应的 app 打开，打开之后呢我们就可以在这个地方跟它进行一个对话，可以看一下它所支持的一些模型，比如说 gpt， 然后 deep sync， 千问的，然后 mini max， 还有一些什么拉玛，然后本期我们就以千问的这个模型给大家进行一个讲解，看对应的龙虾怎么去连接。那我这个地方呢，已经把千问和拉玛的这个模型已经下载下来了， 所以说可以看到如果没有下载的话，他这个地方会有一个下载按钮，然后如果已经下载好的这个地方是没有下载按钮的，大家到时候可以下载一下，一会也给大家说一下怎么去进行一个下载。然后我这个地方就可以跟他在这种格式化的页面进行一个对话，问他你是谁， 那可以看到它现在因为它是一个 think 模型，就是它会思考，然后思考完了之后它会进一个回话，可以看到它的一个速度，在本地的一个部署模型速度还是比较快，当然了这个也是看你本地机器的一个性能，那我当前的这个机器呢，是一个五零八零的显卡，所以说它的一个效率还是比较高的。 然后除了这种方式之外呢，我们还有就是控制台的这种方式，就在这个地方我在文档里面给大家写好了， 就是我们可以在 power shell 里面去执行欧拉玛瑙，千问八 b 就 这个模型， 八 b 这个模型如果我们执行了之后，你本地如果没有去下载对应的这个模型，他会先去当 load 的 把对应这个模型给你下载下来，如果已经下载完了之后，他会直接去启动对应这个模型，那你在这个地方也是可以跟他对话的，你问他是谁， 然后进行一个 syncing， syncing 完之后输出对应一个结果，可以看到还是比较丝滑的，那本地模型呢？已经部署成功了，接下来我们就是要让我们的龙虾接入到这个本地模型。接入本地模型呢，其实也比较简单，那这个地方呢，我给大家介绍的是通过修改 opencloud 的 配置文件， 它里面有一个 open cloud， 点 json， 去把里面对应的一个内容进行一个修改，然后我们先按照上面这个步骤去打开 open cloud， 它对应了一个文件位置，我们就可以先去这个地方，然后 按照我命令执行就行了。先 cd 到点 opencloud， 然后进来之后呢执行这个 start 点，打开对应的一个文件夹，打开之后这个地方会有一个 opencloud 的 json 文件，然后编辑给它，在记事本里面编辑就 ok 了。 那我们可以看到之前呢我们这个地方，因为我是豆包的模型，所以说这个地方会有一个豆包模型的配置，那还有一个 agent， 就是 这个与我们对话的这个 agent， 它对应的模型使用的是什么？可以看到这个地方使用的是豆包， 那我们想去使用本地的欧拉玛模型，其实只需要修改三个地方就可以。首先第一个地方就是我们需要在猫豆子这个里面把我这一段给它拷贝进去， 找一下猫豆，然后与豆包进行一个平行位置， 然后把它删掉，加一个逗号，一定是一个英文逗号，然后加完之后我简单说一下它对应的一个内容，首先它是请求的 url 是 什么？就是本地的 logohost， 然后端口，然后 v e 接口 这个 appk 的 话，实际上它是因为本地模型是不需要这个 appk 验证的，所以说你这个地方随便写就 ok 了，跟我这个一样就可以。然后这个地方模型的话你就是用自己的，我们刚才不是下载的是千万八 币吗？所以说这个地方就是千万三八币。然后配置完这个之后，我们还需要去修改 agent 的 它所使用的模型。首先我们需要在底下去把欧拉玛对应的这个模型添加到它可用的模型列表， 在这个地方添加进去。 ok， 添加完了之后我们还需要替换一下，就是这个地方把这个 primary 给替换成我们下面的这个好的保存完了之后呢，我们这个地方的配置就结束了，就直接可以回到命令行执行一下， 我们把这个地方给关掉，关掉之后执行 open cloud get away。 这个因为我们是命令行之前启动的，所以说我们直接关掉之后呢，就相当于对应的龙虾已经结束了，那我直接执行它重启就好了。但是如果大家是 没有在这个地方直接关闭，它是后台执行的，那大家是需要执行 open cloud get away restart。 大家一定要记住这个点，我们直接启动 可以看到这个地方他有 agent， model 是 欧拉玛的千问三八 b， 那 说明我们这个地方配的还是没有问题的。我们来到龙虾这个地方给他对话一下， 那这个呢？是我之前问他的这个模型使用的是什么，那现在呢？我在问他说你现在的模型是什么？你当前使用的模型是什么？ 那可以看到它现在已经告诉我说使用的模型是千问，然后它是通用实验室自主研发的超大规模语言模型， 所以说我们现在就已经切换成功了，这样呢，大家就可以拿龙虾去玩本地的模型了，也就不需要花你一分钱了。但是这个地方大家要注意，一定你的机器性能相对来说会好一点，那这个模型的速度运转会更快一点。然后如果你机器性能非常好的话，因为我这个地方配置的是八 b 的 模型， 八 b 呢代表是它的一个参数量，那三十 b 呢？像这种大参数量的，它的一个效果一定是要比我八 b 的 这个模型的效果会好一点。如果你的机器性能非常卓越的话，那你去下载三十 b 的 这个模型， 当然它需要很大的这种资源，所以说当它运转的时候，它对应的这个思考或者它的一个能力也是要比我八 b 的 强的。所以说这个地方看大家一个机器情况。

大家好，欢迎回到我的频道，前面几期视频我给大家演示了如何在 v i y 里安装优盘图 linux 处理机，也讲解了如何在优盘图中配置 note g s 和 git 来满足 openclaw 的 运行环境。那这期视频我就来教大家如何在优盘图 linux 操作系统中安装部署 openclaw。 在本期教程里，我们将从 github 下载 openclaw 最新的源代码进行安装。如果你下载不下来，也可以在评论区里留言，我把我下载好的 openclaw github 源代码分享给你。 我现在就在 umber linux v i r 训练机里边，我们打开 firefox， 我 看看 github 好 不好。访问今天为车，今天很幸运可以访问，那我们在这儿搜索一下，在搜索框输入 openclaw 车在这个项目 open club， open club 就是 我们要访问的项目。点击一下，打开它，今天速度还挺快，这是咋回事？我们点击这个绿色的扣按钮，有一个 download zip， 我 们还是下载下来吧，避免安装的时候突然访问不了，挺麻烦的。点击下 download zip 就 开始下载了，下载也很快， 超乎我的想象。好，现在下载好了，那这个应该是最新版本的，如果你要是担心这个最新版本里面有 bug， 因为它是刚刚提交的，有的最近的是三十八分钟内提交的。 那你可以下载这个最新的 release 版，你看这有一个 release open club， 二零二六点三点十三，那最新的 release 版是三月十三号的，我们点击这个链接进去，他就打开了这个页面，那这个页面里边就记录了他都修改了哪些问题。在这最底下有一个 south code， 你 也可以下载这个 最新 release 版的源代码，点击这个链接，它就把最新 release 版这个版本给下载下来了。下载好之后，我们来到这个下载目录，那这两个字库文件都在这了，我先修改一下这个屏幕的分辨率，这样屏幕就文字大一点， 我们看一下这两个版本，那我们还是安装这个三点十三，因为这个是 release 版。右键单机点击提取，解压缩到这个文件夹下，我在我的主文件夹下建立了一个文件夹叫 work， 然后把那个解压缩后的 open class 代码拷贝到这个 work 目录下， 我们右键单机桌面，点击，在终端中打开，打开一个终端窗口，我们再确认一下 node 和 get 的 版本，那 node 是 vr。 二十二点二，十二点一，这个是符合这个要求的，那 get 二点五，一点零，这两个版本是可以的，因为我们从 oppo colo 原代码来安装这个 oppo colo， 它需要 p n p m 这么一个呃命令，所以我们先安装 p n p m， 我 们运行这行命令。 soluo 空格 n p m 空格 install 空格横线 g 空格 p n p m 回车，它需要输入密码， 也就是那个哈喽那个账户的密码，他就开始安装 pmpm 了。好，现在已经安装好了，那我们先运行 npm 杠 v 看一下版本， npm 是 十点九点四，那 pmpm 呢？杠 v， 十点三，二点一， 可以，这个 n p m 和 p n p m 我 们都已经安装好了，那现在我们先来到 open k l 源代码所在的这个目录，我们把这目录地址拷贝一下，回到命令行。好，那现在就到这个目录下了，这个就是这个 open k l 的 原文件。在这个目录下，我们先运行一下这行命令， p n p m install 回车，它就会把依赖的或者需要的那些包全都下载下来，并且安装好。当你看到这些信息， 那就证明需要下载的包都已经安装好了。然后我们再运行另一行命令，就是 pmpm 空格 ui 冒号 build， 这个命令运行很快，当你看到这些信息，就证明这个命令已经运行好了。然后我们还需要运行一下这行命令，也就是 pmpm 空格 build 回车，等这个命令运行好之后，这个 open klo 基本上就安装好了。好，到现在为止， 这个 open colo 就 算安装好了。然后我们还需要运行一下这行命令， p n p m 空格 link， 空格，横线，横线 global， 那 这行命令就会把这个 open colo 这个命令设置为可以直接调用的 c r i 命令， 方便你调用，让它出现一个错误，这个错误是什么原因其实也写清楚了，告诉你怎么改。需要运行 p n p m 空格 set up， 先来创建一下这个 global bin 这个 directory， 那 我们就运行一下， 还要运行 south home hello， 点 best i c 现在已经生效了，现在我们再运行一遍 p n p m 空格令格航线 global， 那 现在这个 openclaw 这个命令就可以直接 在命令行里边调用了。然后我们运行这行命令， openclaw， 空格 unbox， 空格航线航线 install 航线 demo， 那 这行命令就开始设置这个 openclaw， 并且安装后台的守护进程，也就是后台服务， 这个 open 卡拉就会在后台一直运行了。我们看这个命令执行之后，就是这个界面第一个配置界面问你是不是继续，那你就通过这个左右键选择。 yes， 然后按回车，然后 unboxing mode， 就是 是 quick start 按回车 model， 也就是大圆模型，你选择哪个？因为我们使用本地的奥拉玛，所以我们选择奥拉玛，那奥拉玛 base url， 也就是我们这奥拉玛模型的 url 是 多少， 我们现在去看一下。我们在 windows 上打开奥拉玛这个应用程序，点击左上角这个图标，有一个 settings， 点击一下，那在这右边有一个选项叫 expose orama to the network， 这个选项一定要打开，否则奥拉玛是不能够被网络上的其他应用程序访问的。 我们再在 windows 里边打开一个 windows power 或者命令行窗口，运行命令 ip config， 那 我们就可以找到我们这台计算机的 ip 地址， 那我们这 id 是 幺九二点幺六八点二零四点幺，我们在浏览器里边输入这个网址 gdp 幺九二点幺六八点二零四点幺，冒号幺幺四三四，回车之后，如果看到奥拉玛 is running 这个页面，那就证明我们这个奥拉玛是可以通过网络上的其他应用程序来访问的。 我们回到这个 uberto linux 这个虚拟机里边，把这个 alama base url 地址改成幺九二点幺六八点二零四点幺，冒号幺幺四三四，回车会让你选择一下 alama 的 mode 是 cloud 加 local， 那 么选择第一个回车， 然后它有提示让你登录进 alama cloud， 我 们就把这个链接拷贝一下，点击 connect， 连接成功了，我们再回到这个命令行， 他问你是否登录进去了。 yes， 我 们回车。现在你就可以选择这个大语言模型，具体使用哪个，那我们就使用缺少的 kimi 二点五这个云端的模型就可以了。按回车，再让你选择那个 china， 就是 你用哪个聊天软件去管理这个 opencloud。 我 们先不用这个了， 我们会在以后讲，我们选择 skip now 回车，选择第一个路由 search， 因为我没有这个路由 search 的 api key， 所以 路由 search 就 不能使用，但是你可以去到这个网址去获取 ikey， 可以 以后再配置，现在它让你选择 skill， 问你是不是配置 skill， 我 们可以选择 yes 啊，回车用上下键来选择，选中之后按一下空格键，这变量就把它选着了。 回车这个 homebrew 我 们也可以安装一下，选择 yes 回车 google api key， 这个我没有，就选择 no， 全都 选中就可以了。 hook， 这个我们也先 skip 它，就开始安装这个 getaway， 也就是这个网关 getaway 已经装好了，他问你想怎么去跟这个机器人聊天，或者机器人互动，我们就选 open the web ui， 那这样他就会打开一个浏览器，你可以在浏览器里边跟他聊。第一个是 tui， 就是 基于文本的那个用户界面，我们还是用外部 ui， 那 现在当你看到这个界面，就说明这个 oppo cola 已经安装好了，这些信息都还是比较重要的，所以我建议你最好把一些重要的信息保存下来， 比如说这 ctrl u i， 也就是我们刚才不是选择基于 web 来管理这个机器人，所以它有一个链接地址，通过这个地址是可以打开这个管理界面的， 那这个地址我们把它拷贝出来，在这个浏览器里边粘贴进去，那这个就是 open k l o 的 这个控制台，当然这个我都跟他聊过一点了， 所以有这些信息。那我跟他说个你好，他巴拉巴拉说了一大堆，我问他现在都能干些什么？他回答了一大堆，好像感觉他非常能干。这些东西都怎么做？以后我可以给大家做视频，来演示一下他怎么才能做到这些功能。

opencla 对 接欧莱曼核心教程，不用 vpn， 不 用真实 apikey。 重要提醒，一定要用非工作电脑，不要在公司电脑有重要文件的电脑上操作。第一步，准备环境，在官网下载好安装包， 安装 nodejs 二十二加和 get 一 录下一步即可。第二步，安装 opencla， 以管理员角色打开 cmb 复制一键安装命令， 安装成功。第三步，下载本地模型 cmd， 安装并启动欧莱玛。 第四步，配置 open 框。

相信大家已经安装好了自己的 openclare， 但是你有没有想过你每一次的 openclare 的 使用都会消耗你的 tokyo， 这个 tokyo 的 话就是需要大家去花钱去买， 那有没有办法能够免费的使用 opencloud？ 如果说你也想要免费使用 opencloud 安装 olemma 模型，那一定要点个关注，点个收藏，不然的话你下次就刷不到了。那我们进入正题，我们直接啊百度搜索一下 olemma， 然后在这个右上角位置点击下载， 这边的话选择自己电脑系统，然后点击一下，直接点下载就可以了。 ok， 下载好了之后，我们直接正常安装啊，就会进入到这个页面，然后右下角我们要选择一个模型，正常来说一般是选择这个 gpt 二十 b， 也可以选择千问，三点五千问。 ok， 我 们在这个位置选择好了之后，你发一个消息，你比如说我选一个，我没下载的，我发个一，你发一个消息之后，他就会开始自动下载这个模型。 好，我们直接进行下一步。欧莱玛下载好之后，我们直接通过这个运行安装向导重新把 openclock 跑一遍， 因为之前你们装过 deepseek 的 模型，然后这个配置处理的话，选择更新值， 在这个模型认证供应商这里选择 olemma， 本地本地本地，然后它会有一个模型 id， 例如 deepsea 杠 r 一 比八币，我们再打开你的 olemma， 看一下你的右下角， 就是把这个名字输入进去， 我们用的是这个二十币， 这个的话直接回车就可以了。 这个聊天通道的问题，因为之前已经跟大家讲过了，我们就直接挑过了， 我们把网关打开，等这个 opencloud 的 正常运行。 ok 啊，大家在运用这个 oemma 本地模型的时候，它是不需要花钱的，但是它是基于你电脑来去做的本地模型，那是什么意思呢？就是说它直接消耗的是你电脑的性能， 比如说我们在这个内存 gpu 直接消耗你的电脑性能，比如说你的电脑越好，那它运算速度就会越快，大家这么说能理解吗？ 还有就是这个欧莱玛上面的模型，它对应的有一些，比如说它这个二十 b 的 模型，它是 比较推荐八到十六 g 的 这个显存的显卡，然后才去使用，然后有一些是呃，一百 二十币的支持二十四 g 或者三十六 g 的 显存的显卡才能去使用的，也就是说他直接消耗的是你电脑本身的性能。 ok， 如果说大家感兴趣的话，可以自己去装一下试试。

哈喽，大家好，记录一下本周关于本地部署千万三点五大模型的一个进展。 呃，目前的话，我个人的一个结论仍然还是倾向于用拉玛 c p p 去本地部署千万三点五的大模型。那么这张图的话呢，是我在本地的一个测试效果， 可以看到，在我的机器上，即使这个上下文跑到十六 k 的 一个长度，那么仍然可以做到二十五个透刻每秒， 那么显存占用是大概是二十二十二个 g 左右啊，那么也就是在三零九零这样的显卡上就可以去运行这样的一个模型，那么 ram 的 话，这样的很少，基本上几个 g 就 够用了啊，所以说这是我目前的一个结论 啊。然后再来具体说一说我是怎么样来部署 v o m 的， 然后以及怎么样来做的一些测试和对比。 好，首先的话呢，是 v l m 的 一个安装部署，那么本周的话呢，出了零点一七点一的这样的一个稳定版本， 那么很激动啊，出了之后赶紧去这个官网啊，按照教程去装了这个 cu 十三点零啊这样的一个版本 啊。但是很遗憾的话呢，我在部署的时候遇到了这样的一个问题，也就是一旦装 cu 十三点零这个版本的时候的话呢，它总是会运行的时候报一个 cublas 出谋划这样的一个错误 啊，当然也尝试了一些解决方案，像升级 driver， 升级扩展二 kit， 包括安装不同版本的 cublas。 那 目前来讲的话呢，我尝试这几种方案都没有去解决这样的问题，所以很遗憾的是，最后的话呢，只能去 退回到这个官网给出来的十二点九的这样一个版本，也就是我所有的测试和这个运行都是在这个官网十二点九的这个版本基础上啊，然后来做的好，然后来说一下我的测试脚本 啊。测试脚本的话呢，是， 呃，直接在这里调用的这个 openai 的 一个 api 接口啊，然后测试了不同上下文长度的一个效率啊，简单用 python 写了这么样的一组代码啊。 呃，然后重点来看一下就是我是怎么样来启动的这个脚本。 好，那么 vl m 里面的话呢，我是直接用的这样的一个脚板去启动它，当然的话呢，也尝试了这个不同的量化模型，然后一起来看一下这个结果。 呃，首先是官网给出的这个一个量化模型， 那么在这里的话呢，可以看到在我自己的机器上啊，我的机器是这个英特尔的一零九八零 x， 嗯， cpu 的 话十八核三十六线成，然后九十六 g 的 ram 加上 rtx a 六千啊，四十八 g 现存这样的一个显卡。 嗯，可以看到在我的机器上的话，当这个十六 k 的 上下文的时候，其实只有二十个投款每秒左右， 然后显存和内存的变化量的话，基本上没有什么变化，当然 v o m 的 话，本身它就会一次性的把这个需要的显存和内存都已经升平啊，占用的差不多，所以它基本上没有什么太大的变化， 当然这个效率来讲的话，很显然和我本地部署的拉马 c p p 的 这种方式还是有一点点小的差距的啊。好，这是官网给出来的第一种量化模型，然后也尝试了另外一个这个第三方给出来的量化模型， awq 的 量化模型， 嗯，可以看到这个十六 k 的 上下文的情况下，它这个仍然也是大概二十出头啊，投款每秒，然后内存和显存基本上是一致的。 然后还有一个情况的话呢，是这个关于 vlm 的 啊， vlm 的 话，其实我尝试了启动的不同的参数，这个里边影响最大的可能是这个 mtp 的 一个参数的一个配置，也就在我的脚本里边，我尝试把这个 mtp 给它设成二 啊，一旦设成二之后，这个效率会明显的有一个提成啊。先说它的好处 来，这是我当 m t p 等于二的时候，这样的一个效果，可以看到的话呢，一零二四的投看上一零二四的上下文的时候，投看能做到五十多， 然后十六 k 的 上下文的时候呢，投看仍然能够做到三十五三十六左右，所以这样的一个效率来讲的话呢，是非常好的，也就比拉曼 c p p 还要值钱，这个 v l m 啊，它基本上能够提升小一倍的这样一个效率 啊。但是很遗憾的是，在我的本机上也会有一个小小的问题，那就是一旦这个 m t p 给它配成二甚至二以上，说到五的时候，然后在实际运行模型的时候，它会报这样的一个 啊，也不算是错误吧，就是这个张亮的维度已经不一致了啊，因为他每次要预测两个头盔吗啊，所以的话呢，导致这个模型运行的时候不是很稳定啊，可能对话几轮之后，这个整个程序就崩掉了啊，就模型就死掉了 啊，所以的话，后期看一下这个问题能不能解决，如果这个问题能够解决的话，其实我还是挺倾向于用这个 v i m 去本地部署的啊， 好，那么这是关于 v l m 啊，去部署前文三点五的一个情况，然后除此之外的话呢，也还对这个阿玛 c p p 做了一个简单的一个测试， 也就尝试去部署了一下不同的模型啊。首先这个是二十七 b 的 一个量化模型，然后上下文呢，一直测试到了二百五十六 k， 那就是整个模型的一个极限，可以看到的话呢，在这个上下文大于六十四 k 的 时候，其实这个效率来讲就已经有很显著的一个下降了 啊。当然的话，上网上去查了一些资料，大家也都说这个百分之九十九以上可能的这个应用场景，六十四 k 的 上下文已经足够用了，所以的话呢，目前就想打算先用这个纤维三点五啊，二十七 b 拉满 c p p 这样的一个部署环境 啊。然后还有的话呢，就是我也测了一下这个三十五 b， 这个明显会快很多啊，因为他是这个 a 三 b， 也就每次只激活三 b 的 参数，所以的话明显可以看到这个 token 啊，在这个六十四 k 上下文的时候，基本上还能做到四十加将近五十这样的一个 token 每秒。 然后最后的话呢，也测试了一下我本机的一个极限，也就是一百二十二 b 的 这个模型，这个是我显存能够容纳的最大的一个模型了啊，可以看到即使上下纹很小啊，一零二四的时候仍然这个头款只有十个左右， 所以的话呢，暂时就放弃了一百二十二 b 的 这样的一个模型啊，后面的话会用这个二十七 b 和三十五 b 这两个模型去做一些啊，上层那些应用吧。啊，然后到时候有机会再给大家录一些后续的视频。好，今天就到这里。

自己电脑有显卡，但是奈何不会用，这期我教你怎么用自己电脑的显卡来部署一个本地的大模型。首先我们打开浏览器搜索欧拉玛，点击它的官网，然后我们点击登录，下载完成之后呢点击安装 instagram 安装， 安装完之后呢，我们不用管他，然后呢在这里我们运行一下欧拉玛，然后呢杠 a， 查看一下版本，可以，然后呢使用直接用欧拉马来作为输出，看一下 一般呢有输出就代表我这个是正常的。然后呢来到他的官网，选择这个 models， 在 这个里边呢找到我想部署的模型，我呢找一下 deep sync 二一的模型，这里边呢去部署一个七 b 的， 就像这样使用这个欧拉玛 ring deep sync 杠二一，然后后面是七 b， 现在呢可以试一下输入你好好看的，有反馈，但这种呢不太方便，那么我们可以去使用 dok 的 语法去拉一个这个 web ui 下来，在这里呢，我待会就是会使用三千的端口去访问它， 然后呢看一下已经出现了。好，然后呢打开浏览器，可以正常访问， 在这里开始使用。嗯，首先需要输入一下名称邮箱啊，还有这个密码邮箱可以随便啊，但是你得记得住创建啊，查掉，然后在这里呢可以啊，去上传文件，用数据库，也可以直接去聊天啊， 好，可以正常反馈啊，那刚刚的知识库呢，我们可以把到左边这一块来看一下啊，就是到这个工作空间里面，然后呢点击这个知识库，在这里面呢可以把需要的知识库给加入进去啊，然后呢这个就可以做你企业的内部知识库了。

使用欧拉玛可以一键部署本地大模型，我选择的模型是千万三点五九 b， 现在来演示一下， 可以看到 gpu 使用率向升，由于我这台电脑的显卡配置比较低，所以输出的比较慢。 好，终于输出完成了，接下来是 gg 教程。 首先肯定是要下载欧拉玛的这个软件，进入欧拉玛的官网之后，选择 windows 点击下载，当然这个下载起来会非常的慢， 我也给大家把安装的程序上传到了网盘下，下载后双击打开直接安装，安装完成之后就是这样一个界面，可以在这里点击你想要的大模型，比如说这些是云端大模型， 从这里开始就是本地大模型，这个是谷歌开源的本地大模型街吗？ deepseek 千问三，还有其他的一些模型啊， 对于模型怎么挑选，得看电脑的配置，比如说我这台电脑 cpu c a m d 二五六零零两根 d d e 二四的一六 g 内存条， 显卡是一六六零 s 六 g 的 显存，这个已经是非常老的显卡了，后续我准备根据我的电源升级成四零六零 t 一 六 g 显存的，所以根据我的电脑配置 选择了比较小一点的模型。那你的电脑适合哪一个大模型？可以把配置发给豆包问问，让豆包帮你分析适合下载部署什么样的大模型。今天的教程就到这，关注我，评论私信。

在 open core 横行的二零二六年，可能很多人还不会怎么去电脑安装，要么就是根本不懂，要么就是被一大堆英文配置难住了。现在有了 coco， 让这一切都变得更加的简单。 我们可以先来到 coco 官网了解， coco 是 阿里云通易团队推出的个人智能助理，支持本地与云端双模式部署。现在我们直接进入主题，教你如何本地化部署 coco。 按照官方推荐，我们选择一键安装， 这里会出现不同系统的安装模式，具体根据你常用的系统选择对应命令。视频中我们以 windows 作为演示。首先我们打开 cmd 运行窗口， 把 coco 安装命令粘贴到窗口中，这时候可能会出现运行报错的提示。不用怕，我这里给大家准备了一个备用的安装命令地址，重新输入备用命令，回车进行安装。 看到 coco 已经安装成功了，复制这个命令到 c m d 窗口中，回车， 点击高级，找到下方的环境变量进去，找到 p a t h， 双击打开，点击右上角新建，把这个复制进去，最后点击确定。 接着就到 coco 出使画了，跟着文档命令走就行， 直接回车回车，然后就可以看到出使画成功了。 最后我们就可以启动 call 炮了，复制这条命令，这里启动时间可能会有点久，稍等片刻，当你看到一百二十七点零点零点一的时候，就说明服务已经可以访问了， 这时候我们在浏览器打开这个地址， 看到这个界面的时候，就说明你的 call 炮已经安装成功了。如果默认语言显示的是英文的话，就在页面右上角自己选择中文，接下来我们开始跟 call 炮对话， 啊，不好，我们要先配置大模型的访问权限，这里我们进来后会看到系统已经默认选择了第一个，直接点设置进去，这里会出现一个 api 密钥， 我们打开这个地址去注册获取一个，找到访问控制，另一排就是我们需要的密钥。复制后回来 call 页面粘贴进去，点击测试连接，如果弹出绿色框说明连接正常，然后再回去聊天页面跟 call 愉快的对话。 要命啊，这里又忘了一个设置，记得把刚才设置的提供商勾上，模型呢，随便选一个， 这样我们就可以看到正常输出了。但是这里呢，也只是最简单的 ai 对 话而已， 要注意这里的对话是需要消耗 token 的。 我们差个题外话，可能有很多小朋友还不知道 token 是 什么意思，只要你有用过四 g 五 g 网络，你用过数据流量，你把 token 理解为 ai 数据流量是不是就很容易理解了？ 而且这个流量在接下来又用到的的 agent 实力中消耗很快。 为了应对 token 的 消耗问题，我们其实可以搭建一个本地大模型，让 call 炮直接对话我们的本地模型进行服务。这里我们使用欧拉玛来部署本地大模型。进入欧拉玛官网，点击右上角的 download 下载系统程序 安装成功后就可以看到阿欧玛的功能页面了，现在我们去找下我们需要的大模型。回到欧拉玛官网，选择 models， 搜索 p w n 三点五， 不要安装带有 cloud 的 标志，那个是在线模型，需要 token 的， 我们可以找一个体量小一点，适合本地电脑安装的模型，因为正常家用的电脑配置都不会太高。这里有一个支持零点八 b、 二 b、 四 b 的 模型，可以点进去 复制安装命令到 c、 m、 d 窗口中，记得加上你选择的具体模型。所谓的零点八 b 或者二 b， 其中的 e b 表示十亿个模型参数，所以越大的参数量对电脑的性能要求越高， 安装可能要一段时间。本地演示直接跳过， 当看到三 day message 的 界面时候，就说明本地大模型已经安装成功了，你就可以跟欧拉玛进行对话。 接下来回到 call 炮中，找到模型配置去，我们开始配置本地模型，找到 alma 选项， 因为本地尤拉玛不需要密钥，所以我们随便输入一个一二三四，点击保存后会弹出一个报错，让我们安装什么 s d、 k， 太麻烦了，难道就没有更简单的方法？我们找到右侧有一个添加提供商按钮， 这里我们随便命名一个，例如 my model， 然后在默认 base 二中输入，这个妙呢，还是输入一二三四就行。最后点击创建， 找到 my model， 点击模型按钮，把刚刚下载的模型名加上去，最后测试下连接， 最后记得选中刚刚设置的模型保存，然后回到聊天页面， 这里就开始考验你的本地电脑性能了，如果本地电脑配置不好的，不要随意尝试，直接用在线模型就行，花钱买 token 就 可以了。 看来本地模型输出没什么问题，就是速度还是有点慢，为了演示速度之后我们会全程采用线上模型消耗 token 模式。 接下来就进入二零二六年最流行的 skill 介绍，什么是 skill？ skill 其实也就是我们常用的技能，这里可以看到 coco 默认已经存在一些技能了， 我们可以来问一下，看下 coco 知不知道它都具有哪些技能， 看来他还是知道的，但是实际应用中可能这些默认的技能不能满足我们的日常需求，这时候我们就可以新建一些自定义的技能了。这里我就来教大家如何创建属于自己的 skill。 比如你现在是一位宝妈，每天为了孩子吃什么而感到焦虑，让 coco 每天推荐一个菜系，并且教你怎么做这道菜，是不是就很方便了？ 这里我就简单写一个菜谱的技能，我们可以给技能命名为 cook， 内容呢参考左边我已经写好的。注意，我们在最后有一个输出要求复制进来，技能中的 name 表示当前的技能名称跟刚才命名的 name 一 致就可以。 description 表示当前技能的简介，说明这个技能是干嘛的。 name 和 description 上下有三个短横杠包围起来，这种是固定格式，是给抠炮识别用的，要遵守。点击保存，然后启动我们新增的 cook 技能。 这时候我们打开 coco 运行的 c m、 d 窗口，按下 c t r l 加 c 按钮，当看到终止处理操作吗？这时候继续按一次 c t r l 加 c， 停止当前的 coco 服务，然后输入 coco app 命令启动 coco 服务。 当看到一百二十七点零点零点一的时候，刷新刚才的 coco 网页， 这时候我们继续去问他，你有什么技能？ 从输出的内容中我们就可以看到刚才添加的 cook 技能了，现在我们就让 coco 来实现这个技能， 可以看到 coco 识别到了我们的 cook 技能，并且在最后成功输出我们的要求， 灰狼大厨并且带上了祝福。所谓技能其实就是给不同需求的人都可以根据自己的需求创建一个工具，不同的人会有不同的需求， 比如销售，可以创建一份根据客户生成客户喜好的技能，比如牛马，可以创建一份工作日报生成的技能， 比如保险，可以创建一份根据不同职业生成一份合适的保险技能。当然技能完全可以不用自己去写，把你的需求发给豆包，豆包就能帮你直接生成了，加上 call 炮要求的 name 和 description 头部就可以了。 最后我们进入频道的配置教程，我们这里以飞书作为教程演示案例，我们首先要打开飞书的开发者官网， 进入开发者后台，可以看到一个创建企业自建应用的按钮，点它，然后输入应用名称和描述 call pro， 接着全程跟着教程走。 接下来就可以打开飞书应用，无论是电脑应用还是手机应用，都可以直接用飞书跟 coco 进行对话。 到这里我们已经完成了全部教程了。

首先我们打开浏览器，来到奥拉玛的主页，你可以在搜索引擎里边搜一下奥拉玛，然后在这个主页的右上角有一个 downl 的 按钮，我们点击一下， 那就到了这个下载页面，在这里面有三个操作系统的选择，我们选择 windows 点击一下，那你在 windows 上安装有两个方法，一个是在 power 里边运行这个命令，一个是把这个安装程序下载下来， 因为在 power shop 里边运营这个命令，有时候这个网络连接不好，它会断掉，所以我们就还是点击 download for windows 这个按钮开始下载了。下载好之后，我们只需要双击这个安装程序，它就开始安装了，点 击 install， 这个安装的过程得稍微等一会儿。我是在虚拟机里边操作的， ohala 本身对机器的要求不是特别的高，但是如果你要是想在里边去运行大语言模型，这个可能对机器性能有一定要求， 但是欧拉玛也提供了一个云端的大模型的调用方法，这还是免费提供的，但是它有一些限制，我在后边给大家详细说一下它有哪些限制。 但是对于我们是用 openclaw 这个限制还是可以忽略不计的，因为我们现在只是想拿它作为一个 openclaw 的 大脑来运行，现在这个欧拉玛就已经安装好了，在右下角有一个 selectmodel 这个下拉列表，你看凡是后边有 cloud 这个文字的，就是证明这个模型是云端的，也可以调用，它不是在你本地运行的，没有 cloud 这些就是需要把这些模型下载到本地来运行的， 那这个你就根据你的硬件情况来选择，有千万的有 deepsafe， 它都是这个开源模型。那你比如说我选择一个 deepsafe r e 八 b 的， 我选择这个 deepsafe r e 八 b 这个模型之后，我给他发了一个问题是，你好，你可以介绍一下自己吗？ 那发送过去之后，他第一步是先当烙钉 model， 就是 先把这个模型下载下来，因为我选择的是本地模型，这个可能需要一些时间，因为是第一次调用，所以他需要把这个模型下载下来， 等下载下来之后以后你再调用，他就直接用本地下载好这个模型来回答你的问题了。 我在虚拟机里运行，可能他这个就慢一点，所以调用这个本地模型对你本地的机器的硬件要求还是挺大的。现在已经下载完了， 他开始用这个模型来考虑了，来思考，他是尽量的模拟人，其实像我们人说话，谁还这么思考，很直觉的就回答了，像一些简单问题，除非难的问题会思考的仔细一些。感觉你要是打开他这个星星这个功能，就让他展示一下他的思考过程， 你感觉发的每一句话，他都在仔细的认真的思考，所以说他不会出错的，是吧？因为人思考问题都很简单，有时候就随口就说了他们没有这个问题。现在他把这个深思熟虑之后的结果打了出来，因为我这个本机虚拟机配置相对来说没那么高， 所以他打的也比较慢。好，现在这个就是他的回答，他是 deep seek 二 one， 有 这个信息我们就可以看出来，他使用的的确是这个，我们选择这个本级大模型。那大家现在肯定想知道如何调用 alama 这个云端大模型， 因为如果使用云端大模型，对我们本地的硬件的机器的要求就没有那么高了，它都是在云端执行，然后再返回结果。那我们选择一个，比如这第一个 ppt o s s 幺二零 b 横向 coll 的， 你选中这个， 这有一个选择是 low， medium 还是 high， 那 我们选择 medium cloud models require alama account。 也就是说如果你要使用云端大模型的话，你需要在 alama 注册一个账号， 注册账号之后点击三印才能够使用。我们点击三印这个按钮，它就打开了 alama 的 网站。那如果你没有账号，你可以点击下边这个注册这个链接， 就可以使用你的邮箱地址来注册一个奥拉玛的账号，因为我已经注册过了，我就直接使用了。 那我们点击登录链接，回到登录的页面，使用我已经注册过的邮箱账号，点击继续输入密码，点击登录还得验证我是不是人 啊，现在全世界八十亿人口，估计还得有一百亿机器人，就是这种，呃，软体机器人 密码输错了，再输一遍，现在登录进来了。在这个页面里边，最开始是告诉你如何去下载这个奥拉玛，包括用这个命令去下载或者手工下载，后边就是如何启动， 那我们看那最后这块就是关于这个奥拉玛云端大圆模型的使用的一些介绍，包括你可以创建一个 api key， 因为当你远端调用这个奥拉玛的云端大圆模型的时候，是需要用到这个 api key 的 后边关于云端大元模型的使用的一些限制，因为我们这是免费版本的，所以它有一些限制，不过这些限制对我们在本地来适用 open cloud 调用这个云端大元模型的话，影响并不大。如果你想减少限制或者突破限制，你可以点这个 app 的 这个链接， 点 apple galaxy 就 到了它这个页面，这个页面就显示了三个版本，一个是免费版本，它有这些功能，以及刚才我们看到那些限制。还有两个就是收费版本，这两个就是使用限制更少一些。那现在我们需要重启一下，那我拉玛，你把那我拉玛的应用窗口关了，然后点击 windows 的 开始菜单， 在这里边搜索。哦，拉玛就是这个应用，我们刚才安装的，点击一下，打开它，你在右边就可以随便选择一个带 cloud 的 这个云端大模型了。比如说我说一下，你好， 你使用的是什么大模型，发送过去，等待返回，现在他就返回结果了，我们再换一个云端大模型，比如第一个 gpt。 同样这个问题再问一遍，你好，你使用的是什么大模型？发送一下， 因为这个 g b、 d 刚才我最开始用过一次了，所以回答就非常快，它这个都是在云端运行的。那我再问一个问题，如何使用奥拉玛在 open class 上面发送的，它返回就非常快了，你看是吧？ 这显然不是本地系统能比的。那现在奥拉玛这个本级大模型，以及如何调用这奥拉玛的云端大模型， 就算配置好了，下一个视频我会给大家讲解一下如何在优奔图上去安装 opencolor， 让 opencolor 去使用蓝马的云端大模型来计算，来实现本地自动化。这个视频就到这，谢谢您的观看，我们下一个视频再见。