olama本地大模型使用教程

哈喽，各位同学，大家好，我是珊珊老师，那接下来呢，我们要使用奥拉玛本地部署大模型，那我们刚才呢已经把这个奥拉玛平台安装到机器上了，那接下来呢，我们要下载各种各样的模型安装在这个机器上， 那我们在这里呢可以看一下这个奥拉玛支持的模型有哪些。那我们现在点到这个奥拉玛官网，然后在这有个 models， 可以 看到它所支持的这个模型， 而且在上面呢你也可以这个进行这个搜索，比如说你想安一个这个千万三，那你可以搜索这个千万三，然后在这呢把这个千万三开头的 呃包含的都给你搜索出来了。比如说这个千万三，就是你要选择要下载到本地的这个模型，你可以点进去，点进去之后呢，我们在下面可以发现你看千万三有很多版本， 你看它不同的这个版本的这个列表在这里面呢，我们都可以看到，然后你看每一个版本它的这个模型大小也是不一样的， 你看后面它有这个对应的这个大小，在这个 size 里面我们就可以看到。而且前面你看前面带一个 b， 这个 b 是 什么呀？就是那个编码，它代表的是这个呃叫模型参数的这个数量级。比如说你在这这个四 b 代表什么呀？就是四十亿参数， 因为模型本质上是要就是一堆参数堆出来的吗？你这个参数越多的话，你看他所占的这个呃大小就越大呗， 对吧？你参数越多模型越大。那比如说你现在选择一款模型，那一般我们的机器上啊，比如说你初学的话，你装个小一点的就行了，比如这四 b 一 点七 b 就 够了。比如你想装这个四 b， 你 点击 就相当于你选择这个模型，然后你这个模型选中了之后，在这有一个这个命令，这个呢就是，呃，如果你在这个命令行里面把这段命令去执行的话，那相当于它就会把当前的这个大模型进行这个安装， 然后呢我们在这啊看一个东西，我们找到这个奥拉玛的这个界面，然后在这有个 settings， 它默认呢，它会把这个模型安装到这个位置，你看它说叫 model location， 就是 你模型安装的位置，那默认是这个位置。那如果说你不想让它安装到 c 盘的话，你是不是可以选择其他的盘符？那比如说，呃，我们找一下啊， 比如我刚才是不是把这个模型放，就把那个奥拉玛放哪来着？呃， study set up， 然后这儿 这个阿拉马，然后在这儿啊，我们新建，建一个什么呢？建一个叫做 models， 这样的话我们就可以把这个模型放到这里，那我们在这个位置呢可以做一个选择，选择谁呢？选择我刚才的呃，此电脑 d 盘，然后找到哪去了？这儿 study set up， 然后找到奥拉玛，然后这个模型选择这个 models， 这样的话我后续这个模型就可以安装到这个位置，然后你可以把它关掉，然后这样的话我们在这啊把这个命令复制一下，然后在这 ctrl v 粘一下回车，现在呢就让他去跑，让他帮我们去安装， 还是啊静静等待 好，在这啊，你可以看到 success 就 证明我们这个模型已经安装好了，然后在这呢你就可以跟这个模型进行对话了，比如说问啊，你是哪个大模型啊？回车 你看它就会再进行思考了，然后进行回答你， 他会把整个这个思考过程都给我们打出来啊，然后这个是正式的这个回答，你看他说现在是这个千问三，是这个同意千问的这个最新的这个版本，然后就给我们对应的这个答案。 呃，答案给出来之后，当然了你可以继续跟他对话，如果你不想跟他对话了，你可以直接录一个杠 y， 这样的话我们就可以退出跟这个模型聊天的这个界面，然后我们在这呢可以看一下啊，我们是不可以用那个叫奥拉玛 list， 可以 看一下你当前机器所安装的这个模型，因为实际上你除了这个千问三四 b 之外，你是不还可以安装其他的这个模型啊？ 所以在这个列表里就可以看到你安装的这个模型，然后还有一个叫做奥拉玛。 ps， 这个可以看到什么呢？可以看到你正在运行的这个模型，因为很可能你在这里面安装了很多模型，但是比如说你安装了五个模型在你， 但是你在这面运行的只有一个，也有这种可能吧，所以他们俩的数量不一定是一样的，只是因为当前机器咱们这个列表里只安装了一个模型，并且正在运行一个模型，所以在这我们可以看到啊，这个你下载的模型和正在运行的模型。 好，那这些基础命令呢？咱们就说清楚了，所以接下来咱们各位同学要做的事，就是把对应的这个千万三这个模型下载到你自己的机器上就可以了。

如何本地部署 openclog？ 无需付费，无需 api， 可调用多种大模型，适合想尝试但是分币不花的同学。今天嘴对嘴教会你，记得一键三连鼓励一下。第一步，环境准备，我们先来安装 get， 点击电脑开始菜单，这边输入 powershell， 然后右击以管理员身份打开，输入上面这一段代码，注意空格，然后按下确认键，等待安装即可。这边已经提示我们安装成功了。第二步，安装 elama， 进入欧拉玛官网，点击右上角的下载，这边有三个系统版本可供选择，大家根据自己的系统自行选择，然后复制上面这段代码，打开之前的 power shell， 把刚才的这段话复制进去，等待下载安装 已经提示安装成功了，我们点击开始菜单，找到刚才安装的欧拉玛，打开欧莱曼以后，我们发现这边有很多模型可供选择，我们也可以自行选择模型，比如我选择最近刚发布的千问三点五模型。第三步，安装模型， 大家根据自己的配置找到合适的参数进行下载，复制上面这一段代码，然后点击开始菜单，输入 cmd， 把刚才复制的代码复制进去，等待下载安装即可。 由于模型比较大，大家需要耐心等待，我这边直接跳过了，我们显示已经安装成功了，我这边输入你是谁，他会跳出思考过程，然后说我是通一千问系列最新的模型。接下来我们回到奥拉玛，点击左上角的设置菜单，打开 expose alama to the network 这个选项， 然后往下拉，找到 context list 这个选项，把上下文长度设置六十四 k 到一百二十八 k 之间，如果你显存高，可以调高。第四步，安装 openclaw， 我们进入 openclaw 官网复制上面这段代码，记得不要看错了，它有 mac os 版本的。然后重新打开 powershell， 把刚才复制的代码复制进去，跟之前一样等待安装即可。这边显示已经安装，我们点击允许我们输入 alama launch openclaw， 然后点击确认键。 接下来可以通过 tab 键来选择你想要的模型，因为之前我们下载了快三点五模型，所以我们直接选择这个。安装好以后，我们复制上面这个链接到浏览器打开即可。 看到这里就恭喜你成功安装了 openclaw， 下一期我会教大家如何链接 qq， 实现全自动工作，小伙伴们别忘记点波关注哦，咱们下期再见！

没想到啊，距离我制作 open klo 的 详细部署教程已经过去了一个多月，这玩意现在居然火成这个样子，甚至某鱼上都冒出了一堆远程部署的这个付费服务，动不动就收你们几百块钱。我在我那期视频发布之后呢，有的观众也在吐槽模型费用太贵了，那有什么办法能够不花这个模型钱呢？ 有的兄弟们，有的本期视频的主题就手把手带你们部署一个属于你自己的大模型，并教会你如何在 open klo 中切换大模型的大模型啊！ 不管你是使用像欧拉玛呀还是 l m studio 还是 v o i m 等，都能很方便的接入，从而实现完全离线免费无限制用的 open 可乐。好废话不多说啊，记得先点赞收藏加关注。我们现在开始 我整个教程会分成两大步啊，先搞定本地的大模型部署，再讲欧布可乐的对接配置。但如果你已经部署了本地的大模型，可以直接拖动进度条是吧？跳到对接部分即可。第一步，咱们先搞定本地大模型的部署啊，我这边推荐没有经验的同学优先使用欧拉玛，他几乎是目前全网最简单的本地大模型部署工具，没有之一 啊，支持一键部署市面上绝大多数的一些开源模型啊。然后这里插一水，如果你想要工业级大模型的推理框架 v l l m 的 教程，可以在弹幕当中扣个一人多的话，我后续考虑出个教程。 首先打开浏览器啊，输入欧拉玛的官方地址，我放评论区了，就直接复制在那些就可以。进来之后呢，你是什么系统就点对应的下载是吧？ windows 点 windows 麦个点麦个， 下载完成之后呢，麦个就跟安装其他软件一样是吧？然后 windows 也是不断的下一步即可。 好，现在安装完欧拉玛后呢，最关键的一步就是下载并启动本地的大模型。这里要跟大家说清楚，要驱动 open close 这样的 a 卷的系统， 必须选指令遵循度强，上下文长度多的模型，简单来说就是听得懂指挥是吧？记得住你的命令的这种模型。而我这边测试了好几个模型，比较推荐用的就是这个 q 三点五，它有多个尺寸的版本，通常模型越大则性能越强，大家根据自己电脑的显存大小来选就可以了， 最好选不要超过你显存大小容量的模型，也就是 size。 这里我这为了快速演示，我这就使用这个零点八 b 这个小模型展示啊。如果你们有测试更好用的模型，也可以在评论区跟大家分享一下。 确定好模型之后呢，点进去之后，可以直接看到下载模型的指令，此时我们需要打开终端或者这个 power 键麦克打开终端， windows 打开 power 键，然后粘贴这串命令，然后按回车，它会自动下载模型并启动，全程不用你管。经过一段时间下载后呢，它会自动进入对话界面，你可以直接在这跟本地大模型对话，比如说问他，你好。 哎，到这里恭喜你，你已经成功完成了本地大模型的部署。接下来就是将其接入我们的 openclo 中了啊。这里先提一嘴，如果你的电脑还没安装 openclo， 可以 直接去我之前的其零基础啊部署教程，几分钟就能安装好。我这就不重复讲安装步骤了， 我们先讲刚装好的欧拉玛怎么对接。第一步，修改模型的上下文长度。因为欧拉玛本身为了极致的轻量化，如果你电脑显存不大的话，他默认模型的上下文就给你四 k， 你 就这样给 open color 使用的话，你说完这句话他就能忘了上一句。所以我建议把模型的这个上下文设置为至少六十四 k 以上吧。 我们打开这个欧拉玛的软件，然后点击设置，就在这里设置上下文，然后把这个拖到六十四 k 就 可以了。第二步，去 open clone 里做这个配置对接，还是在终端输入这个 open clone config， 进入 open clone 的 配置菜单，然后回车啊配置本地文件，选择 models。 这里呢是 opencolor 给你预设的一些云端模型配置，像什么啊， gpt 啊， jimmy 等等。我们要选择最下方的 custom provide 的 选项，这个呢是自定义模型选项，可以自定义 opencolor 从什么地址去调用模型的服务。而我们这里默认就是幺二七点零点零点幺，这个幺幺四三四端口的 我们不需要修改。然后这里的幺二七点零点零点幺呢，表示从你本地获取。然后这里的幺幺四三四呢，是欧拉玛的这个端口服务，然后再回车输入密钥，这个地方呢可以随便填，因为这是你本地的服务。 然后这里询问我们要接入什么标准的端点协议，我们也默认回车即可。最关键的来了这里，让输入模型的 id， 我 们在这里输入你刚刚下载的模型名称，然后这个样子就是教验，通过回车啊，后面的这些都不用，输入，回车即可。 然后最后选择最下方的这个 ctrl 钮，完成模型的切换。现在你可以回到 openclip 的 控制面板当中，点击代理，看到这个 primary model 是 不是你刚刚选择的模型了。至此，你已经成功在 openclip 当中揭露了本地的大模型。 如果你使用的是 l m studio 或者 v l m 等模型推理框架，步骤跟刚刚几乎没什么差别，只需要将这里的电路地址修改为你所对应架构开放出来的端口即可。比如说像这个 l m studio， 它默认的端口就是一二三四，你这里就写啊，幺二七点零点零点幺一二三四就可以了， 然后 vm 呢则是八千，然后你就把这个端口修改成八千即可。后面的步骤和欧拉玛一模一样是不是？嘎嘎简单？所以我们来 open call 聊天框简单的测试一下，就说帮我查一下北京明天的天气， 哎，如果你的任务比较简单，那是用本地大模型来驱动这个 open call 还是非常 nice 的。 最后本期视频用的所有命令和部署流程我都整理好了，放在这个评论区，大家点赞关注智取即可。 然后上期的这个部署教程和 open klo 的 这个 skill 制作教程我都会放到 open klo 的 合集里头，后续呢也还会更新 open klo 的 其他玩法，不想错过的朋友可以点个收藏和关注啊，咱们下期视频见！

嗯，最近有不少朋友在问怎么去配这个本地的大模型啊？这边简单讲解一下，首先的话进入这个网站奥 利马点 com， 然后他这有这个教程啊，然后我们只需要把这段话给复制下来，然后下载到本地，也就是在 哦这个位置我这下载，下载了之后呢就下载把程序，下载之后呢我们去呃，用这个指令点微信去查看我们有没有把这个本地部署大模型的这个软件给部署好， 如果说能看见他的微信的话，就说明这个软件我们已已经下载成功了。然后后面的话我们就可以直接去奥利马点 run， 这 run 的 话你可以随便选择模型啊， run 的 时候他会帮你把这个模型给下载好，下载好之后顺便就跑这个模型，然后跑了这个模型之后，你就可以一对一的跟他进行通话，然后这个模型的话你也可以在这个网站点这个 modos， 在这进行去找那个啊你需要的模型，我这边的话是用的那个纤维衫，然后这边的话还有其他的很多模型，而你都可以选，要根据自己的硬件配置的话，选择更多的模型，然后部署到本地。以上就是这个的一个简单的流程。