ollama怎么接入服务器

本地欧拉玛模型接入软件教程本教程适用于若手内容管家、若手 ai 重命名等有 ai 能力的软件。欧拉玛的安装在网站上面有教程， 有需要的可以搜索若手软件，到网站看一下本教程，跳过它的安装及模型下载，直接进入 ai 配置环节。首先我们确保欧拉玛运行后，进入软件，点击 ai 配置，直接填写 ai 配置信息就可以了。如果是欧拉玛部署在本机，把这个地址更换成为 local host， 后面的不需要做修改。我这里是局域网内其他电脑部署的，所以需要更换为局域网电脑的 ip 地址。模型名称这里填写已经下载的模型名称。 apikey 可以 随意填写，只要是字母数字都可以，厂商这里可以随意填写，填写完成之后保存即可。保存完 apikey 配置信息后，再次来到 ai 配置，点击测试功能，验证 api 的 可用性，选择文本生成测试，点击开始测试，等待结果返回之后， 说明我们的本地 a p i 已经可以正常使用了，可以开始进行批量任务了。另外，如果在安装使用过程中遇到问题，可以联系我们远程解决。最后我们搜集了一些各大 ai 平台免费的模型，大家有需要的可以去自取。

大家好，你现在看到的是我在飞书里和一个 ai 机器人对话，看起来很普通对吧？但这个机器人背后的大模型不是 chad gpt， 不是 cod， 也不是任何云端 api， 它是智普最新开源的 glm 四点七 flash， 一个三百亿参数的模型。此刻正跑在我自己的电脑上，用的是一张四零七零 super 显卡，而且我这台电脑和飞书之间 隔着一台只有三核 cpu， 四点五 g 内存的小服务器，没有昂贵的云端 api 费用，没有数据隐私担忧，完全本地化部署。整个架构是这样的， 我的本地电脑运行欧莱玛和 glm 四点七 plus 模型，通过 f r p 内网穿透，让云服务器能访问我本地的模型。 服务器上运行 openclaw， 作为 ai 助手的大脑，飞书通过 web socket 长连接和 openclaw 通信。 接下来我会手把手带大家完成这整个部署过程。如果你也有一张十六 g 显存的显卡，想零成本打造自己的私有 ai 助手，这个视频一定要看到。最后， 话不多说，现在开始部署。首先下载一个适合跑模型的驱动，接着在欧拉玛官方网站上下载欧拉玛，注意选威严系统版本，不要错选，下载完成后双击运行，点击安装， 安装完成可以在终端运行 olegma version 查看 olegma 版本，运行 olegma pro 加模型名称可以下载对应的模型。最后运行 olegma run 加模型名称就可以在本地运行模型了。这里提问一下， 看到输出说明欧莱玛本地运行模型成功，下面我们开启内网穿透，这样服务器就可以调用我们本地的欧莱玛模型了。首先进入服务器 下面，在服务器创建一个 f r p 的 文件夹，然后进入这个文件夹目录下，下载 f i p 解压 f r p 压缩包，进入刚刚解压的文件目录下，创建配置文件 f r p s。 点 to mail 下面启动服务端，然后我们可以用这条命令来验证服务端是否开启。 接下来需要开放防火墙，如果大家可以打开这个页面，代表着服务器的内网穿透已经成功开启服务器的端口，让其与服务器的端口进行连接。 和服务器一样，首先创建 f r p 文件夹，进入该文件夹目录下，运行这条命令，下载客户端 f r p 的 压缩包， 对压缩包进行解压，下面同样进入该文件目录下。接下来创建配置文件。配置完成后，接下来启动客户端， 可以看到 star proxy success， 这说明我们的内网穿透已经完成了。当然我们还可以在服务器当中刻录一下这个幺幺四三四端口， 可以看到欧拉玛是有回应的。如果大家想更方便地操作服务器或者看到里面的内容，这里建议给服务器安装一下 one panel， 这里选择中文简体，因为我已经安装过了，所以这里省略了一些步骤，没安装过的朋友可以根据提示进行下一步，最终会得到面板的地址、账号以及密码。然后根据这些信息进行登录，就可以打开服务器的 one panel 了。 大家看这里就可以看到我们刚刚创建的 f r p 服务的相关文件。下面说一下如何在服务器向部署 openclaw。 首先将项目源码克隆到服务器上，接下来在服务器中运行这两条命令去安装 node js。 二十二， 接下来运行这四条命令，安装 pmpm 和 openclaw。 最后运行第五条的命令，进入 openclaw 配置向导， 运行 open cola 配置向导，这里选 yes， 选 quit start 因为我们要使用的是本地电脑的欧拉玛模型，所以这里我们先进行跳过，这里进行全选。 选第二个 intermodel menu， 这里我们删除模型，选择填入我们的欧拉玛 glm。 四点七 flash 模型选择跳过 选 yes， 这里选择 no， 选第二个，这里按空格选择跳过这部分可以都先选择 no， 这里选择跳过这里我们就选择 restart。 按回车这里选择 do this later， 然后去手动配置 olemma 模型，选择 yes。 完成 openclaw 的 配置后， 接下来需要编辑这个 json 文件，确保服务器的 openclaw 可以 正常调用本地的 olemma 模型。这里说三点编辑 json 文件需要注意的地方，第一点是 openclaw 要求的最小上下文是一万六千 tokens， 第二点是配置的模型 id 要与 olemma 实际模型完全一致。第三点是 getaway bind， 这里需要修改为滥。配置好后就可以在服务器上下载飞书插件并开始配置机器人了， 大家可以在飞书开放平台申请并配置机器人。下面需要在权限管理这里开通以下显示的权限，点击开通权限即可添加。 接着需要在事件与回调这里进行添加事件配置订阅方式选择长链接，然后添加机器人进群以及接收消息这两个事件。 注意看这里的两个应用凭证，下面会使用到 机器人配置完成后，在版本管理与发布这里进行发布，这里是清晰的飞书开放平台的配置步骤。在开放平台配置完机器人后，我们运行命令，安装飞书插件， 紧接着运行下面四条命令，在服务器中配置飞书。刚刚提醒注意的两个应用凭证，现在需要分别填在这两个命令中，然后重启 open class， 打开飞书， 添加下你配置的机器人后，便可以和它进行对话了。如果完成到了这一步，那么恭喜你拥有了一个完全属于自己的 ai 助手，可以在飞书里随时调用。而且最棒的是，它没有昂贵的云端 api 费用，没有数据隐私担忧，完全本地化部署。

嘿，大家好，今天我们来聊点特别酷的东西，你想没想过在自己的电脑上就能跑一个超强的人工智能，建一个完全属于你自己的 ai 工作室？没错，今天我们就来解锁这个技能，咱们马上开始。 哎，我先问大家一个问题啊，如果有一个 ai 助手，功能超强大，而且还完全免费，最关键的是你的所有数据都百分之百安全私密，你会不会心动啊？是不是听起来就觉得特别棒？ 你看啊，咱们平时用的那些云端 ai， 比如说 chat gpt 对 吧？多半都要花钱订阅，而且说实话，咱们的数据都得传到别人的服务器上，心里总有点不踏实。但是今天的主角奥拉玛就给我们提供了一个全新的思路，在本地跑 ai， 这到底意味着什么呢？这么说吧，他不仅一分钱不花，你所有的数据，所有的对话，都老老实实的待在你自己的电脑里，哪也不去，绝对安全，而且怎么玩完全你说了算。 好，那咱们怎么才能进入这个 ai 的 新乐园呢？别担心，我们就这开始，你马上就会发现，这事比你想象的要简单太多了。 所以，欧拉玛到底是个啥玩意儿？这么跟你说吧，它就是一个特别神奇的工具箱，而且还是免费开源的， 有了它，你就能特别轻松地把那些很厉害的大语言模型，就是像 chat gpt 背后那种超级大脑，直接下载到你自己的电脑上，还能管理它们，让它们为你工作。 它的安装过程啊，我跟你说，简直不能再简单了，就三步，闭着眼睛都能搞定。第一步，打开浏览器，去它的官网 alma dot com， 找到那个大大的下载按钮。 第二步，看看你用的是 windows、 mac 还是 linux， 选对应的版本。第三步，下载下来之后，直接双击安装就行了。装完之后，它就在后台默默运行了，你桌面上啥也看不到，特别干净。 好嘞，安装搞定！现在啊，见证奇迹的时刻到了。打开你的终端或者 windows 上的命令提示符，准备好，输入你的第一条魔法咒语，欧拉玛 run 拉玛 two。 对， 你没看错，就这么一行 敲下回车，它就会自动帮你把那个大名鼎鼎的 lama two 模型下得下来，并且直接运行起来。当你看到类似这样的欢迎信息，就说明成功了。你现在已经进入了对话模式。这意味着什么呢？你现在正和一个完完全全百分之百在你电脑上运行的 ai 聊天儿， 赶紧试试感受一下那种几乎零延迟的丝滑对话体验吧，超爽的啊！当然了，光会聊天还不够，有几个常用的命令你也得知道。比如说，你想看看自己都下载了哪些模型，就输入奥拉玛 list。 诶，玩腻了那么速，想换个口试试 msdraw， 简单，奥拉玛 run msdraw 就 行，万一哪天硬盘满了，用奥拉玛 r m 加上模型名字就能把它删掉。最后聊完了，想退出，输入斜杠加 by 就 搞定了。 好在终端里聊天已经很酷了，对吧？但真正的魔法还得使用代码来驱动它。接下来咱们就进阶一下，看看怎么通过 a p i 让你自己的程序也能用上这个 ai 大 脑。 这里的核心秘密是啥呢？就是欧拉玛在你电脑上悄悄地开了一个本地服务器，还提供了一个 api 接口， 你可以把这个 api 接口想象成一条专线电话。你写的任何程序，不管是用拍放还是用 java script， 只要拨通这个电话，就能直接跟你本地的 ai 模型开始对话了。 那这个电话号码是多少呢？如果你是开发者，这个数字你的记忆下，一一四三四，这就是奥拉玛默认的端口号，你的代码就是要连接到这个端口才能跟 ai 搭上话。 那具体到用 python 怎么调用呢？嗯，当然了，你可以用最原始的方法自己写一堆网络请求代码，但那样又麻烦又复杂，估计得写个十几行。 幸运的是，人家官方早就想到了，他们提供了一个超级好用的奥拉马库。你只需要一条命令， piping store 奥拉马。把它装上之后啊，可能就三行代码，所有事就都搞定了，简直是懒人福音。 你看看这行代码就这么简单，一个逻码，点 chat 函数，告诉他用哪个模型把你想说的话传进去，然后 bam 回应就来了。这一下就把整个开发流程简化了不知道多少倍。你完全可以把精力放在你的应用本身，而不用去操心那些底层的破事。 ok， 到目前为止，我们已经学会了怎么使用现成的 ai， 但是接下来才是最最激动人心的部分，创造一个完全属于你自己的 ai 角色。 没事儿，咱们现在就来看看怎么把一个标准的模型变成任何你想要的样子。实现这个魔法的关键就靠一个叫 model file 的 文件。这个词你可能第一次听，但别怕，把它想象成一份给 ai 的 人设说明书或者角色设定卡就行了。 你就在这个文件里写几句简单的指令，告诉奥拉玛，喂，我要基于某个现有模型给我捏一个新角色出来。幸果要这样这样，说话要那样那样。 咱们来看个例子，比如要创造一个马里奥，你看这个 model file 就 两行，超级简单。第一行 from lama two， 意思很明白，就是告诉他咱们要基于 lama two 这个模型来改造第二行 system， 后面跟着的就是给他的核心人设，你就是超级马里奥兄弟里的马里奥。只能以马里奥助手的身份回 答清楚明白。好，咱们的人设说明书写好了，怎么让他生效呢？还是用一条命令，在终端里输入 alama create， 然后给你的新角色起个名字，比如 mario。 最后用杠 f 参数告诉他说明书在哪儿，回车一敲，欧拉玛就会立刻按照你的指示端一下，一个全新的马里奥模型就诞生了。 这一下最有意思的时刻来了，你现在运行欧拉玛 run mario， 然后跟他打个招呼试试， 他真的会用马里奥呢标志性的口吻来回答你， it's me mario！ 哇，这个感觉真的太奇妙了！这就证明了你现在真的有能力去创造任何你能想象出来的 ai 角色了。好，那我们来快速总结一下今天 get 到的新技能。其实就三点， 第一，你现在知道了怎么用欧拉玛在自己电脑上免费又安全地玩转强大的 ai 模型。 第二，你学会了两种跟他互动的方式，一种是直接在终端里聊天，另一种是用简单的拍森代码。第三，也是最酷的一点，你掌握了用 model file 这个神器去创造独一无二的 ai 角色。 那么一个终极问题留给大家，既然你现在已经拥有了创造任何 ai 人格的超能力，你的第一个作品会是谁呢？ 是想复活一位历史名人？还是想把你最爱的游戏角色带到现实？这个原则权现在可就完完全全掌握在你手里了。

两分钟零代码，它在一个眼睛绝对能学会的 ai 知识库。在平台的选择方面，内存大于八级别的电脑。在考虑 r g flow。 像我这样的工作本呢，我们就选择 n c l l m。 看过我视频的呢都知道，我一开始选择的就是 r g flow， 他我花了一周时间都在攻克 dapper 的 环境，部署前后端的各种报错，终于本地化部署成功了，欧莱曼模型也接入了，我还给他配了防火墙。但是呢，在实际搭建过程中， r g flow 默认的 elasticsearch 以 fnc 搜索引擎还是会因为卡内存运作不了。 先后又是了以分散体的轻量版 c d b charmo 搜索引擎，能踩的坑真的都替大家踩过了，不推荐，我们坚持目标导向，我们要的不是征服 r g flow， 而是一个真正能跑起来的知识库。 于是呢，我就转战了 n n c l l m。 相比较而言，它真的是既简单又省心。一方面，它不用刀客拉环境，可以直接从官网下载应用。 另一方面呢，除了自带的模型外，也是可以支持我拉满模型的接入的。可以看到，我已经把我的大语言 gmail 模型和引编辑的模型接入了。实操方面，我总结了三个关键点， 首先，在设置里找到文本分割，也就是专业 chunking 的 简化版，通过调整文本块大小和重叠，可以优化系统自动分块，避免了语义不完整。 其次呢，回到工作区，只需要上传自己的资料，系统就会根据你刚刚设置好的文本要求自动分块等进行后续操作后，在提问技巧方面，大家如果追求回答的系统完整，可以在提问时优化一下用户提示词， 给大模型一个回答框架来说呢， r g flow 和 n c l m 的 功能成分都有，百分之八十都可以进入欧拉玛模型。 r g flow 需要一个大内存的笔记本，且需要 docker， 部署环境相对麻烦一点，微信 l l m 就 会简单很多。它俩虽然都不是专业的 r g 开发工具，但是满足我们日常个人使用是没有问题的。下一个视频呢，阿史力要对基于很久的 app coding 下手啦。

今天我来教大家一个方法，让你能完全免费地使用 qq。 我 们要做的就是让 qq 直接内置欧拉玛的功能。这事知道的人不多，但欧拉玛其实兼容 nfl 的 api， 这就意味着 qq 可以 调用开源模型了。 这样一来，你就能用上 mixraw、 glm 这类开源大模型了，完全免费，直接在你自己的电脑上运行，并集成在跨 code 里面，也就是说，你能通过跨 code 在 本地畅用所有这些厉害的开源模型。说真的，这绝对会是开发工作的一次革命。 当然了，效果可能比不上 coa coa 自带的官方 coa 模型，但是关键在于你能免费获取 coa coa 的 核心，它的智能代理能力，而且还是本地运行，完全免费，想想就觉得很夸张。举个例子，我现在就在用我妈妈在本地运行通一千问困三点五二十七币这个模型，并且已经把它和 coa coa 无缝对接上了。 靠着这个本地模型，我成功做出了这个非常好看的落地页。要知道这模型可是纯本地运行，完全开源的，能做到这样真的太强了，这无疑为开源社区打开了新世界的大门。大家想想看，你现在就能用上 coco 全部的智能能力，而且还是搭配这些本地免费的模型， 这包括通过欧拉玛子代理并行执行任务的定时指令等功能，以及用于文件查找、代码探索和资料研究的内置网络搜索功能。 所以本质上你获得的是一个功能齐全的智能体开发环境，其背后是完全免费运行的开源模型在提供动力，供大家参考。以下是我的电脑配置详情，我用的是一张 nvidia g force rts 四零九零显卡，它完全有能力在本地流畅运行捆三点五七十二 b 这样的大模型， 同时还能为大型代码的上下文窗口留出充足的显存空间。这样一来，你既能在本地享受到强大的上下文窗口留出充足的上下文支持， 那么要上手使用，你首先得搞清楚自己电脑的配置要求，也就是说，你得知道自己的电脑要在本地跑这些模型需要满足什么样的硬件条件。 这是我找到的一个非常给力的网站，你可以用很多类似的网站来查一下你的显卡能带的动哪个模型。比方说，如果你有一张三千零九十这样的显卡， 然后输入你显卡的显存大小，还有你希望模型具备哪些功能特性，它就会准确的告诉你哪个模型能跑的很流畅，哪个是勉强能带的动的。并且它还会具体给出上下文长度和推理速度的预估，这样一来，你就能更清楚的知道自己的电脑本地能跑哪个模型了。 另外顺便提一嘴，我的 discord 服务器是完全免费加入的，我最近分享了一个 cloud pro 订阅的优惠，可以享受三个月五折。我不太确定这个优惠现在还有没有，但如果还有效的话，说真的这波绝对不亏。事先声明一下，我既没接 and fpx 赞助，也跟他们没有任何合作关系， 我只是想跟咱们社区的朋友们分享点有用的干货，同时我也在筹建一个学校社区，在那里我也会分享这类好东西。当然，你通过我的 discord 也能看到这些内容。这个 discord 频道对你完全是免费的， 不过这只是我将在学校社区里分享内容的一小部分。预览此剧内容已融入第五十条定稿一文。如果你想抢先一步拿到最新最好的 ai 工具、工作流和资源包，那就赶紧点击下方描述区的链接，订阅我的免费资讯邮件吧，完全免费，不收一分钱。 接下来你需要做的是打开 olama 的 官网，官网链接我也放在下面的描述区了。点击那个下载按钮，然后根据你的电脑系统， windows、 mac 还是 linux， 把 olama 安装到本地。像我用的就是 windows， 所以 我就点这个 windows 版的下载， 这样就会开始下载安装程序。安装完成后，打开安装程序，接着点击安装按钮即可继续。这样 olama 就 安装到你的系统里了。 安装完欧拉玛后，会自动弹出聊天界面，这个界面不用担心，你可以关掉它，当然留着用也行。如果你想在本地把大模型当聊天机器人来用， 下一步当然是要确保你本地已经装好了 cursor。 你 可以通过终端里的 v s 扣来安装它，甚至用桌面板应用也能跑。欧拉玛的模型选择有很多，我个人习惯在终端里用，所以用下面这些不同的命令就能轻松安装。具体命令取决于你的操作系统， 比如我用的是 windows， 就 会在命令提示符里安装 cursor。 装好之后，我妈妈官方给出了一些建议。当你通过 cursor 来运行我妈妈上的开源模型时，官方建议最好运行上下文，长度至少达到三十二 k token 的 模型。这里还有几个推荐的模型， 我强烈推荐使用 q n 三点五这类模型，如果你资源充足，那就上二十七 b 模型。不过我觉得 q n 三点五的小尺寸版本也相当给力， glm 四点七的其他量化版本也挺能打的。所以通过在本机搭配云代码，使用这两款牛掰的模型，你的选择空间很大。这样一来，你就能解锁云代码的全部功能。比如最近刚上线的循环功能， 你可以让研究任务自动化运行。你可以检查一下你的 pr 拉取请求。你可以调用所有的智能体功能，比如插件。现在借助开源模型，你在云代码里还能玩转其他各种功能。 接下来你需要打开命令提示符或终端，我会把集成仓库的链接放在视频简介里。在这里你首先需要进行导出或设置操作，具体取决于你的操作系统。如果你用的是 macos or linux， 那 就用 export 命令。不过因为我用的是 windows， 所以 得用 set 命令， 所以直接复制第一条命令就行。这条命令的作用是为 and fabic 设置 lama 的 认证令牌。等我们把这行命令粘贴进去之后，接下来就需要连接 lama 服务器了。理想情况下，这就是将要运行您 and fabic 实力的本地主机。这样我们就可以复制这段代码，粘贴到命令提示符里，然后按回车键。 等您搞清楚系统要求之后，并且知道哪个模型最适合您的电脑配置，就可以着手安装那个欧拉曼模型了。而且操作特别简单，您只需要找到想安装的那个模型的详情页。比如我现在想安装 cuan 三点五，我可以点击想安装的任意模型， 复制您要安装的那个特定参数模型的代码名称，然后把它加到安装命令的最后面。接着您就能复制这个欧拉曼运行命令，然后粘贴到命令提示符里。以这个例子来说，您可以用欧拉曼运行捆三点五，然后就能开始安装了。这需要点时间，因为模型有十七 g d 大 小，它要安装到我的电脑里。 安装完成后，我就能直接用这个模型配合 colo 十力。不过这里有个小差距， 你不能直接通过云服务启动十例，否则系统就会默认调用 and hyper 的 模型。这时候你就需要新开一个命令提示符窗口，然后使用欧拉姆模型来运行云代码十例。 具体操作是，先复制云服务相关的指令，再复制模型相关的指令，最后添加上你已安装的特定模型名称。以我为例，我安装的是 k 三点五二十七 b 模型，所以我就把它添加在指令的最后。 这样一来，我最终的完整指令就长这样。接着直接按下回车键，这样就能在 clone co 中使用 ken 三点五二十七 b 模型启动我的云代码。实力完全免费，全靠本地的欧拉玛在背后驱动。 这样一来，我现在就能使用 clone co 的 智能体功能了，基本上我可以让他帮我编辑任何代码，而且只消耗本地资源。这真是太牛了， 现在能完全白嫖这个智能恋爱编程助手，这绝对是一次颠覆性的改革，比如现在我让他创建一个着陆页，他就会借助 kim 模型的思考能力来着手开发。瞧，就这么简单，我们的 plasma facial 着陆页就搞定了。这就是 kim 模型的杰作， 他能在本地调用高质量模型，并与云端大模型协调工作，还能部署子代理来生成这个落地页，这功能简直太强了，这就是这套组合拳能实现的真实效果。