你是否也为养龙虾而烦恼啊?我刚才试了一下,咱们这个龙虾线上 toking 太贵啊,根本养不起。但是要想用本地模型啊,你的本地模型小龙虾是不是傻傻的呆呆的?那是因为你本地步数太小了,四 b 八 b, 那, 那龙虾简直就跟啊幼儿园的小学生一样,想要部署本地大模型啊,首选枪神九 plus 超净版啊!我刚试了一下,部署三十 b 以上的本地大模型啊,六十四 g 两 t 加五零九零显卡 绰绰有余啊!还有一款就是咱们的幻 x 啊,幻 x 的 一百二十八 g。 我 刚看了一下啊,一百二十八 g 内存,如果你又放到台式机上,光内存的价格就已经 将近一万二三的价格。但是咱们现在换 x 的 笔记本啊,显存又高,内存又大,一百二十八 g 版本还可以同时叠加补贴的价格,现在两个 w 都不到,而且还有学生优惠啊,又方便携带, 轻轻松松啊!本地部署大模型龙虾啊,让你的龙虾啊比别人又聪明又快,而且还不用耗耗,耗费大量的 tucker 啊,不用耗费资金就能帮你办事啊,这样的下属谁不爱?想要预知详情,赶紧点我主页!
粉丝5088获赞3.5万

很多朋友呢在下载完龙虾之后,非常关心的一个问题,我是不是可以用一些免费的模型,然后去让龙虾进行使用,那这样的话我就可以不花钱了。之前我也给大家介绍了一些免费的厂商,提供了一些免费模型,但是那些免费模型呢,他是会限定一些额度的, 那就会有很多朋友问说,我本地部署模型是不是 ok 的? 那怎么让龙虾去连接本地的部署的模型呢?那这期视频呢,我们就来看一看怎么实现。首先呢在本地模型部署有一个非常牛的软件,就叫这个欧拉玛, 这个软件呢我们可以下载之后,它可以去帮我们去下载对应的一些我们想部署的模型,并且呢在它软件里面可以进行一个启动, 这样的话就不需要我们自己去找对应的模型资源,然后进行一个模型文件下载,然后再去启动对应的模型,所以说这个软件呢非常的方便。那这个欧娜玛的一个安装呢,我们这个地方直接就是给大家提供了下载链接, 就进入到欧娜玛点 com 这个地方,然后点击对应系统的一个下载方式,比如说你是 windows 就 直接点,然后下载完了之后直接安装就可以了。那安装完了之后它是一个什么效果呢?主要是有两个地方,首先呢 安装完之后它有一个文件夹,文件夹里面呢它会有一个 app 的 入口,可以把对应的 app 打开,打开之后呢我们就可以在这个地方跟它进行一个对话,可以看一下它所支持的一些模型,比如说 gpt, 然后 deep sync, 千问的,然后 mini max, 还有一些什么拉玛,然后本期我们就以千问的这个模型给大家进行一个讲解,看对应的龙虾怎么去连接。那我这个地方呢,已经把千问和拉玛的这个模型已经下载下来了, 所以说可以看到如果没有下载的话,他这个地方会有一个下载按钮,然后如果已经下载好的这个地方是没有下载按钮的,大家到时候可以下载一下,一会也给大家说一下怎么去进行一个下载。然后我这个地方就可以跟他在这种格式化的页面进行一个对话,问他你是谁, 那可以看到它现在因为它是一个 think 模型,就是它会思考,然后思考完了之后它会进一个回话,可以看到它的一个速度,在本地的一个部署模型速度还是比较快,当然了这个也是看你本地机器的一个性能,那我当前的这个机器呢,是一个五零八零的显卡,所以说它的一个效率还是比较高的。 然后除了这种方式之外呢,我们还有就是控制台的这种方式,就在这个地方我在文档里面给大家写好了, 就是我们可以在 power shell 里面去执行欧拉玛瑙,千问八 b 就 这个模型, 八 b 这个模型如果我们执行了之后,你本地如果没有去下载对应的这个模型,他会先去当 load 的 把对应这个模型给你下载下来,如果已经下载完了之后,他会直接去启动对应这个模型,那你在这个地方也是可以跟他对话的,你问他是谁, 然后进行一个 syncing, syncing 完之后输出对应一个结果,可以看到还是比较丝滑的,那本地模型呢?已经部署成功了,接下来我们就是要让我们的龙虾接入到这个本地模型。接入本地模型呢,其实也比较简单,那这个地方呢,我给大家介绍的是通过修改 opencloud 的 配置文件, 它里面有一个 open cloud, 点 json, 去把里面对应的一个内容进行一个修改,然后我们先按照上面这个步骤去打开 open cloud, 它对应了一个文件位置,我们就可以先去这个地方,然后 按照我命令执行就行了。先 cd 到点 opencloud, 然后进来之后呢执行这个 start 点,打开对应的一个文件夹,打开之后这个地方会有一个 opencloud 的 json 文件,然后编辑给它,在记事本里面编辑就 ok 了。 那我们可以看到之前呢我们这个地方,因为我是豆包的模型,所以说这个地方会有一个豆包模型的配置,那还有一个 agent, 就是 这个与我们对话的这个 agent, 它对应的模型使用的是什么?可以看到这个地方使用的是豆包, 那我们想去使用本地的欧拉玛模型,其实只需要修改三个地方就可以。首先第一个地方就是我们需要在猫豆子这个里面把我这一段给它拷贝进去, 找一下猫豆,然后与豆包进行一个平行位置, 然后把它删掉,加一个逗号,一定是一个英文逗号,然后加完之后我简单说一下它对应的一个内容,首先它是请求的 url 是 什么?就是本地的 logohost, 然后端口,然后 v e 接口 这个 appk 的 话,实际上它是因为本地模型是不需要这个 appk 验证的,所以说你这个地方随便写就 ok 了,跟我这个一样就可以。然后这个地方模型的话你就是用自己的,我们刚才不是下载的是千万八 币吗?所以说这个地方就是千万三八币。然后配置完这个之后,我们还需要去修改 agent 的 它所使用的模型。首先我们需要在底下去把欧拉玛对应的这个模型添加到它可用的模型列表, 在这个地方添加进去。 ok, 添加完了之后我们还需要替换一下,就是这个地方把这个 primary 给替换成我们下面的这个好的保存完了之后呢,我们这个地方的配置就结束了,就直接可以回到命令行执行一下, 我们把这个地方给关掉,关掉之后执行 open cloud get away。 这个因为我们是命令行之前启动的,所以说我们直接关掉之后呢,就相当于对应的龙虾已经结束了,那我直接执行它重启就好了。但是如果大家是 没有在这个地方直接关闭,它是后台执行的,那大家是需要执行 open cloud get away restart。 大家一定要记住这个点,我们直接启动 可以看到这个地方他有 agent, model 是 欧拉玛的千问三八 b, 那 说明我们这个地方配的还是没有问题的。我们来到龙虾这个地方给他对话一下, 那这个呢?是我之前问他的这个模型使用的是什么,那现在呢?我在问他说你现在的模型是什么?你当前使用的模型是什么? 那可以看到它现在已经告诉我说使用的模型是千问,然后它是通用实验室自主研发的超大规模语言模型, 所以说我们现在就已经切换成功了,这样呢,大家就可以拿龙虾去玩本地的模型了,也就不需要花你一分钱了。但是这个地方大家要注意,一定你的机器性能相对来说会好一点,那这个模型的速度运转会更快一点。然后如果你机器性能非常好的话,因为我这个地方配置的是八 b 的 模型, 八 b 呢代表是它的一个参数量,那三十 b 呢?像这种大参数量的,它的一个效果一定是要比我八 b 的 这个模型的效果会好一点。如果你的机器性能非常卓越的话,那你去下载三十 b 的 这个模型, 当然它需要很大的这种资源,所以说当它运转的时候,它对应的这个思考或者它的一个能力也是要比我八 b 的 强的。所以说这个地方看大家一个机器情况。

想自己安装一个小龙虾,就把你落灰的旧笔记本拿出来,发挥余热,开局一台旧电脑,三分钟学会从安装系统到配置龙虾的全部过程,给个小心心各位观众老爷,咱们开始 这种十五年前的笔记本再跑 windows 有 点费劲了,我就给它装个乌斑图系统。直接浏览器搜乌斑图系统,进官网找到想要安装的版本, 选桌面版下载。下载完成后放入安装系统的 u 盘, u 盘,插入笔记本电脑,开机按 f 十二,不同的品牌按键略有不同,可以 ai 查询一下。选择 u 盘,进入系统安装选项, 选择刚才下载进来的乌斑图桌面版,这是一个安装系统的工具,系统镜像拷进 u 盘就能直接安装,制作方法可以参考我之前的视频。我们继续选择第一项,继续按回车。 进入误班图系统后,自动启动了安装系统程序,选择我们所需要的语言后,下一步下一步。选好键盘布局后继续下一步,后面就一直下一步,下一步下一步。这里设置我们的账户,下一步选择时区,这里可以看一下我们的配置。最后点击安装就开始安装了。 安装完成,重启,系统显示到这里可以拔掉 u 盘了,按回车继续重启。 进入乌班图系统桌面后,需要先联网,但我这台笔记本太旧了,乌班图系统识别不到无线网卡,我就直接插网线了。开始安装 openclo, 我 们先下载一个 one panel, 用它来安装,不会涉及到代码,非常方便。 复制安装链接,打开终端,切换到 root 用户,粘贴安装链接,回车执行。这里我们需要先安装 curl 命令, 刷新一下,安装完后开始安装。安装完成,进入正题,继续安装 one panel, 选中文,由于刚安的系统啥也没有,根据提示安个 docker, 后面的一路回车就行了。 安装完成,根据给出的登录信息登录 one panel, 现在开始安装小龙虾 openclo, 打开 ai 菜单,先创建一个模型账号,这里可以随便选择你想用的模型提供商,复制 apikey, 记住认证信息 base url, 就 在模型广场 找一个模型,进入 api 文档,复制这一部分,粘到 base url 中,再复制模型名称,比如 mini max, 粘贴到模型里, 确认即可。回到智能体,创建智能体,安装 openclaw 端口保持默认就行。模型供应商选择刚才创建的 ucloud mini max, 点击确认,等待安装完成。 安装完成了,点击 web y 就 能跳转到 opencloud, 但在此之前要先设置一下默认的访问地址,设置完成后回到智能体继续跳转,然后设置电脑盒盖,不自动休眠。在终端里输入命令,打开 logend com 配置文件,按照提示先要下载 get it 命令,还是和之前一样, 刷新安装源后安装命令,再打开配置文件,找到文本内这一行,将前面的注视符号删除,并将 suspend 改成 ignore, 保存后退出文件,最后输入命令,重启系统,让配置生效。最后把笔记本电脑合上盖子放在一边,你就可以通过手机或电脑访问 one panel。 跳转打开 opencloud, 也可以记住 openclaw 的 访问地址,直接访问,这样随时随地都能使用 openclaw 了,非常的方便。好了,今天的内容就到这儿了,记得点赞收藏,我们下期见。

哈喽哈喽,我是大海,很高兴又和大家见面了,昨天呢,大海给大家录制了一个教程,就是在我们本地的这个电脑上去安装我们本地的大模型欧拉玛啊,然后呢再去用我们的虚拟机安装一个 open close, 然后实现我们完全本地化养虾的一个全过程,对吧?不需要偷啃,也不需要花钱, 但是呢,很多朋友反映说这个安装过程还是比较复杂,尤其是安装虚拟机和后面半段,这个安装 open close 啊就云里雾里了,最后可能还是安装不好,那么今天呢,大海就给大家来一个更快速的方法,大海直接把自己的这个 ym 虚拟机昨天安装好的这一套打包成一个压缩包,大家下载下来一解压就能用了,对吧? 当然这个 openclo 这个本地大模型还是要需要大家自己去安装一下,根据自己的实际需求和你的电脑的配置,然后去安装一个属于自己的模型,那么下面这个 openclo 的 安装大家可以直接一步带过了,对吧?我们来看一下今天这个 教程啊,首先呢我们就要安装一个虚拟机,然后呢把这个大海的虚拟机压缩包打开,修改一点点内容,然后咱们直接就给他访问,非常的方便。那首先第一步我们来安装一个 vm 虚拟机啊,这一步如果说已经做了的朋友,你就跳过这一步,直接看第二步,对吧? 大海这里呢去安装一个啊,没有下载的同学呢,你就去这里下载一个,直接去安装这个 vm 虚拟机,它是向下兼容的,如果大家想使用我今天打包的这个程序,你必须版本至少要高于我昨天是十七点六点四,所以大家这个版本至少也是十七点六点四,不够的你就去升级到这个版本, 点击下一步接受下一步。这个地方呢,安装的时候我们自动安装这个对应的程序啊,以保证我们能使用。 然后呢什么什么我们下一步,对吧?其实就是一直下一步就行了,然后我们直接下一步,下一步 安装好,这里已经安装好了,我们点击完成。然后呢我们就开启我们的这个 v m v 二迅疾,开启了之后呢,大家这个地方不要新建,也不要这个打开,对吧?把大海打包的这个迅疾给它下载下来啊,我给大家提供了网盘链接,随便选一个进去下载好, 然后这个下载出来的安装包就是长这个样子,一个无邦图六十四位的 vip 压缩包。然后呢你就自己找自己的固态硬盘,比如说我,那这个盘是固态硬盘的吧?我我新建一个文件夹进去, 我这个压缩包呢,打包是两 g, 解压后是五 g, 所以 说大家最少最少你的那个固态硬盘上要留十 g 到二十 g, 对 吧?去给它用来运行,如果说你想很好的体验的话,至少也得五十 g 左右啊, 这个地方我们直接去给它放进去,放进去之后我们直接给它解压缩,全部解压缩就可以啊,好,解压缩好之后呢,我们就可以直接从我们的这个虚拟机里头去打开虚拟机,找到你刚才解压缩的这个文件夹, 然后呢里头会有一个六十四位文件,我们直接打开它,好,然后你就打开了这个虚拟机,点击虚拟机,然后给它设置,主要是看看大海设置这个四核八 g 你 能不能带动啊?你的电脑的硬件配置比四核八 g 低,你就 把它改的小一点啊,不然太大那个开启不了。接下来就是这个选项,这里呢,我们选到高级,看看他有没有起用这个侧通道缓解的禁用啊,一定要把这个地方勾上好,这个地方勾完成之后,我们就可以直接开启我们的迅疾啊,这个地方弹出了我已移动或者我已复制,你就随便选一个,我选择我已复制。 好,这里我们就已经登录了,对吧?登录名是无邦图,登录的密码是大海增援网,无邦图 密码是大海资源网啊,好,然后这就登录了,对吧?登录了之后呢,我们要去远程连接一下,不然这样操作太麻烦了,你点击上面的虚拟机 s s h, 我 们去连接到 用户名呢,我们还是无绑图。然后呢,我们直接选择连接,然后这里呢?连接的时候他问你 yes no, 你 就 yes, 对 吧? 然后呢, password, 就是 大海资源网,对吧?盲书就可以。好,我们就进入了我对应的这个地方啊,大家进来之后呢,就是如果你要去试用一下,那没问题,如果说你试用了之后感觉不错,你准备长期用的话,大家一定要把自己这个乌帮图系统的那个密码改一下, 这个改密码的命令就是这个搜索 password, 呃,乌帮图,这是改这个乌帮图登录用户 的这个,嗯,登录密码,然后你速度 password, 就是 后头不加用户,不加误绑图,那他改的是这个 root 权限的密码,然后这两个密码都应该改一下,因为这个大海的视频暴露在公网上的,你将来要长期使用你这个密码,别人能访问到啊,这,这不太好,大家还是要去改这个密码的哦,密码现在都是大海资源网。这原程连接了之后呢,咱们就可以把这个地方关掉了,把虚拟机关掉,我们 点击叉,然后让他在后台运行,因为这里我们远程连接了吗?就可以直接去操纵他,然后呢我们去输这个 ipaddr 啊,看一下他的本机地址是多少,右键粘贴进去,回车, 然后呢找到这个 e n s 三三,然后下面有一个 int, 对 吧?然后你看这个地址和昨天不一样了,昨天是呃, 幺六零幺二八,我今天变成了幺九二幺六八二四七幺二八,对吧?你要记住这个地方是二四七幺二八,把后半段记住,一会咱们会用到。好,知道这个之后呢,我们接下来就 s s h 转发小龙虾,对吧?我们直接在这里去给他搜索 powershell 啊,找到这个 powershell, 然后我们去打开,然后呢 powershell 里头就是用这条命令,对吧?把它复制一下这个地方,我们右键粘贴进去,然后呢把最后这个改一下,对吧?这是二四七点幺二八啊, 回车,然后输入一下你改好的登录密码,我这里还是大海资源网,对吧?回车,好,然后你就转发成功了,然后我们就可以直接通过这个下面这个幺八七八九这个带这个的去登录了啊,我们直接在这个浏览器就去 黏贴,然后他就访问了,对吧?访问了之后呢,我们就用我给你的这个登录 token 密码给他 连接好,就登录了,就和大海昨天就长的一模一样了,对吧?当然现在有一个很很大的问题,是什么呢?就是现在咱们这个连接是连接上了,对话不了,因为你这个电脑上还没有欧拉玛大模型,而且即使你有欧拉玛大模型,你这个连接这个地方也不对,对吧? 啊?我说你好,他开始一只猩猩转圈圈了,对吧?很多朋友都是这个问题,所以说呢,咱们还得给大家演示一下这个欧拉玛的问题啊。 那么今天呢,大海是给大家做一个快速演示,如果你想详细的了解欧拉玛的安装和具体如何去选择配置和模型,去看大海昨天的教程,非常的详细啊,非常详细,讲了大概十五分钟,欧拉玛 好,这个地方我们直接去安装,然后呢,如果说不会的朋友,你就去参考我昨天的这个文档教程啊,就是这一篇,这一篇开开篇就是安装欧拉玛啊,好,然后呢,弹出这个,我们直接 install 欧拉玛的这个下载地址,如果说大家下载慢的话,在昨天的这个文档里, 他有对应的这个网盘分流链接,大家去我的网盘里下载,速度会快一点啊,奥拉玛的官网呢?我们这里要访问一下,一会要下载一个模型,我今天呢就选一个小一点的模型,为了给大家演示嘛,对吧?咱们看千分三点五最小的模型是多大? 千分三点五最小的模型是零点八 b, 二 b, 四 b, 咱们就来个零点八 b 的, 对吧?最小的这个只要一 g 嘛。这个模型,然后呢这个复制上, 今天是为了演示,快啊你,你实际上零点八 b 在 电脑端根本没法用,零点八 b 这种模型是给手机准备的,是给移动端准备 各种小设备。安装好了之后呢,咱们先不管他,根据咱们昨天的教程,还要给他去配置一个全局的系统变量啊,我们直接在这个 windows 里这里搜索系统变量,然后呢编辑系统环境变量,打开这个窗口,点击环境变量,然后去下面系统变量里头点击新建,然后呢把咱们这个欧拉玛 host 给它复制进去, 然后呢变量值复制,我这个幺幺四三四啊,大家都是同样的粘贴,然后呢直接点击确定就行了。这个地方我们点击确定修改了这个环境变量之后呢,我们要重启一下欧拉玛啊,把这个欧拉玛在这里去啊,去给它退出, 然后呢我们再重新把这个安装的欧莱玛去给它打开好,然后接下来呢,我们是要找到这个 windows 真机 ip, 我 们从这里呢搜索一个 cmd, 在 这个界面下呢,我们去给它输入一个 ip config, 也是在这里复制就行了, 复制,然后在这里去粘贴,回车找到这个 vm。 net 八下的 ip 为四地址啊,今天你看我变了,变成幺九二幺六八二四七点一啊, 把这个 ip 地址给它复制出来,在浏览器里头黏贴,然后呢去给他后头加个英文的冒号,加上欧拉玛的端口。幺幺四三四, 回车允许啊,这个地方呢就可以看到我们访问对应的地址,幺幺四三四,欧拉玛 is running, 对 吧?能看到这个就说明行了。然后接下来呢,我们就是去给我们的 open close 把我们的欧拉玛弄上去,这个欧拉玛还没有安装咱们对应的这个大模型,对吧?咱们刚才复制的大模型 在这里啊,咱们把这个重新复制一下,然后呢在这个里头我们右键回车,然后让欧拉玛去拉取对应的前文三点五的镜像啊,整好了咱们可以在这个窗口里试一下啊,你好 好,前文三点五啊,这次不不错,虽然是零点八 b 啊,但是他还能回答,行,然后我们把这个地方关掉就行了, 这个欧拉玛已经安装好了,然后就是看我们的教程,对吧?现在我们这都已经搞定了,然后最后就来到了最后一步了,欧拉玛的模型也准备好了,我们就来到这把这个网关和模型重新配置一下啊,这里复制 啊,在这里呢,我们去右键粘贴进去,然后去回车,然后这里呢?首先我们是 yes, 对 吧?然后呢?呃,我们来,呃,这个快速开始, 然后呢我们去升级数据,就是选择第二个,然后这个地方我们的欧拉玛我们去,呃,选到欧拉玛回车,然后呢你看这个地方,这个地址就不对,对吧?这个地址我们要用哪个呢?幺九二点,幺六八点, 呃,二四七点,幺幺幺四三四,就是用这个地址啊,把这个复制一下, 这个地方右键粘贴进去,然后给他回车,这个地方他让你选是本地还是云端家本地,大家一定要选云端家本地,因为你一选本地,他就开始给你拉取那个超大的模型啊,这个肯定是不行的, 那么想要设置这个云端家本地,你欧拉玛就得登录云端账户才可以啊,没有欧拉玛账户的同学呢,你就在这里你去注册一个啊,大家最好是用啊,比如说 altlook 邮箱,就是微软的啊,比如说这里我就用一个 altlook 邮箱啊,然后呢它会让你创建密码,然后呢它就会给你的这个 邮箱里头去发一个验证码。好,然后呢还需要一个手机号,我这个地方呢用我国内的手机号啊,咱们国内手机号前头就是加八六,好也正常收到了, 这样我就注册好了欧拉玛的账户,然后就能登录了啊,你就拿你的这个欧拉玛,把欧拉玛界面打开,然后呢你会看到这里可以找到你刚安装好的模型,我这是千万三点五零点八币啊,刚安装好的,然后呢你点击左上角这个 呃 city, 然后呢点击这个登录,然后它会跳转到你的网站账户,你直接点击 connect 连接 好,这个时候你这个奥拉玛账户你就登录上,而且呢登录这个账户有一个好处,就是云端大模型能免费用啊,只不过它每个月每一天都有限额,那么具体限额的消消耗量什么的,大家去看昨天的视频啊,我们这里就可以选择了,在这里我们选择 云端加上本地的大模型,然后这里呢我们就可以找到我们本地的模型,比如说这里可以找到我们欧拉玛三点五零点八 b, 就是 咱们刚刚安装的,我们直接回正,然后呢剩下的这些内容咱们就不需要,对吧? 全部都是稍后再设置,这个地方设置我不需要,然后呢空格不需要 网关,咱不需要的网关咱们已经登录了,这个地方我们直接退出,然后呢也是等一会再设置好这个地方我们就搞定了,对吧?搞定了之后呢,我们把这里我们重新去给他刷新一下,然后模型这里呢我们就可以选择我们刚刚安装的千问三点五零点八 b, 对 吧? 好,然后我们来尝试的和他对话,你好,这个地方你会卡住对不对?那你当你这个地方卡住的时候,你就先切换一个其他模型,先给他刷新,对吧?先给他切换一个云端模型啊,这里,比如说我给他切换一个这个, 哎,啊,来了来了,稍微等待了一下,你好,我是你的 ai 助手,然后千分三点五零点八币,对吧?没问题,这个地方呢我们就已经完成了我们的快速配置,只要大家把这些包什么的安装包下载好,那么大家也能像大海一样在十几分钟的时间内呢,把我们这个大模型配置好,直接本地用起来, 好吧,那么大家注意使用的时候呢,要注意去修改自己各个地方配置的那个密码,不管是系统登录密码还是 open clone 登录密码相关的这些具体的设置呢,大家可以返回去看我昨天的视频,好吧,那么咱们今天视频就到这里结束,我们下期视频再见,拜拜。拜拜。

现在很多人用 open core 龙虾来提升工作效率,但是他用云端的大模型,大家又有所顾虑,数据不安全,依赖外网还会受限。想让龙虾直接调用你本地的大模型吗?今天这期手把手带你切换,安全又自由。 好的,真的是手把手教哈!现在我们在左下角搜索框上面输入 c、 m、 d 三个字母,在弹出来的命令提示框里面,我们首先要进行一个环境检测,那检测的内容无非就是两项,首先第一个是龙虾的环境是否是安装正确,另外一个是欧拉玛本地 你的开源大模型运行框架是否正常,有些人到这一步可能就开始挂了,哎,我这里怎么跟你不一样呢?这些都是基础环境的问题,点赞过千呢!我会为大家出一期教大家怎么零基础安装龙虾环境,并且配好本地大模型。 openclose 需要一个 api key 来识别,欧拉玛服务 这里我是使用了 linux 常用的,这种 spot 命令在 windows 环境下应该是识别不出来,所以待会大家看到一定会出一些问题啊, 那我们换另外一种方式就可以了。所以现在我们是通过 open call 来配置他的 a b i k, 这个 k 可以 是任意的支付船。我这里是设置成了欧拉玛 logo, 那 你要设置成 abc 也是可以的。 现在大家看到提示就代表着我们的龙虾已经连上了本地的大模型,当然现在还没结束啊。接下来我们要检查一下奥巴马服务是否已经开启,因为如果没有运行的话,是需要重新再启动的。这里输入的是本地奥巴马的服务地址, 可以看到我现在本地正在使用的一个大模型是千问三点五的九币,如果没有顺利出现模型铃声,那需要执行这条命令,手动启动本地大模型。那如果你的拉玛本来就是正常运行的,执行这条命令呢,就会 有错误,跟我一样,这是正常的,不用慌,现在我们干脆新开一个命令行窗口啊,我们先检查一下这个龙虾里面的模型有哪一些啊?用 openclose model list 的 这条命令就能够查询的到,第一个千万三幺四 b 的, 这个是之前我使用的本地模型。 第二个呢就是龙虾他默认使用的大模型啊,这是一个在线的大模型。然后呢,用现在大家看到的这条命令,我们就可以让龙虾去找到本地正在使用的大模型。 千万三点五九币。执行完了以后,龙虾会自动的重启,重启以后倒转到这个龙虾的 t u i 交互界面, t u i 交互界面是我们和龙虾进行交互的一个 窗口,我们可以交代他去做什么啊,他会在同样的地方给我们反馈。按 ctrl c 就 可以退出 d o i 界面。紧接着用 open claw on board 这条命令 来启动龙虾的出石化像道这一步用方向左右键就可以选择 yes or no, 这里我们选择的是 yes。 第二项默认选第一个就可以 回车跳转以后我们就可以在龙虾里面看到一个表,这个表里面就显示出了龙虾检测到的本地大模型。千万三点五九币。下一个配置我们可以选择一二两项中的一项,但是千万不要选择第三项 reset, 接下来模型供应商选择,我们直接跳转到最后一个,跳过就可以, 然后选择 o provider, 在 这个 default model 里面连接的欧拉玛模型应该会出现在最上面,并且作为末日模型选择这个就可以了。后面的设置大家只需要参考视频的配置就行。 最后重启龙虾我们就可以来测试是否切换成功。由于之前我已经使用了飞书来测试一下本地的 overclock 使用 大模型是否是正确的啊。大家可以看到当前我发送的消息是直接会发送到我本地的服务器的, 然后有本地的大模型去查找问题。好,我们看到了现在这个龙虾去查询了一下,回复我们当前模型是圈问三点五九币,这个是准确的啊,那基本上到现在 本地模型切换呢,就是完成了啊。最后给大家展示的是拉取本地模型常用的两条命令啊,第一个是拉取,第二个是查询啊,有需要的宝贝啊就可以去参考一下。

最近啊,因为小龙虾非常的火,很多哥们问我,他说,兄弟我要搞那个小龙虾,我要什么配置比较合适呢? 我这边的技术兄弟测试了一下这个玩意,他跟你的电脑配置关系不大,主要还是跟你的电脑系统挂钩。目前来说,苹果系统、 windows 系统还有乌班图系统全都安装运行了, 其中来说,苹果系统他是最容易安装和使用的,其次就是乌班图系统,然后 windows 的 话是比较难用的,这也是为什么最近 mac 迷你这么火的原因。

八 g 显存的笔记本,跑 oppo 可乐,跑本地的奥拉玛,加上千万大模型,看他跑起来后我是怎么调优的,碰到了好多的坑啊,开始我选择的是啊,千万二点五七 b 的 模型,跑起来是没问题的,但是也是比较慢, 然后办显卡显存也跑的比较满,回答问题的时候也是相对较慢的,然后我就想尝试一下,我说这个啊,二点五,千万二点五是没有这种推理模式的,最近刚发布的这个千万的三点五, 三点五的九 b, 我 先跑的,然后进行了一些调优,调优以后,不管调优与不调优,反正就是占的显存比较多。 后来是因为是八 g 的 显存调到了,用到七点五 g, 用到七点五 g 我 觉得还凑合,但是就是推理过程特别的慢啊,特别的时长特别长, 然后在欧拉玛直接问的时候,跑的还是比较快的。回答问题还是说有这个逻辑啊,先思考完再回答这个逻辑,但是在这个 open club 以后,大小龙虾里边跑的就相对比较慢了,所以说我们就啊,我就把它继续又换回去,换到了一个千万的 二点五的一个七 b, 二点五七 b 以后就出现这些问题啊,就说跑起来总是把共享内存占一部分,怎么调优都把这共享内存占一部分。后来我看一下啊, 是对于这个调优参数进行了一系列的调整,调整以后二点五的七 b 暂时还是能用的,然后用起来以后发现共享内存这部分参数呢,全是因为低显存模式激活了,造成这系列的问题,所以说我们就把这个低显存的参数给调了一下,把对话的那个上下纹的长度调了一下, 但是你可能就牺牲了啊,比如说五轮对话以后啊,几轮对话以后就牺牲了这个他的一个记忆力啊,他就随机失去一些记忆了,所以这个也是不是很好的选择。但是没办法,因为上下文如果太大的话,然后在这个跑起来的话,这显存占有就相当大了。 然后还有一个问题,就是说在欧拉玛直接跑的时候呢,它不会去占用特别多的显存,比如说我就跑到七点五 g 就 完事了。但是你用 open 可乐小龙虾去跑的时候啊,它会额外加载这个其他的缓存啊,其他的 ktv 啊之类的一些问题,所以说造成了整个缓存一下就顶出了,顶到了这个共享显存里边, 所以说我们的这个共享显存的不就是内存吗?啊点到内存里边就相对特别特别慢了,然后呢咱们就只能给他这个调优,调到了大概一个四 g 左右的一个程度,这才够勉强。咱们现在跑的这个啊,七点五 g 左右就能跑起来,然后跑起来以后呢, 连上这个飞书啊,连飞书以后,你就发现一个问题,你跟飞书这个 man 这个智能体去说话的时候,让他建立的智能体啊,家里的子智能体,比如说建立个程序员啊,建立个产品经理啊之类这些呢,他是一个这个对应的不是呃,咱们这个想要的这个自主记忆啊,自主常记忆的智能体, 一个临时智能体啊,必须用这个 a、 d、 d 啊之类的这些参数去进行命令行切换键的智能体才是能够有强记忆的,所以大家要注意这方面的问题,否则的话一个对话绘画退出以后,这个智能体就没有了啊,所以说大家要注意这个环节 啊,这是我们在这个在笔记本八 g 显存加上欧拉玛加千问啊调优过程中遇到一些问题,调优参数呢?基本就是这样的一个参数,大家可以看一下,然后有更多的问题呢,我们也可以沟通一下。

ai 龙虾养了没?为啥有些电脑跑 ai 却能够卡成 ppt? 别急哈,可能是你还没搞清楚 ai 需要什么硬件,那今天三分钟把 ai 的 需求分析和硬件的配置一次性讲透,看完你应该就知道你需求什么样的配件。想拍 ai 电脑,我们还是先别看硬件, 先搞清楚我们用 ai 来干什么,我把场景跟硬件直接对应,一句话让您听明白。第一, ai 绘图本地画画 table user, 你 中宁像这些显存至少都要八 g 起步, 十二 g 以上更稳, n 卡的话作为首选,因为 ai 工具几乎都是基于库达,预算够的话直接可以上到十六 g 的 显存,跑 ai 模型不爆显存。 第二,本地大模型, ai 聊天像 deepsafe 或者是通用千万本地部署大模型,模型会先加载到内存里,十六 g 勉强能够跑小模型,三十二 g 起步,六十四 g 以上可以跑到十四 b 以上的大模型。 第三,像剪映 ai 跟科帕冷,主要看就是 cpu 加内存,显卡够用就行, cpu 打开切换多任务的运行时候, cpu 决定的是响应的速度, 所以核心越多是越好的,像 i 五啊,或者是锐龙五是底线, i 七或锐龙七会更稳。第四,训练模型跟练单显卡都全部都要拉满的。 那记住一句话,画图看显卡,跑模型看内存,日常流畅看 cpu, 先定需求再配硬件,不花冤枉钱。那我在这里推荐一套本地部署的 ai 配置,供大家来做一个参考。 cpu 用到的是我们的锐龙七八七零零 g, 它内置的是瑞迪恩的一个七八零 m 机险,支持手动分配十六 g 的 一个显存,跑大模型时,它可以用极险来做一个分担,主板用的是 g 加 b 八五零 a o reis pro wifi 七电竞标 十二加二加二的一个供电箱啊,支持 ddr 最高八六零零的一个高频内存, ai d 五黑科技二点零可以一键超频。 内存用到的是金士顿六十四 g 的 一个套条,跑十四 b 的 大模型都不卡,显卡用到的是 g r t x 五零六零魔音卡,八 g b 的 显存, ai 绘图够用。如果主要跑大模型,可以先用八七零 g 的 一个极显点一点 硬盘,用一 t 硬盘就可以。这套配置目前能够支持绝大部分的一个本地 ai 部署了,如果您的预算有限,也可以根据如下的一个需求来做略微调整,也帮大家列出来的,你可以做一个参考,那配置到位了,部署其实也有简单的方法, 给你一个国内可以直接用的方案。有道龙虾,它跟国外的 open cross 类似哈,但完全是针对国内的用户来做优化的。内置技能商店,它是自带文档处理、数据分析、 ppt 制作等十六种的一个核心技能,数据百分百本地存储, 所有的聊天记录、配置文件都在你自己的电脑里,您可以配合沙箱做一个隔离运行,不用担心隐私泄露。那你的职业 ai 是 否能够对您起到一个帮助呢?评论区我们可以聊一聊,我们下期见。

还在为本地跑 open club 疯狂吊针而抓狂吗?别担心, r o g 枪神九 plus 专业为你养龙虾! ultra 九二七五 h x 处理器,二十四核心,二十四线圈,搭载满血 r t x 五零八零显卡,一百七十五瓦满血性能释放 十六 g 显存,直接喂饱大模型!十八寸的二点五 k 新荧屏加二百四十赫兹刷新率,丝滑滚动代码行高算力加颜值,双在线,你值得拥有!

最近养龙虾特别火,今天我带大家在国产系统环境里养虾,我正好手里边有一台笔记本啊,笔记本安装的是银河麒麟操作系统 v 十的二五零三版本,在开放麒麟社区我看到了他们制作的龙虾的安装包, 我直接下载的叉八六版本到本地。下载完以后,第一步我先要对这个安装包去付全,也就是给他一个可执行权限,需要在命令行里边去操作。 命令已经打在弹幕上了,输入的时候需要注意输入空格, ok, 直接双击启动,允直接运行, 始终允许。 第一步我们先需要配置模型厂商,我们可以选择智普 默认 api 密钥,需要大家去单独注册,我提前注册了一下, 将 apik 复制, 然后保存配置,开始安装, 安装配置成功, 安装成功以后会弹出一个安装成功的对话框,打开网页,我们可以复制把这段,把这段地址打开网页,我们复制这段地址 可以用火狐浏览器,也可以用三六零安全浏览器。打开之后我们输入一段命令试试, 耐心等待一下, 把动态汇总了下,速度上也还可以。以上就是龙虾部署的详细步骤,部署起来很简单,感兴趣的朋友可以去体验一下。

一键完成 openclaw 的 部署,三句话把它塞进飞书,适合小白们的大龙虾方案来了!今年呢, openclaw 爆火,中国公司的嗅觉啊,都超级的灵敏,借机打了一场翻身仗。 tucker 卖的飞起云方案也是家家都有这口龙虾肉啊,是真香。 最近呢, mini max 也在自家的 agent 平台上推出了 max curl, 这个真的好用吗?跟其他云端的 open curl 有 什么区别呢?咱们就来测试一下。我点开网页充了会员,不到一分钟啊,就部署完成了。要知道呢,我之前在本地部署的时候,整整折磨了我两天。这个对编程小白啊,确实友好, 想要把大龙虾部署到飞书里呢,也超级简单,反正我只跟他说了三句话就实现了。第一句是我想要连接飞书里,创建新应用才能实现,还管我要了应用专属的 id 和密钥。 这个和本地部署基本是一样的,都得在飞书上啊。操作完最后,你只需要跟 ai 说一句,我弄完了它就会自动把 open color 配对到你的飞书里,整个操作啊,连三分钟都花不了。我用 windows 系统的同事啊,也是靠它才头一次用上大龙虾,再也不用经受本地部署的折磨了。 我也让他试着帮我处理了一些工作。这个是黄仁勋的一段采访视频,我让他帮我啊,总结要点,你看,他总结的还很到位,甚至还总结了三个核心观点的原话。不过呢, max clock 目前还不能直接看视频,所以呢,还需要我导出文字记录,他才能阅读。 下一个的任务呢,是直接难度升级,让他帮我抓取网上最新的 ai 趋势,直接写一个短视频的脚本,咱们直接看结果,这个趋势调查做得还不错,给了一些有悬念的标题和主流的观点。 视频脚本写的也是有模有样,显然是做了一个剪辑像的方案,甚至呢,还给我做了四张可以用的配图,整体感觉可以打八十分了。不过这个方案呢,他给我生成的是一个网址,我想要的呢,是一个 word 版本,就让他帮我解决。 结果啊,他没有费劲巴拉的帮我转 word 格式,而是教他我两个投机取巧的方式。一个呢,是让我把网页文件直接另存为 word 文档,这个啊,确实解决了我的问题。然后呢,他又告诉我,想要更快速的话,直接自己粘贴复制就行。好家伙,这个解决问题的逻辑跟人类确实一样了。 然后我睡觉前呢,还让他帮我监控夜间新闻,早起发给我,他就直接设定了一个定时的任务,我早起一看呢,嘿,新闻简报还真来了,一共列了十五条,还给到了数据员。整体用下来啊,我感觉 maxclock 特别适合没有用过智能体的小白用户。他的沟通呢,十分简洁,不少 skills 都部署好了,可以直接用 任务,执行能力也不错。除了我实测的这些例子,它也能执行生图、抠图或者部署应用的任务。但实话实说呢,它其实是 opencloud 的 青春版,能力上呢,确实跟本地部署啊有一定的差距,而且有的时候涉及到大量的文字或者图片信息,飞速端就显示不出来了,还得去 maxcloud 的 网页里呢,找答案稍微有点麻烦。 当然呢,这个方案还有一个好处就是便宜。大家都听到过啊, openclaw 的 传言什么?三个问题,烧掉了十美元,一夜干掉了两百刀,软件免费的,但是烧 token 贼贵。 我自己算了一下,用咱们国内的模型,其实一个问题可能只用花到一毛钱,一个复杂的任务呢,只用几毛钱还是非常便宜的。所以呢,如果你一直搞不定 openclaw 的 本地部署,或者被添加的账单劝退了,那完全可以来试试 maxclaw 这类的产品,毕竟啊,能用起来比啥都重要。

三十二 g 内存的 mac 跑本地大模型,到底能不能实现偷啃自由?今天我用谷歌刚发布的干马四给大家实测一下。 干马四是谷歌的新上的开源大模型,主打高性能和本地部署,官方说他能在手机上跑,还能流畅运行,但是我始终想不出这个部署在手机上有什么应用场景,于是作为养虾人,每天都在焦虑偷啃的消耗,竟然手机上没有使用场景, 那么本地部署来养我的小龙虾是再合适不过。它的部署其实很简单, windows 用户直接用欧拉玛, mac 用户我推荐用 x m l x, 这是专门为 mac 深度优化的推理框架,相比欧拉玛性能更出色。 打开后进入 admin panel, 在 models 页面搜索 hugen face, 输入伽马四各种参数版就出来了。 我的设备是 m 三 max, 三十二 g 统一内存。今天的重点是两个问题,第一,三十二 g 内存能流畅的跑哪个参数?第二,本地部署的输出质量能不能满足日常要求?我已经把干马仕连入小龙虾工作流,先上硬菜 测试。三十一 b 是 比特量化版,现在是十四点十四分,我们记下时,但是结果比较尴尬,等了一分钟风扇狂转还没有出结果,所以结论是三十一 b 在 三十二 g 内存上是跑不动的, 如果电脑是六十四 g 以上应该就会很合适,那么我们就试一下二十六 b, 现在是十四点二十一分,不到一分钟结果就出来了,透口深深的速度稳定在每秒三十三个,这个速度对于我来说是完全够用, 快速少了一眼回答,质量还是不错的,于是继续追问,重复刚刚的问题,测试下上下文记忆能力。 又追问了模型对比和选择建议,主要考察三点,上下文连贯性并理解能力及问答准确性。 从结果来看,上下文记忆能力没问题,也没有胡编乱造。我们再换一个场景,让他帮我写公众号,推荐一个合适的模型。结论,测试下来,三十二 g 内存跑二十六 b, 响应速度是可以的, 输出效率挺高。当然,回答质量还需要深度测试,看能不能达到商用的标准,但是要彻底说满足,偷啃自由。现在下结论还是太早,因为在测试中发现一个致命的问题, 干马仕标称二百六十五 k 上下文,但我问了七个问题,就报上下文。一出这个问题很头疼,不解决的话基本没有保留历史对话记录,也只能不停的删内容或者开新对话,对于长期使用影响很大。 所以目前我在找解决方案,研究了几种可能的思路,看能不能突破限制,如果能搞定这个问题,本地部署才算真正可用。找到方案后第一时间通知给大家,今天的测试就到这,我是林浩,我们下期见!

现在 ai 都能养龙虾了,就是这个 openclo 被网友戏称为 ai 养龙虾。就是你一句指令, ai 小 龙虾,它可以直接帮你在电脑上干活,你可以理解成雇了一个二十四小时不用吃饭不用睡觉帮你干活的小助理。 这一套 ai 养龙虾教程,完整覆盖了从入门到落地的全流程,纯干货,无废话。从小龙虾试什么能干什么,到环境怎么搭,怎么安装,再到本地模型怎么用,一步一步带着你操作,是新手入门 opencloud 的 最优选择。

现在我的小龙虾呢,用的是我本地部署的千万三点五二十七 b 的 awq 的 模型,响应速度非常快,这是在麦克上面的小龙虾,然后呢调用的是我在我这台五零九零啊上面, 我这台五零九零上面部署的这个千万,这是在我五零九零上面部署的千万三点五二十七 b 大 模型。你看好一会任务呢,非常快,响应非常快,然后这个显存的占用呢,已经到达了百分之百,然后你看这边的速度多快,哇塞,网络也没有延迟,然后响应速度极快,感觉太棒。

由于小龙虾消耗托肯太贵,我要零成本运行,一块四零九零,显卡带不起来。由于 deepsea 模型太大,现在对电脑改装公司电脑装了一只龙虾,这个龙虾只能运行三十 b 的 deepsea 模型,七十 b 的 时候运行特别特别缓慢,我从医院偷偷跑出来了, 换上正常的衣服,对我的电脑进行改装。大家看一下电脑本身,这台电脑是一个 i 九十二代的,一个 cpu 和一个四零九零的显卡,但是七四 b 的 模型运行不动, 把这个三零九零和这个四零九零准备放在一起去运行,这个电源是两千瓦的电源,应该可以带动吧。然后由于这是原来插了一个采集卡,把这个口给占了,那只能用一个延长线 延长出来,但是这个机箱又小了,再换机箱也麻烦,我就到了电焊铺,搞了一只三角铁,还有奇奇怪怪的配件,我看能不能把它给装一下。我的初步想法是这样, 就初步想法往上一放,哎,这头我一固定,这头一固定,我这样一插,理论来讲应该是正常的, 但是这也有个危险性,这个铁渣子一旦掉到主板上,一通电就直接短路了,就说这是个,这是个风险性极高的货,哎呦哎,借的东西不行,装不进去炖了 哦,现在有个问题,这个还转不了,对啊,这个转的时候铁渣子都掉显卡里面了,现在遇到难题了,因为你看到这个铁渣子一旦掉到这个主板里面,就会,就会短路,所以现在必须把它退掉。 开始讲戏了啊,只有他固定下来,只有这个固定下来才能把这个固定下来。如果,如果说从这个孔转,你看 如果从这个孔钻钻进去,会导致这个显卡必须下移,如果显卡下移的话,这个线,这个线是插不进去的,你从这穿他一个孔, 他撑不住啊?他要往下压的呀?你看他一个孔,你现在穿这,他往下压的,他变成这样了,我看对不对?

龙虾本地部属就是有点卡,太卡了,动都动不了, 一直在那个动不了,哎,太卡了,机器配置太差。

今天分享一个让龙虾兼顾低成本、强算力与高自动化的思路,核心逻辑是通过龙虾的自动化规划加操作系统入,外加利用云端模型免费额度放大龙虾的能力。 画面中展示的就是我发给龙虾的任务描述,这个任务的价值在于,它能把你看中的瞬间变成你拥有的。以前看到别人的视频很漂亮,你想复刻很难,现在只要把看中的画面截图,龙虾将其逆向成代码模板, 你就可以生成同样效果的视频。流程启动后,龙虾会自动便利文件夹,将所有截图图片逐一提交给云端大模型。 我们利用云端模型的顶级视觉能力,将图片中的视觉效果直接用 motion canvas 动画代码进行复刻,通通变成自己视频中可附用的模板。流程中用到了我开发的 desktop marko 技能,它赋予了龙虾直接操作 windows 系统及各类软件域外界面的能力, 解决了龙虾无法模拟键盘的局限,从而实现了极其灵活的文件上传与交互。这套技能成熟后,我会将其开源给各位, 生成的代码会由龙虾自动提取并分类保存。这种方案让我们能快速将外界的优秀视觉效果转化为自己的动画资产,为后续的视频全自动生产储备资源。

全网都在养小龙虾,但一个问题就吃掉十万透坑,这你受得了?现在大家养虾的痛点根本就不是会不会用,而是云端大模型加本地龙虾,堪称透坑黑洞。长期成本呢,直接拉满数据上传,还存在泄露风险。如果用普通电脑完全本地部署,配置不够,连大魔仙都跑不起来。 龙虾呢,也是个空壳,只有性能极强的工作站才能满足本地龙虾自由。比如中科可控 w 五零 p, 它采用双路的国产 c 八六处理器,加一 tb 超大内存,因此可以无障碍的本地部署 oppo 可乐和运行大模型,实现龙虾本地流畅使用。 核心优势就是一 tb 超大内存,可以全量加载七十 b 甚至一百 b 参数之上的 ai 打磨型,保证推理精度。也可以作为算力缓冲值,把视频影视素材、大型工程图纸、海量科学计算数据集等全量缓存,提高工作流速度,彻底打破内存瓶颈。 光有一 t p 内存还不够啊。双度国产 c 八六, cpu 的 高算力和多线层也是本地闭环的核心保障。在实际的应用中, w 五零 p 一 托强性能加全量本地打模型,厄本克劳能真正的发挥出该有的能力。基础性能上,使用厄本克劳解析四 k 素材,加载 g b g 工程文件, w 五零 p 速度是普通设备的数倍, 而且只要给他下一条命令,他就能自动完成四 k 素材解析,批量剪辑、添加转场字幕、导出视频并自动发布的全流程,不用我手动切软件等进度,多线层和全程丝滑不卡, 只要大模型够强,小龙虾的确能自己完成很多复杂的工作流程,即使多认真的并行,同时处理三组任务也游刃有余。 而且呢,全程本地闭环,不用碰云南 e p i, 至少节省百分之八十的投坑成本,根本没有投坑焦虑。而且本地养虾数据安全永远是底线, w 零 p 自带原生的安全架构,硬件及数据加密可信启动,全线分级管控全配齐。不管是本地大模型的核心参数、龙虾处理的涉密资料、管控素材,还是科研领域的保密数据,所 所有操作数据全称在 w 五零 p 本地闭环流转,不上云、不外出,彻底杜绝数据泄露和非法篡改,就算是断网、内网等涉密环境也能正常的运行,合规安全。说到底, w 五零 p 的 核心价值就是把本地大冒险剥熟,加龙虾深度运行、专业场景落地,三者完美融合,它 不只是普通的随心工作站,更只能让本地养虾真正落地的硬核底座、硬件及安全守护所有数据,就让龙虾摆脱对云端大模型的依赖,不再是空壳,又能零投,更成本完成各类专业工作,流畅运行,高效协通,硬核安全。不管是个人深度养虾,还是企业及专业部署,综合可控, w 五零 p 都是可靠的一站式解决方案。