粉丝2110获赞9886

大家好,我是根谷,今天是 open core 第六堂课啊,本地模型配置的 lm studio 片和微软的这样一个开发了这个,呃,本地大模型管理的工具啊。首先祝大家二六年, 呃,新年快乐,明天就过年了,建议大家先去看欧拉玛篇,因为欧拉玛篇会的话,这篇就非常容易了。非常容易了,那首先给大家看一下我这个那个 bug 啊,就是这就是 open core 的 一个官网,我前天好像提了个 bug 啊,就在这个英雄里面给他开了个 bug, 我 看看 这个 bug 其实就是 l m 十丢丢的一个 bug, 就是 在它重启的时候,它会失去了这个通信链接,我待会怎么证明我是它是一个 bug 啊,我把各个的环境啊,还有我怎么操作的选择的模型啊,最后配置文件都截图都分享出来了,现在还没有人回复我, 好,我是怎么做的呢?就是首先你要打开 i m 四丢丢点 ai, 这是微软的一个官网,你去下载啊,你如果你是 windows 电脑,它自动的,就会自动的给你到 windows 的 电脑那个那个,呃,安装的这个软件啊,你把它下下就好了,下下来以后就会出现一个这样子的 i m 四丢丢啊,这个就是你的一个那个, 呃,就比欧拉玛复杂多了,因为这个他不是面向开发者的,但是我感觉,呃,用这个也是挺不错的,他有海量的这样一个模型,让你去下载,我这里面下了一个千万三的一个模型。千万三的一个模型,呃,正常的就是在这个地方,比如说 给我讲个笑话,那这个非常容易啊,就不需要去给大家演示,你直接下一个模型,它都是界面的管理,你在这里下一下就好了,点它下载它就能下载,下载了好了以后在这个地方就能够选模模型,选到了模型以后,在这里你就把它去装入这个模型了,就是去加载这个模型,这个模型在这里, 在这个地方千万三星,那就就这个,就在这个地方。然后呃,我说这这个这里,这是他开发文档,然后这个地方他有几个端点,就是他有几套的去对接 api 调用,你首先去这里设置里面把这个, 呃网络这个服务供应,这个服务网络中提供服务,把它打开之前是默认关闭的,你把它打开就好了,那这个端口也不要去改,就用它的一二三四,那这个比较好记一些,比较好记一些。 配置好了以后,配置好了以后就点一下它就关了。嗯,首先这个地方 state 需要,需要开启这个服务啊,需要开启这个服务,开启这个服务完以后就是输入这个啊,就是 ceo 啊,然后这个 我这样就跟它对接了,你看吧,我的,我的 h t t p local house, 一 二三四五,对吧?一二三四 api v e chat, 并且你还是可以用这个 open ai com compatible 这样一个呃 协议进行对接,那你 pos 的 请求就是唯一,呃,你,你是 boss, 它自动的会跟你拼接啊,那我这里就用这个客请求和它对接好了,剩下的就是我用客请求去把它塞到呃这个 open core 里面去。那怎么做呢? 也是在这里啊,就是我因为它这个网站啊,它这个网站不像欧拉玛,它自动的里面,呃,跟它做了 open open clone 这样一个对接啊,大家看到上海课就知道这里微软的 i m studio 并没有对这个小龙虾进行做对接,那没有做对接也是没问题的,我们就直接在这个这里去做配置啊。就是我首先是 open clone 是 吧? clone 有 一个叫 daisy board 的 啊,不是 daisy board 的 on board, on board 的 一个 insode 这样一个地方,我重新进行配置啊,重新进行配置的话是 yes 啊,然后 click start, 然后我要更新其中的一个字,这里选选第二或选第一都是可以的,我去更新它,对吧?到了这个地方 一定要选 custom pro i 的, 因为因为你这里没有没有那个 lm studio, 它都是模型在线的。我们是需要 http 请求,这个 http 请求就是呃, local house 的 一二七点一这里,这个地方就是一定是一二三四。 好,这个地方一定是写一二三四。我,我需要把这个呃日字给清掉,待会可以看一下我,我这个 open core 已经会怎么和它连通的哈。如果你这个地方假设我,我写错了,我这个地方假设有个什么 a a 啊,这是瞎写的,他就会报错啊。这个 api key 没关系,因为他我没开通那个,我没有去开健全这个地方我没有去开这个要求健全,所以说这个 api 你 写写不写 api key 都可以的。 这个时候就是 open ai controllable, 和这里是一模一样的,看到吧,哎,回车好, mod id 非常重要,你不能瞎写,这个 mod id 就 在这里,你看把它粘出来就好了。对 啊,他都告诉了你啊,就 local horse 的 一一一一 charnel 就 一二三四啊,这个它比那个小龙虾啊,不是比小龙虾,比那个欧拉玛要做的好啊的地方,就它各个地方都出来,哎,你看, 呃,其实它已经连通了,但是你这边唯一 a a a a, 它应该是唯一,你看到了吗? 所以说他就报错,报到错,对吧?然后这里有个端点 id, 这个端点 id 让他默认给就好了。啊,这个,这个这个名字啊,然后这就是错了,错了的话你就得重新填过,所以说他没有返回的机会,就是我,我现在 就是你只要按 esc 退出重新来过,所以说这里那我快速的演示一遍就是正确的应该怎么做。 yes, click start 第一个, 然后选这个 customwide 的, 哎,这个地方他又默认的,就就写一二三四就好了。呃呃。你说有些人为什么不加 api 呢?你看我这个地方为什么有 api? api 是 它的另外一套这个接口服务啊,是这个, 这里有一个 api 点微,但是一般来说是没有 api 的, 所以说这个就是没问题了,一定是这样子的,微一它后面会自动的跟你加陌陌的啊和那个例子 box 啊,然后这个就回车啊, 一定是要选择这个 openair compatible, 哎,然后这个 mod id 不 能瞎写啊。就是你,你这里,呃用的是什么 mod 就是 用什么 mod, 哎,你如果可以换的,就是在在在在这个地方换啊,就是在这个 my mod 里面,我这里只有一个,你可以选,你可以选 好,然后这个地方我,对了,以后你看,哎,这个地方他就补报错了,全绿了,看到没有,哎,这个地方全绿了,我给他全通了,全通了,那全通了就赶紧去启动一下,那就是 skip, 因为我之前都装了,也不要去装他的 skill 式,也也不需要装他 fuk 式啊, 直接就启动这个网关是吧?因此多领啊, get 位首位,然后让它浏览器打开,那这样就通了,其实它配置起来其实是比那个欧拉玛要简单,为什么呢?这微软还是做的可以的。但是呢,但是呢,这个 open core 竟然和它 内部的就是那个,我感觉它很多没有去做兼容到这一步就已经通了啊,你学会了吗?

啊啊! 之前有小伙伴问 lm studio 是 否支持小龙虾 open club 以及如何配置,这次就简单做一期视频,教大家如何设置,也是超简单的,如果你还不会的话,跟我一步一步操作即可,这也适合新装小龙虾的配置哦。 首先自然是确保你已经下载了你要用的模型,这里我就用千问三点五三十五币作为例子,大家可以看到我已经加载好了。然后只需要来到小龙虾这里,直接运行 opencloud on board, 这样我们就可以配置新的模型了。 小龙虾还是比较智能的,它会识别到你已经有配置,这里我们只需要改动一下模型,所以我们选 update values。 然后就是熟悉的配置页面了, 我们选 custom provider, 这里默认会出现奥拉玛的本地服务器地址。我们则要来到 lm studio, 点击 server settings 这里我们关闭 require authentication, 并且打开 serve on local network。 此时右侧就可以看到 url 从之前的幺二七点零点零点幺变成了你本机的 ip 地址, 这样部署在非本机的服务也可以调用 lm studio api 了。如果你的小龙虾是部署在本机的,那就不用打开 servelocal network 这个选项,保持幺二七点零点零点幺的 ip 地址即可。由于我的龙虾是在其他设备上部署 的,所以我这里需要把本地的 lm studio api 地址暴露给他们,我们点击这里复制,然后删掉奥拉玛的地址并粘贴上去。这里注意, 我们要加上一个斜杠 v 一 再按回车。然后这里我们就选 paste api。 但是由于我们之前关闭了 require authentication, 即不需要 api, 所以 我们这里随便打个一二三四即可。 这里我们可以选 open ai compatible, 即 open ai 兼容 api, 不 过 i o m studio 也支持了 osraplay 兼容 api, 你 也可以尝试拥有。这里我们就选 open ai 兼容 api 了哈。这里我们输入模型的 id 名字即可。我们回到 i o m studio, 这里就是模型 id 了,我们复制下来,在输入的时候需要加上模型的提供商,由于这个模型是昂尔斯的,所以我们打上昂尔斯斜杠,再粘贴上去。按回车之后,我们就会看到龙虾说 verification successful, 即验证成功, 这里直接回车,然后他会让我们给模型一个别名,我们就不起了,直接回车。 下面我们可以全部按跳过,因为我都配过了。最后重启小龙虾的路由就大功告成了。打开 t u i 后, 此时我们就可以看到 l m studio 已经接到龙虾来的请求了,然后这里也显示正在使用千问三点五三十五 b 的 模型,然后龙虾也回复了内容怎么样,你学会了吗?

哈喽哈喽,我是大海,很高兴又和大家见面了。那很多朋友反馈,大海之前教的大家的本地养虾 open club 里头呢,用的大模型欧拉玛比较卡顿,那今天呢,大海就给大家推荐一个全新的 本地大模型引擎啊,比这个欧拉玛要好用一些,我们用来替换他。在开始咱们今天介绍新的大模型框架之前呢,咱们先给大家解决几个之前视频里头很多朋友提到的问题。 首先第一个呢是这个登录,有些人登录这个 openclo 的 时候,就是没用大海的那个一键安装包,自己去虚拟机平台搭建的,然后登录的时候输入了密码之后还是登录不了,他问你要那个 token, 这个 token 呢?如果说你呃 安装的时候没有复制他那个带 token 的 链接,大家可以自己去提取一下,用这个命令,我已经在我的这个 文档里头更新过了,就是在 power 里头用这条命令啊,很简单,我们用这条命令啊,直接给他回车,他就会直接给你返回一个 token 值,你把这个 token 值复制一下,然后去咱们小龙虾的那个登录界面,然后去黏贴进去,再加上你的登录密码一起啊,他就能够进行登录了。 那还有些朋友反映说呢,自己去连接了这个自己本地的大模型之后呢,这个和大模型说话他反应比较慢,或者说他压根跟他说了话不回话, 那我到底是大模型连接正确没有,还是因为他反应慢了?其实最简单的方法就是你切换一个云端的大模型,因为我给大家讲的时候就是说,呃,咱们既有本地大模型,也注册了那个欧拉玛的官方账号,你可以去用他的云端大模型,比如说这里呢,我这里切换云端大模型啊,你和他说话, 如果云端大模型他能够快速的回复你啊,你好,在的有什么可以帮你的吗?那就说明了这个连接欧拉玛是没问题的 啊,有两种可能,第一种可能呢,就是你本地的这个大模型呢,处理的速度比较慢,比如说像,像现在大海这个就是本地大模型,处理速度很慢,对吧?你可能需要等好久,他这个东西会一直跳跳跳,等好久他才会弹出来,最后解决的这个问题,哎,你看我这里也返回了,再的有什么可以帮你,对吧? 那么还有一种可能呢,就是你这个欧拉玛这里设置的上下纹长度的, 咱们的 open clock, 它在实际使用过程中至少也得十六啊,三十二,当然这个官方推荐的长度是六十四 k 的 这个上下文长度,它才能够,呃,有一个前后很好的关联,帮你去回答问题,解决问题。 如果说你这个设置的太低的话,他回复不了的就是那个上下文长度不够,你看比如说我这里把它调成一个十六 k 的 上下文长度,然后再给它保存,保存了这个上下文长度之后呢,我们可以再来这试一下。你好,你是, 你看还是要等很久,就是你把这个欧拉玛的上下文长度调高之后呢,他的反应就会越高,反应会越慢, 但是呢,你低还不行,低他回回复不了话,所以整体上呢,这个欧拉玛的综合性呢,还是不够强。那么有些朋友说是我直接在欧拉玛里头和他对话的时候,这个速度是很好的,基本上一问一答没问题, 而是因为在欧拉玛里头,他不会调用那么长的上下文长度,而在 open call 里头,他会调用那个上下文长度,所以说在 open call 里回复慢是非常正常。那么还有一些朋友说是在使用了欧拉玛之后,有一个问题,就是这个欧拉玛是开机自启动对吧?会占用我电脑的很多性能,那我不希望他开机自启动,我用的时候自己去手动启动, 这个怎么办呢?也非常简单,右键我们的这个工具栏,然后选择任务管理器,然后呢你在这个左侧呢,你给他选启动应用, 然后在这里头你去找到奥拉玛,把它去禁用,那么奥拉玛就不会开机启动了。而且大家也可以用这个小方法去把自己这个启动应用启动里头这些项啊,自己认为没有用的,你去给它全部关闭。当然大家注意,如果这个名字你认识,你就给他决定禁用或者不禁用,如果这个名字你不认识,你最好不要禁用, 因为如果你有一些这个系统服务呃应用,如果你给他禁用的话,可能你这个系统一开机他就打不开了啊,很可能开不了机。由于咱们今天呢要给大家推荐新的这个 大模型的本地框架,所以说咱们还要给欧拉马进行一个测速,咱们看一下相同大模型下,哪一个获得的结果会更快一些啊?我这里呢给他准备了一个数学题,我给他复制一下啊,然后我先发到这, 然后呢我给他开一个,来一个秒表,对吧?哎,我这头点了启动,这头点发送,然后看看他多长时间能把咱们最后这个最终答案得出啊?我这里点启动 发送好完成,咱们就有个大概时间就行了,就是一分十三,算是他这个得出结论,时间是一分十三。咱们现在呢,咱们这个欧拉玛就用不上了,给大家正好演示一下咱们欧拉玛如何的卸载, 我这里呢专门写了个小短片的话,告别欧拉玛,这里大海推荐大家卸载软件,用这个即可。大海在我的这个使用的电脑软件推荐这个系列视频里头给大家推荐过,非常的好用, 他在卸载一个软件的时候可以帮助你去卸,不光能卸载这个软件,而且还能清理残留,对吧?残留的,呃,这个注册列表啊,相关这些东西都非常的好用,那么接下来咱们就用它卸载一下, 这个卸载软件非常的小啊,你去点击登录的,他有两个版本,免费和收费,咱们直接下载这个免费的就行,点出来之后你就会发现他是一个单文件啊,放在哪里都可以。然后呢在卸载之前呢,我们先把这个奥拉玛给他关掉, 去给他退出,紧跟的呢,我们去点击这个即可,然后呢找到我们的奥拉玛,双击他, 然后点击试,然后呢我们直接给他卸载啊,卸载完成了,然后完成之后他还会去扫描你留下这个东西啊,如果没有他就未发现痕迹,对吧?那么接下来呢,进入咱们今天的正片给大家今天推荐的是这个 lm studio 啊,呃,他也是一个本地格式化的这个大模型的引擎啊,而且呢在使用方面呢也非常的方便啊,大海就不多说,咱们直接来下载,然后去给他安装啊,首先呢是去他的官网 下载对应的软件啊,直接下载这个 for windows 版本就可以,大海这里已经下载好了,我就不下载就是这个啊,然后我们直接双击它进行安装,点击我同意,然后呢仅为我安装下一步 安装。然后呢我们去点击完成,我们直接开始就行,然后他推荐咱们安装一个模型,对吧?根据咱们电脑推荐,咱们这里直接跳过啊,然后直接咱们点击康提扭,然后呢咱们首次这个登录的时候呢,咱们点击这个设置,把这里的语言先改一下,至少给咱们改成一个中文的,对吧? 连体中文好,然后接下来呢我们就可以在搜索这里呢去下载我们想要的模型,由于这个 l m c 六六它内置了这个爆脸上头的所有的模型,所以使用起来非常的方便,想要什么模型直接搜啊用就行了,我这里给他搜一个千问 咱们刚才要测试的这个千万二点五,然后给他来个够的,再输一个七币,可以看到你输了对应的模型之后呢,他会给你展现这个模型他是什么时候上传的,并且下载量是多少?呃,咱们就选择这个点赞最多的这个吧,二百零九个点赞点击他。 然后接下来呢咱们选择 down load 的 就可以,也是非常好用的,而且爆脸的这个上头的模型下载速度也是比较快。好,现在咱们这个模型已经下载好了,显示下载完毕。然后咱们这里呢,直接去给他点击柚子 in the new chat 啊,就是在新的窗口去和他对话, 然后啊新模型加载成功,咱们把这里关掉。再说一句,你好,你是什么?可以看他这个速度还是很不错的啊。 嗯,可以看到它这个反应速度,呃,我觉得可能比在欧莱玛里头还再快一点啊,这个对话的这个感觉好像还更快一些,然后接下来呢,咱们不在这里浪费时间啊。当然如果大家想,呃 在本地使用打模型的话,用它这个对话窗口敢说也是很不错的。接下来呢,咱们直接去给它配置这个服务。 首先呢咱们是要在这个 server setting 这里去配置一下,咱们要把这个地方给它开启,在网络中提供服务。 如果你这不开启,在网络中提供服务,他只能在本地访问,那么你的虚拟机里头的那个 open, 它相当于是另一台电脑,它就不属于是本地访问了,大家知道吧?所以这个地方必须开,开了之后呢,咱们这里呢去把这个地方打开,象征着咱们这个服务的开启啊,允许。 那么这个地方我们再点击加载模型,然后在这个模型里头呢,你要把之前已经加载过的这两个给他删掉啊,然后重新呢去给他选一个,然后这个地方咱们给他调成十六 k, 然后这个地方我们点击重新加载已应用,更改好没问题,这又重新加载好了。 然后呢,我们需要点击下面的这个支持的端点,咱们首先是把这个地址给他复制一下啊,然后在我们的浏览器里头去访问一下这个地址, 然后,哎,它会打印这样一个结果,对吧?然后呢接下来我们再回到这个里头,这个上头呢,咱们选择 open ai 兼容的这个,把后头这个给它复制一下,哎,就是 v e 再加上 models, 然后呢给它黏贴到这个刚才的链接后面,然后我们去回车,它就会给我们打印一个模型的 id 啊,一会咱们会用到这个模型的 id。 这个地方结束了之后呢,咱们去重新配置咱们的 open klo 啊,回到我们的这个,呃,管理 open klo 的 终端里,我们去呢 使用我们管理 open klo 的 这个命令。呃,如果说你是第一次看大海的视频,你需要去看大海前几天发的这一期视频,对吧?呃,然后去看那个详细的配置流程,这里大海不再演示,太复杂了 啊,这个地方呢,我们去用这条命令直接回车给它重新配置一下,这里呢我们用键盘上的左键选择 yes, 然后选择 quick start, 就 快速开始,然后呢我们选择,呃,第一个。 好,接下来呢,咱们这里就选择模型这个地方呢,我们就要选择这个,这个地方,意思就是和 open ai 模型的那个输出方式一样的模型都可以用这个来使用啊,就是一个通用的,我们来选择这个在欧莱玛上面,然后地址这里呢,我们把这里删掉,咱们选择给他用这个地址, 注意不能带后头的 models, 就是 到 v 一 这个地方就结束了,有的朋友说咱们之前这个地址不是用的那个,呃, vm net 八那个地址吗?也可以,对吧?这里呢,咱们用一个 cmd 方口,然后给他来一个 ip config, 对 吧? 然后,哎,咱们用这个地址也可以啊。 vm net 八,他是二四七点一,对吧?我们这里呢,给他改成个二四七点一 啊,它结果是一样的啊。然后呢,咱们还是把这个给它复制一下这个地方,哎,我重给它配置一下啊,给它删除掉, 哎,右键粘贴上去,二四七点一幺二三四,斜杠为一。好,没问题。然后回车,然后呢这个地方输入一个 ati 的 密钥,这个可以随便输,因为它咱们本地是没有设置过的,所以随便输啊。然后呢使用的这个模型的方式,咱们肯定是选择 open ai 的 啊, 然后接下来呢这个模型的 id, 哎,这个非常重要,我们必须去复制咱们刚才访问的这个链接下的这个 id, 然后这里给它黏贴进去,然后回车,然后后面的就全部回车就可以啊。 然后接下来咱们把剩下的配置给他跳过这里,我弄,然后呢空格给他倒过,最后呢啊,重启一下网关,然后接下来咱们还是继续啊, 不配置好,这就完成了,然后你会看到咱们这里呢,还是同样的界面,咱们去把它刷新一下, 然后这里有呢,我们就可以选择这个,这个是我们刚刚配置的这个模型的吧,那么,呃,他这里会显示 十四点六 k, 十六 k, 就是 说咱们这个上下文长度快用完了,呃,这里呢,为了保证这个测试的公平起见呢,咱们先给他来一个清理记忆文件,清理记忆文件和缓存,重新 开启对话。好,他说好的,我将清理记忆文件并重新开启对话,请问有什么需要我帮助的吗?这个地方呢,咱们就还是和刚才一样,对吧?把它放在左边,右边呢,咱们选择刚才那个秒表计时器,依旧是用咱们刚才这道数学题,对吧?把它复制一下, 放到咱们 open 可乐里。我还是啊,这里启动,这里我给他先重置一下啊,咱们刚才是一分十三秒,我直接给他重置一下,这里点启动,这里点发送啊。启动发送 好,可以看到他很快,刚才八九秒啊,十秒的样子他就完成了,而且刚才没有给大家打开这个界面给大家看,我给大家看一下这个东西呢,是能看到他的这个推理的过程的啊, 我给大家增加一条命令,然后让大家看一下这个推给过程。因为他这个反应速度太快了,所以就来不及给大家打开看啊。这个地方我说帮我写一个 p y 什么 python 代码 啊,检验这个结果大家看到没有,这个地方他是可以看到他是怎么跑出来这个东西的,知道吧?他会告诉你这个头肯是怎么花掉的,然后最后结果是什么? 所以说整体而言呢,我觉得用这个 lm studio 比起咱们那个欧拉玛效果要好啊,最后得出的效果要好,刚才得出的这个结论都是错的啊,要凑出一双同色的袜子,最少要四只袜子然后要凑出三只同色的袜子呢?最少要七只袜子。 这个所以他这个答案都是错的,这上头这应该是四只,下头是七只,虽然他最后得出这个结论是错的啊。呃,这个计算结果是错的,但是呢, 人家这个输出速度还是相对会快一些,而且也让大家看到这个模型计算的这个过程,也就说当你这卡住的时候,你可以来你的模型这里看一下,对吧?它是正在计算呢,还是真的卡住了,对吧?能验证你这个模型联通是不是正确。那么我认为呢,你跑本地大模型可能用 l m studio 这个 工具是更好的,当然你要想最后的推理效果好,得出正确结论,相关的这些东西,你应该去下载更大的模型,对吧?这这个地方大家可以用这个呃搜索,然后去找 适合自己大模型,而且他这里呢还能看到最新出来的热热度模型,对吧?呃,大家可以去试一试。我觉得像目前他这个反应速度大海的这台机器,安装一个千万三点五九币可能效果会更好一些。 那么希望大家呢,也能找到自己适合自己机器的这个框架,然后同时去安装最适合自己机器的大模型,然后来本地运行我们的 open color 养虾。好吧,那我们下期视频再见,拜拜。拜拜。

展示一下,就是我在我这台 macbook 部署了本地龙虾,并且在这一个 lm studio 的 这一个框架里面去运行大模型,随便运行的一个本地的模型,就是一个 英伟达的 nano 四 b 的 模型,非常的有意思,因为它很小,在我电脑上面运行的话没有太大的负担。 这个 lm studio 开了本地模式,应该是这里看设置这个位置,开发者开了这一个 llm 服务,就是已经对接好了,我电脑也装了龙虾了,就是 openclore 已经部署好了, 在这里面也可以跟龙虾交流。我想展示的是在这哎,已经也不输在苹果端的微信了,就是已经绑定了微信的 clawbot, 你 来一段自我介绍好吗? 就直接发给他,之后就直接在这里面可以看到他运行的过程,是可以显示的,就这个位置,就这里他就在跑, 只不过回复的有点慢,可以看到发了这么久,哎,现在来了。那就说作为 opencloud 的 平台什么助手。那你帮我拼一下百度吧,看看能不能拼通。 很明显这个识别不准,对方正在输入, 太慢了,还是得对接那种 a p i 接口才会快, 那样可能也和我这个电脑是有关系,百度点 com 看看他会不会。其实部署本地话也只是拿来玩一下,毕竟硬件的水平有限, 体验比较差,只是玩一下就是这样子。这是可以回复,但是可能是这个模型太差了,只有四 b 的 这个模型 运行的话都不怎么烫。我之前运行的是阿里的三点五九 b 的 模型,也可以用它大概有六 g 多就聪明多了,但是非常的发烫,就这个位置, 现在呢,我就运行了这一个比较简单的四 b 的 模型,它占用的内存不高,但是呢它的能力也有限, 回复的非常的慢,有兴趣的话可以去大件,就是基于 lm studio 来部署本地模型。然后呢,又部署龙虾,如果能用 macdong, macdong 它是统一内存版本的,它可以内存可以当显出来用,正常的话 用 mac, 我 觉得优化是比较好的,比 windows 运行这些模型的话,比 windows 体验真的好很多,而且也比较省心一点,比较容易就可以达到一个比较理想的效果。好了,那本期视频就到这里了,我们下期再见, see you guys。

先说结论,当然是 mac studio, 卖掉你还在用的 mac mini, 赶紧换成 mac studio! 大家都想用龙虾来搞钱,但第一步就做错了, 不要用云主机,不要用 mac mini, 那 只是模型产生给你挖的坑。今天我就来分析一下,应该选择什么样的主机来养龙虾。如果你的目标跟我一样,要求龙虾能自动写文章、自动抷图、自动剪辑视频、自动写代码、自动完成金融交易, 那你要的就是一个可以完全自动化的 ai 助理。很多人都会问一个问题,既然有云端服务器,为什么还要花钱买本地设备?一句话,为了省钱、省 token、 省成本, 提高效率。你可以这样理理解,如果你所有事情都用云端模型,那你每一步都在消耗 token, 每一步都在付钱。而复杂的 agent 任务,每时每刻都在消耗大量 token。 举个例子,如果每天生成十个文案,两百个图片, 二十条语音,或者上万行代码,一个月下来几百到三千美金都是正常的。其实更合理的架构应该是这样的,本地模型负责百分之八十的工作,尤其是简单任务,文案初稿、 数据抓取、图片生成、语音生成、视频剪辑。这些都有非常好用且免费的专用模型,完全不需要使用云端模型。而云端大模型负责百分之二十的复杂推理工作,高质量输出,最终润色。关键策, 一句话总结,本地模型负责干活,云端模型负责动脑。你买的不是电脑,是 tok 工厂。对于我来讲,本地设备至少需要满足三个需求,一, 可以跑一个本地的大语言模型。二,可以跑一个纹身图模型,可以帮我生成各种图片。三、可以跑一个语音生成模型,生成各种角色的配音, 实际运行起来至少需要六十四 g 的 内存。在市面上你可以买到的有六十四 g 内存的 mac 电脑,大概有这四种配置, m 四 pro、 m 四 max、 m 二 ultra 和 m 三 ultra。 这里有一个误区,很多人以为大圆模型推理速度只取决于 gpu 算力,实际不完全是这样。 大语言模型推理是一个内存带框驱动型任务,因此最需要看中的实际是内存带框,而不完全是 gpu 的 性能。 以千万三点五这个模型为例,其 token 速度在 max studio 上可以达到七十 token 每秒,而在 m 四 max 上就达不到。 虽然 m 四 max 的 gpu 性能已经超越 m 二 ultra, 但 m 四 max 的 内存只有五百 g, 而 m 二 ultra 的 内存内存是八百 g 每秒。七十 token 的 速度完全可以满足本地的 a 警工作。 当然,由于它的上下文窗口完成复杂决策任务,还是需要云端大模型图像生成的速度,这个与 gpu 的 性能相关。如果你希望加快图,就需要选择 gpu 核素多、性能强的设备, 内存一定是越大越好,如果内存不够,生成图片的时候就会变慢,主要原因就是内存溢出引发 swap, 本质上就是硬拿硬盘当内存使 导致速度变慢。所以如果你资金充裕,也可以买五十六 g 甚至一百二十八 g 的 设备。 目前市面上最有性价比的机器配置就是 m r 二九六十四,内存是八百 g t p u, 性能也不弱。 而最新的 m 三 ultra 六四 g 价格偏贵, m 五 ultra 预计要等到六月份苹果才会推出,因此我上手了这个 m 二 ultra 六四 g, 后续我也会以这个设备作为主机,进行各种模型的配置和评测, 最终搭建一套完整的可以帮我赚钱的 ai 助理。目前我本地的模型方案是,大元模型选择千位三点五三十五, b 深图模型选择 z evatable 语音生成模型选择千万 tds 基本上就是千万全家桶。下一期呢,我开始实操这几个本地模型,然后从零到一,建一个自动生成文案、图片、视频的 ai 系统。关注我 ai, 分享实战技巧,我们下期见。

帮我生成播客 this is the brief on the openclaw。 学习和做科研的小伙伴应该知道 notebook lm 它有很多强大的功能,可以将你在网上收集的资料作为一个信息的来源,把它整理成数据库,你将来的提问就可以根据数据库进行个回答。 但是我在使用的过程中呢,遇到几个问题,就是有一些材料或者是网站让它采集的过程中呢,它并不能完整的采集所有的内容。今天我就分享一下 notebook lm 的 一些新玩法。使用 open clone 打通它,我们可以在任何社交软件上去指挥 notebook lm, 让它在背后帮我们干活。 当我使用 notebook lm skill 创建一个笔记,名称为 ai 葵花宝典发送。他这边回复我,这个葵花宝典呢,它已经创建成功了,这个是葵花宝典的一个 id。 接着他问我是否要往这个宝典里面呢?添加什么武功秘籍,比如网址或者文件等。我们来刷新一下 notebook lm, 看到吗?这个笔记已经创建成功, 同时呢,他还给你生成一个图标,将 open clone 官方文档添加进笔记,发送回复。我说搞定了,然后将官方文档呢合并成一个四点三兆的一个超长的一个武功秘籍,并且上传到笔记里面。 接着问你是否要将它生成博课学习指南,接着还要加点什么呢?你可以直接和我聊聊,我们来检查一下。点击这个笔记,我们看一下,这边就出现了 open clone 的 官方文档,点击它,这样整个官方文档的所有的材料都被我们采集进来,帮我生成播客。 时间不要太长,简单介绍一下该文档发送。看一下网页,这个音频它已经生成,对话框,里面说它开启了监听了下代的程序。我们在对话框里面继续问,播客生成好了吗? 发送给我,我们看到了,他说搞定了。然后呢,将这个播客呢 mp 三的一个格式发送给我,点击它, this is the brief on the openclaw official documentation。 将官方文档制作成思维导图并发送给我,思维导图就制作成功了。他这边呢是以节省的格式返回给我的,我们在网页上可以点击看一下,点击,这就呢,他最终呢生成了一个思维导图。那我们现在希望的是在手机端,他能以图片的方式展示给我,我们这边要求一下,以图片形式发送给我。他这边告诉你, nova 它不支持图片的格式,不过呢,它帮我们转换成图片,让我们稍等一会,然后发送给我们。接着问,有处理好吗? 好的,这时候呢,他就生成一个图片,这个图片是一个信息图,他不是根据我们思维导图转换过来的。不过这个图片呢也比较漂亮,你可以在手机上面查看,也可以呢,在网页端查看。我们点击网页端的图片,整个图片的效果还是非常好的,但是他并没有理解好我的意思。我们再重新问一下, 将思维导图转换成图片发送给我。他这边说我刚刚写了个小的脚本,然后将节省格式的思维导图呢渲染成图片,这就是图片的样子。我们点进来看一下,完整度还是比较高的。 想要实现我们刚刚看到的效果,我们需要这样的提示值,这边对提示值进行复制,我们在对话框发送给 open 可乐,这边他一次性调用了十几个工具,最终告诉我他已经搞定了。我们接着问,帮我测试一下,发送他回复我说测试一下完美运行, 同时他查询到我 notebook lm 上面所有的笔记。好了,本期视频就到这里,希望对你有所帮助。关注我,分享更多 ai 技术和玩法。

关于 openclaw, 这段时间我用下来有很多的体验和感受,非常的细节,这里边有很多采看的地方,也有觉得这个产品很棒的地方,所以今天我会花比较长的时间跟你仔细的去讲一讲我一些相对来说比较突出的感受。 首先就是 mac mini, 到底 mac mini 是 不是一个必备的选项?先说结论,如果你是一个纯纯的代班小白,而且对于自己的电脑操作能力没有那么的自信,又希望整个使用能够足够的稳定省心,并且把 oppo color 的 能力尽量发挥出来。那我最推荐的方案就是买一台 mac mini, 而且用 api 的 方式去跑 openclaw, 当然还有很多其他选择,从我目前的整个体验来看,也只有这套方法是最省心,最稳定,也最有效率的。那我一开始的设想其实还比较复杂,本地模型加上 api 的 三层结构, 比如用一台能跑本地模型的 mac mini, 同时配合 api 去完成我的一些日常任务。那当时我 web coding 开发了一个模型路由 skill, 相当于用一个模型调度员,按照任务的性质把模型的调度分成了三层。第一层就是使用 open cloud 开发者也最推荐的 cloud opus, 四点六,那效果最好,质量最稳,美中不足就是价格偏贵。 第二层就是国内的一线模型,比如说像 m 二点一啊, kimi 二点五啊等等。这第三层就是本地模型,当时我的选择是前文三三十二 b 的 q 四量化版本。 那真正跑起来之后,我发现其实坑还是挺多的,而且都是那种很小但是很让人挠头的问题。比如一开始做调研的时候,我跟 ai 聊了很多轮,最后得出了一个结论是,我只需要去购买一台 m 四 pro, 六十四 g 内存的 mac mini, 就 能够把千分三三十二 v 跑通。 当时我还算了一笔账,如果我每天大概消耗一百万的 token, 按照这个成本和产出来看的话,可能七到八个月我购买硬件的成本就能回本了。但是实际跑下来发现,最理想的速度在终端当中是十一个 token 每秒,导致回复还是偏慢的。 如果只是在终端里跑,那速度还算能接受,但一旦接上了 openclock, 这里边有各种 skill 规则、历史记录等等,速度就会明显变慢, 平均下来一个回复的响应时长经常要去到一分半甚至两分半。所以这个速度的体验用我的话来说就是真的非常的拉垮。 所以我后面还排查了一轮,想要搞清楚到底问题出在哪。结果发现其实真正的瓶颈不只是内存,而是在于内存待宽。比如一台 mac mini m 四 pro, 它的内存待宽是两百多 g 每秒, 如果我希望 token 输出的速度更高,比如要跑到二十 token 以上,就得上到 max studio, 但是这样一套下来,成本就往两万块走了。 所以你再去对比一下入门的版本,如果还能通过别的方式拿到更优惠的价格,这个使用 opencloud 的 成本就是四五倍甚至更多的差价。所以与其花一万五六千块钱去升级硬件,还是把这部分钱用在 token 上, 那我更倾向于后者。而且对于我个人而言,使用第三方模型也并没有特别强的隐私焦虑,所以我更能接受纯 api 的 方案。那么问题来了,既然本地模型这么吃硬件,为什么不直接上 vps 或者其他云部署方案呢? 我自己也对比过整个不同方案之间的一个区别,我觉得目前 mac mini 方案最值得推荐的原因有三点,第一点就是它还是能够用到很多 macos 本地系统的能力的,很多东西你再去调用 opencloud 的 时候需要的一些能力, macos 本身就很顺手,而且直接用了系统级的功能去做事。 第二点就是你基本上不需要做太多的额外的配置,就能够第一时间去上手 opencloud, 那 整体使用的路径更短,不容易在环境依赖权限上反复折腾。第三点就是它可以低功耗的二十四小时稳定运行, 那如果你本来就有一台 mac mini, 或者说能够以更加便宜的价格拿到,那整个这个成本和使用体验就会更好。接下来我想讲一讲一些具体的使用细节。 opencloud 跟我们平时使用的正常的 ai 聊天软件到底有什么不一样?首先第一点就是 界面体验,你会发现它的整个界面非常的朴素,甚至是有点原始。如果你用 webchat, 也就是本地网页去聊天,你会明显感觉到它不像 chat gpt、 cloud gemini 或者是豆包那样的简洁清晰。 核心的原因是它会把很多后台规则以及本地执行的命令信息直接展示在前端,所以整体看起来会更加的工程化,不那么小白,用户友好。 第二点就是整个思考的展示方式,大家现在主流用的模型,像我们上面提到的那些产品,通常会把它的思考过程展示给你看。但是在 openclaw 里,它通常只会显示一个 thinking 的 气泡,不像其他模型那样让你看到整个过程,而且它的速度也算不上多快。 当然,这个取决于你具体使用的模型,尤其是当你使用了飞书跟他的沟通后,你会发现他可能会在 thinking 这个状态上停留很久,页面没有任何文字的流逝输出,也就是说你看不出来他到底在做什么,进行到哪一步了。第三点就是文件和截图这类的能力相对来说偏弱。 比如你希望他自动发截图给你,其实需要提前去做一些固定的设计,或者是预埋留一些习惯让他知道你的偏好。否则在默认情况下,他更倾向于把文档和图片保存在本地,然后你得自己去打开对应的 md 文档或者是图片进行查看。 综合上面所有的尝试和对比,我最终的选择是用了一台配置更加入门的 mac 模型,而不是原来的本地模型加上 api 的 组合。 再往下一个更加现实的问题是, open club 到底适不适合普通人去使用呢?那我的结论是,他更适合那些有探索精神,也能接受相当程度风险的人, 因为他出风险的概率实在是不小。你会在网上看到各种成功的案例,但是很少会有人把自己遇到的风险和翻车的经历一五一十的讲出来。而且这种风险不止存在于 open club 这种独立开发者开发的开源项目, 就连前一段时间 cloud 推出的 cowalk 也有类似的系统级风险。我印象最深刻的是看到的一个帖子,有人用 cowalk 的 时候,直接把电脑里一百多 g 的 文件全删了,而且找不回来。 所以如果你不希望发生这类的事情,最稳妥的方案就是做真正的物理隔离,用一台专门的 mac 或者是主机单独去跑 opencloud。 而且在真正决定使用这个产品之前,还要做一个二选一的决定,要么你给他系统提供权限,让他可以调度整个电脑操作系统的很多底层能力,要么你就干脆不要用它, 因为一旦你限制了他的权限,不让他做事,你拿到的就是一个很基础很受限制的积累,整件事情就真的没有必要浪费时间了。那么 open cloud 的 价值到底在哪呢?我觉得本质上他是 ai 圈里的先行者,是那种用来探索上线的产品, 他的很多技术能力在行业的从业者来看,其实并不算前沿,甚至可能在一年前两年前,其中大部分的技术能力就已经有人做出来了。 但是这个开发者真正厉害的地方在于两点,第一是他把这些能力整合成了一个完整的产品,可以让你在一个地方跑起来。第二就是在很多细节体验上做了大量的调教,最终把功能上限和实际体验做到了一个相对极致的平衡。 不过如果你是完全的小白,没有任何代码基础,也没有很多 ai 使用的经验,那我的建议是先等等。因为现在很多国产替代已经在路上,而且很多产品已经很好用,也更适合普通人直接上手。 那最后说说我自己的后续,对于我个人来说,我还是会继续去探索 open 这种玩法,因为如果把它当做一个探索自主化智能体的项目,它确实非常有意思, 而且我觉得它有很大的利用空间,能够帮助我去做咨询、抓取内容选题和生产,甚至半自动化的工作流,去迭代我目前正在使用的这套 ai 内容生产工作流。那最终我的目标是获得一个有眼力见,懂我的需求的合格的数字员工。所以后面 我还有很多的东西会分享出来,包括很多具体的 open class 的 使用方法。不止会包含 ai 自媒体方面呢,也会有很多适合普通上班族的用法。所以如果你感兴趣,欢迎关注我,这里是实业,正在与你分享 ai 一 人公司的成长过程,我们下期再见。

使用 open 可熬不花钱的办法安装本地模型。我的电脑 gpu 只有八 g, 嘿嘿嘿,测试一下,让它简单打开 word。 注意看左侧调用模型的次数和 token 消耗。由于本机 gpu 太小,所以比较慢,后续还得慢慢试别的模型。 终于终于打开了,所以个人觉得 lm studio 比欧拉玛好用,打开之后卡这儿了哈哈哈。

我们在使用 open 可乐的时候会消耗大量的 talkin, 所以 说有的同志呢,就希望能够搭建本地的大模行,为 open 可乐提供算力服务, 但是又不知道该如何搭建本地大模型,所以说这里面我专门录制了这样的一套本地大模型部署的一个课程, 在这套课程里主要剪辑了四种常见的部署大模型的工具,包括了欧拉马、拉马 c p p, 那 么 l m studio 以及 v l m 的 使用。 那首先这里面介绍了一些常见的一些概念,比如说大模型的一些什么叫做是大模型的参数,大模型的蒸馏,那么以及像,比如说大模型的量化,那么还有像,比如说什么叫做是 k 微缓存量化这些基本的概念。 完了之后呢,又讲解了关于欧拉玛的使用,那包括了我们该如何去安装欧拉玛,在欧拉玛里面常见的变量有哪些?那么我们该如何去构建自己的大模型? 完了之后,这是第一个部署本地模型的工具,也就是欧拉曼。其次呢,我们开始来介绍了第二个部署大模型的工具,也就是拉玛 c p p, 那 这里面的话呢,就是我们怎么样去安装拉玛 c p p? 安装好拉玛 c p p 之后,我们又该如何去拉取镜像?然后呢,我们该如何使用使用拉玛 c p p 去运行一个模型,以及如何提供网络服务? 然后我们在 open klo 这里边该如何使用拉玛 c p p 所给我们提供的这样的一个服务,模型服务,这是第二个工具的使用。 那紧接着呢,又介绍了一个第三个常见的工具,也就是 lm studio, 我 们该如何去安装 lm studio? 那 安装好了 lm studio 之后,我们如何去配置 lm studio, 以及如何包括去拉取丁香啊?像比如说我们提供网络服务啊。 再其次我们看一下在 open klo 这里边如何使用 rms studio 所提供的模型服务,这是第三个常见的工具,也就是 rms studio。 第四个介绍了一个 v l m m 这个工具的使用,那这里面的话包括了我们如何去安装 v l l m。 我 的环境使用的是 windows, 所以 说这里面讲解的是在 windows 下面如何去安装 v l l m。 那么安装好了之后,我们就来看一下如何使用 v l l m 去部署一个模型。最后面咱们再来看一下 open code 如何使用 v l l m 所提供的这样的一个模型服务。 在这套课程里面,把我们最常能够用到的部署本地模型的方法都给各位介绍到了,那大家只要跟着这套课程 自己去练习一次就可以了,跟着上,跟着我们从第一节课开始,对吧?一步一步的跟着练习就可以了, 这样的话呢,就能够系统的学习如何搭建本地的大模型。如果说大家想系统的学习的话,可以点击下方的链接,然后购买就可以了。

ok, 今天给大家记录一个发货清单啊,这个两台都是麦克斯六六,这台机器已经去装了,然后这个是西双版纳的黄总,现在我给他打开这个是做本地大魔神神器, 为什么现在都选这个 max 六呢?首先我不得不说 max 六目前在统一内存上确实是非常有性价比啊。然后我们拆开看一下,他这个空调是一次性的,我们给客户的机器基本上都是全新的,可以看到这个地方一拆他就不可以被二次利用了。然后这个机器 给大家讲个细节啊, m 三要求的机器比 m 三普通版都重很多,大概要重一倍以上,他的价格是不一样的,可以看到机器 非常的有品质。然后我现在把它放旁边,我们看一下包装盒里面还有什么,其实这么贵的东西,接近两三万的东西,配件就只有一根电源线,可以看到 它的电源线都是属于国标,直接可以用的,因为这个是真正意义上的国行。然后我们把盒子放一边,可以看一下这个盒子,如果真的你有收藏癖好的话,是可以把它留起来的,还有个 小拉伸,然后这个机器的话,全新的它是有一个这样的保护壳,我们只需要把它这样打开,把后面给他这样撕开,打开了然后整个机身看一下,没有一颗哦, 非常的极致,你要知道原来要做到一个六十四 gb 显存的机器,哪怕你用一把的话, 基本上这非常大的一个机箱,然后非常强的一个散热系统,苹果把它做到这么小啊,而且这么强的性能,这么多核心,它只需要接近就比 mac mini 稍微大一点点啊,重确实是重一些啊,但它的算力是 mac mini 的 十倍以上。 然后我再给大家分享一下,为什么这个客户要找我定这样一套设备,以及他拿回去做什么。然后这台机器它里面是可以跑很多模型的 啊,最大的区别是什么呢?就是现在我们玩的养龙虾 open klo, 你 基本上又要开一个扣的 plan 的 计划,然后走线上所有的 a p i。 但是关于有些呃 客户,他是有合同,有财务报表,或者很多很重要的一些运营的数据,或是很重要的一些文档,他是不能放到云端去计算的,所以说就可以放到这个里面去算。 虽然说他的算力不如云端平台的话,像我们现在给他部署的这些大模型,他有具有很强的一些适应性,在六十四 g 的 显存上也能跑出非常不错的成绩。 m o e 的 一些模型,比如说纤维的三点五啊,或者英伟达的呀啊,甚至于是一些 mini max 大 一点,一百二十八 g 它都可以跑,这样的话它只是速度慢一点,但是它的完成度以及它的稳定性比线上要更高。所以说很多客户去把这个东西买回去,不是说为了好玩,是真正能帮企业解决很多问题, 最重要是隐私,这一点在线上 a p i 是 无论如何都做不到的。然后这里可以看一下我这个客户为什么买两套呢?他到底是拿来干嘛呢? 你可以看到哪怕是在一个 l m studio 里面跑两个模型,它是可以做到,但是如果你真的要考虑并发的话,你一定是你的一个 ceo 的 agent, 或者一个运营总监,或者一个什么角色的一个员工, 他需要用另外一个 agent, 那 你两个 agent 同时跑的话,你这样对你来说压力很大。但是你两个机器,一个专心做一件事情,一个这个 studio 做另外一件事情, 你实际在 open cut 中的体验就要好很多了。比如说像分析一个复杂的报表啊,你甚至要把你最近几年的这个 ppt 或者这个 pdf 全部丢进去,进行进行整体的这个计算,压力就是非常大。 但是,呃,你有了这样的一个两个 a 型的一个进行计算,另外一个进去,比如说在网上帮你找找数据啊,或者给到更多的文案建议清单呐, 这些 aint 的 规划,这设计用到两个机器,它的压力就要低很多。然后我觉得还一个就是因为我们大量的去做 skill, 大 量去制制作这个各种 aint, 所以 说我们对很多行业是比较了解的,于是我就会根据很多客户需求告诉他,哎,你这个 aint 的 可行性如何,以及真正落地的效果如何,我去进行一个预判,我觉得这个才真是就是他们愿意找我做的原因。 所以说如果你对 a 镜头和 skill 这块的开发以及功能有更多研究的话,想有更多的学习机会的话啊,后面我会更新更多的教程,大家都可以去看一下,去学习一下。我觉得现在 ai 时代,你如果 没有更多的 ai 知识,你一定会被淘汰的,但像这种大模型本身价格也不贵,你可以用线上模型去体验, 如果真正你有需求去呃,把你的大模型放到自己公司,放到家里,变成一个长期资产,后期也没有任何偷工交消耗的话,我觉得这个麦克斯六六的机器在目前来看性价比是非常高的,非常值得耶。

我一直以为用跟 ai 聊天的方式操控电脑离我们还有一些距离,直到 opencloud 的 出现,这玩意能 ai 自动化各种我们的个人工作流。 dehub 的 新处也是突破了十七万, 我们在 opencloud 中可以选择通过 api 接入任意国内 lm, 也可以用 lm studio 进行本地部署。 现在已经有各种成熟的工作流了,有人拿它当一个个人新闻广播,每天早上定时定点的把新东西通过聊天软件推送到手机上。甚至还有人用它全自动的点了外卖送到家,外卖小哥都蒙了,合着我是在给 ai 打工呢? 我也是在第一时间在本地装了这只小龙虾,它的自主性和记忆力确实太惊艳了,对个人工作者的效率提升又进行了一次质的飞跃。 那么想看更多关于 opencloud 的 安装使用场景演示,关注熊仔学长,让我们一同成长。

一台便宜的二手迷你小主机,一台有一百二十八 g 内存的 maxplus 三九五他们一起合作, 我们使用本地的 lm studio, 不 但可以运行腾讯的 hymt 一 点五一点八 b 小 模型来处理多个视频流的实时翻译请求,还能同时使用谦问 code next 模型给 openclock 作为本地大模型接入来运行资料,抓取分析和文本拷写的工作。 大家好,我是老白,今天给大家介绍我用便宜的迷你主机连接本地大模型遇到的各种麻烦和解决方法。 这台圣克森特 m 七五 n 三五零零 u 小 主机是我在海选市场六百八十元买回来的,我们已经对它有详细的评测。 同时吉摩克的这台 evo x 二,它有一百二十八 gb 板载高频内存,还有四十 c u 的 radion 八零六零 s 核显,是本地大模型部署的利器。我们在 m 七五 n 上跑 openclock, 访问同在一个局域网内的 evox 二、运行的 lm studio 提供的本地大模型推理服务。 实际上我所理解的 openclock 就是 利用社交软件或者说聊天工具来指挥和操控一台具有 ai 能力的电脑去执行相应的连续性任务。 关键词处是你用自然语言和它沟通,并且下达指令。如果不用自然语言,不用聊天软件,我就觉得 openclaw 完全没有实际意义,不知道和大家的理解是不是一样的。 下面就讲讲我们使用 openclaw 遇到的各种问题和解决办法。一、为什么选择 windows 迷你主机?我们遇到的第一个坑是,为什么不用网上大多数人推荐的 mac mini? 好 吧, 我除了有一台 m 四 mac mini 之外,也有一台十五寸的 m two macbook air, 用它们之一来跑是没有问题的。其次就是我的 x 八六小主机实在是太多了, 随便就能抽出一台来独立的跑 openclock 我 们这些小主机便宜啊,几百元。 mac mini apple silicon 小 主机至少大几千吧。 m 七五 n 是 我很喜欢的迷你主机,用来跑 openclock 我 觉得是物尽其用。 二、安装和启动我在这种低端小主机上安装 openclock 遇到的最大的坑是,千万不要用 windows 十啊, 一定要升级到 windows 十一,然后啊,还一定要用 wsl 来安装。满足这两点之后,你安装好的 openclock 运行在乌班图二十四点零四上,出问题的几率很小。 这小主机我没有接显示器启动后通过远程桌面连接它进行监控,实际上它相当稳定。我是指这台 windows 的 宿主机,如果你把更新暂时关闭之后, windows 不 会来打扰你要求重启啥的。 好在有远程桌面能够做到完全控制这台小主机。当你第一次启动到桌面,你可以打开 linux 的 命令窗口, 等上一会儿,在浏览器里 opencl 界面里就能看到已经连接上了。第三,备份到这里,我请求你一定要打开文件管理窗口,选择 linux 图标,然后我们一路进到这里。实际上这就是 opencl 在 乌班图二十四点零四里的主文件夹。关注这个 opencl 点接收文件, 这几乎是我们最重要的配置文件,你必须随时备份它,每次不管是你手动修改它或者是 open color 自己修改它,造成你的网关错误,导致你连接失败, 或者 telegram 连接出错,你都可以回滚这个文件,达到恢复上一次网关的正常状态。你看我就经常备份它,因为这个配置文件真的任何错误的修改都会导致网关瘫痪,这是 openclock 配置过程的重中之重。 第四,大模型大模型实际上就是 opencloud 的 大脑,如果没有配置大模型,你是无法通过自然语言指挥 opencloud 的。 所以安装中的或者基本配置安装好之后,我们要第一时间配置大模型。这里我们必须说真话的是,无论如何,你应该有一个网络上排名靠前的大模型作为你的主力模型。 不管是国外的玉山家,还是咱们 kimi 的 k 二点五, mini max 的 m 二点五,智补的五点零。 因为有了它们,你可以用自然语言指挥 openclock 干活去配置设置 openclock, 而不是什么都要你自己用手动来配置。设置好一个网上大模型之后,你可以用自然语言通过它添加本地模型。 第五,社交软件。我最后选择了 telegram 作为我的指挥沟通 openclore 的 聊天软件,在这里很重要的就是设置群主,在群主里设置 topic, 也就是话题,你可以通过话题来细分你和大模型之间的功能性沟通,这样你每次需要上传的提示词就会大大减少。 实际上每一个 topic 都有一个二百五十六 k 的 独立上下文,通过 topic 的 细分之后,我的每一个聊天窗口就不会把我和大冒险交流形成的所有上下文去上传,那样就太恐怖了。 第六,添加本地模型我是这样操作的,给他一个我运行的 lm studio 主机地址,让他去抓取你所需要的大模型的名字,让他自己添加到接收文件中去。 你可以设置限制,比如我的限制是告诉他,千万 codext 不 能作为首要模型,也不能作为回滚模型,只需要添加到 provider 列表里以供我们调用。 这样,我们在本地局域网里的特定主机上使用 lm studio 共享的大模型,就可以添加到列表上。然后我自己在需要的群主 topic 里使用斜杠 models, 可以 很自由地给这个 topic 设定背后的大模型。 第七,不得不修改的接收文件。 实际上,我是真不愿意手动修改接收文件。我遇到了这么两种情况,你必须在接收文件里做这样的修改。前面这句是让所有 topic 的 active watching 一 直都处于 always 状态, 否则啊,隔上一天它就自动退回到闷寝,你就必须加上 at 你 的机器人才能指挥它了。 其实是你添加了两个以上的本地大模型,安全级别提高了,你的机器人在群主里的权限就掉了,就没有了,任何回话都包错。这个时候你必须在这里把机器人的用户 id 加上,这是经过很多人的折磨才搞到的经验之谈。 第八,启动本地模型的一个重要设置。在运行千万三 codext 作为本地模型的时候,我发现一个非常恼火的 bug, 就是 我们在做比较大的任务时候,可能上下文提示词比较长, 你上传提示词的时候超过三百秒就会出现上传错误,它试做两次出错就停摆了,然后给你报一个错。我想到了一个临时解决方法,就是设置 k and v catch 的 精度。 正常的时候,它一般是 f 十六,按这个精度,我们上传的提示词的速度就会比较慢,把它们都改为 q 八,上传速度大大加快了, 再也不会出现超过三百秒出错的情况了。 f 十六将为 q 八,对输出的质量和性能应该没有太大的影响。 第九,本地模型的能力我们也认识到,本地模型的能力和网上大模型的能力是有差别的。 我在使用的网络模型是 kimi coding plan k 二 p 五用它输出的最新的 apple macbook pro m 五 pro 和 m 五 max 的 详细介绍文档。相比千万 code next 制作的文档质量要高,错误也要少, 这是模型的质量决定的,所以本地模型一般不会委以重任,只是用来减少网络 token 的 消耗。 第十, x 八六跑 openclaw 的 语音功能最早啊,我看人安利 m 四 mac mini 跑 openclaw 有 一条就是它呢,很方便地进行语音转换, a s r 语音自动识别文字,还有 t t r 文字转换为语音。 我原以为在 windows 下布置很复杂很麻烦,但没有想到我这是给 openclip 下了一条指令,它就自动帮我安装好了 edge 的 tts。 这样我每天早上固定的文字通报,它就自动帮我转换好语音。逐字考,我只需要按一下播放就可以了,效果很不错。机器人脸今日 ai 热点二十四 h 二零二六年三月六日星期五 各位听众早上好,今天是二零二六年三月六日星期五,欢迎收听今日 ai 热点早报 大模型与算法第一条 open ai 年收入突破二百五十亿美元,较二零二五年翻倍增长, chat gpt 用户数持续攀升。据 the information 报道, open ai 截至上月底的年化收入已超过二百五十亿美元。 电机器人脸今日 ai 热点,二十四 h 二报纸今日国际热点,二零二六年三月六日星期五, 各位听众早上好,今天是二零二六年三月六日星期五,欢迎收听今日国际热点早报 中东局势第一条伊朗最高领袖哈梅内伊在梅以联合军事打击中遇害。伊朗方面三月一日证实消息。第二条珍珠党为报复哈梅内伊遇害,三月二日向以色列显微镜今日科技热点科技第七条 卡特比勒在奈克斯波康艾二零二六展示先进攻地技术,扩展 ai 和自主能力第八条 全球科技竞赛加速,从 ai 基础设施、半导体战略到网络安全威胁。这样就我就很简单的解决了语音问题。使用 mac mini 作为 openclock 数处理器的理由又少了一个。 总结一下, openclock 确实能够让你使用自然语言,通过聊天软件操作你的电脑,执行连续动作,不管是编程、写作、查资料、制作文档和 ppt, 但是他还是没有智能化、精细化,达到自动运行、帮我赚钱的地步,甚至辅助我现在的工作功效也不大,他还只是一个辅助工具,不是能送你去远方的交通工具。 但是呢, ai 的 进化是一日千里的,我相信啊,不论是网络大模型还是本地部署的开源大模型,都能通过不停的升级,给我们更好的体验。而 openclock 这样的开源工具, 通过社区的每日迭代,会让我们部署它的迷你电脑具有更多更新的功能。好了,今天就介绍到这里了,我是老白,谢谢大家观看,再见。

我最近用 openclo 构建了一个第二大脑的知识库,当我在任意时间任意地点给他转发一条内容的时候,可以自动帮我翻译分类,并且挖掘新加入的笔记跟整个知识库所有笔记的关系链。我也可以一键把收藏夹里所有跟研究主题相关的内容导入到 nobln, 然后再做研究。 接下来我会将这套方法毫无保留的分享给大家,相信他一定会让你感受到 openclo 作为第二大脑的魅力。 当我从任意的渠道,比如转发内容给我的这个 openclo 的 时候,他就会启动他的知识构建的系统,那构建的步骤,其实我把它设计为了这样一个工作流,他大概分四步。第一步是获取, 获取的意思是其实我们从任意的渠道去给他分享内容的时候,他首先都要能拉取到内容,那详细怎么能拉取到各个渠道的内容呢?那我在另一个视频里给大家分享了,大家可以去看那个视频,当获取到内容之后呢?那有时候我们可能要做一些翻译,那我这个 open code 他 也会去有一个流程,就会去自动翻译, 翻译完之后他会来到第三步关系链的构建。比如说我们给他发了一篇新的文章, 那这篇文章它跟我们以前历史所有的文章,它是一个怎样的关系呢?往常其实我们非常难构建这个关系,现在其实我们可以让我们这个 a 诊去构建这个关系链,一会我会给大家展示一下。那最后是分类存档。往常我们在收藏一个内容的时候,我不知道大家有没有一个痛点,每次都要去 选择归类到哪里,这其实是非常费时间的,那能不能让 a 诊帮我们自动的去归类呢?这其实就是我给 a 诊设计的 他的一个支持管理的一个工作流啊,给大家看一下效果。比如说获取,获取的方式有两种,第一种我称之为是被动获取,我给他转发了一个文章,比如说我发了个链接给他, 那他自己会去读这个文章,总结翻译,归档到他认为那个合理的文件夹里面去。那另一种获取的方式呢?我称他是 agent, 他 自己主动的学习 我这个 a 诊,其实他会主动去观察我给他设计的一些频道,那这些博主呢?是我平时关注的,那我现在更多的会让 a 诊他自己去观察,那我关注的博主要去学习, 那当他学了这篇内容的时候,那我认为这篇应该归党起来,那我会再让他去归党,那这是主动获取的一种方式,当你把整个工作流逐步的跑起来的时候,那我们的整个目录就构建起来了,那比给大家看一下,比如说这是我跟 a 阵相关的一些目录 open clone 呢,他会自己去构建所有文章的一个关系链, 那这样子当我比如说想做某个主题的分享,或者说我想学习某个东西的时候,那我能快速的去找到相关的一些文章。另外我认为给我们的 open clock 去提前定义好整个目录的规范,还有分类的原则是非常重要的。那在我的设计里面呢,我会给他去 定义了统一的规范,每一篇文章他其实都是按照我们这个分类规范去做的,我给大家举个例子啊,比如说我的这一篇文章, 那在每一篇文章的头部我都会给他设计,比如说标题描述他属于哪些分类,他的源头作者时间,这其实是一种缩影的机制。后续我的 a 整他在快速的去解锁我的文章的时候,效率会非常的高。 当我构建了这套知识管理系统的时候呢,那我可以非常轻松的能解锁到我的文章给大家看一下。比如说我让我们的机器人给我们发一下最近这个 open a r 的 文章,他收到我们的消息了,那这时候我的机器人还问我是不是要用 nobln 来讲一下, 还是说要生成摘药呢?我让他直接给完整的内容发给我,哦,他发回来了,我们看一下。那这篇就是我们之前收藏的文章, 你可以在任意的地点拿出你的手机,完成我刚刚上面的这个操作。这就是我想跟大家分享的第一部分,那 open q 他 学会了按照我的规则去构建第二大脑的知识库,而且这个知识库他可以反哺给我们的 open q, 让他自己也变得更聪明。 如果你认为我们这套系统的威力仅此而已,那你还是远远低过了他,当我把他打通了,那不饶人之后, 我们会真正发挥出它的威力。当我们想要研究我们的某个主题的时候,比如说现在我们想研究 a 阵的主题,我们完全可以让我们的 openclo 从它历史收藏的所有的高质量的文章里面,自动去筛选这个主题相关的一些内容出来,然后一键导入到 the bln, 非常的灵活。那我实际的给大家演示一下,比如说我们可以让他新建一个 a 整演示的 nobel 的 笔记本,把相关的内容呢都自动导入到这个笔记本里,让我们看一下效果。那这时候我的机器人小测呢,他自己去找到了一些跟 a 整相关的文章,然后去导入进去了。 我们打开 nobel, 确实我们找到了一个这样的笔记本,这个就是我们刚刚的 a 整自己去主动导入的,我们可以点开看一下,就是刚刚那些文章。 然后呢,你可以基于这个主题聚集在 nobel 里面去做研究。当然 opencloud 跟 nobel 其实有非常多可以结合的点,甚至呢我可以让我的小特自己去生成这些内容,然后再发回来给我。最后还有一个非常重要的点要分享,我们构建了完整套知识库,它有非常多重要的内容,万一丢了怎么办呢? 所以这时候我们引入 get 去做版本管理会非常的重要,那之前这是属于程序员的专有技能,那现在我觉得如果你想用好 ai 的 话,它会是你一个必须要了解的东西, 这就是我用 open globe 构建的出版的第二大脑的知识库,那如果对你有帮助,也欢迎转发分享给更多的朋友,或许我会持续去叠代这个系统,让我的 open globe 变得更聪明。如果你有兴趣,欢迎点个关注,我们一起交流。

当你不小心想试一试用小龙虾自动生成视频,然后聪明的你就去 versale 找到了这个 anything to do book i m skill, 并直接把它丢给了你。同样聪明的小龙虾。然后啊,执行力超强的你迅速确定了第一期视频的内容, 打算科普一下小龙虾的工作原理。然后你直接把一个包含了 openclaw 几百页技术介绍的官方网址丢给了小龙虾,并让它生成视频。 五分钟后,小龙虾回复你,恭喜你,视频制作成功了。于是你进入了谷歌的 notebook l m, 看到了中间文字已经准确描述了官网内容, 而且还有一个视频静静地躺在了右侧的对话框里。点击后,你发现不仅视频画面品味不错,很有科普的味道,而且还配好了声音。再仔细看一看,发现条理清晰,内容有逻辑,而且结尾还设置好了互动环节。 执行力超强的你,快去动手试一试,制作你自己的第一个视频吧!我是拉斐尔,这是 open club 实战系列的第六期,咱们下次见。

朋友们,这是拯救你们手里 mac 的 一个视频,建议你们一定要看完。近期我发现很多博主在自己的主力机 macbook 或是 mac mini 上去安装小龙虾呃,有的甚至买了上万的设备,但是都有一个问题就是巨慢无比。 经过我的一番折腾,我在我的 macbook air 二十四 g 主力机上呃完成了十倍的优化。 我觉得可能从来没有人想过说用一个盖板的 mac mini, 或者是说用一个 macair 去部署一个本地的模型去玩龙虾。为什么?如果说你用过 luma studio 或者是欧莱玛去跑纤维三点五 四 b 的 模型呃,那么基本劝退呃,那速度简直就是无归盘。我们来看一个测试啊,兰博索六和 o m l x 去基于千万三点五四 b 的 模型完成的一个技术测试。那么我们从首充分的耗时和平均的总耗时能够看出来, o l o m l x 完全碾压兰博索六。 那么它是怎么做到的呢? o m l x 完全就是为 mac 而生的。首先呢,它 是原生的 macs 的 m l x 服务器,核心是具备一个智能的缓存功能,那么在它主要上其实有介绍到它的核心能力。第一个是它把敢把 k v 缓存放到 ssd。 我 们知道内存是有限的,但是 ssd 的 空间是无限的,会大很多倍,即使来一百个 a 帧的请求也是能够存得下的。 更离谱的是,它还做了分页缓存,传统的 m l x 开十个窗口就存十份,但是 o l m x 只会把相同的前缀存一份,不同的部分在各自存储。 这可是 v l l m 这种工业级框架才有的缓存技术,竟然也应用到了 o m l x 上,这个 o m l x 的 新框架再加上新的 m 芯片,我觉得看到了新的希望。不过话说为现实。

大部分人做个人知识库,最后都做成了一个更贵的 ig。 资料是传进去了,但每次提问,系统都像第一次认识这些内容。 karpsy 在 二零二六年四月四号发了一篇 l l m wiki 的 gist, 核心不是怎么解锁,而是怎么让模型持续维护一个 wiki。 我 把这套思路直接翻成了 opencloud 的 落地流程。唉, 传统爱奇艺的问题不是不能回答,而是不会积累。今天问一个问题,他去找切片,明天再问一个稍微复杂一点的问题,他又从头再找一遍, 没有编一层,也没有结构。升级 l l m wiki 的 方法正好相反,他要求模型把原始资料持续维护成一个结构化的 markdown wiki。 如果你要把这个东西真正做起来,我建议就按四层理解,第一层是 raw, 原始资料只读。第二层是 wiki, 所有结构化页面都在这里。 第三层是 ages m d, 它其实就是 kappa 文里说的 skimmer。 第四层是 crown, 负责每天和每周的健康检查。前面三层决定结构,最后一层决定这个知识库能不能长期长大。 为什么我觉得这是特别适合 open curl? 因为它不是单纯的聊天入口,它天然把浏览器文件、系统技能规则和定时任务放进了同一个工作区里。 你可以让他抓资料,写 markdown, 维护锁影、跑 link, 还能安排定时任务做知识库体检。我这边实际装的是 open curl, 二零二六点四点二,足够对这条流程做真实落地。 第一件事不是提问,而是建工作区。我的建议是直接把目录分成 raw 和 wiki 两大层,再把 index 和 log 放在根目录, raw 是 输入层, wiki 是 编一层, index 是 入口, log 是 时间线。只要这四个概念没乱,你后面就不容易崩。 真正的关键是 a 卷尺。 md, 没有这份文件, agent 每次都在重新拆你的目录命名和流程。你要明确告诉他, raw 不 许改。 index 必须更新哪些页面 query? 先看 index 高价值问答要回写 analysis, 只有这样这个字实酷才像项目,而不是一串聊天记录。 接下来就拿一篇资料跑第一轮 ingest。 注意,第一轮不要批量为十篇。 理想结果不是它给你突出一篇摘药,而是这一篇资料进来之后,会带动五到十五个页面一起更新,把相关概念、实体和地图页都带起来,这样知识库才是在长,而不是只多了一份总结。 然后是很多人最容易漏掉的一步。问出来的好答案不应该只留在聊天窗口里。比如你让它做一次 open claw 和传统 leg 的 差异分析,这个结果本身就应该保存成 e and s。 只要你做到这一点,知识库就开始真正复利了。最后给他加上 crown, 每天跑一次清亮 link, 每周跑一次深度 link, 让他专门检查过页面过期结论、漏掉的交叉引用,以及哪些页面已经该拆了。做到这里,你的知识库才是从能用升级成能长期长大。 所以这套方法真正厉害的地方,不是把资料喂给模型,而是让模型帮你维护一个持续进化的 wiki。 你 做的不是一个能回答问题的文档箱,而是一个会自己长大的个人知识库。如果你要我下一条,可以直接把 a 键词模板和 cron 规则逐行拆开。

想让欧风格斗自己写网文这个项目,你一定要记住,它是一个自动化小说写作 ai a 镜子,它覆盖了玄幻、仙侠等多种风格,支持多种创作形式。 更核心的是它的多维度审计和去 ai 味,从角色记忆、物资的连续性、伏笔回收、大纲篇里等等方向去进行检查,还支持文风仿写、续写、已有作品同人创作等等。在这个项目里,会自动分成多个角色,通过 ai 各自写作任务,而你只需要最后的拍板。