粉丝253获赞3460

如果你是做电商的,或者是做重复办公室工作的,一定要用这款 ai 智能体 open cloud, 就 也就是现在爆火的小龙虾,它和普通的大模型完全不同,它不只是聊天机器人,而是拥有电脑操作权限的一个执行者,就是直接给你结果的,不是只给你答案, 就他能二十四小时不眠不休的干活,就你只要下达指令,对吧?他就能打开浏览器,然后查竞品,做 excel, 整理数据啊,发邮件啊,抓取行业动态对吧?填财务报表,包括监控,竞能排名啊,全流程他全部自动执行, 哪怕就是一个模糊的指令,他也能就是自己拆解步骤,在各大搜索引擎找到解决方案,像专业员工一样规划路径。 更厉害的是啥呢?这不它能打通商业闭环,就咱们电商运营,对吧?要盯了一些,比如像排名啊,销量啊,控价,包括一些评价,对吧?它全部能自动收集汇总,成为你的真正的专属业务数字分身, 把咱们普通 ai 只能做一些交互的一些问答。而小龙虾呢,它能操控鼠标文件 api, 就 从给建议变成直接的干活,你包括像一些发帖、运营、售后,给你全部搞定,这你受得了吗? 我身边有个兄弟,他让公司的百分之八十员工转岗,就是一百个人,最后精简到二十个人,就我很庆幸这五年我没怎么招人。像客服啊,设计啊,运营岗,小龙虾他全部都能高效的替代。 就我现在做 ip, 包括群内一些问题的一些整理啊,包括视频的分发,然后包括一些话题的一些策划,对吧?全靠他解决。 淘宝一些后台运营啊,竞品一些数据统计,包括一些差评的监控,还有一些客服的售后投诉处理,他两个小时就能干完人工几天的活。现在创业,你千万不要招没有思考能力就只做重复工作的人,公司只需要思考者就是创造者, 按部就班的执行岗,未来肯定都会被 ai 所取代,管理纯粹浪费时间啊。你看一下沟通啊,激励啊,团建啊,其实都没必要用 ai 砍掉所有环节,一个人就能顶一只团队啊。就小龙虾最核心的优势 是打破平台的壁垒,然后抖音刷到爆款,它能自动给你拆解视频啊,核算利润啊,给出可执行的方案, 全程合规操作,而且它能规避平台的一些风险,知道吧?而且它还能跨平台跟你做私域个性化定制,就不断地投喂你的一些业务数据,就他能越来越懂你的业务。 终于迎来咱们真正的属于个人创业时代,就是你只需要掌握核心的能力啊,比如产品开发和一些产品痛点的挖掘,供应链的整合,剩下的执行全部交给 open cloud, 就 一个人能抵过去五百个人的效能, 就别再纠结就业失业率,企业先活下来才是最关键的,就没有人会主动革自己的命,对吧?但是咱们老板必须要主动拥抱这个工具, 这个时代竞争的核心绝对不是说人力了,是工具效率知道吧?不会用 ai 工具,你迟早会被市场淘汰,赶紧把小龙虾用起来,这才是电商和创业的终极破局之道。

干中学在跑本地的大冒险呐。哎呀,折腾了好久,折腾了大概有一个星期左右了,现在终于在跑本地了, very good! 哎呀,真是啊, 要去干中学,大家一定要干中学。但呢,这只是一个跑通的很多流程,继续研究一下啊。这只是入门第一步, 半直角跨进了 ai。

我又干了好几天的 oppo 可乐,跟大家爆一个特别大的好消息,就是跑本地大模型的我现在能稳定的运行千万二十七 b 的 三点五二十七 b 的 这个模型了。 这个模型本来我都已经放弃了,因为奥拉玛在那个 oppo 可乐下面接起来经常超时,根本跑不了。 不管你是跑千万二十七 b 还是三十五 b, 三十五 b 理论上还要更小更快一点,但是它就是跑不了, 哪怕用 cpu 卸载什么的降低速度,但它奥拉玛反应稍微慢一点,它就超时了, oppo 可乐就彻底死在那了。本来我之前是 换了千万三十四 b, 因为我二十二 g 的 显存就是二零八零 t 的 摩根二 g 显存,装这个十四 b 我 去社区找了一个 awq 的, 它加载完只有十 g 左右, 但是上下文一塞进来马上也充二十二十多 g 的 显存。我是装了 vl m vl m 这个框架,它的好处是确确实实驱动这 oppo 可乐是确实比 oem 快, 但是最大的问题,我现在碰到的最大的问题是它这个没有办法设置 cpu 卸载,不知道是我的问题还是我搜了很多文档没搜到,也就是这个模型不管怎么样都要往这个检测里面塞,它好像 没有让你一旦撑爆了,他就不启动或者启动不了,所以导致什么二十七 b 三十五 b 这样的相对先进一点的三点五的模型塞不进来,三点五你只能塞 那个九 b 的 模型。而且更可恶的是九 b 模型在 v r m 就是 aw q 的 版本都没有,只有隐身版,我觉得可能设置各方面更复杂一点,官方版就到。千万三, 那请问三十四 b 其实我在 v l m 框架下跑的还是算顺利的,但是就这么说,你就我我就配一个问题,之前我们是调试编程,他是一个道理,调试编程他能不能用编程的调试工具 接受他的反馈错误就看这个模型智商的问题。我现在这两天用的是让他 找一个 t t s 的 语音接口,不管是 t t s 还是什么千万 t t s 还是什么爱智 t t s, 你 自己去找你配一个 t t s 的 接口给我合成男生女生的各种声音, 我想的是以后我弄一些那种口播,或者弄一种那种播客什么东西,每天让他自己生成一个播客的文案,再用一个声音把这个播客文案给他合成成语音,我们是不是再去配一点画面,夸就上传了,这他就自动能做一个自媒体, 甚至说画面我们就用固定的,什么类型的,比如中东打仗的就用油田的是吧?弄好几种那种视频,让他自己去跟声音合成在一起,就画面给他固定死了就几百种画面,你在这里面给我挑就行了, 我想这就可以做自媒体了,就合成语音这一部。千万三十四 b, 就 死活跟你说我没有权限,我无法调试,我找不到,这跟之前跑编程是一模一样,所以你要玩 open clone 就千万三点五,我跟你讲,九 b 的 模型都能理解这个东西,也就是说白了就是三点五是今年发的模型,他都能理解我们可乐的这个框架跟这种怎么去使用,但是千万三是去年的模型, 他的模型他就不理解,你是待在我们可乐个里面,他可能能操作一点,但是他关键时候他开始吐说,我不能,我需要你,你来验证, 这很讨厌。所以这是第一点。为什么放弃十四 b 的 模型,但是偏偏我二十二 g 这么大的显存只能跑三点五九 b, 我 又不甘心,因为我公司那个 十二 g 的 显存的那个三零六零也跑三点五的九 b 模型也跑的很舒服。那到我好不容易从十二 g 显存变成二十二 g 的, 还让我跑三点五的九 b, 心里不舒服,对吧?二十七币跟三十五币总是卡在那个超时,结果我就这两天刷那个头条帮我刷到了,就这样一条,他之前我问 ai 都没有问出来如何设置超时时间的, 终于我我在头条上看到了,我就把它试了一下,果然,果然一般。这个欧文可乐的超时是十分钟,是六百秒, 你要设置多少?我开始设置三十分钟,他能干活,但中间有一干了大概十几个小时又卡一下。那我现在设置四十分钟,四十分钟两千四百秒, 语音合成,什么事都能干了,我觉得这很好,也就是说他的现在做法是,我现在本地跑大模型的做法是用奥拉玛 妈妈要配置啊,我把配置的这个标定发在这好了,要配置 cpu 卸载就是人工在 c m d 里面要设定这个模型,你只跑多少层?现在二十七 b 这个模型我跑五十六层, 就我跑五十六层,剩下的挪到内存里面去,这是它总共大概应该有六十四层,挪掉一点。 沃腾可乐这边超时是长一点,你自己本地跑慢一点无所谓,其实我觉得慢点无所谓,总之他要一个人一直的不屑的在那工作。所以现在解决的问题是 v l m 没有跑通更大的模型放不进去。 奥拉玛能跑更聪明的哇,二十七币千分,三点五,二十七币这个模型综合实力真的好,就不用废话,康之就可以干活。这点上是我跑了这么多粉底,包括三十五币那个模型,我认为都没有二十七币这个模型聪明, 真的,二十七 b 这个模型给我的感觉真靠谱,三点五五,三点五九 b 那 模型我公司不是一直在跑吗?我认为也没有二十七 b 这个靠谱,这个确确实实好,所以给大家分享里面解决,第一 就是 cpu 卸载,我给大家说在奥拉玛下面的设置,第二就是我们可乐怎么把这个超长延时给他设置出来,你甚至可以设置的更长,这样一来 他就有希望自己自动工作二十四小时不再停下来。这工作二十四小时不管怎么样,这个消耗的 tucker, 如果你用在线模型,就算他比在线模型慢个三五倍, 那消耗的 tucker 就是 你省下来的 tucker, 费用也是挺多的。如果你能给他一个让他二十四小时一直在那边不停的工作的一个任务,那就太好了。你想,比如说写小说,让他一直写,哈哈哈,比如说生成图片,比如说之前有人试他剪辑视频,我觉得剪辑视频就算了, 反正你可以给他想,比如说让他编一个游戏,自己调试啊,调试错误自己重新再改写代码这种等等等等,反正能让他自己花很久时间去干的活,而不是总是停下来等你啊。 我这就我的努力,现这是阶段性成果,具体活还没有真的派给他干,我们接下来试一下派活,如果你有个 好的,比如说怎么样能让他本地模型跑的更流畅,更聪明更快,同时不出错不报错,而且还有什么活是可以让他一直干下去的, 不要老是干个五六个小时,他干完了停下来说等你指令。那怎么样让他二十四小时自己干什么活的分量以及第一分量是能够干到二十四小时以上的,第二个是中间不停,中间不会再卡下来,等你指令 是怎么样去给他这个指令的。好吧,这个大家交流一下,也帮我下一步帮我提醒一下大家交流一下这个经验。根据评论区我也在改善我的地跑 open klo 的 效果,那就是我们今天要聊的事。

呃,当你们的终端显示这个画面的时候,也就说明你们的 open clone 已经安装完了,已经到了配置页面。然后我们第一个,这一个我们选择 yes, 这个也选择第一个。这个我们按一下你们键盘的方向键,上下左右的方向键的上键,下到最后一个 keep, 我 们把它跳过,这个我们选择全部这个选择。第一个 到这一步它是要你选择你要链接的那个聊天工具。假如说你们要选择飞书 进行链接这个 open color 的 话,这一步我推荐你们选择跳过,就是最后一个跳过。假如说你选择这一个,或者说微信,或者说是其他聊天软件的话,你们就要去他们的官网上,官方网站上去找对应的教程, 然后这一个教程视频呢?我们是接入了飞书,所以说这一步我们选择跳过 这个,这个是呃搜索那个工具,这一步我们选择跳过,到后面可以再配置这个我们选择 yes, 然后选择第一个回车,第一个回 要先空格选中,选中了再回车。这一个我们选择 no, 我 们现在还没有这个我们选择 no, 还没有,全都没有,我们全部选择 no, 这个依旧回车跳过。 ok, 那 这一步它就会呃安装它的网关了,这一个我们选择 open。 呃 web ui 稍等片刻,那这一会就会生成一个这样的一个网址。到这一步我们需要做什么?我们需要打开我们入媒派 远控的这个终端,就这一个这个网址,这个网址我会也会添加到我们这个文档,就是这一个 打开这个网址之后登录你们刚开烧录系统时候,最后那一步登录那个账号,登上去之后你们输入派的设备就自然会出现在这个地方,那我们点击这一个,点击这一个它就会打开 这个页面,那这是我之前测试的时候调的,打开这个页面之后,我们点击这一个这个浏览器,然后我们将刚刚终端显示的这一个,我们给它复制过来, 复制到这边,点击这一个,然后点击这一个,将我们本机的文本复制到远控,点一下就附到这边。然后我们回车, 当你看到它能成功进入到 open 可乐这个网页客户端的时候,就说明 open 可乐已经安装完成了,现在就需要给它接入我们的大模型的 api, 那模型 a p i 我 选择的是腾讯的那个酷丁 plan, 我 们就打开我们的呃,腾讯的官方这个教程。到这一步我们将这一个完全复制,复制完之后我们打开这一步往下滑,往下滑滑到这一个这个地方,我们将这个全屏 选择这个 到这一步到这个地方。

不会还在有人花钱买 tokyo 养龙虾吧?嗯,看我如何实现本地免费的算力查询一下杭州今明两天的天气, 可以看到现在龙虾已经开始调研工具了。那我是怎么实现的呢?就是本地这台可以跑满血 mini max 二点五的 大模型推理服务器,现在这里已经开始发热了,那么其实并不需要英伟达八张 h 一 百显卡。那么给大家看一下我们这台机器的配置, 我们用的是 k transformer 架构,把所有大模型放在内存里,而实际上只用了一张四零九零显卡就可以实现哦。那么这台本地大模型推理服务器你想拥有吗?

这条视频我们用五分钟把 open core 多 agent 的 最小可用方案讲透,目标很明确,第一,知道多个 agent 的 怎么隔离部署, 第二,知道消息怎么稳定路由。第三,知道两个 agent 怎么开始协助你第一次上手,别一开始就做三层专家组。最稳的起点就是一个主控 agent 加一个执行 agent。 正式配多 agent 的 之前,先把环境起好,先用 on board 把 gateway 服务装起来, 然后用 gateway status 确认它在运行,再打开 dashboard 看配置是否能正常加载。如果你要把不同账号分给不同 agent, 就 先把频道账号登录好,比如一个 personal, 一个 base, 只有当 get 位正常,面板正常,频道账号也正常的时候,后面写的 bindings 才有意义。 do agent 最关键的第一步不是写 prompt, 而是目录隔离。最少要拆三个东西, workspace 要独立, agent 的 要独立, sessions 也要独立。因为每个 agent 都有自己的身份文件,自己的绘画历史,自己的工作资料。 如果你附用了同一个 agent, 最常见的结果就是认证串调,角色串调,绘画也串调。 agent 创建出来以后,别只停留在名字,至少要给每个 agent 写清楚两类信息, agent 点 md 定义职责边界, so 点 md 定义语气优先级和工作风格。比如 home 负责清亮聊天和提醒, work 负责项目执行, review 只负责复合。这样后面即便三个 agent 同时存在,也不会出现谁都想接手同一件事。接下来是 bindings, 它作用很简单,消息进来以后到底交给哪个 agent? opencloud 的 路由是确定性的, 而且越具体的规则,优先级越高。如果你写到了单个联系人或者单个群这种 peer 级规则,优先级最高,再往下才是 account channel 通配,最后才是默认 agent。 所以 你想做精准分流,优先写具体匹配, 不要只靠默认。实际落地时,建议你先按账号分流,比如 personal 进 home business 进 work, 然后如果某个群或者某个联系人需要单独处理,再用 p 尔规则覆盖,最后保留一个默认 agent 兜底。这样配的好处是基础分流稳定,重点对象又能单独接到更专业的 agent。 消息已经送对以后才轮到协助。 openclo 的 多 agent 写作本质上是跨 session 工作,最常用的能力有四个, 看绘画、读历史、发消息、启智任务。其中 sessions send 适合主控把任务交给执行, sessions spawn 适合开一个独立子任务去后台跑。 另外要记住, session 可见性和通信权限不是一回事,能看到不代表能互发。第一次做多 agent, 最稳的协助顺序是先单向再双向,也就是先让主控 agent 把任务发给执行 agent, 执行完把结果收回来。如果你一开始就让两个 agent 互相自动回复,最容易出现的是死循环。绘画、串线 或者一个小问题被放大成无限对话。所以最小配置里先把 allow 写清楚,再把 sessions 的 visibility 放到 all, 先跑通 home to work, 再扩。第三个 review。 配置写完以后不要直接上真实业务,先做验证。 第一步,指测 routine 确认, personal 指进 home, 壁纸指进 work。 第二步,再测一次 sessions send, 让主控发一个简单任务给执行 agent, 看结果能不能收回来。 第三步,最后才加 review 或者自动往返,如果出问题,先看 get 尾状态,再看深度状态,再看 house 和日字。日字里重点看消息到底进了谁,以及绘画 key 有 没有串,最后收个尾。 do agent 想跑稳你只要记住六件事, 目录独立,职责清楚,先按账号分流,再按对象覆盖。先单向斜坐,再双向 allow, 只给必要的 agent, 每次只加一个变量,并且用日制验证。 多 agent 的 本质不是模型越多越强,而是路由清除,协助清除,验证清除。做到这一步,你在网上扩散角色,专家组才不会失控。

opencloud 默认跑在你电脑上,电脑关了 agent 就 断了。想让 agent 二十四小时在线,就要用远程网关,把 gateway 部署到服务器,随时响应,不用守着电脑, 原理不复杂。本地 app 通过加密通道连到远端服务器,消息发到聊天工具,服务器上的 gateway 接收 agent 响应。你关电脑,服务器照样跑。配置分四步,先把公钥传到服务器上的 agent 响应。你关电脑,服务器照样跑。配置分四步,先把公钥传到服务器,然后启动加密隧道,最后重启 app 连上去, 夹到开机字迹里,不用手动操作,最适合三种场景, cron jobs 需要持续触发手机控制手机发消息,服务器 agent 立刻响应资源密集任务推到服务器跑本地不卡顿。本地网关,电脑开着才在线。配置简单。 远程网关,服务器持续运行,需要加密隧道配置,两种模式按需选,不冲突。远程网关,让 agent 持续在线,不依赖本地电脑下集讲 docker 持续在线,不依赖本地电脑下集讲 docker 持续在线,不依赖本地电脑下集讲 docker, 让 agent 持续在线上。