粉丝2834获赞2.1万







cloud bot 一 夜爆火,这是一个运行在本地电脑的开源 ai 助理,短短几天内, github star 数量直线拉升,已经超过了十二万。本期视频我们带来一个 cloud bot 的 全面攻略,看看 cloud bot 比起其他的 ai agent 有 什么特色。 我准备了十几个案例的玩法大全,还会介绍一个接入飞书加国产模型的方案,让 cloud bot 在 国内网络也能顺畅使用。视频开始之前,先插入一个小插曲, 由于 cloud bot 受到 ansorepic 法务团队的压力, cloud bot 先是改名成了 motbot, 现在又改名成了 open cloud。 爬爬虾做视频的速度还赶不上它改名的速度,所以本期视频我们还是统一叫它最开始的名字 cloud bot。 cloud bot 功能跟 cloud code 和 open code 都有点像,都可以处理文件编码、调用 skills、 m c p 等等帮我们处理工作。 cloud bot 的 最大优势是可以接入各种聊天工具,也就是我们即使出门在外,手边没有电脑,只需要在聊天工具里面给 cloud bot 留个言, cloud bot 就 能自动干活,还能把屏幕截图、执行过程等信息实时同步过来,非常的方便。第二个优点是, cloud bot 自带了强大的定生物系统, 只需要用自然语言就能创建定身舞,比如可以创建一个临时的提醒,还可以定时检查收件箱通知等等,它可以智能地判断事情的紧急程度,选择是否用聊天工具跟用户进行沟通。比起传统的指令执行、指令执行这种固定的流程, cloud bot 就 具有了很强的主观能动性。 它的第三个优点是具有长期记忆,可以把记忆作为文件存储在本地,在日常的对话中能够搜索,并且把相关的记忆捞回上下文,随着日常使用,它还会主动去更新这些记忆文件,会有一种越用越聪明的感觉。好,我们先在本地把软件安装一下, 任意一个能运行 note g s 的 环境都可以部署 cloud bot。 我 最推荐就是使用 mac 或者 linux 系统的家庭服务器。 现在最火的部署方案是使用 mac mini, mac mini 的 最大好处是 mac 系统有不错的桌面环境,这样可以很方便地进行截图、操作、浏览器等等。第二点是功耗比较低, 七乘二十四小时运行,比较省电。第三个优点是 cloud bot 里面许多 skills 跟 mac 生态是绑定的,没有 mac 电脑的话,可以选择 linux 操作系统,或者在 windows 里面创建一个 linux 的 虚拟机。操作步骤跟接下来是一样的, 我选择的安装方式是 node js, 我 们来到 node js 官网,把第一个命令复制一下,然后打开终端执行一下,接着是第二个命令,第三个命令, 这样 node js 就 安装完成了。下一步我们来到 cloud bot 的 官网,在这里有一个一键安装命令,如果我们使用官网上的一键安装命令的话,注意要区分现在软件的名字,比如现在叫 open cloud, 后续所有操作的命令都应该是 open cloud 开头了,这里我选择 npm 的 安装方式, 我们看到 n p m 这里命令还是叫 cloud bot, 所以 后续我输入的命令都应该还是 cloud bot 开头了。这样我把这个命令复制一下,粘贴到命令行窗口执行一下。安装完成,我们输入命令 cloud onboard 来进行初步化。第一步,先配置 ai 模型,因为我有 open ai 的 plus 订阅,所以这里我选择 open ai, 当然下面也有很多不错的国产模型可以选择。视频的后半段,我们再来配置使用国产模型。选择 open ai 以后,再选择第二个 chad gpt 登录, 登录一下我的 chad gpt 账户,这样 ai 模型就配置完成。默认模型我选择的工具是 whatsapp 视频的后半段。我们再来看如何绑定国产的聊天工具。我们打开手机上的 whatsapp 右上角三个点已关联设备,关联新设备,扫一下屏幕上的二维码,这样就绑定完成。接下来选择预装的 skills, 按空格键打上对勾选中,这里可以按需进行选择安装下面的这些 api k 可以 全部选择跳过,然后 ai 会询问我们一些关于人设方面的问题,我们回答一下,这样就配置完成。我说你可以给我的聊天工具发一个消息,我们看到手机上收到了消息,这样就完全配置成功了。 我们先来介绍几个基础命令的使用。输入命令 cloud bot gateway, 这个是启动主程序,我们可以通过关闭控制台来停止 cloud bot 的 运行。在 cloud bot 后台运行的时候,我们可以新开一个窗口, 输入命令 cloud bot t u i 就 可以进入这个控制台的对话界面。输入命令 cloud bot dashboard, 可以 进入一个网页版的控制台,在这里可以进行基础的对话。上面还有很多配置,可以管理定身舞,管理 skills 等等。输入命令 cloud bot channel logout, 可以 退出 cloud bot 上面登录过的聊天软件,然 然后我们再输入命令 log in, 就 可以重新登录一下,因为有的聊天软件可能隔几天就会掉线,我们可以使用这个命令重新登录一下。我们来看 cloud bot 最有意思的一个功能就是它的定身物,定身物赋予了 cloud bot 的 一些主观能动性,让它变得更像一个智能的 ai 助手。 比如我输入这个命令,提醒我两分钟以后关煤气。 cloud bot 回复我,好的,已经设定成功了。我们可以在网页版的控制台 crown job, 也就是定身五这个选项卡可以看到 cloud bot 为我们设定的定身五,这里显示两分钟后执行。两分钟以后,他就把这个消息推送到了手机上,提醒我去关煤气。 cloud bot 具有操作浏览器的能力,我们需要先在 mac 里面下载一个 chrome 浏览器,我要求 cloud bot 去 m i t 公开课下载 python 课程的课件,放到我的桌面,我们看到 cloud bot 自动打开了 mac 里面的 chrome 浏览器,找到了 m i t 公开课的官网,并且搜索 python。 他 找到了几门 python 课程, 回复了我课程的编号,让我选择这里,我选择第一个。他又在浏览器里面通过课程编号找到了这门课,并且下载到了桌面,然后我要求他把它解压出来,他调用了麦克的命令行工具完成了解压,然后我要求他把第一节课的课件发给我 这里可乐豹成功找到了课件,并且完成了发送,效果不错。接下来我们来看一个把浏览器自动化跟定生物组合起来的案例。爬爬虾,作为一个科技软件类的博主,需要经常查看 github 的 热点, 这里我告诉 cloud bot, 让他查找一下 gitap 上面的热点,然后做个中文简报发送给我。 cloud bot 生成了中文简报,接下来我说每天早晨八点你都做这么一个简报发送给我。 接下来 cloud bot 生成了一个定身舞,每天早晨八点都执行这个工作。我们可以在 cloud bot 的 控制后台查找到这个定身舞,每天早晨八点都会自动执行这个工作流程,发送给我简报效果不错。除了操作浏览器, cloud bot 还有图像识别等 ai 视觉方面的能力。 这里打开 mac mini 的 设置隐私与安全设置录屏与系统录音,我们在这里搜索终端两个字,给命令行终端添加上录屏和录音的权限。接下来重启一下 cloud bot, 我 在手机里面说,请给现在的 mac 截一个图, mac 电脑当前的图片就发送到了我的手机上,可以实时的对状态进行监控。 目前为止我们依赖的是海外的聊天工具。接下来我们把 cloud bot 接入飞书,让他在国内的网络也可以顺畅使用。我们先来到飞书开放平台,点击创建企业应用,填写一个名字与描述。接下来点击左侧添加应用能力, 选择机器人。然后我们来到权限管理,点击添加权限,总共需要添加屏幕上这些所有的权限。 接下来来到版本管理与发布,填写一个版本号,点击发布。我们回到 mac 终端,输入第一个命令,安装飞书插件。第二个命令,配置 app id, app id 可以 在飞书开放平台凭证与基础信息里面找到, 把 id 粘贴到命令行里面执行一下,然后配置 app secret, 同样在凭证与基础信息里面找到同样的,把 secret 放到命令里面执行一下,下一个命令,开启飞书 channel。 最后第四个命令,把链接方式改成 web socket, 然后我们重启一下 cloud bot, 这里我总结了需要执行的几个命令,有需要的观众朋友们可以截图保存一下。回到飞书开放平台,在事件与回调这里选择长连接,点击这个铅笔,点击添加事件,然后勾选接收消息,最后点击顶部的创建版本, 我们再提交一个新的版本,这样飞书就配置完成了。在飞书的手机 app 里面,我们可以找到开发者助手,然后点击打开应用这里我打一个招呼,你好,飞书有一个非常可爱的机器人正在输入的表情,我问他现在几点了,这里给出了回答。然后我让他给麦克截一个屏, 告诉我需要先在控制台跟他对话一次,开通权限才可以截屏。这里我们来到麦克上面的控制台,跟他对话一次,允许截屏,这样截屏完成。我们看到飞书也同样可以传递文件传递截屏。我们把聊天方式换成了国内平台 ai 模型,同样也可以换成国内平台。 cloud bot 的 作者推荐使用 mini max, 这里我们来到 mini max 的 开放平台左侧,选到接口密钥,然后创建一个 apikey, 然后我们打开 mac 的 控制台,输入 cloud bot config 来配置一下模型,选择 mini max, 然后我们把刚才创建的 mini max api k 填写进来,一路回车就配置完成。来到 cloud bot 的 控制台,输入命令斜线 models, 然后我们可以选择 mini max 模型, 选择完模型以后,我们再重启一下 cloud bot, 这样模型就切换完成了。 cloud bot 的 强大之处在于它内置的 skills 可以把各种第三方的生态接入进来,比如这里的 g u g skills, 可以 把谷歌邮箱、日历文档等功能都接入 cloud bot。 我 们点击这个安装按钮,这里要提醒一下大家,安装的时候要把 mac 系统更新到最新版,否则有可能会失败,这样一键就安装完成。 来到谷歌 cloud, 我 们在左侧菜单找到 api 与服务,选到 o o 四权限请求页面,创建 o o 四客户端应用类型,选择桌面 app。 然后我们把生成的这个 json 文件保存下来,把文件拖拽进 cloud bot, 告诉他配置一下 g o g 的 认证,然后我们登录谷歌账号,并且授予权限,这样就完成了配置。接下来我让他看看我的邮箱里有什么邮件,让他总结一下。 这里 ai 提示我需要再开通一个 gmail api 的 权限,我按照它的提示把权限开通完成,它就可以读取到我的邮件了。接下来我让它把所有的邮件移动到垃圾箱,这里也成功完成了。我在手机上让 cloud bot 帮我发送一封邮件, 我们看到邮件可以成功发送,我让 cloud bot 设置两分钟一次的心跳检查,如果有发现新的邮件,就发消息通知我,我给这个机妙邮箱发送一个邮件来测试一下。这里 cloud bot 成功给到了通知,我让他总结一下邮件内容,他也完成了总结。 ai 助手对接其他生态,一个重要的渠道就是 m c p, 我 们可以在 skills 里面找到 m c p porter, 把这个 skills 安装一下。接下来我告诉 ai 用 m c p porter 来配置一个百度地图的 m c p, 我 把这个 m c p 的 说明文档贴给了他。 ai 提供了三种安装方案,我选择 streamable h d d p。 他同时要求我提供百度地图的 a p i k, 把这个 a p i k 复制一下粘贴给他,这样就完成了配置。他已经可以使用这个 m c p 查询到地理位置的坐标了,这样我们就配置完成了,我们也可以在手机里面使用,我让他查询一下从青岛太平角公园到崂山羊口景区怎么走, 这里成功给到了规划路线,效果不错。我们再来看一个 skills 的 使用,这里有一个 skills 叫做 coding agent, 它可以驱动本地的 codex, cloud code、 open code 等 ai 编程工具 直接进行编程。这里我们先把这个 skills 安装一下,我在 mac 电脑上登录了我的 codex, 接着我在手机上跟 ai 说调用 codex 创建一个贪吃蛇的游戏,我们看到程序就编写好了,这样我们就通过 cloud bot 驱动 codex 完成了一个程序的开发。