第一章, devtools 加 c d p 基础电定 chrome devtools 最初只是开发者手动调试网页的工具面板,但当 google 开放了底层的 c d p。 协议,一切就不同了。浏览器第一次有了可以被程序控制的接口, 为整个自动化时代埋下了种子。第二章, hadley 加 c d p 自动化时代有了 c d p, 下一步是去掉 g u i 窗口,让浏览器在后台默默运行, puppeteer play right 就 此诞生。注意, 这不是新协议,用的还是同一套 c d p 只是换了一种使用方式,把人点按钮变成了程序发命令。第三张, y m c p ai agent 时代。现在 ai agent 来了,旧方式是外部程序强行接管浏览器, 而 y m c p 完全不同,网站主动暴露结构化工具, ai 直接调用真实函数,不再靠猜 d o m 抢控制权,这是一次真正的范式转变。第四张, c d p。 连接的桥梁回头看, c d p 始终是那座桥。 defos 用它调试, heli 用它自动化,它是前两个时代的共同基础,也是理解整个演进的关键。第五张,技术演进的正确逻辑。 所以正确的引进路径是 defos 面板开放 c d p。 协议, c d p。 桥接到 cad 自动化应用,再到 y b m c p 开启 ai 主动写作,三个节点 两次跨越一条清晰的时间线。第六章,三个时代的范式转变三个时代三次革命,手动到自动,自动到智能 工具到协议协议到写作。浏览器技术的本质是控制权的一次次转移,从人到程序,再到 ai 与网站的双向写作,这就是范式革命。
粉丝185获赞2035


两个 opencloud 的 核心插件,一个是写代码的插件,一个是浏览器自动化的插件,给大家演示一下效果。这个是我用写代码的插件开发的一个二 d 游戏啊,就是我跟他说帮我开发一个游戏,然后他就可以开发好了, 我给他看一下聊天,聊天的记录,你看他这边就是我说在哪个目录下面,帮我帮我开发一下啊,他这有开发问题,然后后面没没开发出来,然后我后面又让他再开发了一次,他就开发出来了,他就使用了这个 cloud code 开发出来了。 呃,这个插件是本身啊,这个技能是本身自带的,在这里面本身就有的。 呃,但是这个需要你本地安装 cloud code。 呃,免费使用 cloud code 的 方法我之前也给大家讲过了,大家可以看一下往期的视频。然后第二个就是我们的浏览器自动化插电,这个的话需要安装一个插电,那你不知道怎么用,你就问 问这个 open call 的, 他会告诉你,一般他会告诉你去把,他会自动帮你去给弄好一个这个 com 插件,下载一个 com 插件,他一个命令敲下去,然后可以可以这个安装一个,帮你弄下载好这个浏览器插件,浏览器插件下载完之后, 呃,在这个点击右上角这边,然后这边连扩展程序,管理扩展程序,然后你选择未打包的,然后选择刚才这个插件的目录 啊,然后他就会打开这个幕,然后这个这个要填写这个 token。 这个 token 在 哪里呢?就是在在这个地方这个概书里面,这里有一个 token 网络令牌,选择这个网络令牌就好了, 复制下来之后粘贴到这边来,然后点击保存之后,这边提示成功啊,提示成功之后,那接下来他就当啊提示成功之后,他还需要点击这个这个小图标,点一下之后他会弹出来这个啊,他就提示现在已经就是我们靠的可以控制浏览器了。

终于让我找到了一个让龙虾机器人操控浏览器的好方法。不管现在这个龙虾机器人有多火,但不能改变的一个事实就是它操控浏览器的时候效果很差,不管你是用 playrite puppet 的 mcp 或者是这个 agent browser, 当然它们都是基于 copy or playwrite, 效果都不是特别好,即便是它原生的插件,这个现在已经在 chrome webstore 里边有了,就 open cloud browser relay, 即便是这个插件,它效果也是不太好。经过无数次事件之后,各种工具终于发现一种比较可靠的方式,那就是用浏览器的 debug 模式, 你可以在这看到,这是我找到的这些命令,就是 windows 上的,就咱们这以 from 为例, windows 上你用这个 remote debugging 给一个端口,就是九二二二,给他一个 user data 的 浏览器目录 profile 这里当然这个也 mac 上也是一样, remote debugging 也是端口是九二二, linux 上也是。 给到这个之后,你用这个运行浏览器之后,把这个端口告诉 opencloud 这个机型,它就要让它自己调用,它的权限会很高来调用各个浏览器,如果打开网页,上传视频或者图片做营销文案都可以, 效果要比其他的方案要好的很多,当然这样你的权限要给到他很高了,所以就会有一定的危险性。所以建议大家如果用这种方式,要找一台不用的电脑,只登录你包括营销的账号或者其他的 需要自动化的账号,不要登录自己有敏感信息的账号,这样就可以实现一个比较好的效果,有兴趣可以去试一试,这种效果比其他要好很多。好,那今天就分享到这,希望可以帮到你,谢谢。

比较复杂的,这个测试用力执行,这一步他能进行自动化的测试吗?完全可以,完全可以,已经配完了,经过我们的调教,他已经完全可以和浏览器交互,完成测试的执行以及结果的回转,我给大家演示一下。呃,请你看一下我桌面的测试用力下面的 t x e 文件, 然后呢打开浏览器,依据我的测试文件去测试它,并且每一个操作步骤操作前操作后都有相应的截图,把这个截图整理成一个文件里面,然后再把这个测试过程写成这个记录,记录到一个 txt 文件,然后把这些整体打成一个包发给我。 这么复杂?对,特别复杂,这个指令完全可以执行,经过我们的测试,他这他这个字时间不准吧?不准没关系,他可以,他可以理解,他可以理解。对,他可以理解的,所以说你可以看到 我们这边写完测试用力之后,他可以直接的时间目录,然后找到我的测试用力的文件夹,然后再控制我电脑的浏览器完成这个整个操作,然后最后测试完就给我们,所以他就完全可以替代一个检测人员。咱现在没动鼠标啊,他现在完全没有动,现在正在执行这个过程比较比较比较多啊,比较操作比较多,所以我们稍微等一等 来过来可以看一下。打开浏览器,打开浏览器输入可好了,你看我们的测试用力, 第一个输入 openclaw 的, 并且提交准确显示 openclaw 的 相关的技术产品啊,他现在是输入了,对,现在输入了,这是他自己操作的。对,这只是完全自己操作,哎,现在第二个用力输入一二三四五六,并提交,准确识别为熟度,并且展示结果,哦, ok, 他 也输入完数字了, 接下来输入第三个用处是输入人工智能并且提交,看到了吗?然后第最后一个结果是拼音输入百度并且提交。 现在就是这个简单的四个用力自动化测试。其实不光是这个百度啊,它我我们之前试了一些下载啊,一些按钮啊,点击它,完全没有任何 你就这个界面,一个陌生的界面,经过我们跟客户的一个接入浏览器的控制,就完成了用力的设置和自动化。基本在检测的时候大部分软件都是非常简单的界面,什么注册呀,登录啊,表单呀,按钮啊都大部分是这样,它完全是一个通用的界面,它既然能做到这么精准的,后面也可以做到。哎,现在我们用力应该都测完了,所以我们可以 稍微等待一下,看看他有没有截图,有没有把这些用力打包下来啊,你看一下我们,我们现在回到桌面了啊,我这边大部分都执行完了啊,他现在还在执行。现在说什么?他现在正在打包,然后正在记录,对,他表示正在打包, ok, 我 的天,这是所有的测试结果,哈哈, 好,这把字的内容记录了,然后回传。哎,他这个文件没有在桌面看来,这样,我们,哎,我们不用担心,他已经给我打包给我了,咱先看看哦,他现在,哦,他是给你看。哇,我的天,好快啊,这是记录的过程哎,我们找不着,不要紧啊, 咱可以告诉他,请把这份记录放在桌面, ok, 现在我不知道他,请把这份记录放在桌面, 咱们在电脑上看更清楚一些啊,他刚才是理解为,哎,出来了,出来了,看到吗?他已经出来了,哎,哎,测试记录的执行过程,然后我们再稍等一下,他应该还在执行。啊,还有那个,我现在那些图片你也给我放在桌面,就是那整套 我就随便说这口气话的东西,他能理解,就是我这大白话,就是那整套他也能理解整套是什么,都不用详细的告诉他一些细节。经典版,然后第一块输入百度,然后执行,执行结果通过,然后已经有截图证据了。然后第二个结果呢?输入这个, 然后通过第三个结果输入这个截图,然后我们可以打开这个截图,这个是刚才创建好的。对对对,然后你看第一个 输入数字,第三个, 第三个输入这个人工智能,第四个输入这个基本上都有截图,有执行,有记录,就这个东西。

接上个视频,我要知道我的这个里面是不是免费的,你看他直接告诉我找到了这个知识,是免费的。 这个里面我就手动的配置了一下这个谷歌浏览器里面的扩展程序,配置完之后别忘了把这个 on 打开,默认值的是关闭的, 点一下这个啊,之后这就可以自动查了。哎,这么说这个,哎,大龙虾挺好的啊,记得试验其他功能。

open club 加扣子,我们用 open club 去掉扣子的工作流,这是我摸索出来的一个我们高效的应用扣子的工作流的一个新玩法,特别的一个灵活。 大家都知道最近这个 oppo 可乐他特别的火,对吧?都传他能够自动化,他能够自动的帮你去做一些任务,做一些工作,其实他在做的过程中,你会发现他还是用的编码的这个思路去帮你做的。于是乎我就在想, 他既然编程序编码厉害,那么我们的扣子工作流也可以通过 api 去调用,那能不能实现这个呢?这就是我的一个思路。 那么有了这个思路之后呢,我就跟 oppo 可乐说,我会把我扣子的令牌告诉给他,我会把我扣子工作流的 id 告诉他,我会把我在扣子官方拿到的那个参考的 标语文档,那一段视例代码,我也告诉给 oppo 可乐,我把这三个东西告诉给 oppo 可乐之后,它就会自动的去掉扣子的工作流。哎,你还别说,还真掉成功了啊,大家可以去看我往期发那个视频有讲过啊,掉成功之后的那个那个效果, 那么调成功之后呢,这个 open 可乐它就可以去用扣子的这个工作流了。那么到这里有的小伙伴可能就会问,既然 open 可乐这么厉害,为什么要多此一举,还要让它去掉扣子的工作流呢? 对吧?其实我们在用 ai 的 时候都要理解一个逻辑,有的一些事情它不会凭空产生的,什么文字转音频,对吧?文字声、图片,文字声,视频 他不会凭空产生的,不是说你有了个 open 可乐,他就能产生了,他背后还是用的大模型的能力,所以这个 open 可乐你可以理解为你要让他干很多的活,让他写文字,他调用的是 普通的哎。大圆模型,你要让他文字转音频,那他也需要一个文字转音频的工具,你要让他,对吧?投身视频,你也得需要对应的一个工具。所以呢,要让你的 open 可乐能干很多活,那么你就要去给他配很多的技能, 那我现在让他去掉扣子的工作流,其实就是把我的这个工作流能实现的事情把它当成一个技能,哎,调给了这个 open 可乐,工作流是什么?输入处理输出,对吧? open 可乐把他的要求提给工作流,传染给他之后,工作流会帮他生成文字,生成图片,生成视频。 这个呢,我也是做了一些实战的一些案例啊,我给大家输入了一段指令,这一段指令呢,我记得是当时让它生成一个这个给我的光效作用一段知识科普的视频。啊,以前我们用扣子做的话,对吧?虽然有一个工作流,你做完了之后,你得拿检验小助手的插件去转转成视频,然后再去 再去发。那我现在我就不需要了,我只需要在对话框里面,哎,我接到飞书里面,我在对话框里面只说一段文字,我告诉我们可老请帮我把它做成科普视频, 他在收到指定之后,他就会去自己去掉扣子的文字转语音的工作流,生成音频,会调文字转图片的工作流,帮我生成视频, 生成这个图片,对吧?我要求的是那种手绘风格的,就跟我们现在看到这个图片一样,手绘风格的图片。最后呢,他再通过代码编码的形式,因为有一个 python 的 库啊,有这个工具,他能直接把音频视频的给你组合起来,变成一个视频,哎,最后我就得到了这个视频了, 这个呢,就是我在用的过程中啊,我的一个思路是什么?我让他们每个人发挥自己最大的一个长处, 对吧?我把他们串联起来,让他们互相搭配着,帮我去做工作。以前我还要打开网页,我去手动的点扣子工作,现在我都点都不用点了,我直接给可口可乐说一句话,他直接给我产生的就是视频,哎,相比之下,你执行的效率又提高了很多。 在这里呢,很多人可能还会有疑问,老师, ai 工具这么多,我到底该学哪个?我的答案是,你别纠结啊,有了一些新的工具之后,你就去熟悉一下,了解一下它,对吧? oppo 可乐虽然特别火, 但是你不给他配技能,他也啥都干不了。我觉得我们在 ai 时代要有一种能力,是什么能力?解决问题的能力,还有就是这种工具的排列组合的能力啊,我们学了很多的技能,针对某一工作场景,我能够提出来解决方案,能够把 这些技能啊,这些工具融合在一起,形成一个解决方案,哎,最终输出我想要的效果,哎,这种能力是大家需要去锻炼的,而且这种能力在任何一个 ai 工具面前,他都不过时。 这就是今天给大家讲的,我是怎么样把 openclaw 和我的扣子结合起来的啊,不是说 openclaw 出来之后,我以前的扣子学了就没用 好的,关于扣子的一些更多的玩法也欢迎大家关注我,后期呢,也会把我一些深入的一些思考和实践分享给大家。

当你不小心安装了一个 opencloak, 然后发现不知道拿它做什么,你直接 go to github 搜索 awesome opencloak skills, 你 会发现这里有一千七百多种 opencloak 的 用法,比如自动化、互联网、社交媒体开发、搜索、 数据分析、市场营销等等,总有一款适合你用。从此你就有了一个技能仓库。老规矩,用之前记得拿你的 ai 去扫描一遍,保证安全。