无法安装computer use
粉丝3.4万获赞13.2万
相关视频
00:43查看AI文稿AI文稿codex 最近更新了新功能，它现在可以直接操控你的 chrome 浏览器了。对比 computer use， 它不会抢你的鼠标，因为它是在后台运行的。配置只要四步。第一步，先更新 codex， 点击设置，点击电脑操控，安装着 chrome 插件， 好点击打开，添加扩展程序，这样就配置好了。在用的时候记得要输入杠 prom， 再加上你的问题，他就在后台帮你操作你的浏览器工作了，同时还能开好几个标签页并行地去跑任务。我让他帮我整理一下我的 note 库，他目前已经在开始工作了。
833飞飞在学AI
06:14查看AI文稿AI文稿今天凌晨， openai 正式发布了它的 computer use， 你 可以通过 codex 去操作你电脑当中的任何的 app。 这期视频带你从三个案例去看看这个产品到底体验怎么样，以及如果你想使用的话可以怎么去安装。 我们先讲一个我觉得对我自己帮助最大的一个使用场景，我最近做了一个项目，是关于 ai 人物知识图谱的，我把各国家各公司的一些重要的 ai 人物放到了一张图当中 啊，通过这个图来表示它们之间的关系，让我可以快速的学习。那我这个时候就可以让 computer use 帮我去看看我这个产品设计有哪些可以在体验上优化的地方。它就可以直接的去阅读我的这个网页，重点去看它的信息架构、流畅度 和体验上面有哪些可以改进的地方。你可以看到它已经开始操作了，它会根据它的理解 去做一些体验测试，比如说他这里刚刚发现了搜索和筛选的联动是有效的，他还会再根据他的理解做一些更多的探索。这里需要强调的一点就是 右边的这个卡片的所有的操作其实都是 codex 进行操作的，我完全没有介入。大概思考了有五分钟左右，他最终给到了我五条建议。他给我的五条建议是按优先级高低去排的，那第一条是告诉我建议把首页先聚焦再展开， 不要一下摊开数据比较杂乱。第二条建议是告诉我要给图谱去加选中泰，让点击有明确的反馈，以及告诉我需要有些兜底的文案等等。我觉得这些建议都是有道理的，言之有物的， 虽然之前其实通过 agent browser 其他的插件也可以去完成这个工作，但我觉得现在 computer use 的 优势是它会比较的格式化，你是能够直接看到它有操作哪些部分，还有没有操作哪些部分是很直观的。 我们再看一个案例，我平常有使用推特去跟踪一些 ai 的 公司最新新闻的一个习惯，我这次让他去帮我去看一下最近二十四小时内这些公司有发哪些最新的推文，整理好发给我。 它一开始是操作错了的，它是用这个 agent browser， 就 我之前装的这个 scale 去完成，不是用的这个 computer use 去完成的，所以我在这里打断它了，也是同样请求我的授权。也可以看到右边这里又出现了它的这个标志性的一个光标，帮我打开了推特， 然后成功找到了我的 ai 机构的列表，是顺着这个时间线往下翻，按照我的要求 把二十四小时的帖子全都抓出来，他也是可以用这个光标去滑动的，每翻一页他会判断是不是还在二十四小时以内。大概翻了五分钟左右，就把所有的这些帖子根据不同的机构给我整理出来了。 看一个帮忙发微信那个场景，我是收到了一个微信，是我在撸猫的一个照片，我让他帮我回复一下，他是先请求我授权他使用这个微信，然后根据这个照片帮我理定了一个很不错的一个回复，我批准同意之后， 他就开始去操作发布，可以看到右边这里出现了一个 codex 的 小的光标，顺利代替我发布。 肯定有人好奇 computer use 费不费 talk， 那 我们这里是把三个案例的呃消耗都统计在这里了。 我们是 cortex plus 的 会员，使用的是 gpt 五点四 high 的 模式，可以看到这三个案例消耗的 talk 量分别是五小时用量的百分之三、百分之十三和百分之十六，也就是说五小时用量大概也只够你跑 五六个省略 ai 图谱这样子的一个项目的量。同时他花费的时间也统计在这里了，大家可以去看一下。特别是像发送微信这样的任务，他花一分钟二十秒，这样的时间肯定是不可用的，因为还不如我自己去发呢。 computer use 的 安装方式也很简单，打开 context， 这在这里选择插件，然后筛选到 open ai button， 然后找到这个 computer use， 添加到 context， 点击安装就已经安装好了。 最后简单讲一下这 computer use 的 一个实现的原理，那 computer use 其实本质上是一个桌面的自动化层， 它不是跟其他的产品一样是直接通过 api 去操作，而是分三步先感知当前的窗口，它可以通过截图来看到当前窗口有哪些东西，通过这个元素去判断哪些东西能操作，最后去执行原子化的动作。 所以他的操作跟你去操作其实是一模一样的，所以他会有一些风险，比如说所有你看到的这些信息，他有可能都会被截图交给模型，以及你如果已经登录了一个账号之后这个账号，那可能会被 误操作，以及有些敏感信息还是需要注意的。虽然其实 computer use 目前肯定还是有各种各样的问题，比如说它的耗时是比较长的， 它有的时候的操作也不是很稳定，就像它在操作我微信的时候，是没办法直接在微信框内输入，是要通过调用剪贴板去复制粘贴的， 那有时候他可能也不能稳定的去被正确的调用等等，这些都是他目前存在的问题。但是我觉得这个方向是对的，因为他其实打开了一种新的人和电脑的交互方式， 也许未来真的有一天，呃，我们再也不用鼠标和键盘去操作电脑了，所有的机器跟我们都是自然语言的交互了。那这天的到来一定是会非常的有意思的。我是离谱关注我，获取更多一手的 ai 的 实践和思考，我们下期见。
154李谱Mars
01:43查看AI文稿AI文稿直接说结论， cloud 在 昨天更新的 computer use 这个插件是没有办法投入生产的，现在还远远没有达到可以用的程度。 昨天推特上 cloud 更新了一个 computer use， 我 看到这个推送，我就迫不及待打开电脑尝试了一下，那具体的打开方式呢？就是在你桌面的这个 desktop 的版本里面，然后打开 cloud code 里面有一个设置，你把这个设置里面的 browser use 下面的 computer use 给它打开，打开之后你就可以使用了。然后我也尝试在 c u i 里面打开它， c u i 现在是不支持这个插件的，那我对于这个场景非常感兴趣的点，呃，就用这个个人微信回复去做了一个测试，这个就是你们看到的测试结果， 呃，我让他给我微信里的一个联系人发送一条消息，你中午吃了什么？我在这里给大家做一个这个详细的这个讲解。第一是他直接输入了消息，因为他这个时候打开了我的电脑， 那其实它后面识别到这个群聊不是我想要发送的联系人，它就再次切换到这个我想要的指定的联系人的对话框。但这里问题来了，我就发现了这个 computer use 它真正的这个操作逻辑，它是在不断的截图，然后截图识别图像上面的要素，然后判断这个控制点，然后通过键盘操作的方式 来进行选用。那键盘操作会有个什么问题呢？就是我最终其实这个进程没有跑完，我就给他放弃掉了，他会遇到一个非常严重的问题，他在搜索框里面搜索我想要联系的这个联系人，一旦这个联系人搜索的结果是多个，因为微信的搜索联系人一定会出现多个，只要你跟这个人有群聊， 那出现的第一个结果就是，呃，这个你，你的这个联系人第二个结果就是你跟这个联系人存在的一系列的群聊，那这个时候这个键盘的搜索就会一直出错，就导致我只是让他简单的在微信里面给我的这个联系人发送一条消息，这件事情都做不到。 所以 computer use 它真正要落地在你的电脑里面去操作你的软件，这一条路我觉得还有很长的路要走，但是我觉得 browser use 已经非常好用了，因为 browser use 明显它对于控件选举的精确度是要非常高的。
211小夫（企业AI落地）
00:27查看AI文稿AI文稿codex windows 版本终于更新了两个你们最爱的功能，一个就是 computer use 操控你的电脑的组建去完成对应的任务，比如调用电脑的画板去画一个草稿，直接搞定。第二个，手机端远程操控。 codex 也支持 windows 版本 连接的方式一样的啊，都是通过你的手机扫码配对连接使用 windows 小 版也可以在任意的地点任意的时间开启你的 web 控件啊。只能说现在 codex 终于一视同仁了，期待它的下一次的升级了。
1956六叔ultra
00:36查看AI文稿AI文稿弟们， codex 呢，已经完成了一次在 windows 系统里面一个重大的更新，就是有一个插件叫 computer use， computer use 呢，就可以完全操控你的电脑。 比如说我刚才让在 codex 里面说让他在这个我微信群组里面发一个表情包，于是乎他就已经 成功的实现了发了一个表情包，就是完全他自己操控的， ok， 就 等于现在这个功能已经完全可以操控你的电脑了，大家赶紧去试一试吧。
557菠萝菠萝绝情散🇭🇰
01:33查看AI文稿AI文稿codex 时隔一个月在 win 上终于可以使用 computer use， 马上来跑 s w， 发现速度极慢，还不如用 m c p 使用红。我给他一张特别简单的图，让他尝试建模。 我用的不是中转站，是在 chat gpt 买的 plus 套餐。结果我就在 s w 跑了两张图，五小时的额度就榨干了。这里二十倍加速。 可以看到他终于启动 qq 用户了。继续二十倍加速。到这里终于要开始控制鼠标画了。 画了个圆之后又开始了他的思考，这里咱们直接一百倍加速。他终于想着去拉伸了， 接着画第二个圆。这里我发现它并不能控制键盘输入，而是直接复制粘贴进去的一百倍加速。 它终于画好了，用了半个多小时上了百分之三十五额度。目前来看，简单的依然可以画出来，只是思考时间太长，如果开发一个专门的 play 应该能快一些。对于复杂的模型，它图都看不明白，更别说话了。
85展混新
18:25查看AI文稿AI文稿哈喽，同学们大家好，我是木贤，本期视频为同学们分享 harmony 的 computer user 的 使用教程，我们来了解一下背景， harmony 的 它通过去集成了一个叫 c u v driver 的 库，它就可以去操作 mac 电脑了。这个是 harmony 的 官方文档的说明，就是本次它支持的这个 computer user 仅限于 macos， 如果你是其他的操作系统暂时还不支持 好，然后他怎么去实现的呢？其实他就是通过这个 c u v driver 他 去提供的 m c p 来让这个哈密斯的对应的大模型能够去调用对应的 m c p 工具，从而去实现操作我们的电脑。然后我们来看一下这个 c u v driver 这个库， 这个目前是在 google 上面开源的， store 有 十七 k。 这个 cuv 给同学们解释一下为什么叫 cuv， c 的 话对的就是 computer u 就是 user a， 自然就是 agent， 就是 给 agent 提供了 computer user 的 这个能力 好，然后在文档里面其实我们可以看到就是这个 c u v driver， 它就是提供给 mac os 去用的，所以说自然 port 这边它就仅限于去支持 mac os 好。 然后本次给朋友们重点要去分享的就是它这个 工作原理，就是这个 cv driver 它的工作原理，以及我们使用 harp 机的去操作电脑时的一些实战的技巧。我们现在了解一下这个工作原理，其实这个工作原理它是比较简单的， 我们知道 harp 处理器它是集成了 mcp 的 功能的，所以它自然就能够去操作 mcp， 而这个 cv driver 它就提供了对应的 mcp， 所以 说 harp 处理器和 cv driver 就 通过 mcp 就 给建立起来联系了。然后就是 cv driver 它凭什么能够操作电脑来？ 其实这个 cv driver 它不是因为它绕过了 macos， 而是它把 macos 开发出来的能力都给集成进来了，来去操作这个电脑 就包含了 icc b l t a p i， 对 应的就是 macos 提供的这个辅助功能，我们来看可以看一下，比如说我们在我们的设置里面，我们来搜索隐私和安全，我们就可以看到对应的有辅助功能，然后我这边的话已经把这个 cv driver 已经给它开启起来了。 这个辅助功能开启之后，对应的其实在 windows 上面也有类似的功能， windows 上类似的叫讲述人，就是他会把你的这个电脑，你当前打开这个界面，他长什么样，比如说我当前这个界面 在两边是空白的，中间有文字的描述，我的文档就类似这样子，通过语言的描述把你当前这个 ui 给你描述出来。 仅仅通过文字的描述，你担心这个屏幕长什么样？肯定还是不够的，因为很多时候很多 ui 它是文字描述是不够的，比如说一些视频剪辑软件，或者一些比较复杂的这个表格操作啊，这些就是通过 ui 的 描述是不够的。所以说还有一个 就是 macos 暴露出来的录屏的这样一个功能，我们同样的可以在这个里面看到，我们来搜索这个隐私和安全。这个下面 你可以看到有录屏和系统录音，就是比如说我们去用一些远程软件，比如说像向日葵啊，或者说 two disc 的 一些软件，它就会要求我们把这个功能给打开，其实本质也是把我们这个屏幕给录下之后，然后我们就可以去点击屏幕对应的位置去操作我们的电脑， 所以说借助于它重点就是这两个功能。但还有一些比如说窗口进程的投递，这些系统能力它全部给整合起来了，所以说这个 c u v driver 它就能够去操作我们的电脑，并且它还做了一个事情，就是把这些操作能力都封装成了 a t 的 能够使用的就是这样的一个步骤， 就是我们可以通过去截屏，然后截屏之后找到元素的这个位置，比如说这个元素它可以去点击，或者这个元素它是一个输入框，可以去输入文字就等等的这些操作，然后找到这个元素的，所以之后我们就可以去执行对应的操作，比如说去 鼠标点击或者敲回车啊这些，然后最后就会去验证这个操作，就整理下来就是 a 镜头的这个工作流，就查找我们店了这个工作流， 然后这样的话 ai 它既可以去读取 ui 的 数，并且可以去调用这个控件的动作，本质就是这两个能力， ui 数通过 x c b 二 t a p i 提供，然后调用控件就是结合 screen recording， 因为它读到屏幕之后，它可以去点击对应的所有的位置， 然后也可以借助于截图做视觉定位，做结果的验证。从前半部分来看，我们可以知道就是因为他要进行视觉的定位，还有就是结果的验证，所以他就肯定要这个大模型能够去理解视觉， 因此 computer user 如果要做通用的 computer user， 最好接入支持图像理解的多模态大模型，其实也不是说最好，就是应该是必须要接入， 必须要借助支持图像的一个大模型，它才能去做世界定位和结果验证。成人本的模型可以做辅助规划和分析，但是单独使用就会受到限制，那这个是它的工作原理， 那下面呢？我们来开始进入到实战环节来去实际看一下。首先的话我们需要升级哈密斯的版本，这个我们可以跳到哈密斯的 get 哈卜这边，它的描述 就是你得升级到大于等于这个版本的 harryson 的 就是零点一四这个版本，它对应的发布日期是二零二六年五月十六号这个版本在这个下面的描述里面，我们这里可以看到它就支持了 computer user 的 这个能力。 好，这是第一步升级，然后之前我给同学们分享过了 hermes 的 安装以及升级的教程，然后所以说这边如何去升级 hermes， 我 就不展开讲解了，我们可以打开我们的终端，通过 hermes 干大 v 可以 看到我当前这个版本就是满足条件的，现在我们继续来回到文档， 就是我们 hermes 满足之后，下面我们就可以去安装 cpu driver， 直接执行 hermes 提供的这样一个 computer user 的 命令，直接去执行 好，因为我这边已经安装过，所以说比较快，并且他提示我已经安装了，然后他就会提示我们需要去保证，就打开我们的系统设置，然后个人和隐私去把 cpu driver 对 应的这两个权限给打开，那同学们看到这个不要着急啊，就说你会觉得这个操作比较复杂，其实没有关系， 因为你再去使用这个 cpu 抓板，他只要触发了这个操作的时候，他就会弹出这个弹簧出来，那你去给他设置对应的权限就可以。好，然后下面是我们可以去查看我们安装的这个状态。 好，这个 status 这边我们可以看到已经处于 excel 的 状态，就我们就安装好了。安装好了之后，下面我们就可以通过 c u driver status， 你 可以检查你的 c u driver 是 否已经处于 running 的 状态，如果说它不是 running 的 状态，那么去执行这个 service， 把它给启动起来就可以了。我们看到我这边已经启动起来了，所以说 就重新再启动，就不会再发生任何的变化了。这个是安装仪检查我们的 c u driver， 那下面我们就可以来开始使用 computer user 了，使用之前要给同学们多讲一些东西了，就是我们使用 computer user 就 也也不是说那么多 简单，就是需要给同学们去讲一些技巧，这个技巧我把它沉淀为了一个 scale， 并且这个 scale 我 已经提前安装好了啊，这个 scale 也会直接给到同学们，我们通过 scale sniff grape computer 给同学们来看一下，对应的就是我去写了一个 computer user helper 的 这样的一个 skill， 我 已经把它安装到我的 harness 这个 default 这样一个镜头下面了。好，那么这个 skill 讲了什么呢？这边给同学们来看一下。 这个十六的核心就是我们用来限定和指导马克威斯的操作，根据操作类型去选择最合适的技术再执行啊。这边有很多内容，我就不带同学们一个一个看了，我们直接拿到下面这个表格，这边给同学们来看一下。 就是举个例子，比如说我们去打开一个应用，这个打开应用通过 c u driver 能不能实现呢？是能实现的，怎么实现？就是它会去读到你这个电脑的 u i， 然后比如说你要打开 wps， 那 么就点击这个 wps 就 去打开了，但是 有没有更快的方式来？其实有的，我们直接通过 open 干 a 指定我们用的名字，这个反倒是比 c u java 还要更快的，因为你没有去执行视觉的这个识别，以及去点击这个操作，这个直接通过 open 命令一含就可以实现，所以说我们就不需要通过 java 去 执行那其他的类似的，比如说我们要激活一个应用，我们要让应用去全屏，这些我们都不建议 去执行 c u a driver， 而是直接用最快的这种方式去操作。那什么情况下我们要使用 c u a driver 来，比如说我们要读起 u i 数，要点击按钮，菜单输入框这些，那么我们就要用到 c u a driver， 所以 说我的这个 skill 呢，就是 会分析用户的这个操作的诉求，然后给它执行对应的动作的时候，就会优先去选择最合适的操作的时候就说没有安装。我的 这个看屁了，用着黑粉的话，他就一味的去盲目的使用各种技术，这个我也是在这个地方踩了很多坑，就是执行了一个操作，执行了很多秒，最后还没有去完成啊。这个这个朋友们可以看到，我这边的就是这个操作花了很久的时间，但是没有完成， 然后就是建议直接通过聊天通道来去管理 computer user， 这样它不会导致光标输入、聚焦位置这些发生变化。因为如果说我们直接在这个终端里面去操作 hermes， 比如说来给同学们演示一下哈，好，我们直接终端里面输入 hermes， 那这个时候，比如说我们直接让他帮我们打开浏览器，帮我打开谷歌浏览器，然后在浏览器输入框 里面输入 b 站链接，好，就是这个操作，那这个操作因为我本身是在当前的这个 harmless ui 里面去操作的， 那这个时候因为你要操作浏览器，所以说这个时候他又跳到了其他的这个界面上，比如说我们可以了，刚刚我没有操作这个是他自动跳转过来的，跳到浏览器这边，然后下面就我们在这个时候你看，比如说我们通过这个终端里面又跳回来，并且他会询问我们各种权限，好，这个权限我给同学们来截个图啊，这里 再截个图给他定到这里啊，因为这个地方如果说我们六十秒不去允许这个操作，他就会超时了，所以说我先把这个图定下来， 然后给他们最大的这边我已经把对应的这几个权限什么意思给他们来梳理了一下。首先第一个就是允许一次，就是允许这个 come on l， 那 下一次执行 come on l 他 还会继续去问。第二个就是允许在这个绘画里面去操作，比如说我们这个地方后面再来一个 come on l， 他 一般就不会再问了。不像第一个每次都还要去问， 那对于其他的动作，比如说点击啊，输入啊滚的这些动作，那肯定是还会问的，只是说这个 come on l 他 不会再问了， 那 come on l 是 什么意思啊？其实就是比如说刚刚我们可以看到让他帮我们打开浏览器，如果在浏览器里面我们输入 come on l， 我 们我们可以发现就是把这个光标直接聚焦到这个浏览器的输入框里面去输入，所以它会提示我们需要这个权限。好，然后第三个就是 我们直接就永久的去加入白名单，这个是我比较推荐同学们去设置的，就如果说你在 通过终端里面去操作哈密斯的时候，他寻觅你这个权限，你就直接选择第三个，他这个的字面意思是永久加入白名单。在这个 computer user 的 场景里面，我分析了它的原码，它的实际的效果更接近一点就是你在本次运行哈密斯的期间，你后面任何的这个操作， 就包括你的这个 key， 就是 键盘嘛，然后点击 click， 然后这个 type type 就 type script， 就 打字去输入，它就是滚动，这些操作它都不会再问了，就说你就直接去允许一次，那后面就都不用允许了，这个是要同学们，同学们去做这个操作了。 第四个单就是去否定你的权限单，就是不不让他允许执行这个操作，这就是我们在这个中单里面去执行这个 哈密，随机的就插上电脑就有很多的这些材料框框的一些限制没有那么方便，所以我就比较推荐同学们直接就是我们通过聊天通道的方式去操作。好，那下面呢？我现在把这个截图给删掉了， 下面我们就来通过聊天通告的方式来去管理 computer user， 好， 我直接在手机上面进行操作。好，这边我就比如说我这边就直接进入到牛魔王的这样一个对话里面，因为这个就是我绑定的 default harness 的 这个 agent。 好， 然后我来给他说 帮我打开我电脑上的谷歌浏览器，好，直接来发送给他。 好，我们可以看到这边有对应的返回消息，这个时候你可以看到我这边手势没有做任何的操作的，我们等他去操作我的电脑。 好，这里我们可以看到就是已经触发了两个 skill， 一个是 computer user 的 skill， 一个是我们自己实现的， ok， 我 们可以把这个电脑它已经帮我们打开了，还是比较快的哈。然后现在我们再给他下载一个任务，就是在浏览器里面输入 b 站的链接，然后打开 b 站的网页， 在浏览器的链接输入里面输入 b 站的链接，打开 b 站。 好，其实这个其实它属于浏览器自动化的一个操作，但是我们可以通过 computer user 的 方式，同样的是能够实现的。 好，我们等待一会儿啊，等它去执行。好，这个其实同学们可以看到就是这边操作一步，它就会把这个日字给打出来，就这个也是我们 computer user helper 这个 skill 里面给写进去的，就操作一步就要把单行的 操作的信息给输入出来，这样方便我们用户看到他当前执行的是哪个操作。 好，我们稍等一会儿啊。 ok， 我 们可以看到这个 b 站也已经成功的去打开了。好，这个时候比如说我们再来给他下载一个任务，关于视觉的， 在 b 站里面搜索程序员儿目前查看他最新的五条视频，并且把他最新的，并且把他最新的这五条视频的名称发给我。好，然后我们再来发送。 ok， 我 们来看一下这个效果啊，这个时候其实我们可以看到它有点偷懒了，它就并没有去直接在这个页面里面去操作，而是直接走它内置的这个浏览器里面直接去搜索了。啊，我们那这个操作我们先给它结束一下， 那我们直接给它结束， 直接执行这个 stop 就 可以结束。 然后我们现在让他做另外一个事情，帮我打开电脑上的 wps 软件，来这里走一个。 好，我们可以看到他很快就帮我们把这个 wps 软件给打开了， 这边它也提示了它去已经找到最新的五条视频的标题，因为它这个地方它是直接走它内置的浏览器跳转过去，没有直接走我们操作电脑这种方式，所以我们直接给它停了，现在我们给它下到了另外一个任务。好，然后现在我们让它帮我们创建一个 excel， 点击新建按钮，帮我创建一个 wps 的 空白的 excel。 好， 直接走一个。好，它这边提示它会通过 g u i 帮我们在 wps 里面点击新建，创建一个空白的 excel。 好，这个时候我全程这个手是没有去操作的。好，注意，我们其实看这个里面就是我们要把应用置到最前面，这个是非常关键的，因为他去截图的时候，你要把你的应用放到最前面，这样才能更方便他去截到图， 我们可以让它找到了新建按钮，现在它点进去这个步骤啊，你可以看到其实对于人来说是很简单一个操作，但是对于 wps 它就没有那么的方便了。好，它找到了表格了，现在它要继续点击创建表格， 好定位到空白表格这个地方，一个日期里面可以看到它是在分析这个页面它是什么页面，然后再用，然后它再根据这个判断决定走什么操作。 ok， 我 们可以看最终它完成了把我们新建的一个空白的表格好，然后这就是 computer user 的 演示，就整体而言它是能做到 computer user 这个操作的， 但是就是每一个步骤其实并不是那么的快，有一部分原因就是我当前录制是用这个四 k 画质的，同给同学们去录制，所以说这个 他再去结合到我这个画面去识别画面的时候，这个图片比较大，就导致他推你的速度比较慢，所以就会整体而言执行的速度会慢一些。 然后另外的话就是目前就 computer 这一块我觉得还有很长的路要走，就是稍微一些复杂的画面，一个就是要么执行失败，要么就需要等很久， 后面 computer 又有一些更新的操作，也会及时给同学们更新上来，然后同学们有关于自己的一些想法，也非常欢迎在评论区留言讨论。好，我们本期视频就到这里，我们下期视频再见。
71程序员暮闲
01:27查看AI文稿AI文稿就在刚刚， codex 的 电脑操作功能终于官方登录 windows 了，你看，我现在调用这个 computer use 电脑操控的功能，让他给我的微信发一个文件。你看整个屏幕有一个蓝色的渐变框，然后显示 codex 正在使用你的电脑。他已经打开了我的微信，选中了文件传输助手， 把我需要的那个文件发送给我了，整个流程都是他自己完成的。还有一个更有意思的，我让他直接在画图软件中给我画一个皮卡丘啊，你看，他正在操控我的鼠标，按照他的指令快速的会制整个速度。很快啊，我这里并没有加速，全程都是他自己在画，我感觉画的还挺好的，至少比我画的好。 之前在 windows 电脑上， codex 只能在浏览器中实现自主操控，但现在整个电脑都是它的了，比如微信、 word 文档，各种软件，甚至还可以在电脑上帮你玩游戏。因为本质上你和电脑的交互无非就是鼠标和键盘， 现在它也可以用鼠标键盘了，所以你能操控的它都能操控。具体怎么使用呢？通常来说，如果你的 codex 更新了，今天第一次打开它，就会有一个弹窗出来， 你直接把 computer use 开启就可以了。如果没有弹窗呢？在设置中找到电脑操控这里，我们把任意应用这里打开，你在对话中调用 computer use codex 就 可以操控你的电脑了。但注意，我在 win 十的电脑上似乎运行不了，只有在 win 十一的电脑上才可以。好了，我是阿朱，关注我，让我们一起在 ai 潮头冲浪！
4.0万阿朱星际漫步
08:15查看AI文稿AI文稿glass app 发布了重磅更新，更新好几个功能都非常有助于我们进行自动化测试，比如 app 测试，网页测试，然后也更新了一些非编程环境下的一些场景，那我们来看一下更新的详细内容。 那第一个就是这 computer use 这个电脑控制的功能，那这个功能是干什么？就是 class 可以 控制我们电脑里面的软件，去访问们里面的 app， 去操控，去截图，那这个就是我说的。第一个就是它可以有助于我们进行一个 app 的 测试。当你升级到最新版本之后，在这个设置里面， 然后有一个电脑使用，然后这边会出现一个 computer use 这个安装的这个按钮，你点击安装便捷授权之后，那么你就可以来使用它这个功能来控制电脑，那目前的话，它这个控制电脑的话仅限于这个 mac 电脑， windows 暂时不支持。 那现在我开发了一款这样的 app 啊，然后让他去操控我们的 app 来进行一个测试。那如果在你的这个场景里面，你要用到这个控制电脑的功能，那你就使用这个艾特符号，然后的话他这边就会出现啊，安装完之后就会出现这个让你选择， 那接下来就输入你的这个你要他控制电脑要做的事情，那么在输入的时候尽量把这个范围缩小，就是你要达到一个测试什么，测试的场景是什么， 就不要太因为这个操作的流程也是很消费这个 token。 那 这边的话我让他测试一下我首页这个商品列表，点进去之后看商品详情，那么你也可以写的更多，越多越好，他就会去理解你的意图，去操作这样的一个路径。 那我们这边发送，那么在这边的话，你可以把这个窗口拉小，比如说在迷你窗口打开，那么他会出现这样一个迷你窗口，这两个是同步的，这样的话你这样可以去打开这个窗口去做别的事情。 启动之后可以看到一些标示符，说明他已经在启动我们这个模拟器了。然后的话，这个过程是我体验下来是有点慢啊，然后他会点击我们的要求哦，已经向下滚动了，然后找到这个商品列表之后，会有一个像鼠标一样的箭头哦，点过去了， ok， 他 这边的点击已经完成了。然后这两个问题是标题啊，没有完整显示，那么你就可以继续测试了。 如果你说连接的后端的话，它这边也是能测试到这整个的这个显示数据是否正确，所以就非常依赖于我们去怎么去写这个测试的这个链路啊？你可以根据自己的这个产品呢， ai 生成这样的 computer use 的 测试链路来方便你进行测试。 很多时候它是可以进行截图，比如说看在我这个例子里面，它是会去截图去发现问题，然后去修复的。但是这个 computer user 这个功能，我觉得它还有一个就是类似于像 opencloud 这样，你可以去操控，比如说你 mac 那 个里面的其他应用， 当然去打开去操作，去回，比如说打开微信去回复，这样自动去回复，这样信息就有点类似于这样子。它目前很多功能啊， 更新的方向有点像整合 koork 啊，或者说 opencloud 这样整合到它这个这个 kois app 里面去，不仅也是编程这个场景，那么在使用的时候一定要把这两个权限给它打开， 然后的话在用的时候通过 app 去唤醒去使用啊，如果你说要测试这个 mac 的 app， 或者说测试安卓的也可以，只要是使用 mac 电脑都可以去啊测试，然后写好测试流程， 那么你也可以当 openclaw 一 样使用去控制电脑啊，做你想做的事情，但是呢有风险啊，因为你这个软件被它控制了，它是能看到你软件里面的这些界面上的信息的，如果涉及到比如说跟钱有关账号有关的，还是尽量不要用。第二个就是内置的浏览器啊， 也就是说你可以在 class app 里面去打开这样内置浏览器去进行调试，它这个打开的方式非常奇怪，需要你通过这个快捷键去打开它没有像样的入口说我能看到的浏览器在哪里，所以这个是非常让我很吐槽的一个点啊，我们可以来试一下， 那么 mac 电脑的话是用用 command c f 加 b， 那 么这个 windows 的 话是用用这个 ctrl c f 加 b， 然后的话输入这样的网址，就是比如说现在启动这个东西， 然后我输入这样的网址，在这边输入这个网址， 那我就打开了，打开之后呢就是首先是呃， 你可以去进行一个截图啊，点一下，那么这个截图就会在这边就会出现复制就可以了，就直接就让他去修改，因为他本身就是是可以识别图片的。那还有一个就是重，最重要的是这个评论模式，点这个加号， 然后他就你就可以选择这样元素，比如说现在我要去改变这个，比如说改变这一块东西点添加，那么他这边就会收集到这边去，那么你也可以可以继续改，比如说把这里字体， 然后你就可以收集到很多，比如这个页面的所有的调整，你收集完之后，那么你就点击发送，那么他就会去修改你这两个刚刚提的意见， 那这个也是相当于是很精细化的去调整页面，然后这边的话是呃有截图，然后有你的文字，它是通过这个截图的方式看到图片里有什么，然后在你的描述是只有这两个，那这个功能其实之前是有，但是没有现在这么好用， 那么你要关闭的话，你再点击第三个，就是不需要任何文件夹都可以启动这个 cs app 了。你说我们，比如说 我们现在打开一个新进聊天，那么那么这里是不需要选，以前我们是要选择一个文件夹，那这边是不需要， 就是不需要任何的文件夹，那么可以做什么呢？你就可以做很多啊，跟大家的一些，比如说你想研究一个什么东西，类似于像那种 openclaw， 或者说其他的这种 a 型的产品一样，就不再是 是有一个文件夹需要去编程，需要去产生文件，你可以去进行研究，可以去对话，可以去答疑，就是把它的这个 chat 给放到这里面去了，就聊天的那个模式放到这里面了。 所以这是为什么？我说这些有些根线啊，它其实偏向于非编程的场景呢？包括这个 computer use 其实也是很多应用的场景，可能都不是在编程这个环节啊，还有这个这个聊天的这个切入 后面可能会更新更多这样的类，类似于 cooke 这种办公的这个场景的这个揭露。所以但是我对这个是比较 疑惑的，就是我觉得应该是专注于做编程工具，而不是把什么东西都塞到这里面去，应该分不同的产品，这样的话也会更好一些。然后这边还更新了很多这样插件啊， 就是 class app 的 插件是非常有意思的，就是它的这个插件呢，你可以认为是连接很多能力，不像我们理解的这种 clock 的 这种插件是会有很多工作流。那么除了这个之外呢，还有增加了一个叫摘药的这个功能呢，就是你能看到它改了哪些东西呢？最终的一个产物。 那么其实之前一直吐槽就是我们要打开一些文件啊，都要跳转到其他的这个编辑器里面去，那现在终于可以在这边能看东西了。 然后的话，还有一个就是我觉得非常有用的功能，就是说你可以在这里面看到你使用了哪些插件和技能，比如说 我在设计这个这个 ios 的 时候，用到了它的 design skill 和这个 swift skill， 然后还用到这 computer user 这个功能。这个好处就是你在这一次的 build 当中，你就能看到你的技能的利用率，大概就是这个 真实的情况下用了哪些技能，你可以看一下，如果说这个技能没有被用到，那你就要去看一下你的技能的描述，你的这个事件的触发是不是有问题？所以总的来看，我觉得这个更新可能是代表了一个这样方向上的一个整合吧。 然后这个 computer user 这个功能还是挺有用的，就是可以去做很多这种自动化测试的事情，还有一些内容的更新，包括一些软件开发商体验啊，聊天软件开发商体验流程，还 get 的 一些操作，这里就不再细讲了，大家可以去下载最新版本来体验一下，我觉得是非常不错，非常顺畅。
709随风
00:2896Qoder
00:12
00:52查看AI文稿AI文稿现在 codex computer use 已经适配 windows 和手机了。以前你想让 ai 帮你操作电脑，通常还要坐在电脑前。 但现在我可以直接在手机端给 codex 下指令。比如这条，把最新的会议纪要发送到微信文件传输助手 codex 会先识别电脑上的应用和文件路径，再打开对应的 windows app 定位窗口执行发送动作。你在手机上看到的是一句指令， 电脑端跑起来的是一整套操作流程，这对日常工作很实用。发文件、整理资料、执行固定流程，不一定每次都要自己点来点去。 真正的变化不是 ai 多会聊天，而是他开始能替你操作工具。如果你也想看我怎么用 code 自动处理工作，评论区告诉我下条，直接做实操拆解。
81Chris
02:07查看AI文稿AI文稿同一个任务，你的 computer use 反复翻车，别人的一次成功差距就在这七个技巧。第一个，截图缩放， 很多人直接把四 k 截图丢给模型，结果坐标全偏了。 antropic 官方建议截图分辨率不要超过一千两百八十乘八百，缩放之后点击，准确率直接拉满。第二个，先观察再行动，模型上来就点，经常点到错误位置。 正确做法是先截图，看界面分析坐标再操作。 osropik 的 系统提示里就明确要求先截图再移动鼠标。 第三个，模型选择，别用 highcool 做复杂操作，频繁翻车， sony 是 默认首选，性价比最高，真正高难度的多步骤任务，直接上 opus， opus 四点七，甚至支持三点七五 mp 高分辨率像素级精准定位。第四个，点击中心， antropic 官方明确说了要点击按钮和图标的中心位置，别点边缘，简单但很多人忽略。第五个，开启深度思考， computer use 配合 extended thinking 模型，会先在脑子里规划好操作步骤再动手。简单任务差别不大，但多步骤复杂，任务成功率提升非常明显。预算至少设一千零二十四个 token。 第六个，自定义系统提示，在 system prompt 里加上你任务的具体要求，比如等页面加载完再操作，失败后重试，这相当于给 ai 一 份操作手册。 osropic 官方也推荐这么做。 第七个，坐标映设，如果你缩放了截图模型的返回坐标，需要映设回原始分辨率 过。如果你用最新的 opus 四点七，它支持最高三点七五 mp 分 辨率，像素级一比一映射，这一步就省了七个技巧总结，缩放截图先看再点，选对模型，点击中心深度思考，自定义提示坐标映射 收藏这条视频，下次用 computer use 的 时候直接对照检查。关注我，下期分享 computer use 的 完整 prompt 模板，开箱即用。
10叶哥说AI
00:59查看AI文稿AI文稿龙虾要被干掉了！三月二十四号， cloud 直接扔出王炸！ computer use 功能，能像人一样看屏幕，动鼠标敲键盘，直接替你操作 mac 电脑。它能自己打开日历，自动填备注， 屏幕一圈橙色在提示 ai 正在干活之前，不管是同类工具还是旧版 cloud， 基本都是靠代码调用接口快是快，但微信、剪映、小红书这些没开放接口的平台完全碰不了。现在 computer use 直接不上端版， 跳过接口限制，跟人手动操作一模一样。有人测试让他打开提醒加任务，再切外卖软件，找超市加购物车，他一步步全做完，打错字还能自己删掉重输。关键是 opencloud 需要复杂配置， cloud 开箱即用。 更离谱的是，配合 dispatch 功能，手机发命令，电脑没关机就能自动干活。本以为 cloud 只是和 opencloud 抢个名字，没想到直接抢饭碗。更炸裂的是，就在刚刚， cloud code 的 五十一万行底层代码被泄露开源，整个硅谷直接看傻眼，这一波龙虾压力拉满了！
56Ava小萌
