如果你刚装好可乐的扣子或者扣代 x, 我 强烈建议你先去跑一个任务,就对着他说,扫描我的电脑,列出十件你现在能帮我做的事, 再写一个咱们长期配合的计划。最后,请你用 ai 的 视角告诉我,在你的心里,我到底是一个什么样的人。 真的不要小看这个指令,它不是一个测试,它是一个开始,等它跑完,你就会突然的发现,这玩意不是帮你写写代码就完事了,它是真的能陪你一起做事,一起成长的一个搭档。 我跑完之后最大的感受就是它不是工具,它有点像另外的一个你。如果说你也想一起交流,看看我的评论区。
粉丝2509获赞7515

今天凌晨, openai 正式发布了它的 computer use, 你 可以通过 codex 去操作你电脑当中的任何的 app。 这期视频带你从三个案例去看看这个产品到底体验怎么样,以及如果你想使用的话可以怎么去安装。 我们先讲一个我觉得对我自己帮助最大的一个使用场景,我最近做了一个项目,是关于 ai 人物知识图谱的,我把各国家各公司的一些重要的 ai 人物放到了一张图当中 啊,通过这个图来表示它们之间的关系,让我可以快速的学习。那我这个时候就可以让 computer use 帮我去看看我这个产品设计有哪些可以在体验上优化的地方。它就可以直接的去阅读我的这个网页,重点去看它的信息架构、流畅度 和体验上面有哪些可以改进的地方。你可以看到它已经开始操作了,它会根据它的理解 去做一些体验测试,比如说他这里刚刚发现了搜索和筛选的联动是有效的,他还会再根据他的理解做一些更多的探索。这里需要强调的一点就是 右边的这个卡片的所有的操作其实都是 codex 进行操作的,我完全没有介入。大概思考了有五分钟左右,他最终给到了我五条建议。他给我的五条建议是按优先级高低去排的,那第一条是告诉我建议把首页先聚焦再展开, 不要一下摊开数据比较杂乱。第二条建议是告诉我要给图谱去加选中泰,让点击有明确的反馈,以及告诉我需要有些兜底的文案等等。我觉得这些建议都是有道理的,言之有物的, 虽然之前其实通过 agent browser 其他的插件也可以去完成这个工作,但我觉得现在 computer use 的 优势是它会比较的格式化,你是能够直接看到它有操作哪些部分,还有没有操作哪些部分是很直观的。 我们再看一个案例,我平常有使用推特去跟踪一些 ai 的 公司最新新闻的一个习惯,我这次让他去帮我去看一下最近二十四小时内这些公司有发哪些最新的推文,整理好发给我。 它一开始是操作错了的,它是用这个 agent browser, 就 我之前装的这个 scale 去完成,不是用的这个 computer use 去完成的,所以我在这里打断它了,也是同样请求我的授权。也可以看到右边这里又出现了它的这个标志性的一个光标,帮我打开了推特, 然后成功找到了我的 ai 机构的列表,是顺着这个时间线往下翻,按照我的要求 把二十四小时的帖子全都抓出来,他也是可以用这个光标去滑动的,每翻一页他会判断是不是还在二十四小时以内。大概翻了五分钟左右,就把所有的这些帖子根据不同的机构给我整理出来了。 看一个帮忙发微信那个场景,我是收到了一个微信,是我在撸猫的一个照片,我让他帮我回复一下,他是先请求我授权他使用这个微信,然后根据这个照片帮我理定了一个很不错的一个回复,我批准同意之后, 他就开始去操作发布,可以看到右边这里出现了一个 codex 的 小的光标,顺利代替我发布。 肯定有人好奇 computer use 费不费 talk, 那 我们这里是把三个案例的呃消耗都统计在这里了。 我们是 cortex plus 的 会员,使用的是 gpt 五点四 high 的 模式,可以看到这三个案例消耗的 talk 量分别是五小时用量的百分之三、百分之十三和百分之十六,也就是说五小时用量大概也只够你跑 五六个省略 ai 图谱这样子的一个项目的量。同时他花费的时间也统计在这里了,大家可以去看一下。特别是像发送微信这样的任务,他花一分钟二十秒,这样的时间肯定是不可用的,因为还不如我自己去发呢。 computer use 的 安装方式也很简单,打开 context, 这在这里选择插件,然后筛选到 open ai button, 然后找到这个 computer use, 添加到 context, 点击安装就已经安装好了。 最后简单讲一下这 computer use 的 一个实现的原理,那 computer use 其实本质上是一个桌面的自动化层, 它不是跟其他的产品一样是直接通过 api 去操作,而是分三步先感知当前的窗口,它可以通过截图来看到当前窗口有哪些东西,通过这个元素去判断哪些东西能操作,最后去执行原子化的动作。 所以他的操作跟你去操作其实是一模一样的,所以他会有一些风险,比如说所有你看到的这些信息,他有可能都会被截图交给模型,以及你如果已经登录了一个账号之后这个账号,那可能会被 误操作,以及有些敏感信息还是需要注意的。虽然其实 computer use 目前肯定还是有各种各样的问题,比如说它的耗时是比较长的, 它有的时候的操作也不是很稳定,就像它在操作我微信的时候,是没办法直接在微信框内输入,是要通过调用剪贴板去复制粘贴的, 那有时候他可能也不能稳定的去被正确的调用等等,这些都是他目前存在的问题。但是我觉得这个方向是对的,因为他其实打开了一种新的人和电脑的交互方式, 也许未来真的有一天,呃,我们再也不用鼠标和键盘去操作电脑了,所有的机器跟我们都是自然语言的交互了。那这天的到来一定是会非常的有意思的。我是离谱关注我,获取更多一手的 ai 的 实践和思考,我们下期见。

如果你还没用上最新的 openid codex, 一定要去用啊,真的太牛逼了啊!大家如果看过之前这个豆包手机啊,你跟他指令,然后他操作你手机那些视频的话,那你今天就想象一下这个流程直接被翻译到电脑上了 啊,这抠代码。现在你跟他说一个东西,他可以直接打开你电脑的应用程序,你就能看他的这个光标在移动,然后直接就在你的应用程序里面进行操作了,非常非常牛逼啊。这个从日常的一些打开邮件,处理邮件,然后他可以扮演一个角色,然后他跟你的同事对话, 呃,再到打开什么这个剪视频的软件,他能直接操作你的电脑来完成。我不再是像之前别的 ai 一 阵他都是打开一个啊这个 服务器,然后在里面去操作很多东西他不知道,现在就直接在你的本地端操作了。而且他比这个 cloud 做的更牛逼的地方在于, cloud 可能更多还是停留在一个工程的感觉上啊,他不能打开你的应用程序去做啊,但是这个 codex 你 是能看着他直接光标在移动的,这个感觉是非常爽的啊,要记着这个体验是要比这个小龙虾好很多的,而且他在关键的需要确认隐私地方,他会停止住, 如果他觉得这个任务可能侵犯到你的本地隐私,他直接就告诉你,对不起,这个事我做不了,可能有些啊影响到你的隐私数据了,所以这块呢,还是可以安全放心的去使用的啊。自从他们这个 code red 啊就是红色警报之后啊,这个升级迭代速度是非常的快啊,不再像曾经一样被人嘲笑说 cloud 和我 jimmy 都做的比他好了。这场事情已经啊, 我相信未来几个月还有大动作啊,之前图像模型升级之后啊,三个月以后这面呢就有大动作了。 gbt 我 觉得也是一样的,非常期待下 gbt 六 啊。我觉得他们最近的这个更新已经越来越让我看到 agi 时刻的接近了。我是志远,如果这期视频对你有所帮助的话,记得点关点赞分享给你,觉得会有收获的朋友们,下期视频见。

每个刚装上 cloud code codex 小 龙虾的人都要去跑一下这个任务。请扫描我电脑的所有文件,列出二十件你可以帮我做的事情,然后把自己想做的业务流程和正在出的商品告诉他。比如说我是一个电商运营, 我的工作流程就是先选品,再挂链接等等。如何根据我现在有的内容来做一个知识付费的课程?如果说你现在手头上没有正在收益的业务也没关系,你也可以根据他强调上下文和他对你的理解,问一下 ai 你 适合做什么业务?你电脑里的文件他不会说谎, ai 能够帮助你现在的情况来定制你的方案。

现在这个就是我的飞书,然后我已经把酷 max 就 到飞书当中,我们看一下他能够做些什么,比如说这是一排的一些文件,然后我现在需要这些文件,但是我手边没有电脑,然后我就可以通过手机给酷 max 发送指令,让他把这些文件发送给我。 然后我们现在来测试一下,现在我告诉他把一盘的 o 烧问的图片发给我,他会响两次提示音,第一次代表接受任务,第二次代表完成任务,然后我们现在来看一下, 现在他已经阅读了任务, 然后他说我现在把已复制到的目前目录的图片路径发给你,哎,这个就是他发给我们的 office word 图片,然后我们看一下和电脑上的文件一不一样, 然后打开电脑上的这个 office word 一模一样的。他把 e 盘中的文件发给了我们,然后我们继续测试它是不是支持所有的文件类型呢?然后我们告诉他把 e 盘的轴承支架文件发给我,这是一个 software 文件,然后我们看他能不能发给我们, 最后他也是成功的把 software 文件发给了我,然后他还能做什么呢?我们继续测试,我们让他打开 bilibili 客户端,并随机打开一个视频播放, 然后他真的打开了 bilibili, 并随机播放了一个视频,这个是炮龙的视频。经过上一个测试呢,我们可以发现通过手机发送指令可以完成电脑上的所有操作,也就是说我们可以实现真正的躺着办公了。

比起 opencloudex 可能才更适合普通人使用,能操作电脑做文档、表格、 ppt, 还能生成图片,执行自动化任务,逐渐从编程 agent 走向桌面 ai 助手。那今天这个视频我就给大家带来 codex 保姆级教程。先到 codex 的 下载页点击下载 macos, 下载好后打开安装包, 直接把文件拖进去就可以了。打开 codex, 它的界面很像网页版的 ai 聊天界面,主要可以分为三块,右边这里就是和 ai 对 话的地方。左上角的四个功能,第一个就是开启一个新的 ai 对 话搜索,可以通过标题来找到之前的对话内容, 剩下的插件和自动化功能我会在后面详细讲解。左下角这里是两种和 ai 写作的方式,一种是项目方式,一种是对话方式。 项目方式更适合去做一些长期积累的任务,比如沉淀知识库、做工作流、写代码。有两种方式使用项目,一个是创建新项目,默认会在文稿目录下创建一个项目文件夹,也可以使用你现有的文件夹作为项目, 所有后续的 a 阵子操作都会默认在项目文件夹下进行。第二种对话方式,就像我们平常使用网页版 ai, 可以 临时去做一些任务,比如偶尔查一查信息什么的, 那我们这里就可以新建一个项目,我们也可以在三个点这里给项目改名,在聊天框左下角就可以看到他已经进入了刚才新建的项目文件夹。下聊天框这里的加号, 我们就可以上传图片或者文件给 ai 这里我们还可以开启计划模式,这个模式是不让 ai 直接改动文件,而是先生成一份计划,我们看完没有问题以后才会执行。 权限,这里 codex 有 三种权限,第一种默认权限,就是只能访问项目文件夹下的文件,如果涉及到其他文件或者网络访问,就会弹出审核框让我们去批准。第二种是自动审查,就是 codex 会自动放行低风险操作,高风险操作才会需要人工审核。 最后一种就是给 codex 所有的电脑权限,很方便使用。右边这里我们可以选择模型的推理强度,复杂人物可以选择更高的推理强度。 模型这里我们可以切换多个叉 t b t 模型最后的速度就是可以加快模型的输出速度,不过会消耗更多的 token。 这里直接让 ai 写一个单 html 的 个人播客网站,但我们可能有新的想法,想要加进去就可以直接进行引导, 比如我这里补充整体色彩风格要用孟菲斯风格,还可以继续补充,要用一个板块式,个人作品展示用滑动式般的呈现。我们直接点击这里的引导, codex 就 会在下次执行工具调用后 插入我们新的要求,很适合补充提示词或者纠正方向,不用中断对话,让他帮我们再写一个手工艺的电商网站。使用 react, 那可以看到两个任务就并行执行了,属于转圈的状态, codex 当前步骤完成后就会显示为一个小蓝点。 看完基本使用,我们来看一看一些好用的特性。先来看一下插件功能,插件就是用来帮助 codex 操作各种工具的, 比如 computer use 和 browser use 就是 让 codex 操作你的电脑和它的内置浏览器,下面这两个就可以操作表格和 ppt, 那 往下翻我们还可以看到操作邮箱 canvas 设计软件的,我们点开一个就可以看到。这个插件其实由外部服务调用和技能组成, 那有的插件本身也是一个技能,后面也会给大家演示怎么使用插件。技能这里大家应该就不陌生了,技能就是工作流程的一个分装,如果有不懂的朋友可以看一下我之前讲 agent skill 的 视频, 如果你是以现有文件夹的方式创建项目的,也会把里面的技能同步过来。接下来我们就来看一下 computer use 这个插件, 它是利用 macos 的 屏幕录制和无障碍辅助数,让 codex 既能看到画面,又能精准点击。 这里我让他打开扫雷通关简单模式,这个半透明小光标就是 codex 操作所使用的,不会占用你的鼠标。一开始他尝试标记地雷的时候,发现标记失败了,很有意思的是,他换了一种玩法, 直接打开安全格,然后就是一路门店,推理出所有可能的安全位,直接通关。我就在想,如果以后模型的推理速度和输出速度再快一点,那我们干游戏就只需要用 ai 就 可以了。 下面我们看一下办公三件套和作图插件,这里我让他调研一下英伟达显卡的发布和价格信息,并让他制作成 word 文档, 然后配图。这里他很快先把配图制作出来了,整个过程一共用了十六分钟,第一次用的时候他会自动安装相关运行环境,制作完成后,他还会截图进行复查,发现可以打磨的地方还会进行二次修改。我们打开文档来看一下 发布信息和价格表都出来了,而且还贴心的配了图,最后还有产品线解读和购买建议。然后我让他在这个基础上把价格表整理成 excel, 同样的他在处理过程也会不断修正错误,花了五分钟时间做好。 来看一下表格,所有信息都正确写进来了,唯一有个瑕疵是溢价,这一栏应该是百分比,它这里用的是小数,不过这些都可以通过细化提示词去解决。下面继续让它根据文档做 ppt 分 格,参考苹果信息层级不超过三层。 他做完第一版以后,又对我的信息层级这个要求进行复查。我们来看一下 ppt 整体布局还是很舒服的,满足了我对信息层级的要求,没有堆满字,而且风格也是沿用了英伟达的配色。最后我们来说一下自动化功能, 它就相当于一个定时任务。右上角这里我们可以新建任务模板里有一些关于代码的任务模板。下面这里你可以选择在哪个项目文件夹下进行, 并且设定定时时间,有每小时、每天、每个工作日或者每周。也可以自定义规则,我们可以直接粘贴这个规则,让 ai 帮我们改成任意时间,比如这里就让它改成每周二和每周四的十三点执行。那 那我们在这里也可以让它执行已有的工作流程,比如这里,我之前是用 cloud code 做的,在 cloud 点 md 里已经写好了完整的自动拉取推文的流程,那直接让 codex 执行就可以了,很顺利地帮我完成了定时任务。那以上就是全部教程了,如果对你有帮助的话,记得一键三连。

我跟大家说酷狗真的能接管我的电脑,刚才我用了一下,真的非常好用。大家来看一下我刚才弄了什么东 西。首先我假装我找不到三年级下册的英语的 pdf, 我 就让他帮我找,找完之后呢,再用 gpt 里面只 two 生成第一单元的思维导图,还有 ppt 可以 供上课使用。结果他真的就帮我开始干活了,我这边一动没动。最后他帮我生成了 ppt, 还有三年级下册英语第一单元的思维导图, 他还怕我找不到,有文件直接把这一个也发送了给我。如果我把其实词再写好一点,这个 ppt 会更好看一点。总之, codex 真的 太牛了。

哎呦,又见面了,朋友们,今天我们来聊一下用 ai 来控制你整个电脑这件事情的最新进展。因为啊,这个 cloud code 和 codex 呢,在最近这一两个月时间,相距推出了他们各自的解决方案,我实际使用下来呢,效果很不错, 之前爆火的龙虾 oppo pro 能够操作我们整个电脑对吧?但说实话,用过的人都知道这个东西吧,稳定性不是很好, 而现在呢,情况完全不一样了,这两家提出的方案的稳定性比龙虾强太多了。但是呢,这两家本身他们的解决方案呢,也有很多的不同,他们的优势劣势非常明显, 所以本期视频我们来做一个全方位的对比,同时我会简单的跟你说一下,哎,这两个方案如何安装,还有一些技术的原理,到最后你就会知道,哎,你该选哪个呢?作为你日常使用的工具,更重要的是,我会教你如何来同时的使用这两个完全不同的方案。 来吧,这里是乾坤下一站,一个用通俗易懂的方式来讲解如何用 ai 来提效的频道。点好关注,赞,我们开始。 好,我们先直接演示一下用 cloud code 和 codex 来操作你电脑的效果。 意思的是啊,这两家做的方案的名字呢,都叫做 computer use, 而且呢,你都可以在你自己电脑终端和他们各自的桌面客户端来用。接下来的操作呢,我们呢,主要在终端里面来操作。 好,我们先在这个终端打开 cloud code, 你 看我让 cloud code 打开我自己电脑上的日历,然后呢,在周六创建一个全天世界,标题就是周六出去玩, 我们输入指令,此时你看我的电脑在这个上面,对吧?然后呢,指令发出去之后,好,你看他打开了我的日历,然后呢,你看啊,我的鼠标自动的被移到了,这个下周六看到了吗?他自动的就被移过去了,他抢了我的鼠标, 然后呢,他自己呢?点击设置周六出去玩,你看他现在在输入周六出去玩。 好,你看这边,周六出去玩已经建好了,没有问题吧?好,我们现在来到 codex 这边啊, 同样的任务呢,我们现在在下周日,哎,我们创建一个全天的事件,叫做周日出去玩。你看这个指令发出去之后呢?你看,哎,他也打开了我的日历,然后你注意看,我自己这边有一个自己的鼠标,对吧? 但是呢,他那边有一个白色的小鼠标,你看到没有?我自己的鼠标和他的白色小鼠标呢,这两个是不冲突的,你看我自己鼠标呢,想干嘛干嘛,他那边呢自己在操作,这两个完全不冲突, 然后你看他各种点来点去,最后你看啊,这个周日出去玩,他也弄好了,好演示呢,我们就先看到这里,看起来都很丝滑,但是他们的差别很大,具体怎么安装呢?你看我这个视频的图吧,接下来我要做一个深度的对比, 不过在我聊这个具体的对比之前啊,我想先花一点时间来通俗的讲一下这两个工具它们各自实现的核心原理是什么,这样你后面听我说对比的时候,你才能够真正的理解。哎,它们为什么呢?会有这些差别? cloud code 的 方式呢?你可以想象成就是一个人,他坐在你电脑的前面,他看不到底层代码,他就只能看屏幕,怎么看呢?截屏 具体的流程是这样子的啊,你看这边他是怎么一步步操作的,他就是先打开了一个应用,对吧?然后呢,哎,先截个图,截完图之后呢,哎,他会发给模型去分析这个屏幕上有什么,我要点哪个按钮,在哪个坐标,各种分析。分析完之后呢,他就会操作鼠标或去点击, 点击完之后呢,他再截个图,确定结果对不对。截完图之后,哎,再分析,分析完之后再点击,就这样截图分析,采取行动,一直这样循环下去 好。而 codex 这边呢,就完全不一样了,它是利用了苹果电脑自带的一套系统,叫做无障碍数 a s tree。 这个东西呢,本来是苹果公司给盲人那些视障用户做的,就是让屏幕阅读器呢,哎,知道现在界面上有哪些元素, 然后呢,这个屏幕阅读器呢,就会把这些信息啊,给读给那些试驾用户。而 codex 的 工程团队发现这套系统 ai 也能用, 所以你看啊,这个 codex 的 操作过程是怎么样子的?他一开始呢,先获取了桌面应用的结构化数据,就是每个按钮呢,叫什么,在什么位置,什么状态都一清二楚。他分析完之后呢,他就会直接告诉系统,哎,我要点这个按钮,然后呢,系统呢,就会帮他去做手机。 当然了,他也有这个截屏降级的功能,就是 a x 区读不到的时候呢,他就会退回这个截屏的模式,但是那个只是备选方案,主力还是使用这个无障碍数好。原理就这么简单,一个呢靠看,一个呢靠读。 那么紧接着我就来说一下这两种不同的解决方案,在实际使用中会有哪些差距? 第一个最直观的区别啊, cloud code 会抢你的鼠标,而 codex 不 会, 为什么呢?就是因为这个 cloud code, 它就是很真实的来操作你的鼠标,来做这个点击啊等一些的行为。而 codex 呢,是直接向系统发指令,它甚至不需要把这个目标窗口放在前台。所以呢,你在前台正常的操作电脑,它呢在后台呢帮你干活,两个之间呢互不影响。 哎,这就让我想到了当时的 madison 团队呢,最早呢,哎,他们想做一个 ai 浏览器,然后他们也遇到了同样的问题,他们觉得 ai 在 用你的浏览器的时候呢,你自己呢,就用不了了,所以他们最后选择把一切操作都放在一个独立的虚拟机里面。 而现在呢,这个 cloud code 的 computer use 目前呢,就有这个问题,它抢你电脑的使用权,除非你专门留一个时间,比如说晚上睡觉的时候呢,哎,你让它慢慢的跑, ok, 我 们再来说说它们其他的区别啊。简单来说,因为 cloud code, 它每走一步呢,都要走完这个一整套的视觉分析的流程。 而 codex 呢,直接读取了这个系统结构化的文本数据,它跳过了整个视觉处理的环节。这就直接导致了下面这个后果,就是 clockcode 相比于 codex, 第一它速度更慢,第二它价格更贵。你想啊,它每一步都要截屏去分析图片,对吧?而图片呢,会占据大量的 token, 所以 同样的任务, codex 的 token 的 消耗量呢,大约只有 clock code 的 四分之一, 第三,它精准度会更差,因为 cloud code 靠截屏算坐标来点击,对吧?而在一些高分辨率的屏幕上,它的按钮呢,是很小的,就是你差几个像素又有可能会点歪了。 而 codex 通过这个无障碍数,它就是指哪打哪,基本不会出错。更重要的是, cloud code 它不能同时的去处理多个任务,因为你想啊, cloud code 要截屏吗?而且你只有一个真实的鼠标,对吧? 而 codex 呢,是可以同时开好几个任务的,它们每个呢都有自己的虚拟的光标,各干各的,互不影响。 听到这里,你是不是觉得,哎,这个 cloud code 拉完了,直接用 codex 得了。但是我跟你说不是的,它有自己的独特优势,有些地方比 codex 好, 而且长期来说,我反而更看好 cloud code 的 方案。 cloud code 碾压 codex 的 地方就是通用性,因为它是靠截屏来理解你电脑界面的,对吧?所以不管你是什么系统,你是 mac, 你 是 windows, 你 甚至是远程的桌面,只要有屏幕能截图欸,它就能操作。 而 codex 的 computer use 呢,目前呢,只支持 macos, 因为它非常的依赖这个 macos 那 个无障碍数系统,所以现在 windows 用户呢,还用不了。而且呢,你如果在欧洲,因为这个隐私合规的问题, codex 的 整个 computer use 的 功能呢,都被直接封掉了。 更重要的是,这个局限性还不只是平台,因为即使是你在 macos 里面呢,也不是所有的应用都有完整的无障碍数的信息, 比如说一些游戏的界面,一些飞格玛画布里面的元素,还有一些奇奇怪怪的应用,它们在这个无障碍数里面就是一片空白。 这个时候, codex 呢,确实有降级的机制,他会退回到这个屏幕截图加点击这个方案,但是问题是,这个降级的模式的精确度和效率就差很多了。 而截屏识别这件事情呢,恰恰是 cloud code 的 主场,它整个框架都是围绕着这个视觉理解来设计的,所以说在这些非标准的界面应用里面, cloud code 反而更加的靠谱。说到这里呢,让我想到了这个自动驾驶领域的两套方案, 就是说特斯拉呢,坚持用纯视觉,就是摄像头,看到什么呢,它就根据什么来开,这就很像我们真人开车对吧? 而另一派呢,是用激光雷达,就是他们靠发射光束去扫描周围环境的三维结构。你有没有发现, cloud code 的 截屏识别本质上就是纯视觉的方案,它就是在模拟真人用电脑的方式。 我们人类操作桌面的时候,不就是眼睛看到什么地方就点什么地方吗?而 codex 呢,更像是激光雷达,它不看画面,而是读取底层的结构化数据。 你想想,从这个第一性原理的角度, cloud code 的 方式呢,更加的接近于通用智能的本质。理论上,只要它的模型越来越强,推理越来越快,它的上限是没有天花板的。而 codex 呢,就只能在一些标准化的情境中使用,但凡有一些额外的场景, codex 就 不行了。 所以说,从长期的潜力上来看,我更看好 cloud code 的 这条路。但是目前来说,这套操作电脑的解决方案呢,我更愿意用 codex, 可是呢,我一直是 cloud code 的 忠实粉丝,它整体的 agent 的 能力呢,我用起来更舒服。 那问题来了,有没有一种方案可以让 cloud code 作为总指挥来自动地使用 codex 的 computer use 的 能力呢?有, 答案,就是让 cloud code 去调用 codex 的 命令行。简单来说, codex 有 一个无交互模式,就是你不需要打开和 codex 的 交互页面,你直接的终端输入命令就行了。然后呢, codex 呢,就可以在后台来自己默默地执行任务, 而输入命令这件事情呢,我们可以让 cloud code 来做,对吧?比如说,你看这里啊,我现在在 cloud code 这边,我跟 cloud code 说,让它运行这个命令,其实就是让 codeys 用 computer use 来打开我的计算器,然后呢输入一加一,然后呢把结果告诉我, 我直接输入,你看它会发生什么啊?哎,你看它这边有一个白色的小光标,自己在操作我的计算器, 过一段时间,你看我左边终端里面啊,克拉克说,哎,这个 codex 完成了任务,它通过这个 computer use 打开了计算器,然后呢点击一加一,然后呢,结果是二,怎么样?是不是很丝滑? 而这个命令里面有很多的参数对吧?具体每一个是什么意思,有什么坑要注意。还有它的官方文档的链接呢,我都整理在我的视频的图文版里面了,你去看就行了。 我再多说一句,如果说呢,你要想在 codex 里面要用 cloud code 的 computer use 的 能力,可不可以呢?也可以,因为 cloud code 呢,它也有一个无交互模式,这个呢,你自己去探索一下。 看完上面的对比呢,到底用哪种方案,我相信你心里已经有数了,我在这个视频图文版里面呢,做了一个详细的快速查找表,你可以按照你的设备和需求直接对号入座。好了,今天就说到这里,我们下期见。

你以为 macbook 的 价值是芯片、屏幕续航?现在可能要加一个新理由, codex openai。 最近几轮 codex 更新,其实释放了一个很强的信号, ai 不 再只是网页里的聊天框,它开始进入你的电脑,进入你的 app, 进入你的本地工作流。二零二六年二月, openai 发布 codex app, 最早就是面向 macos 推出的。这个 app 不是 简单的聊天窗口,而是一个 codex 指挥中心。它能同时管理多个 codex, 一个修 bug, 一个写文档,一个跑测试,一个看 pr。 而且它支持 worktrees, 每个 codex 都在隔离环境里干活,不会互相把代码改乱。但真正让 macbook 含金量上升的,是后面的更新。 codex 现在可以用 computer use 在 mac 上操作桌面应用。 什么意思?它不只是读代码,它可以看屏幕、点按钮、输入文字、操作浏览器,复现图形界面里的 bug, 甚至帮你测试一个 micros app 或 ios 模拟器。流程更狠的是, openai 官方写的很清楚, 多个 codex 可以 在你的 mac 上并行工作,同时不干扰你继续使用其他 app。 这就很关键了。以前 macbook 是 一个人用来干活的电脑,现在它正在变成一个人和 codex 一 起干活的工作站。还有一个很适合 mac 用户的功能,叫 appshots。 你 在 mac 上看到一个报错窗口, 一个设计稿,一个网页,一个设置面板,不用长篇大论描述,直接用快捷键把当前窗口发给 codex, 他 会拿到截图和可读取文本,然后基于这个上下文帮你处理任务。这对程序员、设计师、产品经理、内容创作者都很实用。比如,你打开一个网页设计稿,让 codex 看一眼,然后让它改前 端,你打开一个表格文档后台页面,让 codex 根据当前内容继续干活。再加上手机远程控制, 现在拆的 gpt 手机端可以连接到正在 mac 上运行的 codex, 你 人不在电脑前也能看 codex 的 进度,终端输出测试结果,代码 def, 还能远程批准下一步操作。也就是说,你的 macbook 放在桌上跑任务,你在路上用手机盯进度。这就是为什么我说 macbook 的 含金量在上升, 不是因为 macbook 突然变便宜了,也不是因为参数碾压所有电脑,而是因为 ai 时代的电脑价值正在从性能设备变成 ai 工作流底座。 codex 这种工具越成熟,越需要一个稳定的本地环境,代码仓库、终端、浏览器、 ide 设计工具、文档权限系统、桌面 app。 而 macbook 本来就是大量开发者和创作者的主力工作机,现在 codex 正在深度适配 macos 工作流, macbook 就 不只是生产力工具,而是 codex 可以 长期驻扎持续工作的 ai 工作台。 所以这波不是单纯吹 mac, 真正的变化是,以前你买 macbook 是 为了自己更高效,现在你买 macbook 可能是为了让 codex 也能更高效的替你干活。未来值钱的电脑不只是跑分高, 而是谁能让 ai 更顺畅的看见你的工作,理解你的上下文,操作你的工具,持续完成任务。从这个角度看, macbook 的 含金量确实还在被 codex 往上抬。

建议每一个干装上 cloud code 扣单词的人,一定要让他先全盘扫描一下你的电脑,然后问他,你能够为我做的时间,有什么事我一直想做,但是没有做好的?我的偏好,我的 性格以及我的重点是什么,最终梳理出一个你和 ai 写作的一个方式,让他完整的给你写出来。

这是一条 codex 技术求助的一个视频,五月十四号官方有一个最新版本的更新,然后新版本上有一个手机可以控制电脑的那个图形化 app 的 功能,然后呢,我这边用的是 mac 的 图形化的 codex 界面,但是我用的第三方的 api 接口,这我实话说我就为了省钱啊,确实也帮我省了不少钱, 所以可能是因为我没有买他的会员,所以他没有给我开放这方面功能啊,就你们有没有这个彦祖或者是逸飞啊,你们买了那个会员的啊,你们有没有 扣代斯手机控制的这个功能,然后有没有用过?对,可以跟我分享一下,因为我在犹豫啊,是不是我需要我再专门花一笔钱去测试这个东西,因为我现在的解决办法是之前有个小姐姐 啊,给我的建议用那个向日葵同手机操控电脑啊,也能也好使啊,也好使,只不过呢,手机上面操作还是有一点点别扭点,各种画面的操作啊,拖拉出来都是不是特别方便的。 对,他如果有一个手机版的话,就有一些我手机上的素材就可以直接传了啊,就不用再倒腾好几次啊,这块的,有没有这个有经验的兄弟对吧?已经开始玩的啊,跟我们分享一下。

很多人他没有意识到,或者他自己没有实践到, ai 现在已经完完全全的从教你做一些事情变成真真正正能够动手去实现一些操作,直接交付结果。这件事有多么的恐怖? 因为最近开始接了几个私教的学员,我需要从头到尾的帮他们从一台新的电脑上面去安装部署龙虾, opencloud、 homeworks, cloud code 等等这些 ai 工具的部署, 还有怎么在飞书里边安装 homers agent, 或者怎么在飞书安装 homers agent, 使用 gbt, 五点五可 out 四点六可 out, 四点六这些大模型的工具,如果是在半年前,这一套流程下来至少需要花费我一天的时间, 这些小老板们也至少得抽出一天的时间来去部署。但是有了这个 ai 之后,现在一个小老板我每天只用花费两个小时的时间帮他们从头到尾,他不需要安装什么 note, 点 g s, 不 用安装什么 get up 等等。这些 ai 工具就是这些底层的基础设施性的 代码编程的工具,你都不用安装了,你只需要特定的提示词,就能够从头到尾的能够跑通下来。有时候我们的私教学员都会说,这么简单,真的吗? 还有更加牛逼的自动化交付结果的方案,就是使用浏览器自动化人暖器的方案,直接帮你填表答案答案,这个需要耗费的滔天的算力。再聊。

全网爆火的马维斯下载下来了啊!马维斯下载下来了啊!看看介绍,手机随时操控电脑文件,智能搜索整理,一句话完成电脑设置文件深度的理解与生成。这不是我以前想要的吗?他终于来了, 然后我看一下,装好之后呢,他有这几个点,直接把我的电脑给显示出来了,我哪个盘里面还没有什么?这一点还是出乎意料的,就和电脑删掉的集成了,还有我整个里面的照片全部都给我 搜索出来了。人物印象笔记地点哦,在哪个地方拍照片?在电脑上传的文件图片识别啊,海报证件,非常 nice 啊!

程序员注意,现在手机也支持 codex 了,但重点不是让你在手机上写代码,真正重要的是,你可以随时随地控制电脑上的 codex。 以前 codex 跑到一半问你要不要继续,要不要执行命令,你人不在任务就停住。 现在你在手机上就能看进度,批操作、改方向。过去的 ai 编程工作流有一个很大的问题,人必须跟着 agent 的 节奏走。 他问你要不要继续,你不在,他停,他问方案选 a 还是 b, 你 不回,他停,他要执行测试或者高风险命令,你没批准,他还是停, 这不是能力问题,是协助半径太短。 agent 很 强,但他被锁在电脑前。 openai, 把 codex 放进 chat gpt 手机 app, 但重点不是在手机上跑代码, 真正干活的还是你的 mac、 mac mini、 devbox 或者远程开发机。手机只负责看批改方向,文件、凭证、权限都还留在原来的机器上。这件事真正改变的是 agent 工作方式。 以前你在陪 agent 跑,现在是 agent 跟着你的节奏跑。你在地铁上可以看他跑到哪一步,你在开会时可以审一眼 diff, 你 在吃饭时可以批准他继续测试。你在路上发现方向错了,可以直接打一行字让他改。 你看官方信息里真正关键的表述,在 chat gpt 移动应用中开始新工作,查看输出结果,控制执行进度并批准后续步骤。 这句话的重点不是移动端,而是控制执行进度和批准后续步骤。也就是说,手机端承担的是 agent 工作流理的控制面,而不是代码运行面。具体怎么用?第一步,电脑上先跑 codex, 目前主要支持 macos、 windows, 还要等。 第二步,手机更新 chat gpt app, ios 和安卓都已经有 preview。 第三步,在 chat gpt 里打开 codex, 你 就能看到正在跑的任务线程。 第四步,在手机上看 beef, 看测试结果,回复新指令,批准高风险操作,甚至新建任务,继续跑。 这次更新不是让程序员在手机上写完整项目,他更像是给你的 ai 程序员加了一个随身遥控器,你不用把文件凭证、开发环境搬到手机上,你只需要在他需要判断、批准和纠篇的时候能立刻出现。 所以这次更新不是 codex 多了个手机版,而是你的 ai 程序员终于有了一个随身遥控器。对程序员来说,这比手机写代码重要得多。因为真正的效率提升不是你在哪里敲字,而是 agent 卡住的时候,你能不能立刻让他继续往前跑。

一堆人拿腾讯马维斯对标 codex, 我是 真崩不住了。这就像你拿文件管理器去跟程序员比写代码,马维斯本质上是什么?说白了就是 ai 文件管理加 ai 系统助手,它最强的地方,文件解锁,本地搜索软件识别 环境配置应用下载系统操作,甚至你电脑里藏在文件夹深处的软件它都能给你拔出来。它的定位本来就是给电脑小白用的,让普通人一句话就能操作电脑,结果一堆人非拿它去对比 codex 能不能开发项目,能不能写工作流,能不能重构代码,这不纯纯有毛病吗? codex 是 干什么的?那是 ai 工程师,是拿来写代码 搞开发,搭系统,做 agent 做自动化的,一个是 ai 电脑管家,一个是 ai 程序员,赛道都不一样,你非让文件管理器去跟工程师 pk, 那 不离谱吗?

全网爆火的马维斯下载下来了啊!马维斯下载下来了啊!看看介绍,手机随时操控电脑文件,智能搜索整理,一句话完成电脑设置文件深度的理解与生成。这不是我以前想要的吗?他终于来了, 然后我看一下,装好之后呢,他有这几个点,直接把我的电脑给显示出来了,我哪个盘里面还没有什么?这一点还是出乎意料的,就和电脑删掉的集成了,还有我整个里面的照片全部都给我 搜索出来了。人物印象笔记地点哦,在哪个地方拍照片?在电脑上传的文件图片识别啊,海报证件,非常 nice 啊!

我发现 codex 的 手机连接功能还挺好用的,直接点击这个手机按钮,然后用另一个手机扫它,这个码直接可以连上了,可以看到手机上面包含了这个电脑上全部的这个项目,电脑上有的项目手机上都有, 我随便打开一个对话,这个是我让他去网上帮我收集一些素材,可以看到和电脑上是一样的,然后这个文件也是可以打开的, 这个还挺方便的,你虽然不在电脑边上,但是你也可以直接查看他输出的一个成果,这个还挺方便的,都能看到具体的一个内容。然后我再打开另一个,然后这边是给了他一个口播稿,然后直接让他给我做一个视频, 这边看到他输出了一个视频,我看能不能看。哇,这视频也是可以看的,还挺方便的,这样做的视频这个效果也挺不错的,挺好用的,点赞。

后悔没早点用上 codeask, 现在的设计啊,很多都可以直接丢给 ai 去做了,我给你看一个案例啊,这是客户的这个原图啊,他要对这东西进行一个重新的设计啊,我们现在直接把这个图还有聊天记录以及参考图丢给 ai, 它就可以帮助我们把这个系统方案给做出来了, 但是方案还可以继续去优化啊,我是怎么做的呢?给你简单的说一下啊,首先呢,我在我的电脑里面建了个文件夹,里面呢有两个子文件夹,一个文件夹里面呢放客户的原图啊,以及参考图片。再就是设计要求啊,设计要求呢,包括聊天记录啊,什么都可以给到他啊。 然后还有就是一个文件夹里面呢放产出的结果啊,这个文件夹一开始是空的啊,这是生成出来之后的效果, 看一张图吧,生成完之后的。好,我只需要跟他说。什么呢?我只需要跟他说啊,帮我去看一下这个文件里面有参考图,有客户的原图啊,然后最后把这个图片,把这个效果图做完之后,帮我放在 output 那 文件夹里面,他就开始去看我的文件了, 包括这个聊天记录,最后他制定了一个方案啊,都都是自动的啊,这个我没有任何的操作啊,直接就帮我把这个方案给做出来了,太屌了啊。

现在的 codex 已经不只是写代码,而是开始直接接管电脑了。它能做的事很杂,但也很完整,数据分析、应用开发、游戏构建、网页开发,甚至浏览器操作和电脑控制都能串起来做。 重点不是会不会写,而是它已经能把开发、测试、交互、自动化这些环节连成一条线。更关键的是, browser use 和 computer use 这类能力已经不是掩饰级别,而是能真正落地的工作流工具。这 真正让人注意到它的是 o s world firewall 这个机准。这个测试看的不是答题能力,而是模型能不能在真实电脑环境里自己完成操作。 g p t 五点五,在这里拿到百分之七十八点七,而且 toc 效率也更高, 也就是说,它不只是能做,还能更省的做。更绝的是, codex 现在加了 browser use 插件,能直接进入 build and firewall 的 闭环,先生成前端,再打开浏览器,像真实用户一样点击浏览验证,发现问题就继续修。这一步的意义很大, 因为他不是只看页面表面,还能同时读取视觉信息, console 报错和 network logs 页面哪里卡住了接口哪里失败了,模型都能自己判断。 于是他做的就不只是自动点网页,而是像一个持续工作的测试员,边操作边截图边看结果边迭代,直到任务真的跑通。这个能力一旦稳定下来,很多原本需要人工盯着的前端测试流程验证、基础自动化都会被他接过去。 而且这次更新还把 computer use 的 速度直接提了百分之四十二。这很关键,因为真正用起来,瓶颈往往不是能不能做,而是做得够不够快。 现在它在框架上的操作已经接近人类节奏,甚至可以打开本地页面,测试 checkout flow, 发送邮件,访问 youtube 页面。使用方式也很直接,插件预装在 codex 里,调用 act 命令就能起用。 更实用的是,复杂任务不一定要开高强度推理 de intelligence, 反而更省额度。结论很清楚, ai 正在从帮你写一段代码走向,替你把整个电脑工作流跑完。关注全球 ai 速递,获取更多 ai 前沿资讯!