粉丝48.6万获赞209.2万

今天我们来讲讲大名鼎鼎的 codex, 相信大家都已经听说过这个软件了,这是 open nai 的 核心产品,对标 osarpic 的 cloud code。 codex 能做的事情非常多,它不仅能够帮你编辑代码、排查 bug、 执行测试,还能管理 gate、 操作浏览器,甚至能直接控制电脑完成各种任务,非常强大。不过功能越多,越容易让人抓不住重点,所以这期视频我会带大家系统性地过一遍。 codex 最核心的功能,帮大家建立起一套完整的使用思路。 整个视频一共分为三个部分,第一部分是基础篇,主要带大家快速上手 codex, 并讲解一些核心配置和使用过程中容易踩坑的地方。 第二部分是进阶篇,重点介绍版本控制、绘画管理,以及如何更高效的组织和推进开发任务。第三部分是扩展篇,我们会看看如何通过 plugin、 skill、 automation 和 mobile 等功能进一步扩展 codex 的 能力边界。 所有的功能点和对应的时间戳我都打到目录上了,大家可以按需跳转。好话不多说,我们现在开始。 首先我们要做的是把 codex 安装到电脑上面,我们可以打开这个页面,点击这里面的下载按钮,就可以下载 codex 了。下载好了之后,我们来打开它。安装过程呢,跟其他的普通软件一样,比如我用的是 micros, 那 直接把 codex 拖入到 applications 文件夹里面就可以完成安装了。 安装好了之后,我们来打开 codex。 打开 codex 之后呢,它首先会提示我们登录,它一共给了我们两个选项。 第一个呢是使用叉 gbt 账号登录,这需要你订阅叉 gbt 的 套餐。叉 gbt 呢,它提供了多种套餐,其中最常用的是我屏幕上面显示的这几个,主要是包括免费版 go 套餐、 plus 套餐和 pro 套餐。 你看屏幕上面的这几个套餐,从左到右价格越来越高,当然整体能用的 codax 额度也是越来越大的。 从目前来看,免费版和购套餐的 codax 额度应该差不多,但到了 plus 套餐,额度就会有着明显的上升, pro 套餐自然就更多了。 值得一提的是,即使你用的是免费版,系统也会给你一定的 codex 额度,只不过这个额度少的可怜,只能勉强够你施个水。所以如果你想真正上手体验一下它的能力,我建议你先订阅 plus 这个 plan, 它是二十美元一个月,可用量呢比较适中。 除了订阅套餐之外, openni 还提供了另外一个选项来使用 codex, 那 就是直接接入 api, 对 应的就是这里的 signing another way, 点击之后,它会提示你输入 openian 的 api key。 一 般来说,用 api 没有订阅套餐划算,而且呢,获取这个 api key 的 门槛也有点高,一般需要一张海外的信用卡,所以我建议大家还是订阅套餐来使用 codex。 具体的登录过程呢,我这里就不显示了,大家可以在这里选择适合自己的方式登录。登录好了之后,大家首先看到的就会是这样的一个界面, codex 首先会询问我们是干什么工作的,这里大家就按照实际情况来选就可以了。然后 codex 会提示把 cloud code 和 cloud co work 相关的配置都导到 codex 这里,我们先跳过,然后 codex 提示我们要不要试用 codex 手机版,我们点击这个 set up later, 待会儿呢,我会给大家演示这个功能,所以现在先不着急,现在呢,我们就算是正式的来到了 codex 操作界面,可以开始使用它了,我们来随便跟它打个招呼,看看能否正常使用, 可以看出 codex 已经可以正常使用了。下面我带大家做一个代办软件,并且在做这个代办软件的过程中为大家讲解 codex 的 各个功能点。首先我们要新建一个目录来存放我们的软件代码,让我们打开访答,在这里创建一个新的文件夹,就叫做马克笔记吧。 然后回到 codex 这里,点击 work in the project, 再点击 use an existing folder, 在弹出的对话框里面选择我们刚刚创建好的文件夹,然后再点击 open, 然后呢,你就会发现 codex 把项目目录改成马克笔记了, 这就代表 codex 后面会把代码放到这个文件夹里面。此时我们准备工作就已经是做完了,可以开始提需求了,比如说我们的需求就是使用 html 写一个笔记软件,软件界面分为左右两部分,左边是笔记列表,右边是笔记的内容, 最后我们提醒他注意做好测试,然后回车提交,这个时候呢, codex 就 会开始工作了,可以看出他在疯狂的给我们写代码,当然实际使用是没这么快的,因为为了节省大家时间,这里我做了加速,后面的问答流程呢,也都做了不同程度的加速处理,这个呢,大家知道就好了。 好, codex 暂停了,他提出他想要构建一个本地服务器来验证 html 笔记的效果。这里呢有三个选项,第一个选项是 yes, 这个呢很好理解,其实就是把这个本地服务器启动开就可以了,不过以后如果 codex 提出类似的请求,我们还得再授权一次。 第二个选项呢,是代表我们不仅同意,而且对于这种启动本地服务器的代码,以后呢也就直接执行就好了,不需要再经过我们授权了。第三个选项可以理解为不同意,它其实不是一个按钮,而是一个输入框, 我们点一下就能看出来了。在这里我们可以告诉 codex 自己希望的处理方式,比如只让它检查代码,不要启动本地服务器之类的。当然,如果你不同意,而且你懒得告诉 codex 原因的话,也可以直接点击这里面的 skip 按钮啊,这算是 codex 做了弱化的第四选项了。 好,所有的可选项我们都说完了,在这个地方我们就选择第一项 yes 就 好了。然后呢, codex 就 询问我们能不能访问这个新创建的本地服务器,这个地方呢,我们也同意, 呃,现在 codex 已经彻底完成它的工作了,可以看出这里面最重要的文件呢,就是这个 index html, 我 们可以点击来预览它的效果。 这个呢就是 codex 写的笔记软件了,看起来中规中矩,各种基本功能呢,在这里面都能找到。当然有些人可能觉得这个预览区太小了,想要放大一点,这当然是可以做到的,让我们来点击这个按钮, 这样左边的区域就被收起来了,可预览的空间就更大了,不过下面的这块区域看着也是有点碍事,能不能隐藏它呢?其实也是可以的,我们可以点击这里面的三个点, 然后选择其中的 hide composer 就 好了,你看这样呢就好多了。那假如说这个时候呢,你看着界面里面的这两条笔记,觉得非常碍事,你想把它们去掉, 呃,这个呢,其实也是很简单的,我们就继续追问就好了。既然要追问,我们就必须要把左侧栏再次显示出来,这个呢其实很简单,我们再点一下这个按钮,左侧栏就显示出来了。 然后呢,我们就可以在输入框里面输入我们的问题,把左上角的两条笔记去掉,这个呢肯定是可以的。 呃,不过我这里想给大家演示另外一个方法,另外一个更加准确,更加方便的方法,我们可以点击这个图标,它叫做 annotation, 然后我们就可以直接选中两条笔记这个区域,选中后,输入我们对这个区域的修改意见,很简单,我们的意见就是两个字,去掉, 然后我们提交请求。好,可以看出请求已经成功提交上去了,可以看到他一共是发了两块内容,一个呢是对应的截图,另外一个呢就是我们具体的要求了。 接到了这个请求之后, codex 就 开始工作了,他应该呢就会把这块区域给去掉,让我们稍微等待一下。 好, codex 已经完成了,我们再次打开这个阅览区,看一下效果, 可以看出之前的这块区域呢,确实是没有了, codex 已经帮我们解决问题了,看起来 entity 这个功能还是非常方便的, 那这个时候我们可以再随便点点这个笔记软件,看看有没有其他我们需要修复的问题。这里好像确实有个 bug, 我 点击这个加号按钮的时候,下面呢是要增加一个新的笔记的,但实际上点了之后并没有任何的 bug 呀。让我们跟 codex 说一下这个问题, 我们需要告诉 codex, 点击添加按钮之后,笔记列表区域没有任何的反应。呃,请排查下原因,我确定之后再进行修改 好。 codex 已经排查完了,按照我们的要求,他没有直接去改代码,而是先给出了诊断结果。他猜测呢,这个问题大概率是因为当前页面的 local storage, 也就是本地存储被禁用了。 没错,就是这个原因。说白了,就是 codex 的 右侧预览区有一些安全限制,导致某些功能无法正常使用。如果我们到独立的浏览器里面用一用,问题立马就消失了,不信我们试一试。 你看这个时候再点击添加按钮是不是就完全正常了?既然用户是在真实的浏览器里用我们的软件,而不是在 codex 的 预览区里用,那这根本就不算是个问题,自然也不需要修。 我不知道这算是 codex 的 一个 bug 还是一个 feature, 我 相信 openai 是 把它当成 feature 来做的,不过实际用下来确实有点像 bug。 如果你做的也是外部应用,那一定要额外留意这一点,别被预览区给骗了。既然弄清楚了原因,为了避免再受限制,我们后续就在独立的浏览器页面里面进行测试了。 到这里,这个最基本的笔记软件就算是成功跑通了。现在我想回头聊聊刚才遇到的一个细节,就是 codex 提出的那个请求。 呃,有些同学可能会想,如果我把任务交给 codex 之后去忙别的了,没注意到他在等我授权,那 codex 岂不会一直卡在那里等我回来一看啥也没干,白白浪费了大量时间。 那这有没有办法让他自己做决定,别总是来问我呢,毕竟谁也不想一直盯着他干活,那也太累了吧。没错,一直盯着看呢,确实是非常的麻烦。其实 codex 早就替我们想到了解决办法,就在输入框的下面,大家看这里面呢,一共是有三个全线选项。 第一种就是我们刚才用的 default permissions, 在 这种模式下,如果 codex 需要修改项目目录之外的文件,或者是需要执行一些带有安全风险的命令,它就会老老实实地弹出提醒,只有当你点头同意了,它才会继续接着往下干。 这种模式的优点呢是绝对安全,一切尽在掌握,但缺点也非常明显,就是根本离不开人,你得随时给他授权。 第二种呢是 auto review, 也就是自动审查。这个模式呢很聪明,它引入了一个专门负责安全审查的 agent, 当 codex 准备执行操作的时候,这个 agent 会首先替你把关,安全的直接放行,危险的直接拒绝,只有在极少数连 agent 也拿不定主意的情况下,才会弹窗让你来做决定。 第三种呢是 full access, 顾名思义,这个呢就是放飞自我模式,全部自动同意, codex 想干嘛就干嘛,完全不需要你插手。 这个模式确实是最省心的,但也伴随着风险,万一它误删了什么重要数据,你是拦也拦不住的。虽然 gpt 模型总体上还是非常靠谱的,基本上不太会乱来,但是作为一个负责任的 up 主,我还是要提醒大家,这个模式呢,没有任何的安全,交易开启前一定要三思啊。 所以综合看下来,在这三个模式里面, auto review 是 在效率和安全之间平衡的最好的。为了避免后面频繁弹窗,要我们点同意,接下来的演示呢,我们就统一的切换到 auto review 模式。 既然聊到了这里的权限配置,我们不妨顺便看一下输入框旁边还有哪一些配置。首先大家留意这里面显示的五点五 medium, 这代表我们当前使用的是 gbt 五点五模型,思考深度呢为 medium, 也就是中等。 我们点开它可以看到思考深度呢是可以自由调节的,分为 low、 medium high 和 extra high 四个级别。思考深度越高, codex 花费的时间也就越长,消耗的 token 呢也就越多,但通常给出来的代码质量也会更好一些。 除了调整思考深度,我们还可以在这里面切换模型下来。列表里面除了 gpt 五点五,还有 gpt 五点四等等一系列的模型,大家可以根据具体的任务难度来灵活选择。 最后啊,这里面还能设置模型的输出速度,目前是 standard, 也就是标准的速度。旁边呢还有一个 fast 选项,开启 fast 模式之后生成的速度呢会提升到原来的一点五倍,不过代价呢是 token 的 消耗量也会相应的增加,具体增加多少取决于你用的模型, 比如说在 gbt 五点五这个模型下开启 fast 模式的话, toc 的 消耗量就直接是标准模式的两倍了啊。如果你财大气粗, toc 管用,那你完全可以开启这个快速模式,这样 codex 干活就更快了。 输入框的配置我们就先研究到这里,现在我们的第一版笔记软件已经跑通了,实现了最基本的功能,不过为了防止后面新加功能的时候把代码搞乱,我们最好先用 get 把当前的版本保存一下,这样的话就算是后面出了什么叉子,也能够随时回滚到这个可用版本。心里有个底, 在 codex 里面调用终端非常的方便,我们不需要去点什么菜单,直接按下快捷键, command 加 j, 大家看右侧的终端面板就直接弹出来了。在这里面我们依次输入几条常规的 get 命令, 首先是要执行 get in it, 点把当前的项目目录出示,化为一个 get 仓库。然后呢我们要执行的是 get id, 点把相关的文件呢都添加到暂存区里面。最后呢再执行 get commit 提交我们的第一次修改 好这三步敲完之后,我们的代码就有了一个安全的备份版本,接下来我们就可以放心大胆地继续迭代我们的产品了。 终端用完之后,为了不挡着视线,我们只需要再次按下同样的快捷键, command 加 j 就 能够把它直接关掉。你看用快捷键来开关终端,双手完全不需要离开键盘,整个过程呢非常的丝滑,也是非常的方便。 那现在我们用 codex 做了一个基本可用的笔记软件,而且还用 get 提交了这个可用版本,下面呢,我们就来继续迭代这个笔记软件,让它变得更强大,更美观。 假设这个时候你看了看这个笔记软件,觉得它的色彩设计不是很好,这里面有很多的绿色元素,你不太喜欢绿色,你想试试蓝色怎么样?那这个时候该怎么处理呢?很简单,你就直接在这里面追问就好了,比如我们可以这么提要求, 不过我们先不发送这个请求了吧。啊?为什么呢?你仔细看看啊,我们上一个消息里面还让 codex 排查问题来着, 但说实话,这其实并不是一个问题,只是 codex 的 浏览区有些限制而已。如果我们继续追问的话,这个排查过程不仅会占用模型的上下文,而且可能还会对 codex 后续执行产生一些影响, 他没准会继续尝试修复这个问题,把原来没有问题的页面修出问题来。虽然这种情况发生的概率应该也不会很大,但是能规避的话就尽量规避吧,毕竟这个消息其实一点用也没有。 所以我们该怎么办呢?有一个办法,那就是直接修改上一个消息就可以了,你看这里面有一个编辑按钮,我们点一下就可以直接修改这个消息了,我们来试试 提交。你看原来的请求被替换成了我们的这个,这样的话,原来排查问题的那个消息呢,就消失了,既然消失了,它就不会再占用模型的上下文了,也不会对 codex 后续执行产生任何影响, 所以很多情况下,这个功能还是很实用的。不过要注意的是, codex 只支持编辑最后一条消息,至于更靠前的那消息,它实际上是不支持我们编辑的。 前面的那些消息呢,都是没有编辑按钮的,如果你要编辑更靠近的消息,可以考虑使用 fork 功能来间接实现这个功能。我们后面会讲到,暂时你不必过于关心好。 codex 已经完成任务了,我们来看看效果。 呃,还可以吧。下面呢,我们把这一部分的改动也加入到 get 里面。之前我们是用命令行来操作 get, 这种操作方式准确通用,不过其实 codex 也内置了一些 get 操作的功能来供我们使用。比如我们可以先点击这个图标, 这里面呢就有一个叫做 environments 的 区域,它呢就跟 get 的 使用密切相关。我们可以点击这里面的 changes 按钮,然后再在这个选择框里面选择 on stage 的 选项。这里显示的就是所有还没有提交到暂存区的代码了, 这基本上也就是 codex 刚才所做的改动。如果你觉得哪一行有问题,可以点击旁边的加号,输入你的要求。输入完要求之后,你可以点击这里面的 comment 按钮,让 codex 做出相应的改动。不过这里我们就不做任何修改了, codex 的 任务已经完成的很好了,所以我们取消这个注示, 直接使用 git commit 提交这次改动。那具体该怎么做呢?很简单,直接点击这里面的 commit 按钮,输入 commit 的 message 就 可以了。我们的 commit message 就是 将整体色调改为蓝色,然后呢,再点击 continue, 此时 codex 就 会提交当前所有没有提交的改动了。 好,执行成功了,我们来验证下。先按一下 command 加 j 来到终端,然后再执行 git log, 查询 git 的 commit 记录。 你看,我们的 commit 确实是生效了,确认好了之后,我们按 q 退出 get log, 然后呢,再按 command 加 j 来隐藏终端,到这里,这个需求就算是彻底完成了。那假设这个时候你感觉蓝色这个主题也不怎么好看了,越看越不顺眼,要不再换一个吧。 没问题,我们直接提交需求,将整体色调改为紫色。改完之后呢,再做一次 get commit。 对, 这次我们不自己操作 get 了,有点麻烦,直接让 codex 操作得了。提交之后, codex 就 开始干活了,我们稍微等待一下, 改好了,我们来看看最后的效果。不错,确实改成紫色了,不过怎么说呢,啊,你觉得还是不顺眼啊,你在想,算了,我要不还是改成一开始的那个绿色吧。那这当然是可以的, 照例啊,你可以直接在输入框里面输入,你的要求就是改回来的紫色。这个呢,肯定是行的,只不过这样的话,模型还得再跑一遍,有点浪费 token, 所以 我们就不用这个方法了。 其实我们原来就是绿色,所以用 get 把代码回滚到绿色的那个版本就可以了。只不过这种做法其实也是有点缺陷的, 代码确实是回滚了,但绘画内容还是停留在紫色这里。如果我们希望在当前这个绘画继续问的话, codex 可能会以为目前所用的色调是紫色,从而对后续的任务执行效果产生负面影响。 那我们能不能把绘画和代码同时回滚呢?我们就想回滚到改蓝色之前的那个版本,也就是这个版本,如果有回滚功能的话,那应该是在这个消息旁边有一些相对应的标识吧,我们找找。 哎,还真的有一个图标有点像,不过它不叫回滚,它叫做 fork。 fork 的 意思就是基于当前的这个绘画,再复制一个新的出来,这个新绘画就只到目前所选的这个消息为止,后面的消息全都不保留, 这个呢就非常符合我们的要求了,我们其实就希望绘画到当前的这个消息为止,那既然绘画变了,代码是不是也会自动回滚呢?没准也是可以的,我们来试试。 我们首先点击这个 fork 图标,这里弹出两个选项供我们选择,一个是 fork into local, 另外一个呢是 fork into new work tree。 这两个选项的最大区别在于新绘画的代码存放地址不同。 第一个选项会继续使用当前目录作为新绘画代码存放地址,第二个选项会创建一个新的目录来存放心绘画的代码。你可能现在听的还是有点懵啊,没关系,我来演示一下你就知道了。在演示之前,我们先把左侧栏打开,这样你就会看得更清楚一些。 好,左侧栏打开了,我们来重新点击一下这个 fork 图标,然后选择第一项 fork into local。 可以看出 codex 确实给我们创建了一个新的绘画,并且还在这里标识好了,这个绘画呢,就是从别的绘画那里复制出来的。下面我们来看看代码是否也会滚了, 这个很简单,我们不必看代码,我们直接看最终的效果就行了。让我们来看看页面的颜色有没有改变,可以看出页面的颜色仍然是紫色,所以呢,代码根本就没有回滚。没错,这呢就是 fork into local 这个选项的特点,它只会处理绘画内容,根本就不会对代码做任何修改。 不过还好,我们使用了 git, 我 们可以用 git 来回滚代码。我们先按快捷键 command j, 打开终端,然后执行命令 git log 确定我们想把代码回滚到哪个 commit 上,应该就是这个了。然后呢,我们复制这个 commit 的 哈希值, 最后执行这个命令。这样呢,就可以把代码回滚到绘画对应的那个版本了。让我们回到浏览器这里刷新一下页面, 没错,确实是一开始的绿色版本了,当然绿的也不是很明显啊,只有那么几个模块是绿的。我对这个色调的表述呢,稍微有点问题,但无论怎么样,肯定是回滚成功了,相信大家都能看得出来,这个呢就是 fork into local 了,我们配合着 git, 才能把绘画和代码都回滚到之前的那个状态。 那刚才还有一个选项叫做 fork into new work tree, 那 个选项是用来干什么的呢?我们不妨来试试。让我们回到之前的绘画里, 点击这个 fork 图标,然后再选择 fork into new work tree。 注意看, codex 依然给我们创建了一个新的绘画,而且跟 fork into local 很 像。这个新的绘画呢,也标识出来了,它就是从别的绘画里面复制过来的。 一切看起来似乎都跟那个 fork into local 差不多啊,那到底什么发生变化了呢?答案就是我们当前的这个绘画所对应的项目目录发生了变化,不信我们来打开终端,输入 pwd, 这个命令就是用来显示当前位置的,可以看出我们的当前位置呢,就是这个了,我一开始 fork 出来的那个绘画可不是在这个目录里面操作的,不信的话,我们回到一开始 fork 出来的那个绘画里,同样打开终端, 运行下 pwd, 你 看它俩的项目目录地址是不同的,我把这两个地址打在屏幕上,这样大家就可以看得更清楚一些。 这个呢,就是 fork into new worktree 的 一个特性,它会给 fork 出来的新绘画创建一个对应的新目录,这样新老绘画所处理的代码不是一份,彼此之间互不影响,非常适合在两个绘画分别处理两个不同的功能点,最后做完了再合并到一起就好了。那为什么叫做 worktree 呢? 是因为它是使用 gitworktree 来实现的,这个呢,是 git 的 一个特性。这个要展开讲的话呢,又得讲好几分钟。我们本期是来讲 codex 的, 不是来讲 git 的, 所以呢, gitworktree 在 此就跳过了,感兴趣的同学可以自己查下。 另外值得一提的是, fork into new worktree 同样不会回滚代码,它只是把当前项目目录里面的所有代码复制到一个新的目录里,仅此而已。 好,这个就是 fork 的 两种形式了。总结一下,这两个选项都会复制绘画到所选消息为止,也都不会帮你回滚代码, 它们唯一的区别仅仅是代码的位置, local 呢,是继续沿用原目录,而 new work tree 呢,则是开辟了一个全新的隔离目录。主要呢,就是这个区别了。所以呢,无论是哪一种 fork 形式,都不会更改代码。实际上 codex 在 界面里面也有显示, 我们可以回到一开始的那个绘画。然后呢,再点击一下这里面的 fork 图标。注意到这段话了吗? 其实它想表达的意思就是 fork 只负责对话,不回归代码。对,它说的有点绕,但其实就是这个意思。 好, fork 功能我们终于讲完了,我们目前只需要第一个 fork into local 的 这个绘画,另外一个 fork into work tree 我 们暂时不需要。那我们能把这个绘画删掉吗?能, 不过准确来说啊,我们可以把这个绘画规章,规章和删除稍微还是有些区别的,你可以把规章理解为暂时隐藏起来了,而删除呢,那就是删完就没了。我们来试一下, 我们直接点击绘画旁边的这个图标,然后再点击 confirm, 这个绘画就被规范了。你看这个绘画是不是没了。但跟删除不同的是,我们还可以找回这个绘画。 我们先按 command 加逗号,打开设置面板,再点击里面的 archives chats, 在 这里我们就可以看到所有被规章的绘画了。我们可以解除对应绘画的规章状态,也可以彻底删除对应的绘画。所以你看,删除和规章还是稍稍有些区别的。 那规章这个功能我们就讲到这里,从之前的操作过程中我们可以看出, get 真的 还是挺重要的。那既然这么重要,我们能不能让 codex 每次写完代码的时候都能自动提交一次 get commit 呢,这样的话就不用麻烦我们每次都操作一遍了。 这当然是可以的,其中一个方法就是我们可以直接在输入框里面告诉 codex, 每次完成代码修改之后,都需要提交一次 get commit, 然后提交这个请求就行了。这样在后续的操作里面, codex 肯定就会按照我们所说的,每写完一次代码都提交一次 get commit。 不 过这个方法有个很大的缺陷,那就是它只会在当前的绘画中生效,如果我们创建出一个新绘画的话,那 codex 就 会彻底忘掉这个事情, 所以我们需要一个能够跨绘画的解决方案,即使是在一个新绘画里, codex 也能帮我们做 get commit 这个事情,这能做到吗?当然是可以的,这个呢就是 agent 点 m d 这个文件发挥作用的地方了。 agent 点 m d 简单来说呢,就是一个放在项目根目录里面的配置文件,每当 codex 开始一个新绘画的时候,它都会自动读取这个文件,把里面内容当成对自己的指令来执行, 所以我们只需要在这个文件里面写上这个 git commit 的 要求,那无论我们开多少个新会话, codex 都会记住这件事情的。我们先把原来的这个请求删掉,我们不需要它了,然后我们点击这里使用 vs code 打开这个项目目录, 在根目录下创建一个新的文件,就叫做 agent 后台,然后在这个文件里面写,每次完成代码修改后,都需要提交一次 git commit, 这样 agent dmd 就 创建好了,让我们把 vs code 关掉,现在让我们来验证一下 agent dmd 是 否真的会生效。我们首先创建一个新的绘画, 然后提交需求,往左下角增加一个主题切换选项,支持用户在浅色模式和深色模式之间切换。回车提交,让 codex 开始工作。 好, codex 已经完成了,我们来看看效果。 你看,左下角确实是出现了一个主题切换按钮,我们点击对应的主题,就可以在浅色和深色两种模式之间切换,看起来非常完美。那我们现在最关心的是, codex 有 没有帮我们做 get commit 操作呢?我们按一下 command 加 g, 打开终端执行 get log 来看看。 你看,这里面确实是多了一个新的 commit message 呢,就是 codex 自己写的,这说明 agent 点 m d 确实生效了。即使是在一个全新的绘画里面, codex 也遵从了我们的要求,在完成了代码修改之后,自动提交了一次 git commit。 这个呢就是 agent d m d 的 基本用法了,当然他能做的事情远不止这一件,比如你可以在里面规定代码风格、命名规范、技术占要求,甚至是你的项目背景介绍等等。 codex 每次启动新会话的时候都会去读取这些文件,这样他对你的项目就会有非常好的理解,给出的结果呢也会更加准确。 可以说, agents dmd 写得越好, codex 就 会用起来越顺手。不过需要注意的是, codex 只会提交当前需求所对应的代码改动。我们一开始创建的 agents dmd 不 属于当前需求的范畴,所以呢,刚才 codex 并没有把它提交为一个 git commit, 我 们点击这个 changes, 再选择 on stage, 就 可以发现 agents d m d 的 内容呢?还没有提交上去。没事儿,我们这就提交。我们先来点一下这个 commit 按钮,然后在里面输入对应的 commit message, 再点击 continue, 这样这个改动就会被提交到 get 上面了。好,一切顺利,让我们新开一个绘画,继续迭代这个笔记软件。 现在这个软件本质上就是一个 html 文件,只能在浏览器里打开,不够方便。我们想把它改造成一个真正的桌面客户端,让用户可以直接双击图标打开,就像打开 vs code codex 一 样。 那要做桌面客户端的话, electron 是 非常主流的一个选择,我们可以顺便呢也引入 react 和 type script, 把项目结构整理一下,方便后续继续迭代。那我们就直接把需求发给 codex, 把这个网页应用改成桌面客户端,进入站使用 electron 加上 react, 再加上 type script。 注意做好测试,确保所有的核心功能运转正常 啊。不过要注意这可是一个大工程,所以呢,我们最好先让 codex 做一个规划,我们确认规划没有问题之后,再让它动工。为了实现这一点,我们可以点击这里面的加号,然后选择 plan mode, 这样 codex 就 进入了计划模式,从这个图标也可以看出这一点。 在这个模式下, codex 会先做计划,再写代码,让我们来提交试试。可以看出 codex 开始工作了,让我们稍微等待一会。 好,他现在要问我们几个问题,我们来做一下选择。首先是数据要放在哪里,我们就放到文件里面吧, 然后交付到可开发运行的程度就可以了。这之后呢, codex 就 会继续开始干活了。好,可以看出 codex 开始给我们写这个计划了, 我们再稍微等待一会,它还在这个转写的过程中。 好,写完了,我们来看一下,这个计划本身还是比较完善的。呃,包括各种测试方案呐,架构设计啊,都是写的比较详细的。然后 codex 问我们是不是要按照这个计划去实现代码。 呃,他一共是给了我们两个选项,第一个选项呢就是直接同意啊,开始实现这个计划就好了。第二个选项呢是如果你对这个计划不满意的话,你可以提出你的要求,在这个文本框里面告诉 codex 应该如何做修改,然后 codex 会根据这个修改呢,再出一份新的计划。 呃,这里面呢,我们就不对计划再做一些其他修改了,我们就直接同意好了,让 codex 就 按照这个计划给我们来写代码。 好,现在 codex 开始干活了,我们需要稍微等待一下,在等待的过程中呢,我们可以跟 codex 随便去聊点东西,我们可以在输入框 side 打开 side chat 啊,在这里面呢,我们就可以随便问 codex 点别的问题,这些问题呢不会去影响左侧 codex 的 任务执行。比如说我们可以问一下,你觉得这个笔记软件还需要什么基本功能呢?提交 好 codex 呢,给了我们一些可行的方案。你看在 side chat 的 过程中, codex 左侧的任务执行一点也没有被干扰到。对,这个呢就是 side chat 的 一个非常重要的特点了,它就是允许用户在 codex 执行任务的过程中问一些比较轻量级的问题, codex 在 回答这些轻量级问题的过程中不会影响到左侧主任务的执行。那这个就是 sign chat 这个功能的特性了。这个呢,我们就先讲到这里,这个架构改造的工作量还是挺大的, codex 依然没有完成,让我们再耐心等待一会儿。 好,看起来 codex 已经完成任务了,它提示我们使用 npm runtime 这个命令就可以启动这个 electron 应用啊,让我们来试一下。首先按 command 加 j 打开终端,然后执行命令 npm runtime 回车, 这样的话这个 electron 应用就启动开了,不过看起来好像是有点问题,基本上是一个白屏的状态。呃,我们打开控制台看一下有没有什么报错 啊,确实有报错,这个呢,我们需要让 codex 帮我们来修一下啊,让我们来回到 codex 这里, 先把这个进程关掉,然后呢再把终端关掉,然后我们提出我们的诉求,启动后白屏控制台报错了。看来你之前的测试不够彻底啊,请你修复并确保在修复之后测试好再交付给我。 codex 说,我说的对,哼。呃,让我们等 codex 把这个错误修复之后再试一次。 呃,看起来 codex 已经修复好了,我们来看一下它修复后的效果是怎么样的。呃,同样,我们打开终端,然后执行这个命令 啊,这次呢,看起来没问题了,添加笔记呢也是可以的,我们呢也可以在这里面随便输入的标题内容都可以啊,主题切换也是没有问题的。 那看起来已经很完美了,各项功能都运转正常。让我们再回到 codex 这边。 呃,我们先按一下 ctrl 加 c, 关掉这个进程,然后呢,再把终端收起。好,那改成了 electron 架构,我们就继续来提新的需求。我们的新需求是为这个笔记应用增加 markdown 支持,具体来说,需要在编辑器右上角提供两个模式切换按钮。 那假设这个时候我想换行,怎么做呢?直接按回车肯定是不行的,按回车就提交了,正确的做法是按 shift 加回车。你看这样呢,就可以回车了。我们继续输入任务内容, 首先是编辑模式,显示所有文本内容,并对其中的 markdown 语法进行高亮显示。然后还有一个是预览模式,它用于显示 markdown 的 渲染结果。现在再回车。 好,可以看到 codex 开始工作了,在它工作的间隙,我们再创建一个新的绘画,让它再处理另外一个关系不大的任务。 我们的新任务就是给这个笔记项目生成一个 logo, svg 格式。可以看出这两个绘画都在工作中了。假设这个时候你突然想到了我们的笔记软件有深浅两种模式,这个 logo 需要在任意一个模式下都清晰可见。我们最好提醒一下 codex, 以免它忘了, 好让我们发送请求。不过这个请求似乎没有发出去,它似乎卡在这里了。没错,在默认情况下,只有当上一个请求完成后, codex 才会继续处理下一个请求。 不过到那个时候就有点晚了吧,毕竟 logo 都生成好了。我们能不能现在就把这个信息发送给 codex, 让它在生成 logo 前就注意到这一点呢? 没问题,注意到这里的 steer 按钮了吗?点一下,我们的请求就会立即发送给 codex, 这样我们的目标就达到了。那 codex 现在还在运行中,我们稍稍等待一会儿。 好,可以看出 logo 已经生成完毕了。我们切回到原来的那个绘画,看看它的进度怎么样了,它还在运行中,所以我们可能还需要再稍微等那么一会儿。 好,这两个任务呢都完成了,我们来直接打开软件,看看最终效果。首先是要打开终端,然后呢,我们运行 n p m start, 打开这个 electron 应用。呃,看起来好像是有点问题啊。 logo 没有被成功地加载起来, 那我们需要跟 codex 说一下这个事情,让我们先关掉这个 electron 应用。 然后呢,我们关掉这个 electron 进程,先看看这个 logo 在 不在 啊?这个 logo 确实是在 public 文件夹里面的,那应该不是文件不存在导致的。那是不是这个 svg 文件的格式有问题呢?我们来到访达来验证一下。 打开这个 public 文件夹,看来这个 svg 文件的格式也是没有问题的,毕竟访达都正常渲染出来了。 那大概率是 electron 加载这个 svg 文件的方法有问题。让我们来让 codex 修一下。首先按 command 加 g, 我 们唤起这个绘画列表,然后选择生成 logo 的 那个绘画, 然后在这里面我们输入具体的问题, logo 没有显示出来。提交好,提交之后呢, codex 就 开始给我们排查原因了,我们再稍微等一会儿。 修复完毕,我们再次启动这个软件看看效果。 首先打开终端,运行 npm start 好, 这次看起来 logo 是 成功的显示出来了,我们还可以随便点一点其他的功能,看看整体是否运转正常。 那 markdown 呢?我们可以随便输入几个 markdown 的 关键词,看一看它的高亮显示是否正常。看起来似乎并没有什么太大问题,各种格式呢,都可以非常正常地显示出来, 可以看出预览也是没有问题的。那这次需求就到这里了,我们再次回到 codex 这里,继续迭代它。 前面我们讲的呢,都是 codex 的 基本能力,下面我们来讲讲 plugging。 你 可以把 plugging 想象成一个 codex 的 外挂,它会给 codex 相应的能力,帮助 codex 去做更多的事情。这么说呢,可能比较抽象,我们可以来实战一下。呃,我们首先可以打开侧边栏, 然后点击里面的 plugins, 在 这里我们就能够看到所有可用的 plugin 了,其中有能控制电脑的,有用于操作 chromed, 还有用于编辑 excel 的 啊,还有一些是用来制作 ppt 的。 如果 plugin 的 旁边打了勾,那代表这个 plugin 已经被安装好了。如果 plugin 没有安装的话,旁边会是一个加号,我们点击这个加号就可以正常安装了。我们来随便点几个 plug in, 看看它内部到底有什么。 比如我们可以点一下这个叫做 gmail 的 plug in, 可以 看到这个 plug in 内部有三个组成部分,其中一个是 app, 两个是 skill。 这个 app 呢,是用来把 codex 和 gmail 连接起来的, 它里面提供了很多的工具,当然 codex 没有叫它是工具, codex 叫它是 action, 但其实本质上啊,这里面就是一个一个的工具,跟 mcp 的 工具呢差不多。 比如 apply labels to emails 就是 用来给邮件打标签的 archive emails 就是 用来归档邮件的。这个 app 一 共是提供了二十四个这样的工具,除了 app 之外,这个 plugin 还提供了两个 skill, 呃,你基本上是可以把 skill 当成是给大模型看的一个说明文档, 比如说是这个 gmail skill, 它就写明了怎么总结邮件内容,怎么赚,写回复,以及什么时候该调用哪一些工具啊等等。 而这个叫做 inbox treeash 的 skill 呢,则是告诉大模型如何给邮件归类的,比如说哪一些邮件比较紧急,哪一些邮件需要回复等等。如果你对 skill 比较感兴趣,可以看一下我的这个视频,把 skill 的 使用方法和运行原理一次讲明白。 gmail 的 这个 app 所包含的内容呢,就只有这三个了,我们如果选择安装 gmail 这个插件,那其实就是选择安装了这三个组件。等到用户想要 codex 操作 gmail 的 时候, gpt 模型便会找到这三个组件,并用它们提供的能力和说明来完成。用户的要求 大致就是这个样子的。我们来看一个具体的例子,比如说是 presentations, 这个 plugging 呢,是用来写 ppt 的, 它只有一个组件,那就是这个叫做 presentations 的 skill。 这个 skill 详细说明了该怎么做才能做出一个高质量的 ppt。 下面呢,我们就尝试用这个叫做 presentations 的 plugging 来完成我们的需求,让我们来新建一个绘画,然后输入我们的要求,给这个笔记软件做一个 ppt, 介绍它的产品设计和技术架构。 提交之后, codex 就 会找到我们前面所说的那个叫做 presentations 的 plug in, 并使用那个 plug in 提供的能力来做 ppt。 当然,如果你担心 codex 找不到这个 plug in, 或者说是找错了的话,你可以明确要求 codex 使用这个叫做 presentations 的 plug in, 这只需要在任务的最前面输入一个 at 符号,然后敲入 presentations 回车,这样 codex 就 一定会使用 presentations 这个 plug in 来做 ppt 了。 不过不加也没关系, codex 会自动找到这个 plug in 的, 所以呢,我们暂时就把它给去掉吧。好,提交,可以看出 codex 开始工作了,我们稍微等待一会儿, codex 写好了,我们打开看看。 中规中矩吧,其中其实还有不少可以改进的地方,不过这已经是一个不错的起点了,我们可以在这个基础上做一些其他的改进。 这个叫做 presentations 的 plug in 并不能算上经验。下面呢,我给大家介绍 open ai 所提供的两个用来镇店的 plug in, 一个呢是叫做 computer use, 用来控制电脑。另一个呢是叫做 chrome, 用来操作 chrome 浏览器啊,我们先来试一试 chrome 这个插件, 让我们来到这个插件管理的地方,然后呢,点击 chrome 旁边的这个加号来安装这个插件, 点击 install 好, 安装好了。然后呢, codex 提示我们需要在 chrome 上面也安装对应的扩展也行。好,那我们就按照它的指示来安装这个扩展。 那一切准备就绪之后,我们就来尝试用用这个 chrome 插件,我们可以直接点击旁边的这个按钮,这样的话, codex 就 可以给我们出实化一个使用当前插件的这么一个请求。呃,我们可以把后面的这个部分给去掉,换成我们具体的请求, 那就是打开 product hunt 首页,然后再找出今天最热门的三个新发布的产品,总结它们各自的特点,并附上对应的访问链接好提交。 呃,为了让大家看得更清楚,让我来把 codex 缩小一点,把 chrome 浏览器放出来,这样的话呢,大家就可以更清楚地看到 codex 到底是如何干活的了。 可以看到 codex 创建了一个标签组,这个标签组呢,专门用于解决我们的问题,然后它在这个标签组里面访问了 product hunt 的 首页,今天最热门的三个新发布的产品就在这里了,相信 codex 也看到了。 可以看到,现在 codex 开始打开另外一个标签页了,这个呢,看起来是第一个产品 brew 的 一个相关网站,然后呢,它又打开了一个。 呃,接下来呢,我们就不管了, codex 估计还会查看更多的网页,我们就在这里稍微等待一会,相信他等会就可以查询全部的产品页面,然后给我们一个比较有效的反馈,让我们稍微等待一下。 好, codex 给我们总结了,这个呢,基本上也就是我们想要的结果了,这个呢,就是 chrome 这个插件的相关使用方法了,让我们把这个 codex 再次最大化。 然后下面呢,我们就来看一看 computer use 这个插件的使用方法,它是用来操作电脑的,同样,我们点击这个加号,然后进行安装, 安装成功,让我们来使用一下。跟 chrome 的 使用方法类似,我们也可以点击 computer use 旁边的这个小图标,这样直接就能开启一个相关的 computer use 绘画。我们先把后面这段文本删掉,因为它跟我们真实的请求没有什么关系。 然后呢,我们再稍微改一下这个请求所对应的目录,我们现在呢是放在马克笔记这个地方,但实际上我们要打的这个请求呢,跟这个项目其实没什么太大关系,所以呢,我们就选择 don't work in the project, 也就是说,这就是我们随便提出来的一个请求,不会去绑定某个具体的项目目录。之后,我们就可以正式输入自己的请求了,那就是请打开我电脑自带的日历应用,帮我新建一个五月二十八日十点的日程标题,叫做讨论马克笔记的后续设计。 没错,就是这样,我们让 codex 操作一下日历这个应用,然后同之前一样,我们把 codex 缩小,把日历这个软件漏出来。这样呢,大家就可以更清楚地看到 codex 是 怎么操作我们这个日历软件的。 好, codex 首先询问我们能不能使用日历这个应用,我们同意, 可以看出 codex 开始行动了,这个呢就是 codex 的 鼠标,它跟我们所使用的鼠标呢,根本是两套,彼此之间互不影响啊。然后 codex 呢就开始操作这个鼠标,去完成我们的需求, 它还需要我们确认一下是不是真的要创建这个日程,这个有点啰嗦,那当然是确认了,我们给它回复一下, 好,看起来 codex 已经完成了我们的要求了,我们来看一下, 看起来这个日程的标题和时间段都是满足我们要求的,那就没问题了,我们再把 codex 最大化。 这个呢,基本上就是 computer use 这个插件的使用方法了。值得一提的是, codex 使用独立的虚拟鼠标,与你的鼠标互不干扰。刚才把日历软件提到前台只是为了掩饰,实际上你完全可以让它在后台默默干活,自己该干嘛干嘛,上网看视频都可以,完全不会耽误。 好, computer use 讲完了,我们接下来就来看看 skill 是 如何使用的。想要浏览 skill, 我 们就必须要先打开 plugins, 然后再点击这里面的 skills, 就 可以看到可用的 skill 列表了。 其实我们之前用 plugin 的 时候已经间接的用过 skill 了,因为无论是 presentations, computer use 还是 chrome, 这几个 plugin 的 核心组建呢,都是 skill, 你 在这个 skill 标签下面都能找到。 当我们安装对应的 plugging 的 时候呢,我们都会把相关的 skill 一 块儿安装好,所以我们在这里都能找到这些 skill。 不 过有一个王牌级的 skill 是 单独列在 skill 这个标签下面的,它并没有一个对应的 plugging。 这个 skill 呢,就是 mhgen, 它是用来生成图片的, 相信大家对 g p t 的 生图能力早有耳闻,不仅美观,而且非常的真实。下面呢,我们就来使用这个 skill 来创建一个图片。我们在马克笔记这个项目下新建一个绘画,然后输入我们的要求,给这个笔记软件生成一个宣传海报图片,注意要使用我给你的真实的软件截图。 然后呢,我们需要给 codex 相应的软件截图,我们先按 command 加 j 打开终端, 然后执行 npm start 命令来打开我们的笔记软件, 然后我们回到 codex 这里,点击加号,再找到其中的 attach electron 这个选项,这里面的 electron 其实就是我们的马克笔记软件了, 我们的这个笔记软件就是用 electron 做的,所以呢,在 codex 里面看来,这个笔记软件就叫做 electron, 我 们来直接点击这个选项,点击之后呢, codex 询问我们是否要启用这个功能,我们点击 enable, 然后我们的马克笔记截图就到了聊天框里面了,这样 codex 在 做海报的时候就可以根据真实的软件截图来做了,是不是很方便呢?点一下按钮就可以把截图放进来了, 不过这个还不是最方便的, codex 还提供了一个快捷键,按一下就能够把截图传过来。我来给大家演示一下,我们之前给 codex 的是浅色模式的截图,我现在在给 codex 传一张深色模式的,我们回到马克笔记这里,调到深色模式, 然后重点来了,左右 command 键同时按下,这样深色模式的马克笔记截图也传给 codex 了,这个确实更加方便了吧。好,现在 codex 有 了浅色和深色两种模式的截图,我们可以让它开始做海报了。提交, 首先我们可以注意到 codex 会使用 image 这个我们之前提到的技能来做这张宣传海报,然后我们就再等等,看它能画出什么样子来。 画完了,我觉得还行吧,确实是基于我们的截图来做的,不知道你觉得怎么样呢? 除了使用 codex 给我们安装的 skill 外,我们也可以创建自己的 skill。 让我们按 command 加 n 新建一个绘画,然后输入我们的任务,写一个代码审核 skill, 专门给当前的项目使用。这个 skill 应该包含如下的规则。好,我们提交 可以看到这个 skill 已经做好了,它的名字就叫做 marknotes code review。 下面让我们按一下 command 加 n 新建一个绘画,试试这个 skill 的 效果。首先我们 at 这个 skill, 然后提出我们的请求,检查当前项目的代码是否有问题。好,可以了, 结果出来了,还可以,我们还可以让 codex 根据审查的结果来修改代码。这里呢,我就不再继续演示了, 我们的笔记软件每天都在迭代,每天都有代码更新,所以我们最好能每天定时检查一下代码,看看有没有什么问题。这种场景就很适合起一个定时任务来处理。 codex 也提供了这样的功能,让我们来点击这里面的三个点, 再点击 add automation。 呃,也就是添加一个定时任务。这里呢是定时任务的标题, codex 已经帮我们填好了。这里呢,填写发起定时任务的时候,我们需要发给 codex 的 要求,我们的要求呢就是检查当前项目的代码是否有问题。 然后下面呢是执行环境,一共是有三个选项,分别是 local, worktree 和 chat。 local 呢是在某个项目目录里面运行这个定时任务 worktree 是 基于某个项目目录创建一个新的 worktree, 这个定时任务就在这个新的 worktree 里面运行。 worktree 的 概念我们之前讲过,它是 get 的 一个概念,如果你还是一知半解的话,可以先不管,我们这里不用这个选项。 chat 呢是执行环境,不跟任何项目目录绑定,我们之前用 chrome plugin 搜索网络的时候,实际上是用过 chat 环境的, 这里最适合我们的是 local, 毕竟我们的定时任务就是要扫描马克笔记的项目代码,所以一定是要跟某个项目目录绑定起来的。让我们选择 local, 然后在这里面选择马克笔记,然后这边呢是运行频率,我们选择 daily, 具体的时间呢,我们就维持在九点钟,意思就是我们这个定时任务在每天九点钟的时候启动, 下面呢我们选择模型 g b t 五点五,推理强度呢,我们就维持目前的 medium 就 好了。然后我们点击 save, 再打开左边栏, 我们就可以看到 automations, 这里面多了一个一。点击之后就可以发现我们创建的定时任务了,它会每天十点开始运行,每次运行的时候都会创建一个新的绘画,我们可以点击这个按钮试运行这个定时任务, 可以看到一个绘画创建出来了,就是用来运行这个定时任务的,我们来打开看一下, 好,可以看到这个定时任务已经完成了,后面每天跑的也都是这个样子了,那这个就是定时任务了。最后我想给大家讲讲 codex 的 一个特别有用的功能,那就是 codex mobile, 具体来说就是我们可以在手机上操纵 codex 来给我们完成任务,让我们来点击这里面的 codex mobile, 再点击 allow 允许手机操纵这台电脑, 然后再点击弹,点击完弹了之后, codex 应该会给你显示出一个二维码来。 呃,如果你像我这样没有显示出二维码的话,可以点击这里的手机图标,这样二维码就出来了。随后我们需要打开手机摄像头扫描这个二维码。然后呢,我们就会被引导到叉 g b t 的 codex 页面。在这里我们就能向电脑端的 codex 发送指令了, 比如我们想让它操作一下日历。你还记不记得我们之前在日历上创建了一个日程标题,就叫做讨论马克笔记的后续设计。现在我们在手机上再发送一个指令,让它把这个日程去掉,我们点击聊天。 然后呢,我们再点击这里,呃,在里面找出 computer use 这个选项。 随后呢,我们需要输入我们的请求,我们的请求就是把日历中五月二十八号呃,讨论马克笔记的日程删掉, 写完之后先不要忙着提交,你看,我们现在在马克笔记这个项目目录下,但我们的请求其实跟这个项目的代码没什么关系,我们就想操作一下日历软件,所以我们需要再点一下这个设置按钮,然后选择不使用项目。好,这样呢就万事俱备了。我们提交请求, codex 首先询问我们是否同意使用 calendar 这个软件,我们批准。然后 codex 再次询问我们是否要真的删除掉这个日程,我们确认, 随后 codex 就 开始操纵电脑了,我来给大家看看电脑上是个什么样子,你看日历上面多了一个鼠标,它正在操纵电脑删除这个日程。 好,删除成功了。这样呢,我们就做到了用手机来操纵电脑了,是不是很方便呢? 这样大家在外面也可以使用 codex 来做各种各样的事情了。好到这里本期视频就结束了,我是马克,用最通俗的语言讲最硬核的技术,我们下期再见。拜拜。

i have seen reports that may or may not have been used i have no information myself and so i would i would i would encourage you to ask them directly we have a if it was being used was would that be against your policy it would be um we have a we have a clear terms of service that um uh when a you know again from a creator's perspective when a creator uploads their you know their hard work to our platform uh, they have certain expectations one of those expectations is that the terms of service uh is going to be abided by and our terms of service does allow for youtube content some youtube content like the title of a video or the channel name or the creator's name to be scraped because that's how you enable the open web for that content to show up and you know maybe show up in other search engines or what have you and be available that way, but it does not allow for um things like transcripts or video bits to be downloaded and that is a clear violation of our toss and so those are the rules of the road in terms of content on our platform google uses youtube content really in accordance again back with those terms of service or individual contracts that we might have with creators or uploaders to our platform as you know different lots of creators have different sort of licensing contracts in terms of their content our platform lots of rights holders do, and so some portion of that youtube corpus might be uh are maybe be being used for those models, but it's gonna be in concert with whatever the terms of service or the contract that uh that that creator is signed before uploading their content to youtube。

苹果刚把 open ai 给告了,三个教训, ai 圈都在刻脑门上。兄弟们呐,刚刚报的科技圈的大瓜,苹果真把 open ai 给告了, 因为啥呢?因为 open ai 偷了 a 数的知识产权,搞自己的 ai 硬件,还传闻要抢智能手机的市场,苹果直接递状纸到北加州法院。 其实这啊,这个有三个教训,不管是 ai 圈还是你还是我,都要计时。第一,挖人可以,你不要连锅端的这个,连钱多价的裤衩你都挖。苹果指控 open ai 从高层到基层是拳头机密啊, 前 f 的 设计跳去当首席硬件官,还让人带苹果真实产品部件去面试,把内部保密的文件传给要跳槽的员工, 连干了八年的高级工程师都偷偷的下载上千页的苹果技术的文档。这哪里是挖人呐,这是明抢啊。 第二,合作,别把底牌亮的太早,之前苹果还把这个切的 gdp 接近自家的系统,结果 open ai 转头就挖走了,老员工去搞竞品,那苹果今年把新版的 ai 底座直接这个切换,脸打的是啪啪的响啊。 第三,知识产权的红线。巨头都敢硬杠,小公司嘛,更不要抱任何侥幸。 苹果呢,要求销毁所有的机密,重做产品,连收购的公司都一块告了,私聊没有直接起作用啊,就直接起诉, 踩踏了红线就是需要付出代价的。不要觉得巨头掐架跟你没有关系,你的公司,你手里的核心的机密,如果也被人这么搞,也被人这么薅,你哭都没地方哭啊。所以我们要提防,这给我们提了一个很重要的醒。



open code 这个开源项目最近很多人都在聊,说是 cloud code 的 平替功能呢,和 cloud code 也是一模一样的,所有模型都能用,但是对于我们普通人来说,我们要怎么用? 网上评测我看了不少,但是我还没有看到有人用它完整的演示一遍开发流程,所以今天我来做这个事情。 我会用一套平时我在 cloud code 上使用的开发流程,结合 open code 从零开始开发一个服装电商的模特换衣应用,带你走一遍完整的流程,顺便也测试一下它和 cloud code 到底有什么区别。那我们现在开始 这套方法我之前已经分享过两次了,就是这一期和这一期。现在呢,我把它迭代到了三点零版本。整体流程是这样的,首先用毒蛇产品经理技能收集需求,他会通过追问来完善细节, 然后生成产品文档。接着用 ui 提示词,设计师技能根据文档生成原形图的提示词,然后把提示词丢给 nano banana 生成原形图,再用 google ai studio builder 来开发前端,最后用全站开发工程师技能完成后端的开发和后续迭代。 整个流程是由一个主控的项目规则文件 agent 点 md 来进行统一的调度。这个场景包含了需求收集、原型设计、前端开发、后端改造、功能迭代,基本囊括了日常开发的主要环节, 所以用它来测试,基本可以很好地展示 opencode 的 完整的开发流程。打开 opencode 官网,点进下载页面, opencode 有 四种使用方式,在终端里使用,客户端使用、安装 ide 插件或者集成到 github 这类平台。 我们今天讲的是第一种直接在终端里使用, mac 用户建议安装第一条命令, windows 用户建议用第二条。那我是 mac, 所以 复制第一条命令,按 command 加空格,输入 terminal, 打开终端,把命令贴进去,回车直行, 然后等待它安装完成就行了。这里可能会有一点慢,那就看你网速了。好, open code 我 们已经安装完成了,接下来我知道很多新手看不惯终端的命令行,所以我们就在 cursor 里面启动 open code, 应该会对你友好一些。打开 cursor, 在 terminal 里输入 open code 启动, 启动之后有个快捷键,你一定要记住 ctrl 加 p, 按下去会列出所有的命令。大部分命令可以在之后慢慢熟悉,但有一个现在你就要知道,就是 a 键下面的 switch model 切换模型使用后你会发现有很多模型可以选, 像 chatgbt, 五点二, gmail 三 pro, mini max 这些都有,带有 free 标记的,是免费的。其他那些常用的模型需要你自己去配 api, 想用别家的服务,可以按 ctrl 加 a 添加供应商那支持的还是挺多的。配置也很简单, 比如你想用 google 的 api, 那 就选 google, 然后把 gmail 的 api key 贴进去就可以了。接下来我们来开始配置,这个逻辑和 cloud code 是 一样的, cloud code 的 系统文件夹是点 cloud, 那 open code 这边就是点 open code, 然后这是我提前准备的技能文件, ctrl c 复制,回到 open code, 在 点 open code 的 这个系统文件夹下, ctrl v 粘贴,这样就一次性导入成功了。一共三个技能, 独设产品经理、 ui 提示词设计师,还有全站开发技能。接下来是导入项目规则,在 cloud code 里,顶层的项目规则文件叫 cloud 点 md, 那 我们这次用的是 open code, 它的项目规则文件要写成 agents 点 md 文件名不同,但思路是一样的,都是顶层的项目规则。 回到 open code, 把点 open code 的 这个文件夹收起来,然后 ctrl v 粘贴,这样项目规则就导入了。 注意看 agents 点 md 这个文件和点 open code 这个文件是在同一层级的,这点跟 cloud code 不 太一样。 在 cloud code 里, cloud 点 md 是 放在点 cloud 的 这个系统文件夹里面的,这个很重要,放错的话顶层规则就不会被加载。再来看一下文件结构,这是整套开发流程用到的技能文件,是我平时开发应用和小工具时用到的,当时用的是 cloud code, 所以 cloud 点 md 这个名字没改。 不过没关系, open code 完全兼容,能自动识别好技能和项目规则我们都已经导入完成了,接下来我们来走一遍完整的开发流程,用 open code 来开发辅助电商用的模特换装应用,启动主 agent。 这套开发流程分为几个阶段,每个阶段都有对应的指令 输入 slash help, open code 会列出所有的指令,包含从需求收集、生成原型图、提示词到开发和本地运行的全过程。 接下来我告诉他开发一个网页应用,帮助服装电商生成模特图,支持更换模特的姿势动作,调整服装的配色,还能更换新的搭配方案。声控模型用 gemma 三 pro image preview, 也就是 nano banana pro。 收到需求后,毒蛇产品经理的技能被自动调用了,然后开始针对需求进行追问,上来就说,别给我废话,让我选一个核心,那毒蛇味已经出来了, gbt 五点二骂起人来也是不留情面。 我告诉他,目标用户是独立设计师,功能范围需要支持声图姿势调整、配色搭配和编辑功能。确认没问题后让他继续。 那进入到第二轮追问,他问参考图是什么形态,这是个多选项。那我的设想是,上传的参考图可以是模特的人像照服装平铺图,或者是搭配平铺图, 控制方式可以用 prompt 文字指令,也可以从姿势预选库里面进行挑选,同时还要支持配色面板调色。确认没问题的话我们继续。 好。现在进入到第三轮的追问,问的是账号和付费模式,这个工具是我个人用的,所以不需要付费功能。那存储方面,现在是 mvp 阶段,主要是为了快速演示,暂时不考虑保存,先跳过 确认没问题的话让他继续。好。接下来是第四轮的追问,人脸一致性怎么处理?我的想法是核心需求是保留参考模特的脸部特征,成片的标准是多选, 一个是白底电商主图,一个是澎湃的质感效果。确认继续后,这个时候他已经收集到了足够的信息,开始直接编辑产品需求文档了。 好!运行结束后,他帮我们创建了两个文件,产品需求文档, product spec, 还有变更记录 product spec change log。 先看产品需求文档,因为我们的需求比较简单,生图工具和布局交互也都比较常规,所以他没有问太多交互和布局的细节。 那再看一下圈子 log, 现在是项目的初试阶段,变更记录里也只有一条初试记录,接下来我们有两个选择,直接开始开发,或者根据产品需求文档去生成 ui 原形图的提示词。 原形图提示词是可选的,但我觉得这一步能大大的提升最终效果。正好给大家演示一下输入指令 ui, 让它使用 ui 提示词设计师技能,生成圆形图提示词 好,完成了,提示词保存在了 ui prompt 这个文件里。那我们打开看一下,这就是生成的页面原形图。提示词用法也很简单,直接把提示词复制发给 nano banana pro, 生成产品原型就可以。 目前一共生成了三个页面,主页面、图片预览页面,还有报错页面。接下来我还要做一件事情,这套流程有两种用法, 第一种呢,是生成好原型图后,直接把图发给他,让他在 open code 里面进行开发。那第二种呢,是用 google a s studio 里面的 build 来开发,本期我就会演示第二种,这种方法对新手或者是刚刚接触外部抠钉的人来说,更容易上手,效果也更好。 我告诉他,你先别管 apikey 的 事,我会用 google a s studio 开发前端,开发好了之后,我会把代码发给你,你再帮我改造成前后端分离的项目。 他已经明白接下来要做什么,怎么配合我们,而且还直接给了建议,比如用 google a s studio 开发的话,回来时需要教给他哪些内容,或者开发好了之后让 open code 继续迭代,需要提供哪些信息和资料好。原型图我已经提前生成好了, 现在这个页面是 google a s studio 模型,选的是 nano banana pro。 我 做的事情很简单,把刚才生成的三个页面的提示词完整的贴进去, 顶部加一句话,帮我生成一个三宫格竖向排列的长图,这是一套电商模特试装的网页应用,然后他就开始帮我生成原形图了。 那我们放大看一下,这三张图基本上是按照我们的需求文档里的布局和功能描述生成的,当然后面开发的时候, ai 会拿这个图作为参考,并不会完全的百分百复刻,所以这一点你要注意。为什么要用 ui 提示词来生成原形图?主要呢有几点核心考虑, 第一是速度快,外部口令不需要一开始就追求完美,先把架构快速的搭起来,然后后面再慢慢的迭代 ui 和交互。 第二呢是为了好看,如果你不给 ai 参考图,光靠文字描述让它开发出来的页面通常都很丑,不管你提示词写的多好,在我看来都丑的要命。 所以用 nano banana pro 直接生成原形图设计其实很好,再结合我们这套方式,页面好看,功能呢也符合我们的产品需求,一箭双雕。这就是为什么我觉得这一步非常重要,想要给大家看一下。 好,那原形图已经有了,接下来我们打开 google a s studio, 先开发前端,我们先完整的复制一下 prods bike 里面的产品需求,然后回到 google a s studio builder 告诉他,让他帮我开发一个模特换装的应用, 先把 products back 整个贴给他,然后把刚才生成的 nano banana pro 的 原型图也贴上去。 ai 能力选择这边我们选择 nano banana powered app 和 generate images with nano banana pro, 因为我们的应用需要生图能力,必须调用 nano banana 检查没问题,点击 build 开始。接下来它会自动读取文档和我们发过去的截图进行开发。所以我们稍微等待一下 好,开发完成了。有几个注意事项,第一,记得右上角选择一下你的 gemna api key, 否则无法使用 gemna 三 pro 或者是 nano banana pro 这些付费模型。第二,我们来看一下界面的还原度, 那开发出来的界面和原型图已经有九层相似了,布局,色盘选择,模特姿势这些功能都有。好,我们来测试一下。先上传一张模特图, 再上传一张 gucci 的 最新的女装,一条红色的裙子,风格选择澎湃风格,输出四张模特姿势,选动态走路提示词就先空着,先不填,我们点击生成 好,生成完成了。放大看看,模特的真实感几乎无可挑剔,澎湃的风格,无影墙,走路姿势,人物和衣服的还原度都很好。接下来看一下代码,点击 code, 这就是他开发的所有的前端代码。把代码打包下载,然后找到刚刚我们下载的代码, ctrl c 复制,回到 open code, ctrl v 粘贴代码就导入了,然后告诉 open code 前端已经开发好了,代码放在了这个文件夹里, 这个时候他会问原型图有没有,你需要提醒一下他前端已经开发好了,直接看代码就行。后端部分他建议用 node 加 express, 但我决定选 next, 点 j s 看看他怎么处理, 确认没有问题,让他继续执行。等待开发的时候,顺便说一下,为什么我们要前后端分离。 google a s studio builder 开发出来的是存前端代码, api key 是 直接写在前端里的,那这样部署上线 api 就 会暴露,任何人都能看到。所以我们需要把 api 调用挪到后端,前端只负责界面和交互, 而且后端除了负责调用 api 以外,我们后面迭代的时候,比如要加全线连数据库,或者是业务逻辑,这些也都需要放在后端的 好开发完成了。不过它提醒我们,我们发给他的前端代码的基础是 vt, 不是 next 点 gs, 所以 这一版它用了 express 做后段,因为这是最小的成本,最小的改造方案。但如果我们坚持要移到 next 点 gs, 它也是可以帮我们执行的, 那到这里项目基本就快速完成了。所以接下来我直接输入指令 slash run, 让它在本地跑起来。 ok, 我 们可以看到项目它说启动了,但是显示的状态不正常, 不过没关系,他说他可以帮我们定位和修复好。修复完成了,原来是三千,这个端口被我另一个项目占用了,那他帮我们改成了三零零一端口启动, 如果你想随时停止,可以输入 slash stop, 就 会停掉后台的所有的服务。 ok, 项目启动了,界面功能布局都保持了原样,没有什么问题。 项目虽然跑下来了,但是我们不可能一步到位,所以接下来我们来测试一下迭代功能,我要给他加一个新的需求,我告诉他我想增加一个在页面上配置 api, 并且进行校验的功能。那针对这个功能,他开始追问,首先问我 api 怎么保存,那我选择肯定是存在后端, 然后问我校验的方式,这里我选择的是真校验,需要他发个请求,看看 api 能不能跑通, 确认没有问题,开始开发。顺便说一下我使用的这套开发流程,产品经理和全站开发这两个技能会循环配合,每次新增或修改功能,主 a 阵的会先调用产品经理技能,进入到迭代模式,通过追问补充并且更新产品需求文档和更新日期, 然后才调用全站开发技能去实现代码。这样做的好处是文档始终和代码保持同步,不管是日后自己回顾还是重新开窗口让 ai 接手,都能快速的了解项目的全貌。好,完成了,他说已经更新了产品需求文档和更新日期,那我们看一下更新的内容。 产品需求文档这边第四十九行辅助功能下面插入了 gmail api 保存交换的需求。再看圈趣 log 这边新增的 v 一 点一版本,内容是配置 api key 和交换功能。我们回到网页,应用,左下角已经出现了配置 api key 的 功能,我把我申请的 gmail api key 贴进去, ok, 交换成功,没有问题。好到这里,我们整个的开发流程差不多就走完了。最后我来聊聊我用下来的感受。 先说优点,第一,模型自由度非常的高,这是 open code 的 最大的优势。 cloud code 您只能用 cloud, 对 于使用其他的模型,它基本是严防死守。 open code 呢,你可以随便切换,想省钱就用免费的模型,想要效果更好就换 cloud 或者是 gbt 五点二,灵活很多。 第二呢,是整体的体验和 cloud code 非常的接近,指令逻辑既能加载开发流程,基本和 cloud code 是 同一个思路。 如果你用过 cloud code, 那 上手 open code 几乎没有任何学习成本,不过缺点也是有的, open code 是 开源项目,在使用 agent 或者 skill 的 时候稳定性就会差一些, 特别是多 agent 协助主 agent 调用 sub agent, 或者是主 agent 调用 sub agent 在 调用 skill 的 时候,这类场景复杂的话, cloud code 的 表现依然是最稳定的。 但总的来说,如果你预算有限,或者是想尝试其他的模型, open code 目前是最接近 cloud code 的 开源替代方案。而且说到底,工具本身作用其实有限,真正起到决定性作用的是你在用的那个模型,这才是最重要的。 好,以上就是本期的全部内容,如果对你有所帮助,别忘了点赞以及加入废台俱乐部,这对我们频道真的非常重要,那我们下期见。

opna 所谓的开发者大会啊,就是把创业公司的开发者叫过去,然后告诉他们,你们的创业公司要完蛋了。就在十月六号, ai 领域现在最热的公司 opana 召开了首个开发者大会,在发布会上发布了 gbt star, 一个 opana 官方的游泳商店, 开发者可以自由的上传自己已开发的 app, 而最重要的是,他们说的开发者不是所谓的程序员,而是屏幕前的你们。因为所谓的开发者其实就是告诉叉叉 gbt 你需要构建一个什么样的应用, 其他的事情包括给应用起名字,画图标,还有构建应用,这些叉叉 gpt 都可以帮你自动完成整个过程,不需要我们有任何的编程知识。 opink 这样的做法利好了消费者,但是无数的创业公司开发者在看完发布会后,可是都哭晕在了厕所里, 因为 oppo ai 的野心和执行速度远远超过了他们的想象。 oppoi 根本不想给创业公司留活路,通过要把所有的应用搬到自己的平台来,围绕自己的大模型构建生态系统, 从而将自己打造成为 ai 界的苹果。陆奇博士在他的演讲中说, openi 可能成为历史上第一个十万亿美元市值的公司,现在看来啊,还是保守了。其实 openei 的行动很早就开始了,这是 gbd 刚火的时候,有一个很热门的应用叫叉 pdf, 就是用户上升自己的 pdf, 然后啊就可以通过这个应用和 pdf 中的内容对话。 oppo ai 看到这个功能好用之后啊,就毫不客气的收入囊中,在自己的官方应用中加入了这个功能,从此插的 pdf 类的应用热度大减。于是有人总结 oppo ai 的策略就是发布最便宜的 api, 查看使用 api 的初创公司正在开发什么, 将顶级初创公司的创意整合到自己的方案里面,淘汰使用开放 aiapi 的数百家初创公司。重复以上过程,这对于初创者来说虽然充满机会,但是非常的不友好。由于现在 oppo ai 一家独大,市面上不存在真正意义上的替代品,因此 ai 开发者只能 面临两个选择,加入 opna 的封闭生态,或者加入拉曼这样的开源生态,像极了前些年 os 和安卓生态的对决。果然啊,历史是一个轮回。关注我,看更多前沿科技数码。

欧盆爱宫斗的导火索,原来是他们最近做出了超级人工智能 q star, 这个如果现在放出来,就会让比特币一夜归零。为什么这么说呢?他背后的原理是怎么样的呢?我是 stenfer 机器人庞博士,下面我就在硅谷给大家做第一首的解读。 它这里面最核心的有三点,第一是它不再需要有新的数据,可以用 chart g b t 四来训练它,这一点非常重要,因为 g b t 四已经基本上用了互联网上所有能够找到的数据了,同时说明数据的清洁度也非常重要, 因为互联网上文字的质量参差不齐,而 g p t 四产生的文字就不会。第二是它这个技术是基于 q learning 和 a star。 q star 这个词其实不是很新,最早是在二零一七年 open ai 和伯克利大学的一篇论文里提出来的,它实际上是两项技术的相结 壳,一个是 q learning, 一个是 a star。 q learning 实际上是深度学习里面的加强学习的一种,当年骨骼打败李氏时的 alphago 就是基于这个,这个就像我们人一样,能够根据反馈来做出下一步的决定。 a star 则是移动机器人里的一个技术,最早是由我们 stenford s r a。 的几个科学家在一九六八年的时候提出来的,这个主要用来帮助移动机器人算出达到他的最终目的地的一个最佳路径。原理也很简单,就像这个徒弟所表示的, 每次都像自己的上下左右各移动一个格,然后计算一下到终点的距离,距离最短的就再往下走,距离一样的则同时都往下走,这样不断循环,最终就达到目的地了。因为这是移动机器人里边的一个经典算法,所以我们很多年前就注册了 a star 大的 ai。 第三 就是他找到了一个将大圆模型跟 qsr 的算法结合起来的一个办法。这个其实很难,因为谷歌的双子座也是走这个思路,但是他的产品的发布一直在推迟。 那 opera 看到了一个最精异的现象,实际上是在他解数学问题上,因为数学是大语言模型的一个弱项,但通过这个加强学习的方法,大语言模型就自己学会了数学, 而且找出了一种解密的方法。互联网上一百二十八位的 incription 超级计算机也需要几万年才能够解出来,所以被认为是非常安全的。但这个 q star 竟然很快就把它破亿了。如果现在把 q star 放出来, 那他就可以破译比特币的加密,这样比特币有价值的核心就彻底被动摇了。正是因为这个,引发了欧鹏爱董事会的强烈的担心,他们担心奥特曼把 q star 的商业化推进的太快,在人类社会还没有准备好之前,可能会造成社会巨大的动荡,现在你明白了吧?

最新消息,欧本 ai 公司创始人兼 ceo 山姆奥特曼突然被董事会开除,原首席技术官米尔暂时接任 ceo 职位。事发非常突然, 根据官方描述,是因为奥特曼对董事会不坦诚导致,具体原因不得而知。奥特曼被开除将对整个 ai 行业发展有重大影响。 openai 之后是否会变成微软等股东的赚钱机器,还是将走向何处?让我们拭目以待。关注我,了解更多 ai 资讯!

连连也学会偷懒了? opna 承认 gpt 四变懒,暂时无法修复。自十一月六日 opna 开发者日更新后, gpt 四就有了偷懒的毛病,而且现在越来越糟糕,在代码任务中尤其严重。比如要求用别的语言改写代码, gpt 四只会改个开头,主体内容用都注视省略。更搞笑的是,有网友利用金钱来诱惑 gpt 四,发现提示词中加上我会给你两百美元小费 g pt 四回复长度会增加了百分之十一,而如果加上我不会给小费,甚至还会减少负百分之二。感觉这 pt 四这是要懂人情世故了。关注我,了解更多 ai 资讯!

openai 拉大了, sora 给关门了。还记得当年惊艳世界的那个 sora, 最开始拿出它的样片时候,大家都说,哎呦我去,哎呦,太 crazy good 了。刚刚一条推, sora 彻底关停,不光是它的应用,还包括它的 ipad, 也就是全没了,就 no no 了,这东西不干了,上线六个月直接关停。其实在它上线的当天我就录过一期节目, 我说这个东西吧,你单独做一个 app 出来,然后你还想拿它去对标 tiktok, 这步子迈的有点大,没想到只过了六个月就扯扯坏了,那么直接给扯掉了。 现在 openai 完全是在跟着克劳德走,照着克劳德的话,克劳德的步骤去走,因为怎么样自己步子迈大了,早就不聚焦了,现在慌了,当时五天百万下载,二月份直接下跌到一百一十万下载,然后怎么样?总额收入几百万美金,但是投资十亿,整个的算力账根本就是完全崩溃的。 一条二十秒 sora 视频的 gpu 成本够可洛跑一千次对话,那你想想,你那估值七千三百亿,今年净烧二百五十亿美金,结果闹了半天,全都是去生成一些搞笑视频了,那大家肯定会觉得你聚焦在哪儿,对吧?当然还有一个非常重要的因素是对不起,正是在下我们这边 cds 一 出来,他直接蒙圈了,那视频生成还能做到这个地步呢?莫莫,别玩了 bro。 所以 现在 opena 已经开始拼命收紧占线,也是同样在昨天,他把购物功能也宣告砍掉,也就是 check gpt code 和浏览器要三合一形成 super app。 sora 团队也不是立马开除全部转向机器人,我也不知道机器人你们能做出个啥来,反正 ai 视频这个领域以后就是我们 cds 和谷歌的 vivo 三点一双雄争霸的时代了,没有钱没上市的就别跟大家玩 ai 生成视频这高门槛游戏了。不喽,子弹有限,瞄准点再打。