粉丝5863获赞12.9万

就在今天,恰点 gbt 推出了他们最新一代的模型 gbt 五点二,是一个领先的前沿模型啊,为专业的工作和持久运行的智能体而打造它。这一次最大的一个亮点的话是他们号称超越了整个人类的一个专家,他们搞了一个 gdp 的 一个专业能力精准测试, 这次的评分相交于他们上一代的模型,有大幅度的一个领先。那第二个的话就是他们的一个 agent 的 能力嘛,从思维到最终去产生行动这块提升也非常明显,后续去做一些 agent 的 话,提升应该也比较明显。那今天的内容主要分为两个部分,第一个部分 就讲一下官方的一些啊, bootstrap 参数。那第二个部分我会用我最近做的一个真实项目,然后去对比 gpt 五点二跟 cloud, office 四点五它们的编程水平到底怎么样,我会按代码行及一行一行去对比它们生成代码,让大家看一下到底怎么样啊,看完这个视频就知道了。 ok, 下面我们来看一下整个的一个榜单哈,其实榜单每次我做这种新模型的评测榜单,大家就看一看就得了,但是还是可以看一下他们比较关键的三个吧。第一个是这个软件工程的,这个哈,他相较于 cloud 是 有百分之三点几的一个提升啊,提升不是特别明显。 那第二个的话是这一个就是数学竞赛这一块要拿的,拿出来说一下哈,他们 g t g p t 五点二是得到了一个一百分,就是相当于一道题没错, 然后 cloud 的 话是九十二,这一个它提升是挺明显的,所以说对一些专做数学推理啊研究的人应该帮助很大。 g p t 五点二, ok, 那 下面一个比较关键的是我们刚说到了这一个 啊, g d p 他 们最新的一个测试,他们新加的这个是测试的一个啊,就是测试四个职业,去找里面的一些人类专家出来出一些测试题,出完之后拿 g p t 五点二去跑,跑完之后然后去评分,评分出来的话他们的整个结果是达到了七十分 啊,已经相当于说顶尖整个顶尖行业的一个专家的水平了哈,那同样我们可以看到他其他的就是他们拿上一代的模型去对比,上一代的模型的话是 三十八分,然后跟 cloud 比的话, cloud 是 六十分,就提了十分,其实也不是特别明显。那下面的话就是他这一次发布会着重讲了他的一些帮助,一些其他行业的人去啊,怎么提升他们的工作效率,不管是从财务啊,法律啊,做 ppt 啊等等,还有他的一些逻辑推理嘛,刚刚我们也看到他数学这一块有一个测试得了一百分, 还有就它的一个幻觉力相较于上一代模型降低,那这个的话对于我们去做项目啊,写代码呀,以及你去写域的都有非常大的一个帮助,那还有的话,它的那个上下文 也相较于上一代有一定的提升。看完这个简单的一个汇总的话,我们来看一下整个编程实测吧。之前有朋友在评论区说,很多的一些就是专门做大面积评测的哈,就一直一直去测前端,那我其实大部分的测试都在测后端,那今天也不例外,我们就直接测后端,因为前端的话我觉得像 q 的, 然后 g、 p、 t 他 们的模型其实都没有那个谷歌那个强。好,我们来看一下我们今天的整个编程实测的一个任务哈,一个任务的一个背景是什么呢?如果熟悉后端的朋友应该比较了解这个 prome 修斯哈,它是主要是为了监控你一个代码的一些指标的,你可以在代码里面去买点,买点完了之后你可以结合 官网哪儿去做一些啊?就是类似这样的监控报表嘛。对,那整个的一个需求的话,就是我们有一个非常老的项目,就还在我手上有在维护的,然后这个项目是一六年搞的,但是他没有去接各种指标。那今天我们的一个核心的目标就是我们有几个这样的一个就是服务吧,可以理解的就是代码吧,让他去 帮我们把这代码加上一些 http 的 一个指标,还有数据库的一个指标,连接词的一个指标,然后给再给他加上一些就是一些约束哈。我们大概的一个提示词,我们也可以简单来给大家看一下啊,就是背景给它说清楚,然后当前采用的架构以及我们的一些,就是服务的一些清单嘛,还有数据库相关的一些信息, 就是题的词都描述清楚了,然后我们来去看整个 gpt 五点二到底怎么样啊?已经用 curl off, 四点五已经把这个东西推到线上去,目前跑起来看没有任何问题,从它打标、 买点,最后到帮我们生成那个 java 的 一些查询语句,就整体就这样子,看起来也没有什么太大的问题哈,那下面我们就来看一下它真实的一个代码的一个情况哈,那右边代码的话是那个 gpt 五点二写的。 首先给大家看一下这一个项目哈,它其实不是一个玩具项目,它是一个就真实跑在线上的项目,它代码其实特别大,因为看这个名字就知道嘛,是一个比较重的一个押注项目。那我们先看它给我们打的一个就是写的一个代码吧,就是一个指标的一个代码啊。那 cloud 这边呢?就是它分为了一个主要的一个指标代码,以及关于 http 的, 然后数据库的,然后业务指标 啊,还有它暴露给那个 server 来采集的一个代码,我们一个一个去对比,首先看 color 这边的一个核心代码哈,然后这边的话,这个就是去做一些设置 app 嘛,这个没什么好说的,那下面就是它的一个 指标,就它定义的一些指标,那相较而言,在 gpt 五这边它没有通过这样的设计,它是在它的主要搞了一个 common 点 py 的 一个文件,就是主要为了去粗俗化 一些跟这边差不多的一些代码吧,但是他这边实现的话,其实是有点小瑕疵的,比如他搞了一个就是现成那个是 reading 进来,其实我这个项目是基于 i o 的, 这个其实是没必要搞进来,我感觉没必要搞进来哈,就看起来我还是会选这边哈,这个代码就没什么好对比,对比的那个力度也不大, 那他的指标定义是放在就每一个模块下面的,比如他在 h d、 b 定义的一些指标,然后然后再去做下面的处理,那么下面我们来去对比他们在处理 h、 d、 b 指标上到底有什么区别哈。 ok, 来看一下吧,这个的话是他为了需要去排除一些路由,不参与你这一个就是路由的计算,那下面的话没什么好说呢,看他这边啊,他这边也差不多这个函数去把你的 u r l 让他不要膨胀嘛。 ok, 那 下面这段代码有必要给大家讲一下,就是我们通常不管你用什么框架,他都会有一些就是中间键嘛,你可以在中间键里面做拦截请求,然后做去打字啊,去买点啊各种。那他这块的实现的话就是 g p d 五点二的实现,我认为肯定是没有 cloud 的 这边。好的哈,那他这边的话是写了一个函数, 然后他从我传给了他的一个 hander 里面去获取,用 python 的 这个获取,获取它的一个属性啊,这种写法我觉得真的就是虽然有点 python 的 风格,但是我觉得这样维护性不太好。说实话 看下面代码啊,那你再来看一下 cloud 四点五写的呢,就是从这个代码就看起来很像人类写的,就是我感觉哈,就是他搞了一个积累哈,搞了一个积累之后呢,然后去重写了,就是你正常的一些应用框架的一些就是关键的函数嘛,比如这个就是我们一个请求打进来之后,他必须要走的一个就是方法啊,然后下面的话就是你结束要走的方法。 这种代码看起来就是就简单,这一点你应该都会去觉得 call 的 off 四点五的代码写的要要比这边好一点,我们有一个 acp 的 代码,就是我们所有的收口都会进到这个文件里面来去执行,那我们来对比一下这两边它的一个区别。 看到 cloud 的 这边哈,它是写了一个方法哈,一个方法的话,它是去记录你的一个操作类型时间,然后然后去调用 pro 修饰的这个指标,然后去做一些加减嘛,就做一个加减,然后做一个异常处理。 看这边啊,这边他又是从这种导入,其实这种导入我感觉就感觉实现的有点不太喜欢,那这个缺少一个日制, ok, 那 对于具体的查询的话,这一块其实大差不差吧?就记个时嘛,记个时,然后完了之后在整个最终结束的时候去埋个点, 我还是会选这种 ok, 所以 我们通过简单的一些代码的对比你就能看出来,他在这个实线上,虽然说他的那个评测分数很高,但是他的代码实现 还是没有 cloud 那 么工程化,虽然他也能完成任务,但是写工程化代码我觉得还是 cloud of 四点五要强一些,这只是我展示了就是这个项目下面的一部分哈,还有就是他真正要去集,集成到就是整个 app 里面去,其实也能发现他这边的代码就是 gpt 五点二会稍微次一些哈,那这个就是 代码层面的一个测试嘛,我们来看一下他的那个评分的一个情况哈,那评分的一个情况的话,就是我刚刚是我人为的去觉得就是我人工嘛,站在我自己的角度说,啊,卡尔的 off 四点五,然后他的写的代码要强一些,那我把两份代码都让同一个 ai, 让他去 利用美业行代码,然后最终来给出我们的一个整个的一个评分。通过这个结果看,卡尔的 off 四点五也是要比恰尔 gdp 五点二要高一点的,然后高了零点四分吧, 那它主要的话是在这几个维度吧,就是代码质量评分,就是一些模块化呀,然后一些错误处理啊,还有一些就是最佳实践啊,还有指标命名啊等等。那下面的话是一些综合性的分析,就是它还是真的是有趣,扫所有的代码,然后给出了一个 比较完美的一个对比吧,然后就是每一方都有它的一个特点吧,但我是比较,就是据我的就是一个经验来看的话,我还是比这个 ai 给的一个优势,然后恰了 gdp 五点二的一个优势, 那它也指出来两方的一个不足。 ok, 那 下面详细对比我们就不一个个的展开去看了啊,它有去做就是具体的详细对比。 那最终的结论的话, ai 也是建议就是 pro 的 off 四点五这个代码是在本人的一个测试里面是要领先的,就它这种代码工程的一个质量,以及你 prometheus 的 一个实践,以及你业务观测的一个业务可观测性嘛,它都是要优于那个 d p t 五点二了。我记得我之前有一期也出过一个视频,就是说 一个标准的一个,就是我们现在一个外部定制的一个工作流是怎样子的哈?如果有条件的话,你可以在 jimmy 三点零 pro 上去做你的前端代码哈,比如说写 ui 打地基完了之后,让 cloud 四点五去写后端做工程化,如果遇到一些代码修不了的,你可以让恰当的 gpt 去修,你可以有一个奇效哈。 所以说整体看的话,这个模型的一个能力的话,主要还是在它扩展了,就是其他行业的一个 能力吧,就是在编程这块他的提升不是很明显啊,那这个能力应该是是他们这一次提升最大的一个明显啊,最大的一个就是提升的地方吧。好,那这就是我这一期的视频评测的全部内容了,如果大家喜欢我的评测内容的话,可以给我一键三连点个赞啊。然后如果想要这一个报告以及其实是原码的,可以给我点个关注。
