大家好,智普终于发布了这个 gm 五点二这款模型啊,恰好今天 kimi 也发布了针对 kimi 二点六专门训练的 k 二点七 ko 的 这款 ai 编程模型,那这两款模型都是同一天发布,我们就来对比测试一下,看一下效果到底怎么样。 首先我们来了解一下它最基本的一个参数啊,那智普五点二官方这边是还没有发布精准测试报告啊,看不到跟别的模型到底测试的对比是什么样子的,可以看一些基础的信息。那智普五点二呢?这次上线文是来到了一兆, 然后这个 f 的 这推理级别能够支持 high 和 max, 那 k 二点七扣的目前只支持二百五十六 k 也就是最普通的。 那么我认为可能这个 k 二点七扣的是 k 米的一个前置模型,因为他可能马上要发布这个 k 三模型了,我们可以看一下 k 二点七扣的一个这样的参数对比啊,那我们可以在对比上看,是比 k 二点六是提升了非常多,因为 k 二点六这款模型有个老毛病,就是思考过度啊, 整个思考的过程比较长,那 k 二点七扣的在我测试的时候,我是发现有明显的减少这个思考的这个时间,所以说这是有个很大的改善的, 从各个维度上比 k 二点六度有个明显的提升啊,但是跟 jpg 五点五和 opus 四点八还是有差距的。那接下来我们就对这两款模型进行一个前端测试,第一个测试用力呢,是测试一下 一封信被火燃烧从开始到结束的整个过程。那这次测试呢,我基本上把 jpg 五点五和 opus 四点八还有这个国产的所有的模型都拿过来对比看一下 jpg 五点五,看一下它的效果啊,右下角燃烧,然后的话 这边的话慢慢慢的,因为这边是设定的是燃烧时间是十秒钟,要要燃烧完,然后的话你看这边这个火焰还有这个灰镜,我觉得还不错。然后其次要求是背景是有一张书桌, ok, 这是 jpg 五点五, 那我们再看一下 opus 四点八,看一下右下角,那么它这个火焰效果就差一些了,但它燃烧的轨迹还是比较正常的,然后背景也是有一张像桌面一样的这样的一个图 好,燃烧结束,然后留下一点灰烬,我觉得这个也还是不还不错。那我们看一下 k 二点七扣的那右下角燃烧, 那整个燃烧效果我觉得也是非常不错啊,跟跟这个 gpd 五点五我觉得比较像,但是它燃烧这个轨迹是不太一样的 啊,也留下了灰烬啊,我这表现也是非常不错的。我们再看一下质谱五点一就是老的模型,看一下表现效果是怎么样的啊?这是质谱的五点一啊,这个就是比较一般了,我们可以明显看到就是最新的模型和旧的模型之间的区别啊,这个火焰燃烧的效果是比较一般的。 ok, 我们再看一下这个质朴的五点二,看下五点二比五点一是不是有很大的进步,比如说这个火的效果,但这有一个黑圈不知道怎么回事,那这个燃烧的效果是比五点一有很大的进步,那在这点上是其实是你能看得非常清楚, 我觉得这个比基米的 k 二点七扣的稍微差一点啊,我们再看一下别的几款的这个国产的模型啊,我们看一下千万三点七 哦。这个火的话,好像颜色有点问题啊,但燃烧的轨迹是正常的, ok, 燃烧之后啊,它也是按照这个 在这个灰镜,哎,这个没烧完,这个还是有点问题啊。我们再看一下 mini max m 三的一个效果 哦。这个,这个没有从右下角开始烧起啊, 这个,这个完全就是 tesla, 其实已经明确要不能按照直线来烧,是按照真实这个路径来烧,所以这个 mi max m 三这次的效果是比较差的。看一个小米的模型的效果吧。 啊,这个没有从右下角开始, 其他的还行,但是没有从右下角开始好。最后一个,我们来看一下 deepsea 微四的效果。那这是 deepsea 微四了哦,这是爆炸吗?还是什么?好吧, 接下来我来进行一个后端测试。那这个后端测试内容呢?是一个简易的商城,它包含了一个商城的前台系统,一个后台管理系统,以及一个商城的 java 的 服务。那商城的业务功能包括啊,首页啊,浏览商品啊,加购啊,下单呀,参与秒杀活动啊,以及领券, 包括个人后台去看自己的订单。那么后台管理系统就对整个商城的所有的功能进行维护。那我会给每个模型啊都提供五个文档啊,一个是 prd 文档,那这个文档呢?描述了他要做的所有的功能,还有一个 design 设计文档,那这个文档就会描描述了我们的商城要做成什么样子, 那还有一个基础站,还有一个规格文档,以及我们的 cloud md, 那 么有了这个五个文档之后,就有了足够的上下文去完成这个任务。 那我们测试工具主要是使用 qq 的, 然后我们测试模型,选用下面这个模型,那接下来我们就来看一个测试的结果。三的一个上传前台,我们就主要是完成一轮下单,看一下能不能正常下单。然后这边的话我们可以看一下啊首页分类,然后我们可以点开一个商品 啊,进行加购个账号啊,登进去你加购五件啊,加入购物车啊,这边有一个这样的问题啊,一个报错,我们看下购物车里面有没有啊,他已经加进来了,说明他这是一个接口处理的问题。 我选择优惠,选择这个,我们选择商品啊去结算,那结算这边有个优惠券可以看下,这个优惠券我们可以再领一个,看看能不能 这边没有实时显示出来,我刷新一下这边有了,再回到购物车全选,然后的话结算我们选择这个满一百减二十的,看下他有没有正常的去减啊,正常的减,然后这边要新增一个地址,看一下能不能新增地址。 ok, 这边是可以的,输不了默认受不了。然后的话我们再回到购物车,然后选择全选,然后这个地址就在了,我们选使用这个券, ok 啊,提交订单报错了, 下单这个流程是没有完成的啊,他这边订单已经提交了,刚刚提示有错误啊,点去支付,这个说明他这个功能是有缺失的,我们再看下他这个后台啊,他这个加载进来就是出错,那我们看一下, 这是分类管理,商品管理,看下商品管理,然后这边有图片,然后有规格,不同的规格可以设置不同的价格,然后的话库存 啊,刚刚我们我们下单产生的库存,然后订单,刚刚我们下单的订单,我们可以看详情,那这边的话算是看不到商品的,这也是有问题,还有这个优惠券我们可以起用,起用也没问题。 这也有,这个也点不了啊,这个处理的也有问题啊,增加一个秒杀活动,先增加这个,然后再添加商品,然后选择商品,选择规格,然后再选择库存。秒杀点确定没用 它这个功功能也是有点问题啊,有点问题,提交这些东西都应该都是有问题。 ok, 那 这个就是 memax 的 一个演示前端展现,我觉得还好,就会还有一些细节要调整,大概可能要还需要五轮对话才能把这些问题都修复好。 ok, 那 这个就是千万三点七 max 的 效果,这个页面我感觉就是会比刚刚的会舒服很多。我看一下商品的详情页,你看这个商品详情页还是不错的。加购能不能加购?好,要告诉我们要登录,我们再回到首页,然后秒杀页面,然后抢购 要求我们登录。 ok, 我 们可以先登录一下,走完我们流程,我们看一下账号有没有啊? ok, 好, 选择一个规格,然后的话点击加入购车。好,已经到这个购车了,再选择这个商品 去结算。那这边我已经添加好地址了,那这边他是可以去添加地址的,在这边有一个地址的添加,专门有一个后台地址的添加,回到这个购车里面去 选择, ok, 然后点下提交,然后下单成功,在这边能看到详情页, ok, 所以 他这个流程就通了,就刚刚第一轮我在测试时其实也添加了这些订单,说明这个流程是通的,但是他这个优惠券看下能不能给他正常的去领取和这个使用。那我在这里的话是专门来领一个这个满一百九十九啊,减五十,但是现在点了领取之后 没反应,应该有个提示的,然后这边已经领到了啊,满一百九十九和满九十九,那我们去加选择一个商品吧,这个商品一百九十九,刚好 我们加入购物车,然后我们去购物车里面去看一下下单,然后的话那这个优惠券就可以使用它满一百九十九,然后这边的扣掉,那点击下单,那个下单成功,我们看一下秒杀商品能不能正常下单啊,然后我们去这个秒杀区域 选择这个商品,那秒杀商品他没办法去选择塑料,然后的话二十五,然后点击提交 啊,秒杀上面就有问题,他这边下不了单,这是也是他的一个 bug, 我 们再看一下他这个后台登录一下, ok, 这就是后台了啊,分类管理,有图片的商品管理,然后的话是包含了这个规格的 描述,然后库存流水,刚刚我们在下单的啊,订单,我们看一下订单啊,他这边显示的还是有点减弱发货,我们凑凑看能不能发货, 随便选一个 ok 优惠券,然后看能不能禁用啊,他这个能禁用秒杀活动,他能编辑商品吗?添加商品 啊,他这个还要自己去选这个商品 id 啊,这个比较坑啊,快用户啊,这个千万三点七 max, 我 觉得这个前端展示效果上是不错的,后端这个功能完成度上我觉得也还可以。我们再来看一下这个 deepsea 啊,这是 deepsea 出来的一个前端的效果页面啊,也是挺清爽的哈。 然后的话我们看一下这个全部商品啊,这个也还行,那点进去看一下规格,选择规格,然后的话选择这个立即购买 啊,他这个要求我们登录,我们试一下啊,密码错误,那自己来注册一个幺三八, ok, 然后 好登进来了,然后我们看一下啊,选择一个商品,然后我们来选择规格啊,加上一个库存,点击购买,那这边的话要求我们添加地址, ok, 我 们就先添加地址,他这个还有一个是一个移动端的效果 保存啊,这个也有哎。 ok, 再回到购物车, 然后的话去结算,那这边地址就出来了,选填不行,然后我们再提交订单哦,流程是通的啊,流程是通的,我们再看优惠券能不能正常领取, 去领取一个优惠券, ok, 领取优惠券,然后的话我们看再看一下,这是满一百减十的,我们看一下秒杀能不能哦,秒杀看不到商品了,有个问题,应该是秒杀,这边展示应该有个问题, 然后我们再回到正常的这个商品里面去,然后选择规格,然后的话选择这个九个吧,然后的话加购物车, 然后去购物车里面,我们再去看一下能不能触发这个优惠券,哎,优惠券能够正常触发好提交订单,减了十块钱去支付, ok, 最前整个前端功能展现上还是不错的,就是功能还是都是起火,除了这个秒杀没办法看之外,然后我们可以看一下我的订单, 然后他这个个人中心的功能是缺少的,比如说地址啊,他需要去在下单的时候去触发,是管理不了的,我们再看下他的后台。 好哦,这边是分类管理, ok, 改能改成功。商品,我看一下商品啊,这边规格都有, 库存,库存流水,订单详情,这边都能看到详情信息,然后的话这边但是操作不了,操作不了,这边是在这里等操作, ok, ok, 哎,添加管理,优惠券管理,那我们看禁用,能禁,哎,这也是能禁用的啊。秒杀管理,我们看下能不能添加商品。添加秒杀商品啊,这个是做的很不错啊,我觉得是做的很不错的, 秒杀就必须大于哦,添加免单商品添加不了,这有个问题,那用户管理 那 deepsea 这个表现我觉得也非常不错,就是它这个功能还是挺齐全的,除了一些啊秒杀的商品看不到,然后这边添加秒杀也也也操作不了, 那其他功能都正常好, ok, 我 们来看一下小米,那小米这个前端说实话是所有的模型里面我觉得是表现的最不好的,而且这个还是我经过专门的这个修复,就是让它 根据我们的 design, md 啊,又重新跑了一遍这个前端的一个优化,优化完之后还是这个样子,不知道怎么回事。然后的话我们看一下功能啊,然后的话这是首页,这边是分类,然后我们是商品,我们点进去看一下,看一下功能能不能全,然后点抢购。 呃,这边是四零三,那就我们再登录一下,看一下能不能去触发这个,然后我们看一下这个账号能不能登录,不能啊,我们注册, ok 啊,注册成功,我们走一下这个下单流程,我们选择商品,然后加购,选择规格,然后加购,然后加到购物车,然后去购物车里面,然后我们已经有两个商品了,然后去结算 啊,这边提示我们去新增地址,新增地址,但是我们这边没有新增地址入口啊,看不到,不知道怎么回事。我们再看一下这个秒杀抢购, 点击抢购,然后呢?直接下单成功了,那抢购是下单成功,但是这个收货信息是没有的,所以说这个就是流程上有问题啊, 然后我还发现他这个键没有优券中心啊,没办法,领券这功能也是缺失的。 ok, 我 们再看这个后台管理系统,我们选择阿德密,然后阿德密一二三登录好,然后分类管理,没问题。商品管理,我们看一下规格有没有哦,这个商品的信息是缺少了规格这部分 取消订单,看一下,等下发货,这个订单也看不到这个详细情详细信息, 这订单也看不到详细信息。优惠券,那这边在我们的这个前台也看不到。使用经验是正常的 啊。秒杀,然后这边的话也没办法去添加商品啊,就它这个功能还是缺少比较多,缺少比较多的功能,我们看一下智普五点二,这是首页分类领券啊,这个领券页面还在前面,那这是秒杀, 这是商品的这个推荐啊,我们可以点一个商品详情看一下。好,这是规格,然后这边去加购啊,购买啊,这边要登录啊,我们登录一下,然后我们点击领券领取啊,这个领取之后没有任何的变化 啊,看到了我们领的这个券,然后的话我们再回到这个分类里面去选择商品,然后选择规格,选择数量,然后立即购买,然后就会到这个立即购买页面,然后我们去选一张券。好,这个券已经触发了提交订单 啊,这边有个模拟支付,点击模拟支付 ok, 支付成功,那我们去看一下我的订单里面有没有 ok, 就 这个能看的详细,那整个流程是比较的顺畅的,然后再看看秒杀,然后再去抢购, 然后的话我们选个选择一个抢购,抢购的话是可以直接去确认订单的,那么在这个下单过程中发现有个问题,就是他的这个收货信息啊,是斜死的, 没办法去编辑,所以这一块是缺少了一个功能,就是维护用户的这个地址,其他的都是非常好,非常不错啊。我们再看一下他的后台功能, 那后台功能就这样子,然后有一个这样的数据的这个查看,这是唯一一个看到用图标来表示我们这个数据趋势的,因为其实每一个模型拿到的文档都是一样的,然后做出来的效果都是不太一样,那这个我觉得是最好的。 然后分类管理啊,商品,然后我们去看一下有没有做规格啊,这边是有个规格的一个展示,那这边也可以去添加这样的规格啊,库存,库存,流水订单,我们可以看一个订单有没有去啊,右边有个点发货啊,我们可以看详情页啊,有详情页 好,点击发货,好,我们可以随便输一个, ok, 我 们点击发送好,这边是带收获,那状态也是正常的啊,优惠券,我看一下优惠券起用进用是不是正常。 ok, 这边是正常,那我们再看一下秒杀, 秒杀我们可以看到商品,它可以是可以单独去添加的,这个非常非常不错,唯一做的不好,这个商品的选择如果能用下拉宽选择就更好了。 然后用户管理啊,整个过整个所有的系统功能是挺完整的,就缺少了这个地址管理啊,还有这个一个啊,秒杀的这个商品的一个快捷选项 啊,接下来我们看一下 kimi 的 k 二点七扣的啊,这是啊, kimi k 二点七,那这边是秒杀,我们可以忽略这个图片啊,因为我没有去维护这个图片地址,那他应该这边是做了一个这样八能,那是唯一一个把首页有这种八能滚动条的啊。商品, 然后秒杀商品列表,我们可以点一个商品进去看一下实际效果。主要是看这个规格啊,规格选择啊,购买好提示,我们要登录,输入手机号,然后输入密码。 ok, 我 们登录,我们再接着去购买,选择规格,然后选择立即购买哦,这边啊已经报错了,没办法继续往下了,我们看一下能不能去领取优惠券啊,这个优惠券的页面也是没有的, 然后的话,我们看一下秒杀的商品能不能正常的加购啊,这个点了也没有反应啊,选择啊,抢购 啊,收货地址,但是收货地址又没有增加的地方,这边还是缺少功能。 ok, 我 们再看一下这个后台啊,这边是一个数据展示分类商品,我们还是一样,看一下有没有规格 好,这边规格名称没有显示啊,这也有点问题,然后库存管理,库存流水订单,然后查看详情啊,这边因为我们是没有下单成功的优惠券,我们看一下能不能启动禁用啊,这也可以啊,这也是没问题,秒杀管理, 然后我们添加商品啊,这边是可以这样选择的啊,稍微好一点,但是名称没有,名称没有啊。 ok, 添加活动 id 不 能微空啊,这个也是有问题,没办法添加。那以上就是所有的测试了,那针对以上的测试呢?我就有一个表格,从这个总体的耗时以及功能的完成度, 然后呢还有纯前端,也就是我们第一个前端测试例子,以及包括第二个我们的这个,这个所有的这个强弱端的功能的完成上,我们来进行一个整体的排名。 那 kimi 二点七扣的在纯前端呢,我觉得是表现是第一的啊,除了 oppo 四点八以及 gbt 五点五之外,它属于国内的效果是最好的,但是在前后端这个测的五测试维度上啊,完成功能完成度是缺少比较多的,而且有一些问题,所以说我把它排到第四名。 那智普的五点二呢?啊,纯前端和前后端都属于都排在第二,所以整体走完这个表格之后,我得到一个这样一个总结啊,我觉得千万三点七 max 和智普的五点二综合能力上,我觉得属于国产模型的第一梯队,也就是他们这两个模型在我的这个测试里面是 属于排在第一的。 kimi 的 二点七 ko 的 以及 mate 三 v 四 pro。 我 觉得他们三个差不多各有优劣。但是当我们的多人绘画复杂度上升之后, 具有一丈上下文的表现会更好一些。比如说质朴的五点二, min max m 三或者 double six v 四,它们有一丈上下文,所以我会更不容易触发。这个对话的一个压缩表现的效果会更好一些。其实现在所有的模型能力都非常不错,能够稳定运行至少一个小时以上。最后我再重点强调一下, 我这个案例的测试结果并不代表权威啊,因为模型的测试可能是要多次多轮去测试,同一个案例可能对同一个模型进行多次重复的测试之后,每一次的结果可能都不一样,所以说这个测试仅代表个人一个测试结果。 ok, 那 本视频到这,希望这个视频能帮助到你。
粉丝4.1万获赞18.7万

大家好, dbc 终于发布了这个 v 四版本,那我们来看一下这个 v 四版本到底有什么内容。那么这一次呢,发布了两个型号,一个是 pro 吧,一个是 flash, 那 flash 就是 快速模式, pro 就是 专家模式,那两个型号都是有一兆的,这个上下文也就是一百万,那么这是一个非常大的一个上下文了, 这边也提到了一个 a 级的能力啊,比前面都有非常大的提升,特别是编码这个评评测里面,已经达到了目前开源的最佳水平,并且呢, deepsea 公司内部已经开始使用这个 v 四来作为一个编码的一个工具了,然后体验是比双 ice 四点五 要更好,但是这边也很诚实的说出,就说仍然是跟 oppo 四点六思考模式下有一定的差距的,那么这个是很少有,就是很诚实说出自己的差距,好在哪,不好在哪,我觉得这个是非常不错的。那这边也列出了一些参数啊,我们来跟现在的这个 kimi k 二点六和这个智普的五点一,我们来对比一下它的这些参数,特别是在编程这个层面, 比如说这个啊, sweetbench 里面,目前可以看到 deepsea v 四 pro 是 在这么多款模型里面是排在最后的,那么在多语言这个排行榜里面,那这个指数也是排在这个倒数第二位,也不是算太高。所以呢,从这些参数对比上来看的话, deepsea v 四 pro 应该不算是说最好的,但是也不会太差。那这边还特别强调了啊, deepsea v 四对 color code, open color 和 open code 的 这些编程工具啊,都做了一些适配和优化,那目前在成本上啊, deepsea pro 的 话,输入是一元啊,为 那缓算未面中的是十二元,那这个成本其实也不算太高,但也不低啊,那 flash 这个型号的话,那啊这个成本就非常低,那特别要强调这边说了一句话啊,就是目前 pro 的 这个服务吞吐量十分有限, 那么在下半年的时候,申腾九五零上市之后,这个 pro 的 价格会大幅下降,其实这句话其实也说明就是 deepsea v 四为什么这么迟没发版,所以说是非常非常不错的一个 勤俭的一个方向,所以说下半年之后他应该会大幅的去调价格。 ok, 那 我们就试一下这个 v 四和 kimi k 二六以及智普的 gm 五点一在编程来做一个对比的测试,看一下到底是什么样的情况。那我们这次测试呢 啊,是要做一个稍微复杂点的企业官网的 cms 系统,那这个系统的话是可以在后台去设置企业的模块,那么这 设置完之后可以在企业里官网去预览这样的效果。那么我这边也是用 ai 做了一个这样的 mvp 版的这个产品 pid, 那 么有详细的这个需求描述以及页面的描述,功能描述和模块的描述,那整个产品的话模块数量有十个,然后我们测试的目标是总共花一到两个小时时间开发加调试, 那希望这个系统的完成度在百分之七十以上,也就说允许它是一个不完整的系统,但是大部分功能都要完成。那测试工具呢? dsp v 四 pro 使用的是酷狗酷,那 kimi 的 话使用的是 kimi c i 那字谱的五点一也使用的 clock code, 那 这个所有的这个工具啊,都使用了 agent skills 这个工作流,那完成 spike 到开发实施的这个完整的过程,那 agent skills 这个工作流的话是包含了啊,生成规格文档、 spike 以及生成具体的计划,然后去执行 编码,然后的话去进行验证,然后去进行 view 和发布。那我们这一次主要用的是前面四个阶段,也就是 spike 计划,也就说是规格计划执行和测试。那 deepsea 这边的话是,呃整个过程全部完成了,然后它也进行了很多这样的一拖一的测试啊。因为在我们的这个 p r d 文档和生成的规格文档里面是要求它进行一个端到端的测试,所以这边的话是测试的比较多, 这样的时间花了比较多时间去做这样测试啊。然后,呃,因为这个测试也发现一些问题,他自己也修复了,那最后呢?这边任务全部完成,然后测试也全部通过,然后也发现了一些问题啊,让他来去修复,那前面这边都是在修复问题,直接描述告诉他,然后也是一次过, 然后它这边修复完之后也会自动去进行一个啊端到端的测试。首先我们来看下这是这是 kimi k 二点六跑出来的效果啊,我们登录一下,那这边是这个是有真实的这个后台数据的 登录,然后这边的话是可以选择模板,这句话是可以选择模板,比如说选择这个模板,然后就可以去配置信息,比如说这个乱乱写的这些信息都是乱写,都是可以保存的,那页面的话,这边显示这么多页面, 那你也可以关闭这些页面的展示,然后我们可以先预览一下什么样子,你看这个就是他做出来的一个官网公司介绍,我这个每一个页面都有对应的这个信息的维护啊,比如说我们现在去维护一个这样的一个案例,那么我们可以在这边可以看到案例, 然后的话你是可以去新增一个介绍,这边还有一个副本,然后保存, 那么我们在我们这个官网里面就能看到案例啊,这边是有张老板这个案例,那么首页这边也是可以去维护的,专门有一个首页的一个模块管理,比如这个八条,那这边我是已经编辑好了的。 然后的话还有这个企业简介,也就是针对的是这个首页的这块的描述,还有什么公司介绍呀?那这边也会是有这个去编辑去去做管理,也就整个是一个一个 cms 化的,可以做出比较通用的这种企业官网。 这功功能还是有七八个、十十来个功能嘛。好,这个是 deepsea v 四 pro 生成的,界面还是非常干净清爽的。然后这边的话是主要的功能控制台,然后的话模板选择,我们这边先随便选一个站点设置,然后我们改一下测试公司, 然后的话是 logo 图,我们就随便选一个吧。 ok, 然后这边还有这些信息随便填, 就是基本上所有的提交功能都是真实的访问到数据库的,所以说是没有问题的。保存模板的话,我们可以随便选一个模板切换模板,然后我们可以在这边可以做进预览,这个就是他的一个做出来的一个效果,他这边做出来的预览的效果,然后我们继续可以去编辑页面,比如说这个页面的管理首页, 然后顶部横幅,那这边的话是很好的去完成了,可以去设置这样的图片啊,就他是什么呢?他是第一轮需求就已经完成我们要叠带的功能,所以说这个方面是表现非常不错的。 然后的话还有一个就是他可以去编辑任何功能都可以去编辑,然后去新增也好,去更换也好, 然后这边的话它还有一个非常不错,就是说所有的信息都有一个草稿的状态,然后这其他两个模型是没有考虑到的,在我的 p r d 里面也是没有提到的,它相当于是自己发挥了一个这样的一个功能,一个草稿的状态。 然后的话整个预览也是很正常的,就是你可以看到不同的信息,但是这个东西点不了详情页,那么在智普五点一他就做到了,就是能够去查看这样详情页,说明这个他会考虑的更多一些。就智普这个比这个 double c 又稍微考虑多了一点点, 但是也也是,但是他但是他是花了一次迭代之后,但是呢他但是呢他比一四会多花了一次迭代,那其他功能都是正常的。那我们再看一下智普五点一生成的这个 cms 后台系统,我们也是一样也输入账号密码才能登录 好。 ok, 那 这边的话我们看一下有什么功能。仪表盘好,它这边有一个仪表盘,它还有个快捷键,就是从这个体验上比这个提米调点就生成效果好一些。站点设置,然后我们随便传一个公司 logo, 随便点, ok, 保存好,然后呢我们再看一下这个页面管理首页, 哦,他这个也是可以去做这个轮播图,我们也加个轮播图吧,然后的话他这个轮播图他还有一个这样的一个效果,就是可以去跳转链接,然后我们来预览一下, ok, 然后他这是有一个滚动的 ok, 然后这边的话有其他的信息,那么他这个页面管理做的是非常不错,比如关于我们这个页面,他会有很多信息快按快的。 那我们在预览的时候,比如关于我们他是有很多这样的模块,那么在模块里面就可以在这里面去填充内容,那比如说产品服务,那我们可以找到产品服务这个页面,产品服务他这边包含了固定的信息,比如说图片啊,然后他也是可以去选择已经添加的产品列表,比如这里面这个就是已经添加的产品列表, 就他这个做的更完善一些,比这个 k 二点六做的更完善一些。比如说我们先保存起来,我们再去这个产品服务这里面去看, 那么就能可以看到很多这样的信息,那么你也可以在这边设置一个 bug 条 bug 图,那么总的来看的话就是,呃,整个任务数上 就不一样,就是 dp 个 v 四,它通过 agent skills 生成任务只有十七个,这个让我有点奇怪啊,我怀疑是它在使用这个技能上,好像是有,是不是有点问题,不然不会相差这么大的,或者说理解我们的 p r d 上,但是它完成又功能都完成了,这个是让我一直到现在还没有想明白是怎么回事儿。 然后前端 ui 的 话,比这个 kimi 和这个智普,我们在没有任何前端技术的情况下会稍微长一点点,那花的时间也也不算短,一小时三十分钟左右。那这个是在自动化测试这里花了比较多时间,它因为它 经过了三轮自己的测试,然后修复了好几个问题。那 bug 数就是我自己自测的 bug 数大概有个六七个左右。那迭代的话,它是没有迭代,因为我们迭代的功能商,它做首页的那个 bug 管理它,它第一晚就做出来了,所以这个非常不错。 然后 kimi 这边的话和智浦这边都是三十三个。然后完成度的话, kimi 这边功能完成度稍微差一点。那其他的都是啊,它的主要是它的速度非常快,因为我们可能是用的是 kimi c i 的 这个原因啊,它完成速度非常快,第一版 那总共完成时间也是非常非常快的啊。最后我们来总结一下,从这个结果上看啊,就 dbc 个 v 四啊,用较小的任务数完成了其他两款模型一样的效果啊,一个是十七个任务,一个是三十三个任务,但是不知道为什么会这样, 那整个页面的交互和完成度也是非常高,包括前端的展现,还有他自己考虑的草稿什么的,所以说我觉得是非常不错的。 然后他的表现,就整体的表现来看,我觉得他是介于这个智普的五点一和 kimi 的 k 二点六之中间,可能他的三者在不同的任务上可能会有他面临一个幅度的调整,但是我觉得这两个三款模型差距不会太大,差距不会太大, 但是呢 deepsea 微四目前没有看到这种图片识别视觉的这个能力啊,那另外两个模型都是具备了这样的能力,这也是一个,这是一个差距。 而且呢还有呢就是 deepsea 目前调用的成本是过高的,那我们可以看一下,我完成这个任务大概消耗了三十二元,大概消耗了三十二元, 然后的话 token 目前这个调用成本跟同类的其他的模型暂时是没有优势的, 所以要等下半年他换了这个深腾的芯片之后可能会更好一些。 deepsea 线可能会引入这个外部的投资,那更加的上下化一些,那么他的模型的发版速度也是会非常快的,所以说是非常值得期待的他的下一个版。 ok, 本期视频就到这,希望这个视频对你有所帮助。

就在刚刚, ai 编程界的榜单被一个国产开源模型彻底改写了。智普 glm 五点二在大模型盲测平台 arina ai 最硬核的 cold arina 测试中,一举轰下一千五百九十五分,超越所有对手, 拿下全球第二,仅次于闭源的 cloud 飞波五。同时,他毫无争议地登顶开源界全球第一。但真正让海外技术社区瞬间沸腾的不只是这个分数,而是紧随其后的一句话,全面开源! 而瑞典官方称之为令人难以置信的里程碑。而在我看来,这件事最核心的信号只有一个,全球 ai 编程的愈三家格局彻底变天了。 过去默认的三巨头是 cloud open ai 和谷歌,但这一次, glm 五点二用榜单成绩硬生生把谷歌的 gemini 挤了出去, 新预参加变成了 cloud openai 和智谱。更让人意外的是,在专门评测模型审美和品味的 design arena 上, g l m 五点二直接拿下全球第一。代码强就算了,品味还好,这就有意思。 国外知名博主 ai code king 内测完评价很直接,这个模型品味出色,代码始终非常干净,我让他微调一个完整的本地模型,三十分钟搞定,全方位表现优异。国内内测社群的反馈也出奇一致, 有网友直言,这是国内第一款在我工作流上达到 opus 级的模型。甚至有人在知乎说,下周你用中转站调用 opus 时,如果对方其实是 g l m 五点二冒充的,你可能根本分辨不出来,甚至表现更好。官方 bug 还没出权,但就目前开发者自己跑出来的数据和体感来看, 确定国产第一这个位置, g l m 五点二坐得稳,第一时间拿到内测资格后,我们上手实测了几个硬核场景。第一个是寻路算法,可适化器、 a 星、 dexra、 bfs 三种算法一个都没搞混,连优先队列都是自己手写的,不是拿现成库糊弄。最狠的是分屏对比, 两种算法同时跑,各走各的路,各算各的数,画面五颜六色铺开,状态一乱,就会全部串台。但它没乱,六套逻辑塞在一个文件里,算法动画、交互、对比、统计迷宫生成,从头到尾不打架、 coding 和长上下文的真功夫就体现在这种地方。 接着测完整代码库理解,我们把 github 上知名的低代码平台 appsmith 整个项目丢进去, 让他扮演资深架构师,梳理架构,找出讹合最严重的地方。 g l m 五点二精准识别了项目的 monoraptor 结构,划清了前端后端插件的调用关系和数据流,还指出了三处最关键的讹合点,比如后端的某个核心实线类过于臃肿,成了系统瓶颈。对比另一款强力模型 codex, 它的答案像一份漂亮的技术 ppt。 而 g l m。 五点二给的是一份可以马上执行的工程体检报告, 一个是好看,一个是能用高下立判。跨文件追 bug。 这一关,我们换成了 open web ui 项目,描述了一个线上诡异 bug。 g l m 五点二没有给加个日期重试一下这种敷衍回答,而是直接锁定核心前端在转发 s s e 数据流时,对数据分片的方式有问题,导致后端无法正确解析完整事件。它不是猜,是把整条调用链串起来破了案,最能说明长任务不忘事的是这一个。我们一句话扔过去, 做一个专业级的 html 音乐合成器工作站, web audio 零依赖。然后他就开始干了,不是几分钟,是整整四个小时,一口气没人插手。 他自己写代码,自己组建二十九个 review 智能体,从四个维度挑毛病,揪出十八个 bug, 全部修掉,还跑了 headless、 chrome 自动化测试,验证完整音频链路 自动测试,甚至抓到了一个 review 都没发现的致命 bug, 他 也自己修了。最终交付十七点七万 token 的 工作量,一个回合完成。 这就是 e m 上下坟的状态,全攥在手里不丢。甚至我们把一整月几十万 token 的 服务器日制全塞进去,让他揪出一个月前埋下的雪崩苗头。五月二十八日的雪崩,谁都看得见,但 glm 五点二把根音一路倒推回了五月三日第六百六十一行那条连接池,等待警告。 那条警告当时自愈了,淹没在几千条日制里,毫不齐眼。月末爆发时,他还能精确引用到月初的原始行号和时间戳,把连接池满载慢性积累彻底耗尽,极简五零三串成完整的因果链,短上下文模型跑到日制尾部,开头那条火种早就被丢弃了。 他只能告诉你,崩了,给不出为什么崩。当然, e m 上下文不是所有任务都需要改个小函数,补个简单脚本,只给必要文件反而更快。但整库理解、跨文件追 bug、 长期重构复杂功能、新增超长文档审阅,这些才是他的主场。 glm 五点一已经能连续自主工作八小时,但再往前推,绕不开一个坎。上下文,一个干几小时活的智能体,要经历数千次工具调用,读写几万行代码,攒一大堆中间状态。窗口不够长,就得不断压缩丢弃 很多长任务翻车。不是模型不够聪明,是它忘了。所以 em 上下文真正的意义,是让模型把整个项目一口气吃进去,代码、决策、约束全记着,从头到尾不丢东西。 现在标称 em 的 模型不少,但用过的人都知道,喂是喂进去了,记不住。很多模型过了二十五万 token 就 开始失忆。上下文越长,算力和显存烧得越猛。智普从底层结构下手,用一套注意力层面的创新组合拳,把 em 长度下的效果衰减和推理成本一起压了下来。 这一串测试下来,我最深的感受是, ai 编程竞赛已经换了赛道,以前比的是谁能更快写一个贪吃蛇,现在比的是谁能在一个几万行代码的项目里不出错的完成复杂需求。这就像从做一道菜进化到经营一家米其林餐厅。上下文长度不再是参数表上的数字,而是真正的工作内存。 在全球 coding agent 进入硬核长城工程阶段后,开发者正在形成三类主流选择, cloud code 代表闭源体验的上限, openai codex 代表体系下的智能体路线。 而 glm 五点二代表的是另一条同样关键的路,开源长上下文,面向真实工程任务的底座。 这条路线的价值不止在于国产模型能写代码,更在于当 ai coding 进入大工程阶段,很多团队需要私有化,需要接入自己的工具链,需要读内部代码库需要在成本可控的前提下稳定工作。开源长城 coding agent 正好补上了这块拼图。 智普给这次发布写了一句话,下午被 ai 圈刷屏。前沿智能不该只属于少数人,也不该被少数规则随时收回,它应该开放可用,可构建服务每一位开发者。这句话听着格外实在。 如果说前一阶段的 ai code 比的是谁能更快写出一段能跑的代码,那下一阶段比的就是谁能更久地待在项目里,理解它,记住它,改动它,并且不把它弄坏。 国产开源模型的竞争已经不只是在榜单上追分,而是在进入真实开发者工作流,进入 ai, 抠进最硬核的牌桌。 这张牌桌上, glm 五点二终于有了一个清晰的位置。看完本期视频,说实话,你觉得自己目前用的编程模型最大的痛点到底是不够聪明,还是记性太差?欢迎在评论区聊聊你的真实体验。

大家好, k 米最近发布了这个 k 二点六版本,这个版本号称是在编码这个维度做了很多优化,那质谱在前段时间也发布了这个 g m 五点一,那么在编码长任务上也是非常有特色,如果给一个比较复杂一点的系统,给到这两款模型, 那谁最终跑出来效果会更好呢?那本期视频就带大家一起来对比测试一下。那首先这两款的特色啊,宣称特色,比如说啊 智普的这个五点一啊,主打是长绘画保持优化,那么 kimi k 二点六呢?主打是 ag 的 蜂窝化、规模化,那么两者看起来是不一样,其实底层的意思都是一样,就是能够能够长时间的去精准的去执行任务。 那么我们来看一下具体的这个编码的维度对比啊,比如说这个 kimi k 二点六,在这个 three 半期里面是百分之五十八点六,那么智普五点一稍微差一点点, 那么在这个终端编码上,两者也是非常接近的,虽然说智普会差那么百分之三左右,我们再把这个 oppo 四点六拉过来对比一下, 那么在这个 sweet 版型里面,这两款模型都是号称超过了这个 oppo 四点六,那这个终端编码上,那么智普五点一稍微差一点点,我们再把这个 j p d 五点四拉过来对比一下, 那么就是目前来看啊,所以半起那这两款国产模型都超过了这个 g p d 五点四了,然后的话啊,这个终端 a 键的编码上,那 kimi 这边是领先第一位, 然后再把三点一再对比拿过来看一下,那所以半起这个维度,那么 kimi k 二点六是领先的,然后其次是质朴的五点一,那这两个模型跟国外的这几款主流模型对比, 那么在这个 spring 里面都表现的非常优秀啊,参数上都是有一个领先的一个呃,地位,那我们就来实际测试一下,看一下效果到底怎么样的。这测试呢,我们测试一个稍微复杂的一个企业官网的 cms 系统,也就是说 我们可以做一个通用的企业官网,然后呢在后台去设置不同的模块,然后去前台可以预览各种各样的信息,然后还可以选择模板, 那这边用 ai 讲的一个 p r d 文档啊,那功能的话是非常多的,大概有累计,大概有这个功能的模块大概有十个,那这边有十个模块, 然后的话我使用这个 agent scares 这个工作流,然后把这个项目啊 prd 拆分成拆分出来的具体的模,那个任务数啊,大概有三十三个,也就这个任务的数量有三十三个,我们要的目的就是让这两款模型啊七七米 k 二点六和质朴了这个 gm, 五点一能够很顺利的去完成这三十三个任务,然后把这个系统跑出来,然后我们的目标是啊,我们的目标是总共要花的时间大概一到两个小时,然后开发就要调试的时间, 那最终完成度希望能达到百分之七十以上,这是我在做测试之前的一个目标。那测试工具,那 kimi k 二点六,这边我使用的是官方的这个 kimi 的 ci 这个 ai 编程工具啊,那质谱的五点一,我使用的是 clock code 的, 然后两个工具都会使用 agent skills 这个工作流,然后完成 spec 到开发实施的全部流程,那这个工作流是非常好用啊,然后它会经历这么六个阶段,一个是 啊,根据你的需求去生成规格文档,然后再去生成计划,然后再去执行这样的计划,最后去进行 type 测试,然后再去进行 review, 然后再去发布。那么我主要进行的是前面四步,也就是说规格计划、实施和验证这四步, 那么这两个编程工具我都安装这个 agent skills, 那 用这个 skills 去跑这个 prd 生成具体的这个词,也有前面的三十三个任务,那么测试结果是什么样子呢?我们来看一下。首先我们来看下这是这是 kimi k 二点六跑出来的效果啊,我们登录一下,那这边这个是有真实的这个后台数据的 登录,然后这边的话是可以选择模板,电话是可以选择模板,比如说我选择这个模板,然后就可以去配置信息,比如说这个乱乱写的这些信息都是乱写,都是可以保存的。那页面的话,这边显示这么多页面, 那你也可以关闭这些页面的展示,然后我们可以先预览一下什么样子,你看这个就是他做出来的一个官网公司介绍,我这个每一个页面都有对应的这个信息的维护啊,比如说我们现在去维护一个这样的一个案例,那么我们可以在这边可以看到案例, 然后的话你是可以去新增一个介绍,这边还有一个副文本,然后保存。 那么我们在我们这个官网里面就能看到案例啊,这边是有张老板这个案例,那么首页这边也是可以去维护的,专门有一个首页的一个模块管理,比如这个八条,那这边我是已经编辑好了的。 然后的话还有这个企业简介,也就是针对的是这个首页的这块的描述,还有什么公司介绍呀?那这边也会是有这个去编辑去去做管理,也就整个是一个一个 cms 化的,可以做出比较通用的这种企业官网。 所以功功能还是有七八个、十十来个功能嘛。我们再看一下智普五点一生成的这个 cms 后台系统,我们也是一样要输入账号密码才能登录 好。 ok, 那 这边的话我们看一下有什么功能。仪表盘啊,它这边有一个仪表盘,它还有个快捷键,就是从这个体验上比这个提米调点就生成的效果好一些。站点设置,然后我们随便传一个公司 logo, 随便剪, ok, 保存好。然后呢我们再看一下这个页面管理首页 啊,它这个也是可以去做这个轮播图,我们也加个轮播图吧,然后的话它这个轮播图它还有一个这样的一个效果,就是可以去跳转链接,然后我们来预览一下, ok, 然后它这是有一个滚动的, ok, 然后这边的话有其他的信息,那么他这个页面管理做的是非常不错,比如关于我们这个页面,他会有很多信息快按快的。 那我们在预览的时候,比如关于我们他是有很多这样的模块,那么你在模块里面就可以在这里面就填充内容,那比如说产品服务,那我们可以找到产品服务这个页面,产品服务他这边包含了固定的信息,比如说图片啊,然后他也是可以去选择已经添加的产品列表,比如这里面这个就是已经添加的产品列表, 就他这个做的更完善一些,比这个 k 二点六做的更完善一些。比如说我们现在保存起来,我们再去这个产品服务这里面去看, 那么你就能可以看到很多这样的信息,那么你也可以在这边设置一个 bug 条 bug 图,那就要进行一个测试的总结呢,就是比如说模块完整度啊,我认为 k 二点六比这个智普的五点一啊稍微差一点点, 因为这部五点一相当于他对于同样的需求,他会思考了更多,他会啊更加的成熟化一些,他做的一些功能比较有利于我们去维护这样的系统,所以说,所以说你可以认为他的思考深度啊,完成度会比这个 k 二点六高一些。 那么前端 ui 其实两个都做的很差,很大家也看到这个效,这个前端的这个展现是非常差的,我没有用任何关于前端界面的一些提示词, 完全就是一个非常直白的一个 p r d 文档,是没有任何的这个界面的描述的,所以让他自己去跑,他只跑一个平均分,这两者其实是都差不多,非常一般, 他第一版完成的时间这个是相差非常大的,这也是我非常震惊的。那么 kimi k 二点六,我在使用 kimi c i 去完成第一版的时候,就把所有的功能都跑出来,但是是有问题的那一版,那么 kimi 这边三十三分钟就做完了, 大概三十三个任务,三十三分钟就完成了,那智普这边五点一,大概花了一小时十五分钟,而且经常中断,很有可能就是因为现在智普这边算力紧张,经常会请求会会有卡住,我不得不把它终止呢,重新去开始。 那总的 bug 数的话, kimi 这边会多一点,大概七个,那智普这边稍微少一点,大概五个。然后我又对这个功能进行迭代,比如说我对首页的管理, 比如说我对这个首页这个模块的管理啊,这个是我新增的功能,两个模型完成的都还行, 那,那么这个智普会稍微好一点,那时候都完成了自己的目标。但是智普总是比这个 kimi k 二点六啊,稍微成熟一点,就特别像 两个人一样,就是他好像工作经验稍微多那么个一年左右那种,那种意思。那总共完成的时间也就是现在到这个演示的版本,那么总共时间是 kimi 是 花了一个一个小时三十分钟, 然后智普这边是花了两小时十五分钟,然后这个系统他做出来可以马上使用,肯定还不行,还需要去调整页面啊,还需要去进一步的测试,但是他其实已经完成了我预定的目标,就是百分之七十左右 已经完成了,在这么短的时间里面,能够完成一个这个十十个模块三三个任务的这个我觉得这个代码量的这个系统我其实非常非常不错,真的是非常不错。 整体表现来看,两款模型的能力上是非常不错的,而且他是一个长时间执行,我是没有任何去干预的,因为我是开了最高的权限,然后的话智普五点一稍微比 kimi k 二点六稍微成熟一点点,就是相当于多工作了半年,然后他做出来东西会更加的这个人性化一点好一点。 那 timi k 二点六这个速度非常快,可能是我用的是他们自己出的这个 timi c i i 这个编程工具啊,速度真的非常快,那种刷刷刷的那种,那种感觉啊,就是,呃,非常非常顺畅,所以总体来讲就是我,我对这两款模型我觉得是非常非常满意的,因为我们毕竟跟国外的 最好的模型,比如 cloud office 这样的模型是有差距的。这个这个我觉得是没必要去隐瞒,我觉得是有差距的,有差距没关系,我们去追上去,基本上你再有提示词,再有这种约束,你再安装一些技能,你自己 去把整个的上下文管控好,那么模型输出这个效果是差不了多少的,所以非常非常推荐大家去使用。这两款模型到底能怎么样的? ok, 本期视频到这,希望这个视频对你有所帮助。

大家好,最近国产模型好多厂商都发布了新的模型啊,比如说 me, max 啊,千万啊,那这些模型里面谁表现的最出色呢?本期视频跟大家一起来对比测试一下。那首先声明一下啊,本次测试纯属个人,不代表权威 测试结果如有雷同纯属巧,如果有不同的意见呢,可以自行去测试。那测试的内容呢?是一个商城的功能,功能还是比较全的,那包含了一个商城的前台系统,一个后台运营管理系统,还有一个加码的服务。 那核心功能的话是有注册啊,商品浏览商品啊,加入购物车啊,使用这个优惠券啊,来秒杀提交订单,还有模拟支付以及查看订单。那后台管理的话,是可以进行商品 库存、订单优惠券秒杀活动的一个管理。所以说这个测试内容是包含了三个系统的,一个是商城的前台,一个是商城的后台,一个是我们的服务层。 那我会给模每一个模型啊都提供五个文档,那这五个文档分别包括了这个 prd 文档,也就是描述我们这个测试系统的一个具体的功能。那还有就是一个设计文档,那这个设计文档主要是给商城前台定了一些设计规范, 那还有一个技术站相关的一个技术文档,然后就是通过三个文档生成的具体的这个 spag 文档,那 spag 里面是包含具体的任务以及执行的一个阶段的顺序。 那还有一个我们的 cloud md 文档,就是一个全局的约束,包含了前端和后端的一个代码规范以及一些约束,那有了这些 文档,有了约束之后,那基本上上下文就非常充分了,所以我们的测试流程是非常简单的。那我们参与测试的模型包括了以下啊, mini max、 m 三,那就使用 color code, 那 千万三点七 max 那 使用的是 code, 因为它这个 coding plan 实在是想不到,所以我只能用 code 来测试它。其实 基于我们上面的文档,我们不去使用任何的流程,不使用它内置的功能,那跟其实跟编程工具的差距不会太大,所以说这个体验上是差不多的。那 i d c 的 v 四 pro 以及 kimi k 幺六,还有智普的五点一,以及小米的 v 二点五 pro, 都是使用 coco 来进行一个测试的。 那我们测试的流程就说将以上这个文档啊,都发给我们的 ai 编辑工具啊,那不需要进行任何的这个去生成具体的计划,然后的话,模型在接收到这个文档之后,会进行一轮非常长时间的一个编码, 那这个编码之后呢,会产生三个项啊,商城的前端,一个是商城的后台,一个是后台的服务。然后这个第一轮完成之后,我们会人为启动去测试,那会给模型三到五次的这个问题修复, 然后会记录最后一次问题修复的时间,相当于我三到五次问题修复完之后,那,那这个模型的测试就结束了,那我会记录一个时间,大概花了多久?那为什么会给他模型三到五次这样问题修复呢?因为其实不管是哪一个模型啊,这么大的一个任务,第一轮之后肯定会有一些问题, 那恰好通过三到五次这样问题修复,一是考验它在上下文非常多的情况下修复问题,定位问题,它这个效率是怎么样?然后也是给到就说通过三到五次修复之后,最起码我们能够展示能够走一下基础的流程。第三个就是我们的屏比分为这个前端 u r 展示 交互啊,我们整个下单流程能不能走完,后台系统的功能能齐不齐全?那在线检查这些东西能不能处理正确,那后端 java 代码是不是遵守了开发规范,那功能开发是否齐全, 那还有就是完成任务的总的耗时,那么有了这几个维度之后,我们对每一个模型就会进行一个打分,那通过分数的排名,我们来看一下模型在这一轮任务的一个打分,那通过分数的排名我们来看一下 prd 文档呢,就是一个 一个项目的一个描述啊,这个系统的功能描述,还有包含了哪些页面,还有哪些一个这样的一个接口和路径啊,那基本上包含了前后端的所有的功能。 然后的话有一个这样的设计规范文档,就是怎么去就是怎么来规范我们的商城前台该怎么去展示,有什么样的风格,大概就是有一个这样的一个约束,然后的话有个这样的基础站,那这个基础站的话就比较简单了,就是比如前端我们使用的是 react, 然后端我们使用的是 java, 然后的话有数据库存储,我们使用的是 my circle。 八,然后这边的话会有一个这样的技术站,还有一个一些技术细节的一个推荐,那这边的话有了它之后,我们就啊不用再去选择一些技术了, 然后的话还有个 call m d 就是 我们的这个全局的开发规范,比如说前端应该是怎么去开发啊?约束,然后我们的后端是有什么样的一个一个一个一个层的传递啊?比如说 control 层应该负责什么,做什么事情啊? dto、 vo 这些东西应该怎么处理? 有一个这样的约束,我们也是看一下它后端代码生成是不是遵守了我们这样的一个约束的情况。 ok, 我 们来看一下一号种子啊, mi max m 三也是最新发布的一个模型,我们来看一下它的效果是什么样的。 ok, 这个是 mi max m 三的一个商城前台,我们就主要是完成一轮下单,看一下能不能正常下单。 那这边的话我们可以看一下啊首页分类,然后我们可以点开一个商品进行加购,个账号 登进去,你加个五件啊,加入购物车啊,这边有一个这样的问题啊,一个报错,我们看下购物车里面有没有啊,他已经加进来了,说明他这是一个接口处理的问题。 我选择优惠,选择这个,我们选择商品啊,去结算,那结算这边有个优惠券可以看下,这个优惠券我们可以再领一个,看看能不能 这边没有实时显示出来,我刷新一下这边有了,再回到购物车全选,然后的话结算,我们选择这个满一百减二十的,看下他有没有正常的去减啊?正常的减,然后这边要新增一个地址,看一下能不能新增地址。 ok, 这边是可以的啊,输不了默认受不了,然后的话我们再回到购物车,然后选择全选,然后这个地址就在了,我们选使用这个券。 ok 啊,提交订单报错了, 下单这个流程是没有完成的啊,他这边订单已经提交了,刚刚提示有错误啊,点去支付,这个说明他这个功能是有缺失的,我们再看下他这个后台啊,他这个加载进来就是出错,我们看一下 这是分类管理,商品管理,看下商品管理,然后这边有图片,然后有规格,不同规格可以设置不同的价格,然后的话库存 啊,刚刚我们我们下单产生的库存啊,订单,刚刚我们下单的订单,我们可以看详情,那这边的话是看不到商品的,这也是有问题,还有这个优惠券我们可以起用,起用也没问题。 这也有这个也点不了啊,这个处理的也有问题啊,增加一个秒杀活动,先增加这个,然后再添加商品,然后选择商品,选择规格,然后再选择库存,秒杀点确定没用 它这个功功能也是有点问题啊,有点问题,提交这些东西都应该都是有问题。 ok, 那 这个就是 memax 的 一个演示,前端展现,我觉得还好,就会还有一些细节要调整,大概可能要还需要五轮对话才能把这些问题都修复好。 ok, 那 这个就是千万三点七 max 的 效果,这个页面我感觉就是会比刚刚的会舒服很多,我看一下商品的详情页,你看这个商品详情页还是不错的。加购能不能加购?好,要告诉我们要登录,我们再回到首页,然后秒杀页面,然后抢购 要求我们登录。 ok, 我 们可以先登录一下,走完我们流程,我们看一下账号有没有啊? ok, 好, 选择一个规格,然后的话点击加入购车。好,已经到这个购车了,再选择这个商品 去结算。那这边我已经添加好地址了,那这边他是可以去添加地址的,在这边有一个地址的添加,专门有一个后台地址的添加,回到这个购车里面去 选择, ok, 然后点下提交啊,下单成功,在这边能看到详情页, ok, 所以 他这个流程就通了,就刚刚第一轮我在测试时其实也添加了这些订单,说明这个流程是通的,但是他这个优惠券看下能不能给他正常的去领取和这个使用。那我在这里的话是专门来领一个这个满一百九十九 啊,减五十,但是现在点了领取之后没反应,那应该有个提示的,那这边已经领到了啊,满一百九十九和满九十九,那我们去加选择一个商品吧,这个商品一百九十九,刚好 我加入购物车,然后我们去购物车里面去看一下下单,然后的话那这个优惠券就可以使用它把一百九十九,然后这边的扣掉,那点击下单,那个下单成功,我们看一下秒杀商品能不能正常下单啊,然后我们去这个秒杀区域 选择这个商品,那秒杀商品他没办法去选择数量,然后的话二十五,然后点击提交啊,秒杀商品就有问题,他这边下不了单,这是也是他的一个 bug, 我 们再看一下他这个后台登录一下, ok, 这个就是后台了啊,分类管理,有图片的商品管理, 然后的话是包含了这个规格的描述,然后库存流水。刚刚我们的下单的啊,订单,我们看一下订单啊,他这边显示的还是有点简陋。发货,我们瞅瞅看能不能发货, 随便选一个 ok 优惠券,然后看能不能禁用哦,他这个能禁用秒杀活动,他能编辑商品吗?添加商品 啊,他这个还要自己去选这个商品 id 啊,这个比较坑啊,快用户啊,这个千万三点七 max, 我 觉得这个前端展示效果上是不错的,后端这个功能完成度上我觉得也还可以。我们再来看一下这个 deepsea 啊,这是 deepsea 出来的一个前端的效果页面啊,也是挺清爽的哈。 然后的话我们看一下这个全部商品啊,这个也还行,那点进去看一下规格,选择规格,然后的话选择这个立即购买 啊,他这个要求我们登录,我们试一下啊,密码错误,自己来注册一个幺三八, ok, 然后 好登进来了,然后我们看一下啊,选择一个商品,然后我们来选择规格啊,加上一个库存,点击购买,那这边的话要求我们添加地址, ok, 我 们就先添加地址,它这个还有一个是一个移动端的效果 保存啊,这个也有哎。 ok, 再回到购物车, 然后的话去结算,那这边地址就出来了,选填不行,然后我们再提交订单哦,流程是通的啊,流程是通的,我们再看优惠券能不能正常领取,去领取一个优惠券, ok, 领取优惠券, 然后的话我们看再看一下是满一百减十的,我们看一下秒杀能不能哦,秒杀看不到商品了,有个问题应该是秒杀这边展示应该有个问题, 然后我们再回到正常的这个商品里面去,然后选择规格,然后的话选择这个九个吧,然后对吧?加购物车, 然后去购物车里面,我们再去看一下能不能触发这个优惠券,哎,优惠券能够正常触发好提交订单减了十块钱去支付, ok, 最前整个前端功能展现上还是不错的,就是功能还是都是起火,除了这个秒杀没办法看之外,然后我们可以看下我的订单, 然后他这个个人中心的功能是缺少的,比如说地址啊,他需要去在下单的时候去触发,是管理不了的,我们再看下他的后台。 好,哦,这边是分类管理, ok, 改能改成功。商品我们看一下商品啊,这边规格都有, 库存,库存流水,订单详情这边都能看到详情信息,然后的话这边但是操作不了,操作不了,这边是在这里等操作, ok, ok, 哎,订单管理,优惠券管理,那我们看禁用能禁,哎,这也是能禁用的啊。秒杀管理,我们看下能不能添加商品,添加秒杀商品啊, 啊,这个是做的很不错啊,我觉得是做的很不错的,秒杀价必须大于 哦,添加秒杀商品添加不了,这有个问题啊,那用户管理那 deepsea 这个表现我觉得也非常不错,就是它这个功能还是挺齐全的,除了一些啊秒杀的商品看不到,然后这边添加秒杀也也也操作不了,那其他功能都正常。 好,我们来看一下 tim 二点六的一个效果啊,然后的话这个首页秒杀这个数据没有录啊,就是这边应该有个秒杀区域的,然后这是个商品, 点进去看这个规格啊,立即购买要登录,你再看一下秒杀的区域,秒杀的商品抢购啊,也要登录啊,我们看下登录,我们输一个我们备用的手机号啊,登录不了,那可能是不是他这个注册这个号没有注册,我试一下。 ok, 注册成功,那我们再看一下能不能登录好。能登录成功,那刚刚的应该是提示有问题了,那我们可以点击一个商品,看一下能不能加购, 加入购物车,然后然后的话再回到这个下单页面,我们下单 地址没有,我看看。哦,那我们选择地址,没有地址这边也没有添加入口啊,我们去我的里面添加这个地址,看能不能添加成功吧。保存啊,保存了我们再回到购物车,那我们再选择解散。好,这边有正常地址, 不使用 u 线,这边告诉我们,然后提交我选择一个地址。 ok, 然后这边下单也失败了,然后我们看看是不是他这个操作有问题,下单失败了,看看不到,为什么?不知道什么原因啊?我们看秒杀商品是不是正常的, 也是下单失败,说明这个下单的流程是有问题。我看优惠券能不能领取啊?满一百领取成功,领取成功,我的这个优惠券也没显示出来啊,我们再看一下去下去那个下单的话会不会触发这个优惠券,选择这个 金额大一点加入购物车,然后的话回到我们这购物车页面全选结算 啊,这个优惠券他也没有加载出来,优惠券的功能也没有出来,因为我们刚刚其实是领取的是这个满减券,这样情况下应该是可以的,他这优惠券的功能也没有做出来。好,我们来看一下这个, 我看下分类,呃,这个分类也没有显示出来啊?商品看一下规格有正常, 然后订单那本身是有优惠券的啊,但是他们这边没有显示出来,我怀疑是不是那个优惠券是个假数据啊? 我们录一下啊,测试创建一下,这个也创建不了秒杀管理,秒杀也是有问题啊。就是,呃,这个 kimi 这个看起来就是很多功能都有问题, 然后的话前端页面也还过得去吧,但是功能我们的下单流程都没走完,所以这个可能还需要更多时间来去进行一个调整 好。 ok, 我 们来看一下小米,那小米这个前端说实话是所有的模型里面我觉得是表现的最不好的,而且这个还是我经过专门的这个修复,就是让它 根据我们的第三个 md 啊,又重新跑了一遍这个前端的一个优化,优化完之后还是这个样子,不知道怎么回事。然后的话我们看一下功能啊,然后的话这是首页,这边是分类,然后我们是商品,我们点进去看一下,看一下功能能不能选,然后点抢购。 呃,这边是四零三,那就我们再登录一下,看一下能不能去触发这个,然后我们看一下这个账号能不能登录。不能啊,我们注册。 ok 啊,注册成功,我们来走一下这个下单流程,我们选择商品,然后加购,选择规格,然后加购,然后加到购物车,然后去购物车里面,然后我们已经有两个商品了,去结算 啊,这边提示我们去新增地址,新增地址,但是我们这边没有新增地址入口啊,看不到,不知道怎么回事,我们再看一下这个秒杀抢购, 点击抢购,然后呢直接下单成功了,那抢购是下单成功,但是这个收货信息是没有的,所以说这个就是流程上有问题啊, 然后我还发现他这个间没有优券中心啊,没办法领券这功能也是缺失的。 ok, 我 们再看这个后台管理系统,我们选择阿德密,然后阿德密一二三登录好,然后分类管理,没问题,商品管理,我们看一下规格有没有哦,这个商品的信息是缺少了规格这部分 取消订单看一下,等一下发货,这个订单也看不到这个详细情,详细信息, 这订单也看不到详细信息。优惠券,那这边在我们的这个前台也看不到,使用经验是正常的 啊。秒杀,然后这边的话也没办法去添加商品啊,就它这个功能还是缺少比较多,缺少比较多的功能,那这一个我们来看一下智普啊,这是智普做的首页,然后的话是分类秒杀,然后商品列表页 我们一样的,我们点进去看一下啊,规格是正常的,然后加购,然后点击加入购车,要求我们登录,我看一下能不能登录啊,一二三四五六, ok, 这样不存在,我们注册一下,取个名字注册, ok, 注册成功,然后的话我们看一下,就是这个功能是挺齐全的,我们选择一个商品,选择个规格,然后的话呢点击加入购车, 加入成功我们就去购物车里面去看一下能不能下单,新增地址, ok, 保存好,这边设为默认,我们再回到购物车,然后的话去结算,这边地址就已经弄好了,然后到我们提交订单,好,订单已经成功, 订单,订单已经成功了,我们去支付, ok, 支付成功,那这个订单下单流程是通的,你再回到首页我们看一下,就是秒杀的商品能不能正常下下单抢购, 选择收货地址,那这个流程就有问题了,应该到一个这个秒杀的一个界面里面去选择地址才对啊,这边秒杀的商品就下单不了,然后这边的话也没有这个优惠券的领取啊,领取优惠券哦,在这边也没有领取的地方,所以这个是也是缺少功能的, 然后缺少这个优惠券的领取,还有秒杀商品的下单。前段界面我觉得还是中规中矩吧,我们再看看他这个后台管理系统, 登录看版分类,然后商品我们看下商品主要是看规格,能不能有正常的规格展示,那这边也是缺少规格就添加,规格是没有的,然后库存 订单这边能看详细的信息。优惠券哦,这边优惠券打开报错,然后秒杀,然后是能添加商品的选这个商品,然后的话秒杀价格我们可以随便选一个吧。 ok, 点确定好添加成功,他这边是能看到能添加,然后用户管理,所以对于智普这个五点一来说,他有两个核心功能没有完成,一个是秒杀商里面下单,一个是优惠券的领取, 导致我们这个流程啊没有完全走完,接下来我们来看一下这个测试结果的一个汇总报告。那比如说 mini max m 三,它总耗时是八十分钟,也就第一轮加上问题修复的这个三到五轮的这个次数的总时间是百分之八十, 那整个完整度在百分之八十五左右,那产生的文件数量啊,有一百五十六个,这里面可包含了前端、后端三个项目的所有,那我的评分就是前端有八分,那后端的七分,那整体的评分就是大概在七点五。 那这边的话我也会做了个问题啊,那比如说 memax 三常规的几个问题,就是你这个字段对不上,还有缺这个字段,但是你定义了,但是表里面没有这个字段, 所以总的评分是七点五分,那这个千万三点七。 max 总的耗时是七十五分钟,因为它其实修复的这个问题是比较少的,它在第一轮就已经实现了这个优惠券的完整逻辑,那其他的模型都是我 调试让他修复了之后才有优惠券这个功能的,那这边的话他完成度大概在百分之九十,文件数一百四十五,那整体的评分我给到了九分。那这边也有问题,就是前后端字典对不上,发现他发现前端的字典和后端有些接口,字典对不上,那自己发现去修复了, 那这个 six 的 话,总共花费的时间是七十分钟,那文人都在百分之八十五左右,那总文件数量是一百四十七,那前段后段我都给了八分,其实整体表现还不错,但是呢也有些功能也没有,所以说这个只能给了八分, 那 kimi k 二点六的话,总共花费时间是八十分钟,那他完成就是百分之六十了,缺少了很多功能,那整体的评分是六点五分,那智普这边的话,大概是给到了七分左右啊,然后他这边完成的时间比较短,就第一轮之后大概半个小时左右就完成了, 但是呢,他这个后面调试花了比较多时间,三到五人之后调了很多,不然的话他这个流程就很难走下去。前端是缺少很多功能的,所以我给他七分,那 memo 这边的话,主要很大的问题就是前端还有功能丢失, 这个是非常严重的,在一轮凑下来之后啊,是缺了很多功能的,那又花了很多时间去调整,那这边的话,他第一轮的时间也很快,三十分钟就完成了,但是呢缺少功能,那整体给到五点五分,那最后呢,我们进行了一个总结啊,排名的话就是有这么一个排名,第一名是千万三点七,第二是 d p c v 四,那第三是 emax m 三, 那后面的话就是后面这几个名。但是呢, kimi k 二点六和这个智普的五点一样,那这两个版本算是比较老了,那么近期他们应该会发布新的版本,那前面这几个模型的话,都算是比较新的版本了,所以可能会有一些差距。 那整个任务的完成上,就是长任务的这个完成上,其实这几个模型都表现非常出色,能够持续的运行一两个小时以上,那模型之间差距呢?我觉得是就是对于这个需求内容的理解,以及在这个长任务过程运行过程中啊,会不会丢失一些模块的功能?比如说有些模型跑完,这可能缺少 啊,比如说优惠券这个功能就没有了,你可能需要后续去调试。那有的模型跑出来之后基本上功能都在,只是说可能掉接口有问题,所以这个差距在这里就是在长任务运行过程中会不会丢失内容。 那无论是哪一款模型,我觉得现在完成基本任务是已经完全没有问题的,那在差距就在于你要不要去进行多人的调整,或者说把模块再去开发啊?不像我这样子直接丢一个 给他一个这么大的一个任务呢,自己去进行一个阶段的划分。最后呢我给了一个这样的一个测试的这个文档,就是我给的这个五个文档,然后的话如果你想自己去测试的话,你也可以把这个文档下下来去跑一下,看一下结果是什么样子的。 每个人的这个测试的排名啊,仅限于这个任务和这个时候的一个模型的一个反馈结果。 ok, 那 本视频就到这,希望这个视频对你有所帮助。

今天这节视频解决大家的一个痛点,我们在用国外模型跑任务的时候,他们的模型能力很强,我们不止给他的任务他能够出色的完成,但是一个人跑下来费用很高, 这样让大部分人不得不退而求。其次,用国产模型,像 d p c 智普、 kimi、 mini max。 就 在六月十七号,智普推出了他们的大模型 g i m 五点二,这款模型完全对标 cloud apns 四点八,已经超过了 gpt 五点五和 apns 四点七。这期视频亮哥带大家怎么把这款模型配置到自己的智能体里面,我相信我们大部分人在用智能体 open cloud cloud code code 跑日常任务的时候,用的都是国产模型,像智普、 deepsea v 四、 mini max、 kimi。 在 今年的四月份,智普推出了他们的 gpt 五点一,这款模型超过了当时的 gpt 五点四, cloud apns 四点六。 就在前天六月十七号,他们推出了五点一的升级版 g i m 五点二,这款模型的自主编码任务能力已经超过了现在的 cloud 二碰四、四点七、 g p t 五点五。 大家可以看到这款模型长期是属于处在一个受信的状态,每天的十点钟补货,不到一分钟就被抢光了, 逐渐这款模型多么受欢迎。亮哥注意到,这个月火山方舟他推出了一个活动, 他们每个月四十的套餐,现在只需要九点五,每个月两百元的套餐只需要四十九块钱,最关键的是他们这个套餐支持目前市面上主流的优秀国产模型, 像 g m 五点二、 k m k 二点七和 mini max m 三,大家可以来到火山引荐的官网来订阅,非常划算, 大家可以看到 gm 五点二这个模型目前是打两点五折,这期视频呢,亮哥教你们怎么 把这款模型配置到自己的智能体。同样是通过 cc switch, 我 们需要在火山方舟的官网拿到 gm 五点二的三部分内容, 一个是 a p i k 八十 u r 和模型 id, 首先你订阅好了之后,来到火山方舟的控制台,看向左侧栏有个开通管理选择,这里面的 agent plan, 大家可以看到。 这个时候第一步是配置模型,如果你是 cloud code 就 用这个八十 u r, 如果你是 open cloud 或者 ctrl s 就 用下面这个八十 u r, 旁边都有复制按钮,在八十 u r 我 们就已经获得了。 第二步是获得它的 api k, 大家可以看到第三栏选择配置捐数 api k 点,点击一下,这里面有一个创建 api k, 可以 看到我已经创建了,所以说这个 api k 就 已经生成了, 如果没有创建的,它下面会显示一个创建 api k, 大家创创建好了之后,把这个 api k 复制到你 c c switch 的 这个上面,把 c u r 就 复制到这个地方,下面选择获取模型列表,我这里面选择的直接是 g m m 五点二,这样再点击保存了之后再点起用,这样就配置到你的克拉的扣的里面了,我把克拉的扣的重启一下,大家可以看到下面显示的是 g i m 五点二,我在跟他对话,他已经回复我了,代表我已经跑通了, 可以看到我的模型显示的是 g i m 五点二的同学赶紧配置起来,这个活动截止日期是六月三十号, 非常划算哦,两百块钱一个月的套餐,现在只需要四十九,这是火山引擎就是自解旗下的一个模型。好的,这期视频就说到这里,不知道怎么配置的可以私信我,或者说是评论区关注亮哥,每天跟你分享一个干货内容。

来吧, glm 五点二终于被我们的史山赛事组给请来了,咱们今天就一起看看在这一波更新周期之后,他这国魔一哥的位子他到底还坐不坐的稳。 老规矩啊,我们不看跑分,只看他们在基于真实项目的祖传史山代码里面,能不能把一个真人写的也是真能把人给逼疯了的 bug 给解决了。 今天上场的四位选手分别是刚刚发布的 glm 五点二以及 kimi 二点七 ko 的, 然后我们又请来了正在打 ai 世界杯的 deepsea v 四 pro 以及我们的幕后英雄,所有 bug 出炉之前都必须过的一道坎。 mini max m 三老实, 我们从一个古法编程时代维护了几年的真实史山项目中封装出来了十二个 bug。 今天四位选手要挑战的分别是一个用于热热身的青铜 bug, 三个看看他们发挥稳定性的白银 bug, 之后是一个让马神、 oppo 四四点八都栽了跟头的经典的 g 零零三黄金 bug, 看看谁能两次之内把这个黄金 bug 也给拿下。发挥好的选手,下一期视频我们再一起看看他到底能几次解决掉恐怖如斯的难度等级达到六个甚至八个 m 三难度的钻石 bug。 验证 bug 的 规则也很简单哦,三张图片都显示代表 bug 修复成功,回归测试旋律代表业务流程没有被破坏,否则红灯亮起代表修复失败。 我们复制一下青铜 bug 的 提示词给到四位选手,让他们赶紧塞塞牙缝吧!好的,各位观众,针对 g r m 五点二和 k me 二点七扣的第一次考核正式开始,而 v 四 pro 和 m 三老师今天是来当陪练的啊, 他们的平均水平到底如何已经在我们的比赛中反复验证过了,今天就不需要在哦。我们看到 k 米二点七扣在这边,速度还是比较快的啊,他这次不再左右脑互搏了,直接给出解决方案了。而 v 四 pro 和 glm 五点二这边好像也有思路了,看来他们也快了啊。 然后我们再看看 m 三老师这边,思路也没问题,也是对的,应该这道青铜 bug 只是给各位老师来塞塞牙缝的啊,所以他们的速度应该都会比较快的, 我也相信他们的结果应该都没问题啊!好的,大家都修复完了,我们来验证一下吧,看看四位选手的表现会是如何呢?先从 g r m 五点二这边开始吧,点击验证答案正确,轻轻松松没有问题!再看 kimi 这边, 同样正确,同样轻轻松松,同样没有问题!再看 v 四 pro 这边,好的,这简直就像是虐菜一样。再看 m 三, ok, 四位选手顺利的取得了一个很好的开端啊,那么我们现在就上上难度吧,开始三个白银 bug 的 考核。 哎, s 零零三怎么跑到左边去了?那咱们就从左到右依次开始吧,不管这个题目的名字了,我们先复制一下第一个白银 bug 的 提示词,给到四位选手。大家别看白银 bug 听上去好像不怎么起眼啊,但是这三道题非常考验选手们的稳定性, 到目前为止,除了 gbt 和 opps, 还真没有哪个选手在每次遇到白银 bug 的 时候都能百分之百拿下的, 哪怕是曾经一次性做对三个白银 bug 的 白银杀手千万三点七, max 也是在白银上栽过跟头的。所以各位也别对四位选手期望太高傲, 他们不见得就能一马平川,真错了一两个,那也是实属正常,一次考核的偶然性还是存在的,他们的真正能力如何还需要我们后续反复哦,四位选手已经做完了,那赛事组就不继续叠加了啊。我们来验证一下第一个白银 bug 的 修复情况吧。先看 g r m 五点二这边点击验证 对没对。好的,对了,没有问题。 k m 二点七扣的呢?点击验证, ok, 也对了,来,我们再来看看 deepsea 微四 pro 有 没有做对呢?我们点击 结果依然正确。来,我们再来看看迷你 max m 三老师有没有做对。好家伙,你们四个都做对了,那我刚才叠那通甲干啥呀?但是你们也别骄傲,好戏才刚刚开始,来,我们看第二个白银 bug 的 情况吧。第二个白银 bug 是 s 零零一, 这个 s 零零一的特点啊,就是乱,它倒不是什么框架级别的隐藏 bug, 但是啊,它恶心啊,代码写的乱七八糟,你单独看哪块代码似乎都没有什么问题,但是你把它们放在一起,它就有问题, 看看四位选手能不能抽丝剥茧,把它一口气拿下吧,但是它也没有多难哦,毕竟只是白银嘛,所以一口气把它做对也不是什么大不了的事哦。我肯定不行啊,但是 ai 应该行吧。 好的,十分钟过去了,四位选手还在这里咔咔咔的输出呢,显然还是没啥思路啊。没思路就对了,人生怎么可能啥事都有思路呢,没思路他才是常态, 方向都是在一次次失败中慢慢成长出来的,所以四位选手真没思路的话,咱就别消耗我的额度了行不行?要不咱就随便做一下得了,这次失败下次也许就成功了呢,这又不是啥正经比赛,你说你跟我的掏坑较啥劲呢?哎哎哎,我们看到 blm 五点二这边说啥,他说让蜜重新看一下这个问题,让蜜重新做一个决定, 让蜜看一下这个方法的调用时机。哈哈哈,我说一哥呀,一哥,你这 english 是 跟我学的吗?满口塑料味呢咋还这就对了嘛,放松一点啊。一哥,错了咱就错了,无所谓的无所谓的啊。 哎呀,半个小时过去了,各位,我现在有点绷不住了,除了 v 四 pro 做完,其他的还没定位完呢,要不各位咱就放弃吧,咱别改了不行吗? 终于啊,四十分钟过去了,有三位选手交卷了,那我们就先来验证一下他们三个的答案吧。来,先来看 g r m 五点二的点击验证啊啊,一哥,做错了啊,错了就错了就错了,来,再看 k me 二点七扣的的,我们点击验证 啊啊, kimi 这边也错了啊,那我们再来看一下 v 四 pro 的 吧,对没对呢?哈哈哈, v 四 pro 写错了,那就剩 m 三老师了,我们等一会 m 三吧。 各位,五十分钟过去了啊,我们不等了啊,我们让 m 三这边慢慢的继续倾听吧,我们让其他选手先去解决第三个白银 bug 啊,我们复制一下第三个白银 bug 的 提示词,给到四位选手,哦,不对,是给到三位选手, m 三这边还在解决的是第二个白银 bug 啊, 好的,四位选三位选手已经解决完第三个白银 bug 了,我们来验证一下。 gm 五点二, ok, 没问题,一哥你要加油啊,黑米二点七扣的 点击验证, ok, 也对了,哎呦,不错, kimi, 可惜你迟到了两天,不然小组赛你能晋级的 deepsea v 四 pro, 你 能不能啊?啊, v 四 pro 这边失误了啊,那么很遗憾,三个白银 bug 他 就只做对了一个,但是没事啊,他还有 ai 世界杯要打呢,确实应该保存体力啊。 来,我们再来看看 m 三这边啥情况,老师这是干啥呢?第二个白银 bug 还没改完呢,要不咱就别执着了,真的,我把老师这边打断一下看看,错了也没事。呃,你看老师不同意啊,老师还要继续换一个角度,就是要定位到,原因就是要直接改, 什么叫做错了也没事,怎么可以错呢?老师很执着啊,但是已经过去一个小时了,所以我们还是强行让老师休息了啊,直接让他改第三个 bug 吧。好的,第三个 bug, m 三这边很快就改完了,我们来验证一下吧。 啊啊,也错了,那么三个白银 bug, g r m 五点二和 k m 二点七扣的做对了两个, v 四 pro 和 m 三就做对了一个,来吧。最后一个 g 零零三黄金 bug, 这个把马神 oppo 四点八淘汰了的黄金 bug, 看看今天四位选手能不能把它拿下呢?我们复制下提示词给到四位选手,这个 bug 的 含金量还是很高的,所以四位选手就各自加油吧。 我们看到第一个给出解决方案的是威斯 pro 啊,我们让他这边先修复起来吧。然后第二个给出解决方案的是 kimi 这边另外两位选手还在倾听啊,那我们就先验证这两位选手的答案吧,先看 kimi 二点七扣的啊,错了,没事啊,错了,正常,让他进行第二次修复吧。 然后我们再来看看 v 四 pro 对 没对呢?点击验证啊,也错了,那我们也让他进行第二次修复吧,这个 bug 第一次没做对很正常啊,感觉 v 四 pro 今天交卷的速度很快啊, 看来他对今天临时把他拉来当陪练这个事很有意见啊。 v 四 pro 下一场比赛好像是对战咪目二点五 pro, 压力应该也不算太大啊。 哦,我们看到 g l m 五点二这边也给出方案了, m 三这边呢?哦,也给出方案了,那我们来验证一下他俩第一次的答案吧。 先看一哥这边的 g l m 五点二第一次修复黄金 bug 的 结果是什么呢?让我们是做对了 g l m 五点二一次性拿下了这个 g 零零三黄金 bug。 到目前为止,一次性做对这个 bug 的 好像只有 肥波五和千问三点七 max 两位选手,今天又多了一个 g l m 五点二,看来一哥这个位置他还是想继续做下去啊。来,我们再来看看 m 三老师第一次修复黄金 bug 的 结果是什么呢?会不会给我们带来惊喜呢?我们点击验证啊,也做错了啊,没事啊,我们也让他进行第二次修复 好的,那么到目前为止,除了 g r m 五点二一次性做对了以外,另外三位选手第二次修复的结果是什么呢?我们先验证 kimi 的 哦, kimi 第二次也做错了啊,那么很遗憾啊,这道黄金 bug 他 没做对 v 四 pro 呢, 哈哈哈,也做错了,欲速则不达呀! v 四 pro 来再看 m 三老师这边的 有没有惊喜呢?哦,看来作为陪练出场的 m 三老师是不太想给我们带来什么惊喜啊。那么今天的结果就是 glm 五点二首秀算是非常成功了,只做错了一个白银 bug, 并且还一次性做对了 g 零零三这个 bug 证明他在解决复杂问题的时候还是有着相当不错的稳定性和直觉的。而 kimi 二点七扣的这边也算不错了, 拿下了两个白银 bug。 至于黄金 bug 吗?一次比赛没做对实属正常啊。 v 四 pro 和 m 三老师今天是作为陪练出场的啊,他们的表现我们就不点评 了。好的,各位观众,各位选手,今天咱们就先热热身,也不排除有偶然的成分在啊。等到我们的祖传 bug 挑战赛夏季赛结束以后,我们再让每个选手把这十二个 bug 从头到尾都打一遍,到时候我们再让每个选手把这十二个 bug 从头到尾都打一遍,看看这国摩一哥的位置到底该由谁来做。

最近国产编码模型接连发布, kimi k 二点七蔑的号称比上一代强了百分之二十一点八。 glm 五点二号称百万盲测全球第一。 mini max m 三号称国产第一个及其三要素的模型,三个第一,三个市场部。今天我把它们拉到同一个挑战中。 三道题,三个维度看看真假。第一道,考验代码能力的同时检验长上下文的幻觉率。第二道,代码硬实力和前端动画处理。第三道,多布置令文档审查。 这期视频看完你就知道他们宣传的真伪了。少说废话,直接开始。第一道题,完整 size 系统前端后端数据库 doc 部暑,一次绘画跑完不切上下文。 glm 五点二,一次跑完没切上下文二百二十八点二 k token 耗时一点五个小时八点一六刀。 前端 ui 整体 ai 风味儿,简约大气不好看,功能不多,也就没什么出现 bug 的 机会,整体比较稳健。 mini max m 三 同样一次跑完一百三十 k token 耗时三十二分钟零点三三刀。但是中文提示词给了我一份纯英文的项目,功能简单到无法犯错,但是除了用户管理的功能外,连项目都无法创建。 原因是后端代码验证器把 workspace id 字段写成了 id, 所以 五百错误码。 ui 和 glm 五点二异曲同工, 简约大气不好看,而且下拉光全透明,不知道何意味。 timi k 二点七 ko 的 一百五十一点六 k 投肯耗时五十七分钟三点五三刀。我本以为曾经的国产前端强者会给我一个惊喜,结果来了一坨大的 ui 全面错位,而且奇丑无比。功能除了注册登录项目同样无法创建, 但其实只是前端的路径写错了,实际上后端可以成功创建,而且因为前端路径错误,导致获取不到设置页面,我压根点不进去,消息按钮也打不开。 kimi 这次的表现有点翻车了。这里比较明显的对比是消耗时间。 g l m 五点二是 mini max m 三的八倍费用。消耗 g l m 五点二八点一六刀。 mini max m 三零点三三刀,差了二十五倍。它们的模型尺寸也差了不少。 g l m 五点二七百五十三 b kimi k 二点七扣的一点一 t, 而 mini max m 三只有四百二十七 b。 第二道题,三种寻路算法的可知化。 g l m 五点二跑了三分三十二秒二十八点六 k 头啃零点一二刀, 自己手写二叉堆八方向注示里写了防对角穿墙,但是查了下代码,他检查的是目标格子外的两个格子,跟起点墙角完全无关, 所以根本起不到防穿墙的作用,只是注示写了而已。 ui 丰富,功能较多,速度滑快,网格密度,编辑模式等等。 kimi k 二点七扣的跑了六分四十五秒三十六点五 k 头肯零点一四刀,自己写的二叉堆,直走四方向, ui 中规中矩,没有速度控制,没有完整图力。 mini max m 三跑了六分二十二秒五十点七 k 头啃零点零三刀,三个算法,四个方向,四十 day 的 速度滑块四编辑工具,五项图力完整快捷键,没有密度调节,价格是三加里最便宜的。 五点二的功能最多, m 三的信息最全。 kimi 的 最简洁,各有各的特点,但是简洁并不代表好。这题同样 kimi k 二点七扣的更弱一些。第三道题审查文档这里边故意放了很多坑。 g o m 五点二跑了三分十秒三十七点二, k token 零点一七刀,分割符齐全, jason 合法自断队六个真实冲突找到了四个,但是误爆了一个,混淆像两个复杂的他没找到,但格式完美,该有的都有。 kimi k 二点七扣的跑了七分七秒 三十七点四, k token 零点一一刀格式没有需要 jason 输出是吧?他用的 markdown 表格 需要起始主体结尾是吧?他一个都没有说不要写总结对吧?他写了,连最基本的要求都没有遵守。冲突倒是找了四个。和 g l m 五点二一样, mini max m 三跑了两分一秒三十点六 k 头啃零点零一刀最便宜最快。六个真实冲突他找到了五个,但他误报了两个混淆项字,断也不按照要求来。 三道题结束了,我们汇总一下数据,总价格,五点二八点四五刀, m 三零点三七刀, kimi 三点七八刀,总时间,五点二九十六分钟, m 三四十分钟, kimi 七十分钟。 五点二是 m 三的二十三倍, m 三这次是真省, kimi 这次是真翻车了,五点二和 m 三拉不开差距,但是 kimi 翻车翻得彻底,国产一哥评论区说了算。

hello, 大家好,今天给大家带来一期 目前国产最热门的四款大模型编码能力的测评视频。本次我们主要考察大模型的编程能力、工具调用能力以及 skill 的 使用能力。这是因为最近阿里发布了最新旗舰 模型千万三点七,支持长达一兆的上下文内容。这款大模型被外界称为中国版的 cloud os 四点七, 主要在编码能力以及权限的长任务方面表现得非常出色,在长任务这一块号称可连续运行达三十四个小时。所以我们今天在这里给大家实际测评一下这几款大模型目前的真实编码情况,看看千万三点七有没有宣传的那么厉害。趁与本次测试的四款 模型分别为千万三点七、 kimi 二点六、智普的五点一以及 dipstick 的 v 四 pro。 首先我们来看一下这几款模型在目前 arina 榜单上的排名,在扣顶能力排名中千万三千位,第四名跟上一边 cloud open 的 四点六星擎差距非常小,只相差一分,并且每百万 token 只需要三点七五美元, cloud open 的 四点六星擎模型是它的十五倍,也就是十五 美元。其他三款模型, zippo 五点一、 kimi 二点六和 dipstick v 四 pro 在 arina 平台特定榜单上排名分别为六八,还有十七。为了测试的公平性,现在我们来介绍一下本次的测试框架。本次测试统一使用 cloud code 作为开发工具,所有模型都通过阿里百联统一调用,保证公平性。同时我们还给美 个模型配备了相同的 skill 工具包,包括 github 数据获取、网页搜索等能力。本次测试的核心任务是开发一个 github 热点仓库可设化平台,这平台需要支持日、周月排名切换,还能区分总榜、 ai 项目和热度飙升榜单。更重要的是,当 用户点击某个仓库时,右侧能调用大模型生成项目框架图,并且支持多厂商模型切换。整个测试分为两个阶段,第一阶段让大模型完整实现功能。第二阶段我们人工只做一次反馈,考察大模型在仅有一次反馈的情况下 是否可以正确,并不产生二次 bug 的 情况下修复反馈的问题。接下来进入最关键的后期实测环节。 先说结果最明显的 kimi 二点六,这个项目在生产环境下直接失败,页面无法正常使用,打开之后是黑屏状态。所以 kimi 这一次虽然前期代码里有一些功能外壳,但是到了真实运行环节, 核心页面都没有起来,这项基本没有办法继续测试。再来看 deepsea v 四 pro, 它在 codice 等合理的 最高代码层面的 skill 调用也最好,但人工反馈后,关键问题依然没有完全修复。具体来看, deepsea 仍然没有开发 a b i key 的 保存功能,项目框架图也没有直接在当前页面展示,而是调整到了其他页面。更关键的是,在配置 a b i key 的 时候,它没有提供到模型附上 的和模型选择,也就是说功能入口看起来有了,但真正多模型调用的配置链路并不完整。第三个是日普的五点一, 它的界面按钮整体是正常的,而而且在大模型的调用部分可以自定义一 model, 也支持全局保存。 api key, 这点智普做的比其他几个大模型更像一个真实产品配置页,但遗憾的是,它最终没有办法生成 这些残酷的框架图。也就是说,智普的配置能力是本轮比较完整的,所以它不能算完成交付。最后是身份证三点七,它 生成的前端页面完成度不错,也实现了 a p i k 的 全聚保选择,这一点是加分项。但是在生成框架图的时候,千问没有给出,但无形选择,也 没有给出服务商的选择,而且实际生成时仍然报错,无法得到最终的框架图。也就是千问的页面做得比较像样,但关键内容没有跑通。对于这类 agent 编 任务, ui 好 看不等于功能可用。如果只看 count 审核代码的分数的话, gibson 和千问总分是一致的。然后是智普的五十分, kimi 是 四十九分,但加入人工实测以后,排名会发生变化。本次人工从实际体验出发来做出的一个排名, 第一个是 deepseek v 四 pro, 第二个是智普的五点一,第三个是千万三点七,第四是 kimi 的 二点六。 deepseek 不 算完美,但综合代码质量和可用性仍难排第一。这次测试也说明了一个问题,大模型写代码不能只看它有没有生成文件, 也不能只看页面漂不漂亮。最终真正重要的是需求的关键六路有没有跑通。尤其是这次任务里面的框架图生成,它需要 api key 模型、服务商模型选择、 skill 调用和前端展示全部串起来,只要其中一个环节段了,最终用户看起来就 失败。最终公布一下本次大模型调用的成本,这里我们会把四个大模型在开发阶段和修复阶段的费用消耗统一放出来,方便大家判断性价比。总结一下,这轮测试里面, dipstick 综合表现最好, 质朴的配置体验感最好,前面的 u i 完整度较高,但核心深层失败, timi 则因为黑屏无法进入到有效测评。

太强了,国产大模型 glm 五点二在前端编程方面竟然冲到了全球第二,仅次于太过强大而被老美搬来的飞豹五。 榜单这么猛,实战到底行不行呢?今天我就拿 gpt 跟它正面对比一下,都开最高推理,看看国产模型这次是否能够战胜强力 round。 既然是开始,那我们第一道题就做个游戏开始界面,这个是 glm 做的游戏传说,你别说,这个风格还挺像回事的,还制作了音效,哎,后面这些房子什么鬼啊,你头顶为什么不是尖尖的? 还有你一直对我竖中指什么意思?这些危机了能别打我吗?这个下面的菜单还把地下城挡住了,看一看交互做的怎么样,让我看看不要。 哎呦,还做了天气切换系统,我觉得做的还可以,再来看看 codex 的, 哈哈哈,夸张哦, 我觉得我有必要说两句。我已经发现三个问题,第一,这个大扫描线,我还以为我显示器花屏了呢。第二,这个房子是浮在空中的。第三,这个提示字你放到最下面还这么小,是觉得我视力很好吗?此外这个音效也没有做,那你 这个不是扫描线,这个是 bug 吗?与和扫描线会被一起关掉,但是这个关掉之后,我觉得做的还可以,你们觉得哪个好呢?我觉得右边的 glm 做的好一些,左边 它的色彩搭配更清爽柔和,视觉上看着更舒服。你懂个蛋豆包闭嘴。好的,我们来看一下第二个测试,做一个二次元的抽卡模拟器,人神启动。我们先来看 gpt 做的。嗯, 看着还行,这个 up 提示文字有点小了,其他的没什么问题,来看看交互逻辑做的怎么样。 我去,全啊卡,我这么霉逼吗? 哦,出了,我去,这也能歪,不玩了,下一个。 jim 做的这个有点素啊,有没有卡吃图鉴看看交互做的怎么样 啊,这就出了,但这也是歪的呀, 我服了。这个 g i m 做的唯一优点就是它有实际的抽卡界面,这个抽起来会更有体验感,但是从整体上看, g p t 这个肯定是赢了,你们更喜欢哪个呢? 我更喜欢右边星空特效和角色例会,氛围感更强,视觉更精致好看。嗯,豆包你的审美不错,退下吧。好的,我们接着看第三题,充完卡了,来选个英雄吧。先来看 g o m 的 这个界面有那个味了,整体完成度感觉还不错,就是这个中间有点太空了, 左右栏隔了十万八千里。你以为我是比目鱼吗?这个字体还有点小,要是能够放大点就好了。再来看看 g p t 的, 这这个完成度就差远了呀,美术细节远远不如 g l m 啊。这些人物从外观上我都看不出来他们是什么职业的,这种呆傻的孩子长得都一样,但是他这个优点在于界面人物比较集中,能 够一眼看完,你们觉得哪个好呢?我会选择 g l m 的。 最后来做个小游戏吧,就做个熊大快跑。先来看 g p t 的 吼,谁家骑行中,你是怎么做成这个样子的? 哎呦,光看熊了,这个远处是楼吗?我总感觉跑到终点就要上传意识数据飞升了,还是看看 glm 的 吧。 不是,这是啥呀?哎呦,开局老给我整这种看不见的阴间陷阱,不过他这个还是有公路的感觉的,远处有山,整体上跟熊在路上跑这个主题是能对上的。当然我完全看不出来这个四条腿的东西是个熊哎,他还做了下蹲动作, 我感觉它这个完成度是要比 gpt 高的,你们觉得呢?那么以上就是本期做的四个测试,不得不说 glm 这次确实有点东 西,很多人总觉得国产模型距离顶尖模型之间还有很大的差距,但这次的 glm 和之前的 deepsea 都向我们证明了一件事,那就是它们其中的差距其实没有那么大。 科技的赛道没有终点,意识的落后也不代表永久,那些看似高不可攀的神话也并非遥不可及。在若干年后我们回头来看,其实轻舟已过万重山,我是二斤之苗同学,我们下期再见,拜拜!

今天本来是想测 glm 五点二和 kimi code 二点七的水平,编程水平,我在 tree 里面调用了火山的 token plan, 然后呢? 他现在连稳定都没有办法给我保证,我基本上是问一句要打断一次,而且 kimi code 上来就把我的主文件直接全部删掉了。我不知道这样的稳定性,这样的安全性是怎么叫做国产第一梯队的。

在写代码这件事上,国产 ai 又一次火出了圈。就在刚刚,质朴的新模型 g l m 五点二在全球公认的 ai 编程榜单上拿下了开源第一,全球第二,只输给了 call 飞波五。连 arina 官方都说,这是一个令人难以置信的里程碑,它到底有多强? 今天用大白话给你讲明白。先看最硬的那张榜, arina 的 前端编程榜比的是真人,盲测下谁写出来的网页更好。第一名是 clod 飞豹五,但它已经暂停采样。紧随其后的第二名就是 g l m 五点二,一千五百九十五分,比第三名的 clodop 四点七还高出二十九分。 更关键的是,在所有开源模型里,它是断层第一,把 kimi、 minimax 甩在了身后,成绩还不止这一张榜。 在专门评测模型审美,也就是品味的 design arena 上, g l m 五点二直接拿了全球第一。细分化到品牌营销、数据分析、游戏模拟这些子类,它几乎都是第一。而在八项硬核基准测试里,它全面超过了上一代,也压过了谷歌的 gemini。 面对 cloud openai 的 闭源旗舰,虽然还有差距,但已经是同一梯队的较量了。 所以这几天海外开发者圈都在聊一件事, ai 编程的第一梯队,过去是 cloud open ai 和谷歌,而现在有人把谷歌的位置换成了智谱,一个开源模型第一次坐上了这张牌桌,光说不练不算数, 国外博主真刀真枪地实测下来, g l m 五点二的表现已经逼近 cloud open 四点八,让他直接惊呼,太疯狂了。 不过, glm 五点二这次真正的杀手锏是另一样东西,真正能用的,一百万都肯上下文,这是什么概念? 它可以一口气读下一个大项目的全部代码,记住里面的结构、接口,还有你最初提的要求,然后连续干上几个小时,不跑偏,不反复问你。说白了,掌上下文就是一个编程助手的工作内存,内存越大,他越不容易忘事, 那放进真实的活里,他到底行不行?我们联测了四关,第一关,整库理解,丢给他一整个开源项目,他把前后端插件部署的关系梳理的清清楚楚。第二关,跨文件追 back, 他 顺着调用链,精准定位到了前后端交接触的隐藏问题。 第三关,新增功能,从计划到代码,再到测试一条龙,最后跑出来的三十八个测试全过。第四关,多交付研究报告、表格、图表、脚本,一整个文件夹一次交齐。 但有一说一,一百万上下文也不是万能的。要是你只想改个小函数,补个小脚本,把整个项目都喂进去,反而更慢,也更容易过度设计。这种时候,只给他必要的那几个文件,他反而又快又干净。工具再强,也得用在对的地方。 把这些连起来看一个信号已经很清楚, ai 编程正在换阶段,过去大家比的是谁能一次性写出一段能跑的代码,而现在比的是谁能更久地待在一个项目里,读懂它,记住它,改动它,还不把它弄坏。 当竞争进入这种长城工程的硬仗,国产开源的 g l m 五点二终于有了一个清晰的位置。国产模型的竞争已经不只是在榜单上追分,而是真正走进了开发者的工作流。 如果这条让你对 g l m 五点二有了新的认识,记得点个关注,最新最快的科技资讯,我接着帮你说明白。

最近一周啊,国产的 ai 编程赛道来了三位硬核的选手,月日、暗面、智普和小米三家公司呢,先后发布了自己最新的 ai 编程模型。今天呢,我们就来把这三位选手拉到一起,聊一聊他们各自手里的底牌。 先说 kimi 啊, kimi 这次新发布了他的 k 二点七 code, 一 点一万亿的参数,二百五十六, k 的 上下文, mo 架构开源,这些数据呢,大家都能搜得到,我就不多念了。 而 k 二点七的核心创新呢,在于对模型的过度思考行为啊进行了抑制,传统的大模型在处理复杂的编码任务时候,往往会深层溶于的中间步骤,导致资源大大的浪费。 而 k 二点七呢,通过改进模型的训练策略跟推理算法,有效的缩短了思考链条,同时保持了输出质量。 官方的数据显示啊,与前代模型相比,新模型在推理阶段的透更使用量平均下降百分之三十,这个呢,就直接转化为更低的 api 调用成本和更短的响应时间。最难得的是啊, k 二点七这次加量不加价,它 api 的 定价呢,保持与 k 二点六一致。 后续呢还会推出高速版,速度可以达到普通版的五倍到六倍,价格呢只是普通版的两倍而已。 我们再来说第二位选手 glm, 六月十三日,智普呢,发布了他的 glm 五点二,走的也是开源路线,采用 mit 协议,其中最硬核的指标啊就是五点二,将上下文窗口从五点一的大概二十万 token 提升到了一百万 token, 并且引入了 high 和 max 两档的思考强度。 在 benchmark ko 的 v 三的测试当中啊,五点二综合排名第三,仅次于 g p t 五点五和 ko 的 opus 四点八。另外五点二在编码能力跟长城任务的表现啊,也实现了突破,支持十二小时以上的连续 edge 任务,推理速度呢,提升到了五百托克每秒,幻觉率呢,下降了百分之三十以上。 值得一提的是啊, g l m 五点二发布公告里面的一句话就是,前沿智能不应只属于少数人,也不应被少数规则随时收回。智普选择在 s r p 倍镜的时机发布这个新产品,这可能也算是表达了一种态度。 再来说第三个选手,小米。六月十一号,小米发布了他的 mimo code v 零点一点零, 基于 opencode 的 二次开发,终端运行 mit 协议开源。 memo code 的 最核心的设计啊,是一个被称之为叫持久记忆系统的多重机制, 它用项目记忆、绘画检查点任务进度三重结构,解决了长绘画越用越旺的问题。 memo code 呢,还内置了一个限时免费的多模态模型,就是它的 memo v 二点五支持语音输入,同时它还兼容 deepsea, kimi, grm 这些主流的模型。 如果你想做 ab 测试的时候啊,可以不用换工具。总结一下, kimi 把 ai 的 思考成本打下来了。如果想在日常编程当中啊,省 token 省时间,那 k 二点七 ko 的 更适合你。 而智府呢,用百万上下文和开源正面的去应战封锁。如果你追求硬核的代码能力,又要处理长文档啊 g r m 五点二会是合适的选择小米呢? 从 agent 的 记忆角度切入,如果你想去折腾一个 ai 编程助手,或者想体验语音驱动的 ai 开发,那可以去试一试它的 mimo code。 总的来说啊,这三位选手有一个共同点,就是都走在开源加低价的这条路上。 开源呢?降低门槛,低价呢保持竞争力,这个可能就是国产 ai 跟海外封闭路线的最大不同吧。我是老林,关注我评论区聊一聊。

跑分谁都会吹,所以这次我把全世界的实测全扒了一遍,一道题一道题,看各家做出来到底啥样,好的坏的今天都给你讲透。这次的主角是国产智普,刚开源的 glm 五点二编程把 gpt 五点五超了,毕竟 cloud 被炒,只会跑分的国产,这回是真追上来了。 先说他到底多强,在权威的综合智能榜上,他是所有开源模型里的第一名,紧跟在 g p t。 五点五和 cloud 后面,比自己上一代一口气涨了一大截。编程基础上六十二点一分,超过了 g p t。 五点五的五十八点六,但这些都是数字往上一堆,咱们直接看真东西。第一个,国外有博主拿四个真实项目来跑, 每个项目跑五次,用自动化测试打分最客观。第一个做后端接口, glm 五点二,五次全过,上一代才过三次,而且更便宜。第二个,做一个冷门的后台面板,没几个人用的那种, 结果他还是五次零错误,说明他训练覆盖的够广。第三个做七个前端组建过了四次,比上一代翻倍,但是慢了整整一倍。第四个最有意思,让他优化一个冷门的数据库,查询 glm, 嘴上一口咬定我防住了,结果自动测试连跑四次全没过,这就是他最大的毛病,他会想很久,声称做好了,但不回头验证自己。 四个项目加起来他拿了十五分,上一代才九分,一代之间就是质变。再看做游戏,同样一句话,做坦克大战 g p t 六分钟就做完了分数,生命关卡,面板齐全,还有屏幕震动和击碎的粒子动画。 g l m 呢,跑了十五分钟,慢了一倍多, 风格更简洁,背景还加了段坦克跑动的小巧思。但是自己的坦克大小出了 bug, 敌人的倒是正常,再上难度,做个高难的超级马力,三家全翻车,连 g p t 做出来的水管下面都是个洞,根本跳不上去。所以最难的活,现在谁都还做不利索。 前端这块儿最值得说,让三家都做一个苹果的液态玻璃主页,结果全做成了毛玻璃。 g l m 这张配色全堆在一块儿,被博主当场吐槽丑到没边。可你换个开放点的题,让他做个民宿的落地页, 它又做出了品牌大图,评分卡还带动画,挺像样。所以它不是前端强不强的问题,是你给个方向,它能出活,你抠具体效果它就漏气。性价比也得讲清楚。同样一个工程,它的调用消耗比顶级模型少一大截,代码还写得更规范,量更大。按 token 算价格是 g p t 的 几分之一, 是真省钱。但是注意,它的包月订阅其实不便宜,别被开源两个字骗了,便宜的是按量调用。所以全世界测下来,真正的答案不是拿它换掉 cloud, 是 混着用最硬的骨头规划最难的活,交给贵模型, 大量的落地实现,交给又便宜又规范的 g l m, 这才是国产开源真正的价值。把成本给你打下来,你会怎么搭这套组合?评论区告诉我,建议收藏,自己也测一遍。

你还在每个月花钱买 copilot 吗?先别急着付费,这笔钱可能得重新算了。现在全球编程能打的开源模型登顶的是个国产的智普, g l m 五点二,免费商用,能力比你付费的那个还强。 先说硬指标哈, code arena 一 千五百九十五分,总榜是全球第二。开源模型里面直接登顶了,前面就剩一个闭源的 car 了。说白了,能让你免费用的编程 ar 里面没有比它更能打过。 更狠的是他的协议 mrt 留一行版权声明就能够免费的商用。这意味着一个普通的开发者,现在呢?站在世界头部模型的肩膀上写代码,一分钱不花, 你算比账。一个十来个人的团队,一年扣拍的订阅小两万就出去了。换成 g l m 五点二,钱省了还能照着自己团队的技术占微调,越用越顺。能力上他也不是花架子,你把整个代码库丢给他当架空师,他能够把藕合的重灾区拎出来, 给的不是一份好看的 ppt, 是 能马上动手的工程体检报告。一个好看,一个能用,搞下地盘。 海外的社区也吵翻了,原来默认的编程三巨头是克拉的 open ai, 谷歌这回 glm 五点二硬把谷歌挤下去了,新牌桌上换成了克拉的 open ai, 加上一个中国的字幕。而且他发布的当天就适配了华为三成韩五 g 这些国产专利, 训练到推理,全程没碰海外的卡。对想做私有化的企业来说,这才是真正的安全感。你看, 差距已经不在工具上了,能力都开源了,认知差才是真正的门槛。同一个模型摆在所有人的面前,拉开距离的是谁?先把它用起来,你还在等啥呢?

上期我们拿同一个需求测试了一下 kimi 二点六、 mini max m 三,前文三点七 max 以及 min 二点五 pro 基本上全军覆没,表现最好的是 kimi k 二点六。这节我们拿同样的需求测试一下 gm 五点一以及 deepsea v 四 pro, 然后为了证明一下我们为什么能当裁判,这期他们的对手就是我本人,当然我只是提供思路代码,我们是懒得写的,惩罚上一轮偷懒的 min 二点五 pro 给我们打打下手。 任务需求我们这边简单的对照一下,看过上期的就可以跳过了,因为小白的呼声比较多,我们频道交叉更新了一些小白入门的教程,实际上是我梳理后由 hyperframes 生成的,其中 t t s 生成语音用的是微软的 t t s 同步,会生成句子级别的 v t t。 文件。通过这个 v t t 文件, hyperframes 在 帮我们生成视频的时候就知道每句字幕的一个显示时长和位置。 但是有一个问题,我们针对短视频平台生成的是竖屏九比十六的视频,这种句子级别的长字幕显示的效果不会太好,所以说就要做长句切分来实现更好的显示效果。 听起来很简单,但是实际上这个需求的坑是很多的。上一轮的四位选手,除了小米偷懒一分钟左右完成的任务将问三点七 max 和 kimi k 二点六都是大概十分钟左右完成的,迷你 max m 三更是半个小时都没有搞定,被我们强制停止了。 总体的完成情况而言,都只能说是勉强及格,主要是长度约束和与完整性的一个权衡问题,这边的话可以参考一下我今天给小米写的这个提示词, 长度限制和这个与完整性是冲突的,手机适合显示的长度也就十五到二十五个中文字母左右,但是这个时候截断就会影响语义,怎么权衡?是不是允许超线?超线的话允许几个字母截断的话在哪里结合适允许适当超线的逻辑,只有 kimi 二点六在上一轮实现了合理的截断,没有一位选手做到。 还有中英文混排的问题,中英文的这个显示宽度是不一样的,这个问题上一轮的四位选手同样都没有注意到。最后是标点处理,这个大家都有去做,但是做的都比较粗糙。 然后应粉丝要求要把 g r 八五点一和 deepsea 微四 pro 拉出来同样测试一下,我们自己来做这个对照组,很早之前的一期视频我说过,目前而言,模型决定下线工程化决定上线,工程化的核心现在还是人,也就是说其实上线是由使用的人决定的,只要你讲的足够清晰,模型的强弱其实没有那么重要。当然长远来看,模型的进化速度太快了,可能很快这个门槛就没有了。 目前而言,能把话说的让大模型听懂,在当前这个时间节点还是比较重要的。 ok, 扯远了,让我们直接开始今天的测试吧。 ok, 这边 g r 五点一已经完成了任务,我们看一下它的处理方式, 和上一轮的小米米某选择了同样的处理方式,直接选择一手偷懒,用标点符号直接切。 这边这个小米的米某一直卡在这个安装依赖了,应该是我们的网络有点问题。 ok, 小 米米某这边也完成了任务,我们等一下 dsp 五,等它完成之后,我们整体看一下。 ok, deepsea v 四 pro 也紧跟着完成了,我们直接看一下它们的输出结果, 先看最新完成的 g 二万五点一, 基本上选择了和上一轮小米 mini 一 样的套路,直接拿变脸符号去切了。然后我们看一下第二个完成的 mini 二点五 pro, ok, 看上去整体是满足我们的需求,并且没有什么太大的问题。然后我们看一下 deepsea v 四 pro 的 一个输出, 这边的话有点问题,被逗号放到开头了,然后二十行这个看起来也比较长。 ok, 我 们看完了问题语义,没有什么太大的问题,我们看一下他们三个的说法,首先是这个 g r m 五点一,它的这个套路和上一轮的这个密模式完全一样的,直接按这个标点断句了。然后这个 deepsea v 四 pro 没有说它是怎么实现的,我们来问他一下。 ok, 可以 看到它这个语域三分同样是选择的这个贪婪算法,然后没有考虑到这个超限的问题,中英文的这个混盘也没有去做一个考虑,可能从这个输出上大家看不太出来,但是实际上这些模型的输出主要是针对当前的这个测试用力,换一个不同测试用力的话,效果就会大打折扣了。 整体看下来,目前国产第一梯队的六个模型,在这个任务上面表现最好的是 kimi 二点六,然后 gm 五点一和这个小米的 mini 二点五 pro 选择了一个偷懒的做法,这个的话我们也很难去讲是好是坏,主要是一个模型的选择问题, 到底是想的非常全面之后再去干,还是说,嗯,想个百分之七八十先干出来,然后再改?这个其实要分场景去考虑,然后 deepsea 微四 pro 先问三点七 max 以及 mini max、 m 三基本上都是一个攻克生的思维,先把这个东西想的比较全面,然后去做 啊。他们的问题是想的还不够全面,或者说目前的模型在应用算法这个场景下面还都有所欠缺。这边也呼吁这些模型的厂商不要盯着那个智力的排行榜,我们实际上需要的不是科学家和数学家, 我们实际上需要的还是以更好的成本能帮我们解决实际问题的模型。你现在那个智力上去了,成本也上去了,但是在实际应用场景上能力提升并没有多少,所以说这个其实就很尴尬,能力的提升和这个成本的提升是不成正比的,所以说这个其实还是值得各个厂商去考虑一下。 ok, 今天就到这里。

六个国产的 ai 模型,加上一个国外的顶尖 cloud 作为对照组啊,同一个项目,同一套提示词,从零开始,写完一个完整的前后段应用, 整个过程全部自费,没有任何广告。最终排名如下,测试环境我们统一有 openroot, 按照模型名称区分了项目文件夹,同一台服务器,同一套提示词。因为之前我家的小猫去世了,然后我做了一个视频,也收到了很多的暖心的评论,他们都提到了一句话,就是我们家的猫猫会和多金一起快乐的生活在天堂里的。 这个就是我做这个项目的初衷啊,其实就是想给一些啊去世的小猫打造一个赛博乐园,然后其实不是很复杂,就像当时我们玩那个 呃旅行青蛙一样,就放置,然后纯挂机,他们自己会有一些活动,但这个提示词你看其实写的也还挺细, 总的来说算是一个比较综合的项目。我的测评思路是这样,第一轮我们先来 one shot, 就是 说看一遍跑完之后这个模型能跑到什么程度,之后我会根据他们第一轮的表现去继续修改, 这时候提示词确实就不一样了,因为我要根据他们现有的情况去说嘛。这一轮其实是说我想去挖一下这些模型的能力上限大概能到哪里。提示词发出去,六个模型同时开跑,先说速度, step 三点五 flash, 它起手就是一百三十 tokens 每秒,这个快到离谱, 但是啊,它过程中会反复的去复读,而且中间直接中断了三次,我都得手动去输入继续它才能够继续跑,这个就真的很要命了,所以导致它的总时长其实比别家还要更长一点。现在二点零千瓦,三点五, kimi, mini max, 它们基本上都稳在四十左右,第一轮的总时长也就是七到九分钟, 只有智普的 glm 五是最慢的,我都是官方 max 的 订阅了,它的起步就只有十三到十五,后面稳住也只有三十,那它的第一轮总耗时有十八分钟,那总的完成时间我们就先摆到这里。这个第一轮我心目中及格的标准就是啊,前端它能够正常,现然, 哎,在画面具体怎么样先不说后端的话,它的登录然后穿图啊,各项功能都正常,这是一个最基本的。 接下来我们来看它们具体的结果。先锋三点五的一个 bug 就是 你在登录之后,它很快还需要你再登录它前端的猫其实还意外的挺可爱的,但是这个视角跟随是用不了的。 c 的 二点零的后端倒没什么问题啊,但它的前端是一直在闪, mini max 的 前端他第一次直接渲染不出来,而且呢,我的提置词里面是已经明确要求了上传照片是必选项,而且还需要做删除的功能,他呢,就直接没做 seven 三点五 flash, 说实话,他在跑的过程中不是频繁的复读吗?就这个事让我实在是对他没有什么信心。 结果呢,在注册登录上以后,上面呢,还有一个这么大的登录框,在上传照片确实是必选项,但这个功能他就用不了,导致我就没法送冒进去,也测不了。前端 kimi 的 k 二幺五,它作为一个大参数模型啊,它的前端能力确实曾经震撼到我,我是真的盼着它能给我个惊喜,结果它的前端就直接没渲染出来,而且我添加一只猫进去,跟随视角那里会直接 bug 成三只,那就只剩我们的质谱了。第一轮的前端,它的地面是在抽搐的, 猫的形象也是有点抽象啊,但是说实话,我觉得它的功能上是唯一一个及格的。所以总的来说,第一轮啊,我印象比较好的其实是千万三点五跟智普 gm 五就是千万,确实是有一个恶性 bug, 但是它的前端还挺好看的,在我这里是加一些分的, 然后智普就是中规中矩,他没有什么错。接下来就是各自去修自己 bug 的 环节了啊。这个过程其实你会对它们模型的能力会有一个很主观的感受, 因为就是你提一个需求,然后他反反复复改不完,那你也没有什么心情去给他再提修改意见了。其实几乎每个模型我都给了两三轮的迭代机会,那我也去直接拉一个表格给大家看,结果大家看着,顺便我搁这解释一下, 千万三加五在过程中出现了一次大翻车,他是把之前好好的前端改的无法渲染了,虽然后来又救回来了, 跟随视角登录,私密公开的功能他也都修好了,我对他的迭代能力总的来说是满意的,而 c 的 二点零,他的迭代几乎就没啥用了。首先这个画面他从始至终是一直在抽的, 而且这个猫太抽象了,甚至怎么还在这个画上放了一个包子呀。 mini max 的 基础功能他都改好了,场景也确实更加丰富了,但是就感觉丰富且简陋吧,再不他是改了基础的 bug。 嗯,没有什么其他惊喜。 kimi 啊,你看我出镜了对吧,我要好好说一说 kimi。 一个相机的锁电功能,他改了三轮,是一点没改好,场景一直是空的,甚至这时候我发现,哦,我的文件都乱套了。原本你记得我们最初的工作目录是这样的,然后每一个模型都在各自文件夹里写,只有他把整个工程做到了总文件夹里, 直到我最后归藏的时候才发现这个问题。所以我对这种啊,比较简单的这种遵循问题我是非常在意的,就是我当时就想给他扣个大分。再来说质朴。 gm 五的 bug, 其实也基本都改好了,除了我说的那几个字看不清,因为它这个程序啊,它有两个页面都有这几个字, 他可能不知道我指的是哪一个页面,当然了,也确实是可以说的更细。但是当时嘛,时间原因,我觉得这个也算是理解力有点问题吧,测试走到这里,其实我会有点陷入低谷,就是我会觉得,哦, 其实国产模型表现也都不怎么好,然后我就觉得是不是我自己的问题,就我的提示词是不是写的不够好,是写的太细了,反而限制他们的发挥。 因为这个事啊,其实就是当时我跟我女朋友去聊天的时候随口想到的,最初就是有这么一段想法,然后我再把它不断的气化,最终变成了现在这个样子,那 在这个时候也是时候去启动我们的顶尖模型可倒的了。我们来看一看他的表现。首先因为我用的是第三方的重转,所以他的速度其实一直不到二十,会比较慢。 而他第一轮交付的结果是这样的,比较令人欣慰的是,他除了前端的界面确实还是比较简陋以外, 其他的功能是没有任何问题的,完成度是非常的高。于是我在第二轮去跟他说,让他去丰富一下场景啊。这个时候,不知道为什么, open code 它里面遇到了频繁的工具调用错误,感觉是个什么 bug, 然后完全发挥不出它的魔性能力。 于是呢,在这里我确实是改成了他家自家的 cloud code 的 工具,然后还是在这个文件夹里,在第一版的基础上去进行了一个修改,它最终给我交付出了一个这么挺广阔的地图。当时在测试的我就直接发出了这样的感慨, 值了。真的,就毫不夸张地说,嗯, cloud 是 让我第一次有了一种感觉,就是这个项目可能是能做出来的, 呃,可能是能正式上线的。我的意思是其他的 ai 模型其实没有给我这种信心。其实到这里呢,我们所有代码的部分就结束了啊,因为我自己不是程序员,我只能去试一下他们整个的感受啊。但是具体的代码质量怎么样我是不知道的。 我就让 cloud office 四点六去开了七个子 agent, 去把所有模型的原代码都 review 了一遍,没想到他还真给我挖出了几个彩蛋。首先是智普 gm 五的代码里,它藏了一个后门账户,账户名阿德曼密码阿德曼一二三, 它是直接硬编码在代码里的,而它在交付的时候其实没有告诉我。第二个 mini max 是 唯一一个用裸哈希蹭密码的,甚至都没有加盐, 简单来说就是密码保护几乎等于没有。另外,其实他们的基础站用的确实不太一样,用了面向对象架构的模型,比如说 cloud 和智普,他们的前端效果确实就会明显的好一点,而其他的模型全都是过程式代码,就一个函数,从头画到尾, 他就会导致你在迭代的时候很容易越改越乱,甚至呢,迷你 max, 他的前后端的状态这个数他都对不起来。然后是整个项目里最难的一个相机跟随, 大部分的模型,要么是直接把猫挪到屏幕中间,要么在跟随功能里面写了前端渲染,但是根本没有调用。只有 cloud 正确实现了 what to screen 的 代码转换,所以它才能够第一次就成功。最后我们再来放一下总分, 一共就这六个维度,前五个全都是我非常个人的主观的体验。最后一项代码质量是 cloud 去审的,最后加权呢,算了一个总分。 另外所有的 ai 花费的 token 量以及制作的总时长,我也都统计在这里。仅针对我这次制作的这个项目啊,它具有参考意义,数据都很主观,它跟你的感受相似吗? 其实说实话,它跟我的经验都不太相符,但结果就是这个结果。而且我这个项目是 ai 区一口气写完整个前后端的能力 啊。但去评判 ai 模型,它的标准非常多,所以说如果你想看的是那种公众公平并且维度全面的测评,其实是可以去参考一下排行榜的。而我作为一个用 ai 去编一些小程序的乐子人 其实还是很好奇,就是年前扎堆发的这些 ai 模型,他们之间的差距到底怎么样啊?到底有没有特别大的突破?我觉得这些模型你亲自上手去跑一遍,总会有一点感受。于是就有了这期视频,也跟大家聊几句我对目前这些国产 ai 模型的看法 啊。前端能力我觉得应该还是 kimi, 不知道为什么他这次翻了翻车啊。但是 kimi 的 k 二点五,他一个是说能直接读视频去做网页, 另一个是也确实之前我给他足够多的内容,他写出来网页是震撼过我的。这 im 五我一直认为他是国内的编程的领头羊 啊,其实能力确实不错。然后他就是涨价了,然后他,你说涨也可以,因为现在确实是大趋势嘛,这个整个用户多了,这个成本也高,但是你让老用户,嗯, pro 会员都没法用,第一第,没有办法第一时间用那个最新的模型。然后 lite 现在还没上,至少我写的时候还没有上。呃,甚至这个量还缩水了一点,就会感觉有点不爽。而 mini max 就 恰恰相反,它就很便宜,虽然出了高速版套餐,但是普通版还是便宜的。 嗯,速度也比较快,比较清亮。就是我会用它去接那个 opencloud 这样的小机器人,我觉得还用起来挺舒服的。总之你要问我性价比,我就会推荐它。然后就是 camden 的 三点五跟字节的 c 的 二点零,说实话,这两个模型比较新。呃,也可以再关注一下,我到时候也持续看看 别人对它的一个反馈。至于 cloud, 它确实是断层领先,价格也确实是断层的贵。嗯,但是啊,如果你换个角度来说,嗯,做一些严肃的项目或者正经的正式的项目的话,其实, 嗯用它会节省一些时间,也会给你一些信心,该上的话就还是上吧。好了,这就是这一期的啊,国产的 ai 编程的横屏的所有的内容了, 还是那句话,我祝他们早日超赶超 cloud。 我是 大黑,希望以纯人工的方式来向你分享智能。我们就下期再见。拜拜。

哈喽大家好,上一期我们跟大家分享了如何用三步使得你的 call code 可以 插上国产大模型的翅膀飞起来。那么小伙伴不禁要问,到底哪个大模型更适合做我的项目呢? 今天呢,我们就用一期非常有趣的比赛来给大家揭晓结果。在进入今天主要内容之前,还是要声明,该比赛只是自娱自乐, 不是专业测评,大家切勿用来以偏概全。说实话,现在 ai 工具这么多,选择困难症都犯了,这个说自己代码天下第一的,那个说长文本无敌的, 但是实际干起活来才发现坑真的很多,有的 ai 写代码比我自己写的 bug 还多,有的确实厉害,但是钱用着也是真的心疼。所以今天我们就搞一个实战测试,用一个真实的偶发的 bug 来测测这些 ai 到底几斤几两。 接下来跟大家说下咱们这场的比赛的测试规则和整套的测评系统,整个操作都是网页端完成,不用敲复杂命令,上手特别简单。第一步,我们会给每一款参赛模型单独创建一个测评系统, 相当于给每个选手安排独立考场,代码环境互不干扰,保证测试公平。第二步,统一发放带有隐藏 bug 的 代码文件, 只告诉模型代码有问题需要修复,不透露具体 bug 的 位置,背行以及数量,全靠模型自己读代码找问题修复方案。 第三步,把模型给出的修复代码粘贴回去,点击一键,测评系统就会自动打分。 这次我们还设置了三个梯度的 bug, 难度逐级上升,青铜级考察最基础的数据流向理解,白银级考验代码逻辑的判断能力,最难的是黄金级的 bug, 专门测试模型的架构思 维,模块依赖的处理能力,覆盖程序员我们日常开发的一些排错的一些场景。 所以我们就准备开始,为了保证比赛的公平和专业,我们用了一套专门的大模型的编程能力测评系统,非常的严谨。 嗯,那么介绍一下今天的出场嘉宾。首先,左上方的这个是 deepsea v 四 flash, 右上方是 gm 五点一,这里左下方是 kimi k 二点六,然后右下方是千问三点六 plus, 那 么我们就话不多说,从这里直接开始吧。 那么可以看到千问其实做的很快哦,千问都已经做完了。哇,千问这个好快啊,好,那我们直接让它修复好了。 天呐,千问修复的好快哦,这个看起来感觉好像 好像有点问题啊。嗯,暂时先这样,我们看一下 哦。这个,这个, deepsea 微四 flesh 这边也找到了所有的问题,但它好像只找到了两个,那么它, ok, 我 们其实一共有三个问题。好,那它要修复,也让它修复。 这边我刚看到 gm 五点一,好像是找到了三个 bug, 好 像是找到了三个,我们来看一下,我们来看一下它最后的一个结果。那么现在就只剩下 kimi k 二点六还没有完成。 kimi k 二 k 二点六,现在时间过去了两分多钟。嗯,好的,那么 gm 五点一哦, gm 五点一这边其实也是也是两个 bug。 ok, 好, kimi 也 通过六分半的时间终于完成了代码的修复。那么我们看一看 kimi 到底找到的 bug 怎么样? 好,那么我们接下来来进行测试。那么测试呢?这边也有一个网站,那么我们可以看到这边有四个模型,然后,呃,我会把他们生成的相应的一些内容 啊输入进去,然后进行测试。好,那我们一个一个来,先看 deepsea vs flash 的 生成的内容。好,我们来把这个内容 输入进去。好的,我们运行测试,看一下结果。哦。 青铜和白银正确了,但是黄金级别的错误没有识别出来,所以 deepsea vs flesh 得了两分,是白银级程序员,表现还算中规中矩。我们来看一下 gm 五点一, 这样五点一,看看他的表现是不是能够配得上国产代码一哥的位置呢?我们来运行一下测试。 哦,也是一样,也是青铜和白银完成了,黄金没有完成也是两分。好,算是跟 deepsea 一 起打成了一个平手,但是你们价格可是差很大呀。 好,那么接下来看一下 kimi k 二点六,看一下他的表现如何。 看一下。哦,一样也是青铜白银完成了,黄金没有完成,也是得两分。好的,那么我们再看一下最后一个千问三点六 plus。 哦,他写到了这里来。 好的,他没有遵循我们的 代码里的要求。不管了,我们先还是看结果吧。那么千万三点六 plus 怎么样呢? 哦,也是一样都是青铜白银和黄金完成。呃,青铜白银完成了,但是黄金没有完成。那么我们再分别给他们每个人一次机会, 让他们看看找一下还有没有别的 bug。 好 的,我们每个人给他们第二次机会,让他们重新再排查一次。 好了,已经二十分钟了,这个 kimi 呢?还是在 almost done thinking, thinking some more 好意思再讲?那我们决定先不等了,我们先测试 deepsea vs flash gm 五点一和千问的结果吧,让它继续再跑着吧。 好,那我们这回从千问先来,我们把它们都先关掉啊。我们从千问先来 看一下他们,看一下千万的一个效果。千万好啊,第一轮大家都是打平手啊,那我们看第二轮大家的 哦,第二轮千万还是没有答对,那好,那么没有办法了,千万只能是一个白银选手了。那么接下来我们看 deepsea v 四 pro, 呃, v v 四 flash, sorry, 好, deepsea v 四 flash 我 对它期待比较高啊。三二一 哦, d c 归四 flash, 它改错了,它的问题应该是找对了,但是它改错了,没改对。哎呦,这个有点可惜啊,这个有点可惜, 没关系,我们再继续再测试一下,这样五点五点一好了, 你看一下 gm 五点一改的怎么样,是否能对得起这个国产代码一哥的地位呢?毕竟耗了我那么多的 token。 三二一测试, 哦,还是一样,黄金题还是没有改对。 gm 五点一应该是也找到了这个问题,但是也是没有改。对啊, 那我们看一下最后一个选手,这个改的非常慢的, kimi 是 不是能够真的把他问题改对呢? kimi k 二点六,由于录制的时候没有把录声音录进去,我就把得分直接放在这了。 kimi 二点六也是一样倒在了黄金 bug 上面,而且没有找到真正的原因。 那么总结一下,由于青铜和白银对于这些模型来说都已经很简单了,所以我们就聚焦在最难的这个黄金 bug 上,这也是区别模型实力的关键。 第一组选手呢, deepsea vs flash 和 gm 五点一两款模型都成功找到了这个高暖度的 bug 的 核心问题,可惜他们在修复的时候都没有 呃,能够给出正确的修复方案,差了这么临门一脚。第二组是 kimi k 二点六和千万三点六 plus, 这两款就比较遗憾了,从头到尾其实都没有真正定位到黄金 bug 的。 这这个问题根源 其实从性价比来看还是比较清晰的, gm 五点一是四,四点五九千问三点六 plus 四点一八, kimi k 二点六,两点七五,而 deep sea v 四 flash 只有两点六。 其实你能看得到结合我们的能力的能力的一个比拼结果,能看得到 deepsea vs flash 既能定位到这个高难度的 bug, 那 么花费还是全场最低,那么出铺就出铺,就能看出来它的其实性价比是非常有优势的。 那么为了让大家看的更全面呢,我把所有模型的详细参数,收费标准也都列了出来,单位是每百万的 token。 先重点说一下 deepsea with flash 缓存,每命中的时候是 一块钱,输出是两块钱,如果触发了缓存,输入直接降到两分钱,这就是为什么大家称之为良神。这个 g a 这个价格可以说它是碾压级别的便宜,高频使用能省下非常大的一笔钱。再看千万三点六 plus, 输入是两元,输出十二, 缓存命中后输入是两毛钱,输出的成本相对偏高。 kimi k 二点六整体价格就比较偏贵,输入六块五,输出二十七,哪怕缓存生效,其实价格也并没有优势。 而 gm 五点一还分了两个档位,输入内容小于三十二 k 和大于三十二 k 收费不一样,那么整体输入输出价格都不低,大文本的这个调用成本会更高, 所以综合来看,并不是价格越贵能力就一定越好。这次测试完全打破了一分钱一分货的这种固有认知。以上就是本次 ai 代码捉 bug 大 赛的全部的测试内容和选型建议了, 相信大家现在对这些主流模型的真实实力、收费情况都有了清晰的了解,我们以后还会持续地将本期的内容再去延展到更多的一些模型当中。 大家如果有任何的问题也可以在评论区留言,如果喜欢本视频也可以点赞、收藏和转发。好了,今天的分享就到这里,感谢大家的观看。

我以前测试过 g m 四点六,几个小时都搞不定的问题, g m 三一次性就解决了,但最近这波发布的 g m 四点七号称编程能力大幅提升, 而且还在 s w e 笨器、 web dev 等多个全榜单中都取得开元第一,国产第一的成绩。我就想试试开发同一个功能,看看它到底提升了多少。 给大家简单说一下,这功能就是在杀背写这个插件里面增加一个合集地址的下拉框选项,然后要去调用 b 站合集相关的一些接口, ok, 开始实测。我是在 vs code 中使用 code code 的 插件来接入 g m 四点七的方式来进行开发,稍后会讲具体的配置方式。我这里直接把这个需求告诉他,生成下拉框选项,然后再输入地址获取视频这个秃噜的文档, 这个文档就是我把 b 站跟那个接口相关的一些 api 地址啊,然后对应的参数都拿过来了,然后我直接让他去帮我开发这个合集功能,我们这里稍微等一下, ok, 他 现在开发完成了,我们去看一下效果。我们这里重启一下插件, 点开他这有个合集地址,我把当前合集地址放放进去,然后获取下 cookie, 再获取下视频, ok, 在这里就获取成功了,你看嘛,我的二十三个视频,这里有二十三个,这种感觉真的太爽了。 gm 四点六,几个小时都搞不定的功能, gm 四点七一次性就解决了,这就是真实项目的开发,体验提升真的太明显了。 接下来我们用三个模型开发小鱼线,一起来看一下对比效果。 g m 四点七的前端审美和交互都很稳,再给大家讲一下怎么在卡洛克中使用 g m 四点七。 来到日普的官网订阅一下 g m coding plan 的 套餐,基本上开发需求用这个 night 的 套餐就够了。我是上个月就已经开通了他们 night 的 季度会员的。 订阅成功之后,我们来到顶部的接入编程工具按钮,然后选择 cloud code, 跟着官方文档去配置就可以了。配成功后,大家就可以在 cloud code 中愉快的使用 gm 四点七了。 nice! 总之我这次用 gm 四点七开发 java 器,相比 gm 四点六的提升真的很大,而且价格也比较便宜,非常建议大家去试试。 评论区我放了三张 g m coding plan 的 七天体验卡,大家先到先得。好啦,以上就是本期视频的全部内容,记得点赞和关注我哟!我是阿超,我们一起学皮皮强,我们下期再见!拜拜!