看到这些满屏的代码,你有没有像我一样头皮发麻,或者是看都不想看一眼?但是其实你只要仔细观察就会发现这些其实很简单。这几天看到一个特别有意思的修改图的另一种方法,它能精准的控制图片的物品,并且达到修改它的目的。 就是用 gemini 和 banana 联合,然后用 jason 语言去控制它的信息。这个灵感是来自于国外一个 up 主 round drop, 他的分享让我了解到。还有这种方法,就是 jason 语言去精准的用代码去控制修改信息,然后能达到的效果给大家展示一下,比方说这是,这是修改过的, 这是原图,原图是晴朗的啊,这么一个环境。然后是大家注意这几个柜,这几个小柜子,这几个小柜子我也是用 jason 语言去单独的修改它的颜色, 看,这个是用语言提取它的天气氛围,灯光信息,然后去把它的代码改成阴雨天的这种感觉, 那然后大家可以看一看都有什么应用模应用方式吧。还有就是这种的,这是原图啊,原图这是通过 jason 改的,改了单独把它的颜色改了,还有这个柜子啊,做了这种修改,还有它的质感。 原图,然后这个是文字,大家可以对比一下,用文字修改的这个文字,用修改的话,他就会把柜子还有这个右边这一块的统一都修改了, 然后这又测试了多个修改变形。这个是原图,这个是修改的是金色的书柜,还有花瓶,红的,绿的,还有这个玉石的质感。 原图和 jason 修改的用文字的话,他就是会文字,会把这一整块,还有这个,嗯,他的支架部分连成一个整片去做修改,其他的还都挺好的,文字表现都还不错,做了一些测试。 然后这个是 jason 修改的,单独修改的这个油画文字,单独修改的这些都还行。这是原图,这个是 jason 语言修改的。阴雨天的氛围,保持所有东西不变,去调它的环境 啊。这是跑了两张,看一看他会有什么不稳定的情况,但是大致都会表现挺好的,这是文字,文字的话就会有,他就会把原图的这块会加一些结构啊,把之前的人影给去掉了, 这也是文字。文字他会把这个灯打亮,然后把这个灯又复制到这边,复制了一个啊,会有这种不稳定的因素,而且他颜色有时候也会比较随机。这是 jason 把它温温暖调成温暖的,这种色调保持不变。原图 jason 调成温暖的就是我的描述,大概就是夕阳西下啊,一个下午,温暖的色调。 这是跑的另一张,效果基本一致。这是文字跑的啊,夕阳西下他就会把人挪到这边。这是另一张啊,都会有一些随机性。 我们新建一个对话框,在这个对话框里,我们把这个命令给他复制过去啊,给他复制过去,然后把我们的图片啊,也给他 把这个调成 pro 模式发送,然后等他给我们提取这个图片,所有物品的这些关键信息,有颜色,然后有物品的名字啊,物品的 id, 还有这个物品的一些材质啊,这些信息都会有, 还可以提取别的,但是我们目前只需要这些信息啊,然后他现在夸都出来了,大家看到就是他说的这个扶手椅,大概就是这个扶手椅,然后色号是这个啊,嗯,这个是面料啊,然后这个是质感, 他都会有,你看他这个是脚蹬啊,就是这个他俩是一样的颜色啊,一样的颜色,一样的质感,都是一样的。一会我们就把这两个主要显眼的东西给它改一下,然后呢我把这个复制一下,复制一下跟他说,呃什么打一个退格啊?起另起一行, 把我们的这个 js 语言贴过来,贴过来之后咱们去找到他的刚刚说的这个扶手椅,这时候我们去直接去 ps 里啊,直接去 ps 里找一个色号,比方说我想用这个蓝色, 那用这个色号去把它的这个给它改变掉,把它的这个代码里的这个数字改变,我们只只用把它的色号粘过来啊,然后把它也粘过来。 这个为这个最明显的好处就是我们用语言很难描述这个蓝色,他是个什么蓝色,但是用 jessie 语言就可以直接很明确的告诉他我们的代码是什么,让他调成这个颜色,保证材质不变,材质我们只要不更改他就不会改变,如果我们把材质更改的话,他就会,比如说改成金色啊,他就会直接变掉,我们现在不做更改,然后把这个图发送给他, 检查一下命令, ok, 发送,等他去给咱一个反馈。好,大家看到他给我们的反馈就是这张图,我们下载下来。 好,下载完毕我们拖到 psd。 大家看到大家可以看到他和他的颜色有多么相近, 因为他不可能完全一样啊,但是他确实很能,就是精准的去按这个色码去调,毕竟他会受到环境光的一些影响啊,这些东西都会有影响,但是他在这个方面做的超级棒啊,就是精准的调控比咱们用语,用语言我们可以可能也可以说把它改成蓝色,但是他没有办法这么精准,比方说我就要改这个多少多少号色号的颜色 啊,可能会有一些问题, 然后我们就可以再新建一个,比方说我们要让他变一个,变一个阴雨绵绵或者是阳光明媚的一个下午,我们可以把他的原图啊再给他, 这个时候我们就需要提取一个不一样的,一个不一样的语言,就是不能用位置信息,因为我们要跟天气氛围有关的话,就是会有一些啊,对环境啊、氛围光啊这些是重点,所以我们要换提示词,比方说这样的啊,这个是对天气的一些 提取,我们把它改成 pro, 然后问他,让他提取,这是他提取给我们的一些信息啊,会有这种阳光强度,还有这种啊锐度啊,这些咱们可以不用看啊,咱们可以直接复制复制,然后咱们就去再新建一个对角框, 告诉他什么我就直接用,直接用这些吧,改成天空暗淡的 雨夜啊,改成这种,然后我们把推格把刚刚的这个粘贴语言啊,原封不动的粘在这块,让他给我们去自己自己让他让他去改这些各种参数 啊,你看他这就改好了,然后我们直接复制,复制完之后新建完多少框,我们把刚刚的这个粘贴直接粘过来,粘过来,然后把那个把图片拖过来,用这张吧蓝色的 发送,然后等他反馈好,他反馈就是这样的效果。目前我们可可以看到他有雨啊,但是他不是晚上,可能会跟我们这个,呃,昏黄、微光、窗影斑驳这个有关系,我们可以手动的再调一下他, 比方说我们可以把他改,直接改成,嗯, 改成夜晚吧,主光源,零点零点三吧,改低一些啊, 然后我们再把图给他 发送好,这个就是我们改了那个夜晚,还有零点三之后他给我们的一个反馈啊,大家看到明显灯光变暗了啊, 啊,这个暖光明显灯光变暗了,剩下的我们就可以细调,比方说,呃,黄昏或者是再暗一些啊,或者是有一些强光,我们都可以去把这些去参数可以做调整,我们可以自己去做测试啊,他都能很精准的控制。比方说这是, 这是主光源啊,这是大气啊,都可以。你看他的这个,他的雾气是零啊,我们可以试着改一改雾气,比方说是零点零点六,我们去改一下,试一下, 我们可以把雾气改到零点零点五吧,零点六可能有点高,然后这是反射啊,这是白色家具,这是主要主题烛光源, 这是照明颜色的倾向,五千八是偏,我记得六千五是白平衡,五千八可能是有点暖的,五千八改到七千八吧,环境强度零点八五, 暗淡吧,暗,别,别添光了。行,我们改完之后我们再去看一下。 好,这是他给我们的反馈,大家可以看到他明显就是有灰一些,但是他还是不够暗啊,然后我们用这个关键词, 这个是我之前测试的,他就是那种很暗很暗的那种,就像我们刚刚我们前面看到的那种对话一样,大家可以看到他是他的参数七千五、零点二五,然后呃,曙光源、零点三啊, 这些我们都可以微调啊,他他能做到很精确很微妙的这种调控啊,我我觉得这个是他最大的优点,但是他用起来就是会稍微繁琐一些啊,我们再跑一遍试一下。 好,这是我们最后出来的效果啊,其实这些关键词都可以去找一找他有什么不同,然后这样我们就可以针对性的去修改他,他里面的一些关键词,有什么区别啊,这些东西 啊,这样我们就完成了,你看对一个参数的微调,上面我们改了啊,主光刚开始我们是这样的,我们把那个窗影斑驳啊那些都改了,再往后我们改了,雾气啊又大一些啊,这个真的感觉就是有点像三维的那种参数化处理啊,真的很精确。 然后就是我自己的一些发散的思维,我觉得他可以提取环境氛围呢?是不是也可以提取就是整个场景,你像这种一键变风格的这种, 然后我去,我真的去试了一下,还真的可行啊,大家可以看一看他的效果,这是筛选出来的,我觉得筛选出来的他颜色这是文字出来的,这两版是文字出来的啊,他会有这种随机随机感,文字提示词其实都大差不差啊,就是把风格迁移过来,不要改变任何东西,这是筛选的,这是文字的, 我个人是喜欢喜欢他这个云的处理啊,他会有特别高光的这种感觉,然后文字的话,你看他都是这个还好一些,这个就有点灰啊。 这是自己做的一个测试,就是猫咪,猫咪这个文字和 jason 语言控制的都大差不差,没有太大区别,然后后面还会尝试一些控制别的东西,还都挺有意思的,后面 看慢慢研究,然后有收获的话会及时和大家分享,然后期待大家用用到 jason 能去有更多的奇思妙想的一些用法吧。
粉丝1896获赞1.3万

今天跟兄弟们分享 jason 格式的提示词啊,这个有用吗?嗯,这个东西好在哪啊?有了它呢,咱们写提示词啊,嗯,就跟写填空题似的。嗯,给咱们个模板往里添就行, 要不每次自己写提示词,写出来的呢,就跟抽盲盒似的。最重要的是呢,他能学到很多文化,多巴恩活泼风。谁给我解释一下 马卡龙色系点缀?马应龙我知道,尤其啊,是做建筑装饰设计行业的,就相当于啊把提示词呢给分了,图层逻辑清清楚楚啊,好理解多了。 首先啊,找一张图丢给娜诺果,娜娜把这段提示词给他呢,提示词是这么写的,他是一位资深的室内设计师,建筑装饰领域的风格迁移专家。 任务是啊,深度分析参考图,绕过表象,抓取设计灵魂,用于后续的风格迁移。下面呢,就是拆解核心的风格与氛围材质和机理啊,光影逻辑,构图方式,相机参数的模拟,还有就是技术渲染指令。 最后呢,让他扒出一段呢,可以直接复制的标准化的 json 格式的提示词,用于迁移到新的空间。然后呢, ai 就 会给我们生成这个图片的 json 格式的提示词,每条提示词呢都是干什么用的啊,写的非常清晰。 然后我们把这个 json 文件呢,再给 ai 丢回去,让他再用自然语言描述。呃,就成了一段结构清晰的自然语言的提示词了。我们拿它生下图呢做参考图也行, 加上锁定结构的提示词,让它把白膜或者是草稿啊,生成效果图呢,也可以啊,对 ai 感兴趣的朋友可以加一下关注,咱们一起学 ai。

什么是 jason skin? 简单说,它是一份用 jason 写成的数据说明书,专门规定一段 jason 数据应该长成什么样。在方式拷令背后,它扮演的是参数规范的制定者。 模型要调用函数前,必须先知道自己可以返回哪些字段,字段是什么类型,哪些必填,哪些可选。论文将把这件事拆开讲清楚,包括 jason schemer 的 核心组成,它如何约束模型输出一个完整调用流程,以及它的能力边界。先回到 jason 本身, getson 是 一种轻量级数据格式,主要由对象数组、自附串数字、不尔值和 non 组成。它很适合机器间传数据,但 getson 只负责装数据,不负责管数据。比如一个 a 级字段,有人写成数字三十,有人写成自附串三十, 还有可能漏掉。 jason 本身不会报错,更不会告诉你这是不是合法数据。 jason scam 就是 为了补上这一层约束。它本身也是一段 jason, 只不过这段 jason 描述的是另一段 jason 的 结构。你可以把它理解成数据库表结构或者代码里的类型定义, 但它是语言无关,平台无关的。 json 里有几个最核心的关键字, type。 声明字段类型,比如 string, integer, number, boolean, array, object, properties。 声明对象内部可以有哪些字段, require 的是一个数值, 列出哪些字段必须出现,缺一个都算不合格。 additional properties 控制是否允许出现没在 properties 里声明的字段, 如果设成 false, 多一个字段都会较验失败。 items 用来约束数组里每个元素的类型。 annum 直接给出可选值集合,比如温度单位只能是 celsius 或 fahrenheit, minimum 和 maximum 约束数字范围。 description 则负责给字段写自然语言说明,这些关键字组合起来就能把模糊的给我一个用户。信息变成精确的必须包含字母串 name、 整数 age, 且 age 不 小于零。为什么 function calling 特别需要它?因为大模型的核心输出是文本,不是结构化对象。如果没有约束,模型,可能把函数参数写成各种格式,甚至漏掉关键参数。 function calling 的 目标是让模型在需要时返回一个函数名和一组 json。 参数由外部代码真正执行。 要让这件事可靠,就必须提前把参数规范告诉模型。 json schema 在 这里就像一份接口合同。模型看到 schema 后,目标不再是自由聊天, 而是生成一段符合这份合同的 json。 比如定义 get 下划线 weather 函数。 schema 要求 city 是 必填字母串, unit 是 可选美举, 且只能是 celsius 或 fahrenheit。 用户问北京今天多少度,模型就会倾向于返回 city 为北京, unit 为 celsius 的 参数。如果用户没有提供城市,模型更可能选择不调用函数或先追问, 而不是随便填一个城市,一个完整的方身。 calling 流程通常是这样,开发者先把函数名函数描述和 jason skimmer 随对话一起发给模型。模型根据上下文判断是否需要调用工具,如果需要,就输出一个结构化响应, 里面包含函数名和一段接参。参数。系统拿到这段接参,会用事先定义好的接参 skin 做校验,校验通过才真正执行函数,并把结果送回对话。校验不通过,有的实现会直接报错,有的会带着错误信息让模型重新生成。这个过程里, skimmer 既是生成阶段的提示,也是验证阶段的判据。它让参数质量从大概率对变成可检查、可拦截。举一个更具体的例子,假设我们要做一个订单查询工具参数 skimmer 规定 order 下划线 id 是 必填字母串, status 是 可选的,美举 只接受 paid、 shift canceled 三个值。用户说,帮我查一下订单 a 一 百二十三的物流 模型可能输出函数名 query 下划线 order 和参数 order 下划线 id a 一 百二十三。如果用户只说查一下我的订单模型,因为拿不到 order 下划线 id, 通常不会随意编造一个订单号,而是选择追问或返回需要补全参数的提示。这就是 summa 在 起作用。它没有教模型怎么说话,但明确划出了合法参数的样子, 压缩了模型自由发挥的空间。不过也要清楚 jason schema 的 能力边界,它能约束结构和基本类型,但并不是万能的。比如如果用户是企业客户, 就必须同时返回税号这类跨字段业务规则。虽然 jason schema 规范里有条件表达机制, 但在很多大模型方程 calling 实现中,支持程度并不一致。模型对过于复杂的嵌套 schema 理解也可能下降。服务商文档通常会建议保持 schema 扁平字段少,描述清晰。还有一点,杰森 schema 约束的是参数长什么样不负责决定什么时候该调用函数 调用时机由模型判断,可能受提示词、函数描述和对话上下文影响,真正涉及资金权限、数据安全的业务逻辑 仍需在代码层做独立校验,不能把全部责任交给模型和 schema。 总结一下, jason schema 是 fengshui 背后的参数规范,它用机器可读的方式描述函数参数的类型、必填项、每举范围和嵌套结构。 它让大模型的结构化输出从一个概率问题变成一个可验证的契约问题。理解它的核心关键字和调用流程,你就能更稳地设计 ai 工具。知道哪些错误可以靠 schema 拦下,哪些必须靠后续代码补上。

那我们来看一下这个它其实是背景,就是这个项目的背景,那这个网关已经上电了,我们网口已经登录了,我们来看一下我们这个 web, 我不知道这张手机拍的清不清楚啊?就是采集这边有个 d、 i、 d、 o 的 数字量,然后这边有个状态的起用的嘛,就是一个状态状态 g、 p、 l 口的一个列表。 现在主要的是在这里你看它的设备设备号,它可以在设备每台设备里面这自定义, 然后厂房号,然后状态状态的状态,这个这个值它也是可以定义的,它可以定义的时间戳,也就是说 jason 的 键名它是可以自定义的键值这个其实也是能自定义的,那这个键值状态我觉得这个可以借鉴一下,就是说这个它的状态跟时间戳设备内部的变量, 这是不能更改的,能付,能付给他,能付给他, 包括我们那个数字量输出,数字量输出也是这样的,这是内部的一个状态,这是内部的一个变量,然后加了一个这个地址,加了这个一个,这个叫啥 地址号符号啊?然后它的制段名,制段名也是可定义的,这样的话,这样的话接生的格式,这样的话接生的格式它就可以更改, 就可以按照客户的要求去更改,这样的话就不用改代码,对接起来就非常的非常的容易。 我们看一下这个上行 m q k t 有 没有,有没有连呢?啊?这里是连了一个,连了一个,那个公共的一个 m q k t, 就是 这种调试方法也是非常方便的,因为我们这个客户端这个 m q k t 它支持多个, 支持多条链路嘛,对吧?然后发布,发布到主题,发布到这里来了,主题是这个复制一下,然后 这个客户端,客户端名称随便写吧。 好,就连接上了,连接上了以后呢,我就订阅一下它这个主题, 订阅一下它的这个主题,它这个 i o 口是数据发生了变化就立马上传,然后如果没有变化,它没有变化的话,它是 没有变化的话,它是有一个超时时间的,超时时间的三十秒也可以改一下,改成十秒 啊,这里还可以添加字段,这样就确保 jason 的 jason 的 一个格式它能,那个 你看就已经上来了,就是节省的格式就可以改变,就可以改变,满足客户的要求了,就满足客户的一个节省的一个格式, 主题也是可以更改的。然后输出呢,就是数据量输出,也可以在这里 就是也可以控制这个,按照这个定义来,这是继电器,然后给一个布尔类型的一个数值,也可以直接控制一个继电器, 这个这个下次可以可以说一下,其实也也很多客户去这么用的。你看这边有个订阅, 订阅,也就是说订阅,订阅以后目标操作就是数字量输出订阅, 当这个主题里面有接收数据的时候,它就会传给这个目标,然后目标对这个接收这个接收进行解析,然后继电器进行动作。 好,就主要就是说,其实主要要说的是,就是比较啰嗦,要说的是那个,就这个, 就这个就是通过 m q t 上传的发布的消息的接收格式,它是可以自定义的,它的 键值和键名都可以,都可以自定义,也可以添加, 然后添加过去它也会上报, 你看它这一这条消息叫长一点,就,就刚才自动添加的这个 制断四个一它就上来了,就这个意思,包括我们那个 modbus 去采集也是这样子的, 今天有点长啊。

今天讲 json, 零基础也能听懂,你在工作流里经常看到一堆花括号、方括号、引号,看着像代码,其实规则特别简单。 json 就是 一种数据格式,用来存放和传递数据的。 json 长什么样?先看一个最简单的 json 例子, 一个大括号里面写姓名、冒号张三,逗号、年龄,冒号二五,就这么简单。它就是把一组一组的信息 用固定的格式写出来,人和机器都能看懂。键值对是基础, j n s 的 核心就是键值对,键是名字,用双引号包起来。比如姓名值是内容,可以是文字,数字真或假,中间用冒号隔开一对键值对就是一条数据,多对之间用逗号分割。对象用花括号, 花括号包起来的一组建职队就是一个对象。比如一个用户对象里面放姓名、电话、地址三个建职队对象就是描述一个东西的多个属性,你可以把它想象成一张个人信息表。数组用方括号,方括号包起来的是数组,也就是一个列表。 比如一个班级的学生姓名就是一个数组,里面可以放多个值,用逗号隔开。数组适合存一组相同类型的东西。比如订单里的多件商品嵌套结构,这算最厉害的地方是可以嵌套对象里面放数组,数组里面放对象。比如一个订单对象里面有一个商品数组,每个商品又是一个对象, 有名称和价格,这样就能描述很复杂的数据关系。 json 支持的数据类型 json 里能放的数据类型有,文本自附串,数字不耳值真或假,空值 no。 注意字母串必须用双引号包起来,数字不用 不耳,就是 true 和 false, 其他类型不能直接放,要转成这几种。工作流里怎么用?在扣子工作流里,很多节点输出的就是 json, 比如说查数据库返回的结果, 调用 api 得到的响应都是 jsn 格式,你要从里面取某个字段,比如取订单号,就要会看 jsn 结构,找到对应键。常见错误,新手写 jsn 最容易错三个地方,第一键忘了加双引号,第二最后一条数据后面多了一个逗号,第三 引号用了中文全角引号,这些都会导致 json 解析失败。工作流直接报错,写的时候一定要仔细。 json 就是 一套存放数据的格式,核心是键值,对对象用花括号, 数组用方括号,可以嵌套工作流里的数据传递,大量使用 jason 把它搞懂,你看节点输出就不慌了。下条视频咱们讲怎么在工作流理解析和提取, jason 自断。

用 ai 来抄别人的爆款带货视频到底应该怎么做?今天带大家把这套流程好好的梳理一遍。首先我们先找到我们要对标的爆款视频,这个视频的时长呢,一般在十五到二十秒左右,这个是最好对标的。我们把这个视频发给 jimmy, 给他一句提示词,按照 jason 的 格式, 我生成这个视频的视频提示词,我们就会得到一段这样的提示词,你们可以看到他基本上从各个方面都做了一个相应的对标,而且这次的提示词呢,他会更加的精确一下。一步我们把这个提示词继续发给 jimmy, 把我们自己的产品也发给他。比如说我们之前的这个模仿的对标视频,他是一个灰色的裤子,然后我们自己的产品是棕色的, 我们把自己的产品和之前的那个这样的提示词发给 jimmy 之后,再给大家加一句话,按照我的产品去修改这个提示词,我们就会得到属于我们自己产品的这个爆款的对标提示词。最后一步,我们把这个爆款的提示词直接给到 c n 十二,然后再配上我们自己的产品图,这样的话一段特别流利,而且对标的爆款视频就出来了,大家可以赶快去试一下。

d p c 正式版的价格涨了嘛?在八月十七号,我们用 d p c harness 接第三方模型,试一下它的效果怎么样,比如说那个命中缓存呐,它的能力啊,有没有什么差别? 我们就接一个价格性价比稍微高一点的这个模型去试一下。我给他一个目标任务,就让他去跑,然后我这里已经生成了一段提示,提示词看一下啊,对,现在这个目录是空的啊,那 这里面是什么都没有的,我们可以看到,那么我们把这个切换到这个模型,然后设置为高,然后全部权限好创造模式,其他我就不管了,开始就让他去执行好了。好吧, 对,这是空文件夹,什么都没有,然后我们就想换号了,对,就让他自己去跑, ok, 前面我们说用 deepsea harness 接入第三方的模型,小米的 miimo v 二点五 pro 试一下, 让他执行一个目标的一个任务,它的效果怎么样呢?目前我们可以看到啊,失败了,根音是咪某将签到 jason 对 象双重编码为支付串。好,我们把这个任务关掉。在这个失败了之后,我做了什么呢?我让 他去修复了这个咪某将签到 jason 对 象双重编码为支付串的这个问题,就是我让他修复了, 已经让它修复完成了目前。然后呢,到时候如果有需要接入咪某 v 二点五模型的这个朋友,就说,如果也碰到这样的问题,那如果需要修复的话,我到时候 评论区联系我,我把这个修复的提提示词发给你,或者你直接直接让 ai 去修复也可以的啊。 然后我让 ai 修复之后,他这里重新跑,我重新建了个新的工作区,让他跑了这个目标的任务啊,全区他跑完了,他已经就是正常的执行完,他不会说碰到了那个异常。 那实际上我让他做的这个目标任务呢?是让他创建几个模式的主题, ok, 我 们看一下设置哈,这是这个场景工作台,就简单让他建了几个主题模式,切换一下。 我们看,那目前它是用这个目标任务去去执行完成了,但是目前还是有 bug 的。 对,用这个 v 二点五 pro 的 模型的话,它能切换对不对? 但是擦掉之后它就恢复了,没事,我们我再给他一段提提示词,让他再完善一下这个这个主题插件, 看一下米某的 v 二点五 pro 能不能继续的。就是没有异常的跑完一轮,因为前面是正常的跑完了一轮。那好,我们再给他一,让他完善这个插件的情况下,同时让他再跑一轮,看一下是不是还能够 没问题的跑完。 ok, 他 这个任务栏是正常弹出的哈,我们就等他这个任务跑完看一下。通过这个 这个侧边栏这个插插件,我们能够看到他驱动了多少个子代理子子 a 准在运行任务。对,有一个主的 a 准,主代理在运行任务,剩下剩下还有一个子代理子 a 准在运行任务。对,他继续在跑啊, 好,我们可以看到他的任务已经完成了七个,八个,对,好像目前也跑了六七分钟。 好,他正在做报告整理,我们看一下他本次跑的任务到底行不行。我们可以看到他我们置制定的这个目标任务,他 哪怕只提供了一次的这个提示词,但是他中间会有那个上下文注入的一个方式,他自动注入我们这边我前面开发的这个插件, 这对话消息这里他会,如果注入了一次上下文,那他就增加了一次。对,他在做最终的报告,也在做自我的那个,最终的那个检查和验收。 ok, 这是最终,最终的那个任务停止 已经完成了,目前的命中率是九十六,百分之九十六,然后头肯的话十二点五兆左右,我们看一下他目前完成的状态怎么样。好, 场景工作台对不对?一二三四五六七八。好,他刚好是八种,我们看下他前面的 bug 还在不在, 在的话我们再让他修吧。好吧,目前这是已经执行了两轮的一个目标任务,目前看来是正常的执行了,并且完成 bug 的 事情,我们再让他去另外说。好吧,我们看一下啊, 专注模式,好,我们擦掉,不行我们再看啊,我们就保持这个, 这个主题我们还是不行啊,都试过了。好,我们就把问题反馈给他,看一下他能不能修复并且完成。 我们这里先进入一个 plan 的 模式,让他先分析原因,不要直接改代码,因为二点五 pro, 我 觉得可以先计划好,然后再修改,这样子他更不容易出错。对, 好,我们这样子把事情发给他,我们稍等一下,这里已经是注入了上下文了啊,这里有个进入了 plan mode, 好, 这里他会先分析,他不会直接去改我们的代码。好,他会弹出一个让我们选择的那个修复方案,对不对?他把问题跟我们说了, 然后啊,原因策略对不对?那好,他这样子先分析完的话,我们再让他去修改,大问题可能就会没有,我们继续同意他执行。 ok, 我 们看他说已经修复完成,我们验证一下啊,按照他的说法,我们试一下场景工作台, 好,我们擦掉。 ok, 目前看来这个主题生效了,我们再切换一下其他的看一下啊, 这个也生效了,对,我们大概看一下整个页面主题是否对得上啊?对,生效了,我们试了两个,我们再随便试多两个啊, 看下这个紫色的,嗯,也正常了。好,目前在这个工作区的这个 season 对 话中,我做了 三个事情,一个是我们看一下,回到回到第一步啊,看一下,做了 第一件事,就是让他做一个目标任务,这是我给他的提示词,让他创建了四个主题模式,要进行一些,进行了一些 这个哈尼斯的一些个调用的工具啊,一些功能去进行测试。这个 mini 二点五 pro 模型是不是已经修复完了?修复好了?对,然后呢,完成了之后呢?他还有一个 打开设置的一个问题,这是这是其中一点。后面呢,那个先不管他。呃,完成了第一个目标任务了之后呢,我让他在同一个 season 里面,让他继续去 做一个目标任务。前面是四种主题模式,我让他,我让他去做了八种模式,也是一个目标任务在这里,那我们在第六个,在这个地方继续开发这个场景。哎, 八种场景,让他继续再做一个目标任务,他自驱的去完成这个任务,对,直到他能够交付给我们。好,交付完了之后呢,最后有一个,有一个 bug, 对, 有一个小 bug, 他 这里是交付的这个 bug 吗?对不对?那 就是我们虽然说是八种主题模式,我们设置了,但是擦掉之后他又恢复默认了,然后我就又发了一段简单的描述的提示词,就告诉目目前什么状态,什么是好的,什么是坏的。然后呢,使用了一个 plan 的 模式, 先让他分析不要直接去改。对,不要盲目的去改,先分析定位问题,找到原因之后再给我们修复方案,修复完方案出来之后,我们同意了,他才去进行修改。 对,就目前是这么个流程下来,就把我们想要的八个色彩的模式已经出来了, 一个基本的一个小小 demo 已经出来了,说明什么?接入了米某的这个第三方模型。的确哈尼也是可以 做一些任务开发的,但具体的抠顶一些复杂的,比如说 app 或者说小程序,各种或者其他的更更庞大的系统的话,我们有待验证,但是这类的任务在这里面是可以跑通的。嗯, 今天这个视频想要跟大家一起分享的就是接咪某模型会碰到了什么问题,我们怎么解决的,以及他能不能去做一个,呃,给一个目标任务,让他自己去循环,自己去去注入上下文的去完成完成要求的任务。 我们可以从这个对话的这个轮次来看,他是可以就是自动注入上下文,然后自己去把我们定的目标去完成的,这个没有问题的。至于最后碰到的那个小 bug, 那 好,这个不可避免, 对吧?他自己也是在 plan 的 模式下先进行了分析定位以及完成了目前这个状态可交付的状态。对,目前我觉得在 deep 涨价的情况下,可以用 第三方的模型去替代我们跑一些简单的功能,没那么复杂的功能模块,我们可以试着先用这类第三方稍微性价比高的模型去做。 对,我觉得这是可以的。对,那本期的视频就这么多。好吧。好,我们下次再见。拜拜。

大家好,我是大叔大上一节咱们在 canvas 里配好了自动化模板,让 openhands 自己盯着仓库回 pr, 但你要是想把这些能力直接塞进脚本,接近 c i, 在 图形界面里来回切换就太累了。 今天这节,咱们把 openhands 搬进终端,聊透 c i i 终端模式,交互式终端命令面板暂停恢复,还有 headless 全自动,一次讲全。先回答一个问题, 图形界面之外,为什么要用终端?前面几节咱们一直在用 agent canvas, 图形界面鼠标点一点就能跟智能体对话跑,自动化体验确实顺,但一旦要写脚本,接 c i 批量跑任务,在图形界面里来回切换就很累。这时候就该终端出场了。终端有三个好处, 第一,终端原声输入一条命令就能启动,跟写代码用 g it 在 同一个环境里无缝衔接。第二,实时反馈,用自然语言下达任务,马上看到 agent 的 行动和进度,随时能介入。第三,自动化为王, headless 无界面模式丢给 ci 和 cd, 脚本全自动执行。 提醒一句, ci 和 canvas 是 同一套能力的两副面孔,日常慢慢聊,用图形界面要自动化,要进流水线,就用终端,它们不是二选一。 好,先看第一种模式,交互式终端安装好之后,在终端里敲一个 open hands, 就 进入了默认的交互模式,一个直接写在终端里的对话窗口,它能干什么? 第一,实时交互,用自然语言下达任务, agent 及时回应,有来有回。第二,状态监控,实时盯着 agent 的 进展,看它正在做什么, 做到哪一步。第三,任务起步,启动时直接带任务杠踢传任务文本杠 f 从文件读取一个小技巧,如果你不想等 l l m 配置向导,可以先在环境变量里配好模型 再启动进入,就是可用的对话界面。聊完交互终端,再看一个提升效率的入口。命令面板。在交互界面里按 ctrl 加 p 就 呼出命令面板,不用重启,不用翻菜单,下拉框里直接选,比如选 settings, 快 速调整 l l m 配置,不必从起 c l i, 改完直接生效。 选 m c p, 一 眼看清各个 m c p 服务器的连接和运行状态。命令面板是日常操作,那要自动化呢?启动时直接带任务就行。 杠 t 后面跟任务文本,比如创建一个用户管理的 rest api, 杠 f 从文件读取任务,我推荐写脚本自动化,批量跑任务,用杠 t 或者杠 f 起步更省心。日常聊天式对话,直接进交互界面更顺手。自动化之前得先学会控制来看。暂停退出恢复对话, agent 跑偏了,想中途插句话, 这些高频操作都有对应的按键和命令。打开命令面板,按 ctrl 加 p, 访问,设置 m c p 状态,暂停当前 agent 按 escape 键键,跑偏了,先喊停,再补充澄清退出 c l y, 按 ctrl 加 q, 或者输入斜杠 exit, 结束当前对话,回到系统终端。 退出后,别担心,对话历史都保存着,随时续上。输入 open hands, 杠杠 resume, 列出最近对话,杠杠 resume, 杠杠 last, 直接恢复最近一个。杠杠 resume, 后面跟一个对话 id 指定,恢复防跑偏的姿势。发现方向不对,先按 est 暂停,补一句澄清再继续,别让它硬跑完再返工,省事得多。对话控制搞定了,那 a 减的要执行操作前到底要不要问你? 三种确认模式,不管你想全程把关还是完全放手,都有对应的选择。默认模式,每次动作都问一句更稳妥,适合第一次用或者跑不熟悉的项目。全自动批准,用杠杠 always approve, 所有操作直接执行,效率拉满,但建议只在信任的沙箱环境里开 l l m 审批用杠杠 l l m approve, 让安全分析器智能判断小操作放行风险动作拦下来问你。提醒一句,全自动批准意味着 agent 可以 直接改文件跑命令,记得在隔离环境里用,别在重要机器上直接跑,会控场了,会把关了。那能不能完全放手让 agent 自己跑完? 能,这就是 headless 模式,不带界面跑任务,专为脚本自动化 c i 和 cd 流水线设计,任务执行完自动结束,全程不用人看命令很简单, hop hands, 杠杠 headless 杠 t 后面跟任务,比如写一个打印 hello world 的 python 脚本 也可以。杠杠 headless 杠 f, 从文件读任务,它适合谁?第一, c i 和 cd 流水线合并,请求触发自动测试,一键发布都能接。第二,自动化脚本,定时任务批量处理,写成命令丢给系统跑。 第三,工具集成,把 openhands 嵌进你自己的工具链和产品里。一条硬性规则, headless 模式始终按全自动批准运行, 无法用杠杠 l l m approve 或者关闭他相信你把任务丢给他,就是要他自己干完。 headless 全自动跑完了,结果怎么拿?配合杠杠 jason headless 会把每个事件按 jason l 格式输出,一行一个 jason, 程序好解析, 日字好简缩。举个例子, open hands 杠杠 headless 杠杠 jason 杠 t 创建一个简单的 flask 应用,输出的每行都是一个 jason 事件对象,有 action 类型记录写的哪个文件,路径是什么, 有 observation 类型返回文件创建成功这类结果,还有 action 类型记录运行了哪条命令,这些事件想留下来,从定向到一个文件就行,用大于号 output 点 jason l 拿这些输出能干嘛?第一,判成败, 在 c i 里解析事件流,判断任务成功还是失败,决定构建结果。第二,流日制结构化记录每一步动作和结果,排查问题一目了然。到这, c l i 终端模式就讲完了,来收个尾, 四个记忆点,第一终端及默认敲 open hands 进入交互终端,自然语言对话加实时进度。第二, control 加 p 命令面板设置 m c p 状态,一眼直达杠 t 杠 f 起步带任务。第三 一 e c s e 暂停,斜杠 exit 退出跑偏先喊停,杠杠 resume 随时续上旧对话。第四, headless 全自动无界面跑任务杠杠 jason, 结构化输出,微给 c i 和脚本。一句话总结, cl i 把 open hands 从界面里的智能体变成终端里的生产力工具,人机对话时灵活介入, 无人值守时交给 headless 全自动执行。下节预告,第六章第二节 i d e 集成,把 openhands 装进 vs code jet brings zeddie 编辑器里,直接召唤智能体,不见不散,感谢观看我是大叔大,后续会持续更新,下期见。

哈喽亲爱的小伙伴们,最近呢被我发现了,复刻图片的邪修大法就是 jason 图片反推大法,这套方法简单到利用发纸,就是在反推的时候加上这一句分析这张图片以详尽的 jason 细节形式来看一下,这个是他反推的 jason 格式,里面真的非常的细节。我们来使用这个题词生成一张图试试看。我这里呢,使用的是 nintendo pro, 经实测,其他模型其实也是可以的,来看看结果,反推出来的图片跟原图几乎是一个模子印出来的,不过有些博主夸张说离面部远的复刻, 试了一下,人物特征是可以的,但是面部还是不太行,想要面部相似的话,还是要垫一张人脸图片的。既然照相可以这样复刻,那么打开思路,商业图片可不可以这样复刻呢?我现在使用的是 love art, 因为 agent 可以 直接帮我反推提示词,我们来试一下。我们在这里呢,把自动关掉,直接选择 nano blender pro。 如果你是 ultimate 会员,可以无限的使用四 k 来进行生图,我们现在就反推一下。得到这个反推的提示词之后呢,可以直接在这里让 agent 帮我们生图,可以看一下结果几乎跟原图一模一样。这里呢,我还要斜一张做了,让我来框选一下这些图片, 让他来分别反推,再分别制作。我们来看一下生成结果,你看是不是几乎是像素级别的复刻一模一样。另外呢,因为我们是在 love 二平台,所以如果文字上想要修改或者有些欠缺, 你可以使用编辑文字的功能,你看直接点击这边的编辑文字,这里就会把场景里面所有的文字全部都识别出来,比方说我这里修改一下这个习近锋三个字,你看是不是精准修改,这才是真正的斜修,实用的小技巧又加一了。好了,你学会了吗?记得关注我,带你拥抱未来。这里是嫩嫩酱,拜拜。

上周在排查一个线上问题的时候,我需要对比 staging 和 product 的 配置,我用 diff 一 看,好家伙,四十多行全标红了,我心想凉凉了,还以为把生产环境配置搞崩了,结果仔细一看,只是编辑器复制粘贴的时候有一些小问题,我眼睛都看瞎才找到。后来发现有一个专门对比 json 的 命令行工具叫 jd。 我 准备了两份配置,比如说 staging 和 product, 然后 diff 出来了一下,比如这里的 app, 它从第一行变到了第二行,对吧?然后再看一看,其实这里的缩进 从一些几行到这下面的多了几行,但这些东西其实根本不重要,那我们尝试用 jd 跑一下,比如 jd config staging config product, 你 看输出特别干净,这个 at 后面方括号是字段的路径。比如这里的数据库从 staging 变成了 product, 然后 log level 从 debug 变成了 worm, 就这两处,它的原理是把 json 解析成数据结构在比较,所以无论是缩进空格,还是这些 key 的 顺序,这些格式差异全部忽略,只有真正的值的改变才会列出来。 再看另一个场景,我有两份跨域的配置,这里面配置的域名的顺序它是不一样的,然后表请求方法也不一样,然后用 j d 一 笔哗啦啦一堆变动,但大部分其实只是顺序的换了。那我们可以尝试加一个 set, 参数除以 d, 把数组当做集合来比,你看顺序噪音全没了,就剩了一行 staging 的 域名变成了真实的域名,这才是真正的变化。有时候我们的配置是 ym 格式,你看这里也是改的乱七八糟的,那我们可以在 jd 里加一个参数 ym, 你 看输出和刚才的 json 完全一样,所以不管你项目是用 json 配置还是用 ym 写配置,一个工具全部搞定。 所以总结一下,以后比较配置文件直接 j d 两个文件名就能看羽翼的对比加 set 可以 忽略数组的顺序, yammer 也能比,别再对着 diff 一 坨噪音到处找了。


请返回 json 为什么不是可靠的接口器?约很多人第一次把大模型接近系统,都会在提示词里写一句,请严格返回 json 看起来很简单, 模型照做就行了,但真正上线之后,你会发现,它有时会多说一句解释,有时会输出半截,有时字断名还会变,于是后端一解析,直接报错。先说结论, 请返回 jason 只是一个自然语言,要求不是可靠的接口契约。它更向你对模型说,麻烦你按这个格式写, 但它不是程序层面的强约束,只要模型输出的是文本,就存在格式漂移的可能。 我们先看普通接口是怎么工作的。传统后端接口通常会有明确的协议,比如字段叫什么,类型是什么,哪些必填,哪些可选,错误码是什么。 前端按这个协议传餐,后端按这个协议返回,只要接口没改,调用方就能稳定解析,这就是契约。他不是靠后端记得这样返回,而是靠代码类型校验和测试保证。 但大模型不一样,大模型本质是在生成下一个最可能出现的文本。你让它返回 jason, 它会尽量按照 jason 的 样子输出。可它并不是一个 jason 虚列化器,它不知道你的解析器有多严格,也不会天然保证每一个括号、逗号、引号都完全正确。 尤其是内容变长、字段变多、嵌套变深的时候,出错概率会明显上升。 最常见的问题是加载说明你明明只想要一段 json, 他 可能先说好的,以下是结果,然后再输出代码块人看起来没问题,程序一解析就炸了。第二种问题是格式不合法, 比如最后多一个逗号儿,字母串里出现未转译的换行中文引号混进来,数组少了又中括号儿。第三种问题是字断不稳定,今天返回 title, 明天返回 name, 今天 square 是 数字,明天变成高。 今天 list 的是数组,明天只有一个对象。还有一种更隐蔽的问题是语义不可靠。 json 格式可能是对的,但内容不符合业务规则。比如你要求 status 只能是 success 或 field, 它返回了绑定, 你要求金额单位是分,它返回了原,你要求最多三条,结果它返回了五条。 解析器不会报错,但业务逻辑会出错,这说明格式正确不等于接口可靠。那为什么提示词不能解决这个问题?因为提示词是软约束。 你可以强调只返回 jason, 不要解释字段必须完整,确实能降低出错概率,但不能把概率变成百分之百。 模型遇到掌上下纹复杂,推理异常,输入敏感内容截断网络中断时仍然可能偏离格式,特别是 max tokens 设置太小,模型还没输出完就被截断, jason 天然就会变成半截。所以真正可靠的做法不是只靠一句提示词,而是把大模型输出当成不可信输入来处理。第一,要使用结构化输出能力。 如果模型或平台支持 json, schema、 response, format、 function, calling, tool、 calling, 就 尽量用这些机制,它们比普通提示词更接近接口器约, 因为你不是只告诉模型像 json 一 样写,而是把字段结构类型和 b 填项交给系统层约束。 第二,要做服务端,叫验模型,返回后不要马上信,先用 jason 解析器解析,再用 schema 叫验字段类型,每举值长度、范围和必填项。 比如数组必须是数组,金额必须是数字,日期必须符合格式,分类必须在允许列表里叫验, 不过就不要进入核心业务流程。第三,要准备失败分支。很多人只写了解析成功的代码,没有写解析失败怎么办?上线后,模型一旦返回异常,整个接口就报五百。 更稳的做法是,解析失败时可以触发一次受控修复,让模型只修正格式,也可以降级返回人工可读文本。如果是关键业务就直接失败,并记录日记,等待人工处理。 第四,字断设计要简单,不要让模型一次返回十几层嵌套结构, 也不要让它生成特别复杂的动态字断。结构越复杂越容易漂移,能拆成多次的小任务,就不要一次让它生成一个巨大 jason。 对 大模型来说,短、扁平明确的结构比深层嵌套可靠得多。 第五,接口边界要清楚。大模型适合生成后选结果,不适合直接决定,不可逆操作。 比如它可以生成订单摘要,但不能只凭一段 jason 就 直接扣款。它可以提取合同自断,但入库前必须叫验。它可以判断用户意图,但执行命令前最好有人或规则系统确认。最后总结一下,请返回 jason 不是 可靠的接口契约, 因为它只是提示词里的自然语言要求,不是代码层面的强约束。真正可靠的工程方案 是结构化输出加 skin 校验加错误处理加授控重试加业务规则都抵。记住一句话,模型输出可以帮你生成数据,但不能直接当成可信接口,能解析只是第一步,能稳定、可校验、可恢复才叫真正能上线。

面试官问你怎么保证大模型稳定输出 jason 格式?很多人可能会说,那还不简单,让他输出 jason 不 就行了?如果你这么答,那恭喜你,面试基本凉凉了,这说明你根本没在生产环境里踩过坑。 我是老汪,一个在职摸鱼的技术负责人,平时除了干活摸鱼,就喜欢帮兄弟们复盘复盘。面试理一理空窗期那段空白,怎么变成能讲的经历,或者把我那些项目原码拿出来给人参考参考。今天就跟你聊聊怎么回答这个问题,才能让面试官眼前一亮。先点个关注收藏,咱们马上开始! 刚才说的那个答案错在哪了?他只解决了愿不愿意的问题,但没解决能不能的问题。大模型是什么?他是个语言模型,不是个格式化工具。你让他输出 jason, 他可能心情好,给你一个完美的。心情不好,给你加两句解释,甚至在括号前后多打个回车,你的下游服务直接就崩了。这就好比你让一个诗人写个购物清单,他可能给你写首诗,而不是你想要的牛奶、面包、鸡蛋。 所以简单的指令是远远不够的。要理解这个问题,你得先明白大模型的本质。你可以把他想象成一个天马行空的创意总监,你让他写报告,他脑子里想的是文采,是修辞,是情感共鸣。 而你想要的是一个结构严谨的 excel 表格,每一行每一列都清清楚楚,这中间就存在一个巨大的翻译鸿沟。你不能指望创意总监自己就变成一个表格工具, 你得给他一套严格的规矩和工具,让他的创意能被你精准的捕捉和使用。所以在真实的工程实践中,我们靠的不是祈祷,而是一套组合拳。 我把它总结为大模型稳定输出四层防御体系。这四层分别是指令封印、格式校验、强制矫正和异步兜底。这是一个从预防到补救的完整闭环。 接下来我就一层一层给你扒开了讲。第一层,指令封印核心就八个字,先立规矩,再给范例。什么意思?首先,你的指令必须极其霸道,明确告诉他只输出 jason, 不要有任何其他文字解释或开场白。 光有规矩还不够,你还得给他一个完美的范例。就像给创意总监一个填好的表格样本,告诉他就照这个样子填。我之前带团队有个小伙子就吃过亏,只给了指令,没给范例。结果模型返回的 jason 前面加了一句,好的, 这是您要的信息。就这一句话,直接导致下游服务解析失败,后来加上范例,问题立刻解决。第二层,格式交换,你永远不能百分之一百相信模型的输出,必须在代码里加一个验证环节。 比如你可以用一个叫 skab 的 东西,提前定义好你要的 j 省长什么样,有哪些必填字段,每个字段是什么类型。模型返回结果后先过一遍,这个叫厌气。 我之前踩过一个坑,模型把英文逗号打成了中文逗号,就这一个符号的区别,整个服务就挂了。加上叫厌层之后,这种低级错误就能被立刻发现,而不是等到线上爆炸。 第三层,强制矫正口诀是,一次不行,再给一次机会。叫验失败了怎么办?直接放弃吗?太粗暴了。更好的做法是把叫验失败的具体原因,比如缺少了 x x x 字字段,或者 vs 一 字段类型错误,连同原始的需求一起再次发给模型,让它重新生成。这就像你给创意总监指出表格里哪里填错了,让他改一下。 我遇到过一个复杂的查询模型,第一次返回的 jason 确实缺了一个字段,我们尝试把错误信息反馈回去,让他修正,第二次就完美深沉了,这比直接报错要优雅的多。第四层也是最后一层,一步兜底。记住,天有不测风云,遇案必须先行。如果模型连续几次矫正都失败了怎么办?总不能一直耗着吧? 这时候就需要一个兜底策略。比如你可以返回一个默认的安全的 j 层结构,保证主流程不中断,或者把这个失败的请求放到一个队列里,触发人工审核。我之前经历过一次模型服务的大规模抖动,连续生成失败,幸亏我们有兜底策略,系统自动给用户返回了,服务繁忙, 请稍后再试。的提示,虽然体验不好,但保住了整个系统的稳定,避免了一次大的线上事故。你看,这一套组合全下来,我们就把一个看似不确定的问题,变成了一个可控的工程问题。 这背后其实是一种工程思维,不是去追求一个永远不出错的完美模型,而是去管理它可能出现的各种失控情况。这种思维不是你刷几道算法题就能得到的,也不是闷头自学能悟出来的, 它是在真实的、血淋淋的项目里,见过足够多真实的坑之后才能长出来的。好了,今天的干货就到这,最后留个思考题给你,如果你的 jason 里需要包含动态的嵌套结构, 比如一个对象里再套一个数组,你会如何设计你的指令来确保它的稳定性?把你的想法打在评论区,有啥面试空窗期、项目方面的问题也尽管在评论区问。我看到就回,觉得老汪讲的实在,点个赞,咱们下期见!

agent 调工具的时候最怕什么?模型吐了一段 jason, 结果少了个逗号,引号没闭合,下游一解析直接报错,整条调用链崩掉,怎么让它百分之百只吐?合法结构今天讲约束解码,用一个有限状态机,每一步只放行,合法的偷啃非法的当场屏蔽。先看问题, 光靠 prompt 提示模型请输出, jason 根本不可靠。模型是自由裁量的 tock 流理,随时可能混进非法制服。少个逗号,引号没闭合,多加个括号。解析器一看当场报错, 工具调用直接失败,再强的模型也挡不住这种小错。约束解码的第一步是把你要求的格式翻译成一个自动机,比如你给一个正则,它就被编成有限状态机 f, s, m。 每个状态代表现在已经生成了什么样的前缀,状态之间划着转移编,标明下一个合法的字体可以是哪些。 一段冷冰冰的文法变成了一张能走的状态图。关键一步来了,每生成一个 token 之前,先问自动机当前状态下,词表里哪些 token 是 合法的? 合法的留着,非法的直接把他的 logitech 砸成富无穷。 softmax 一 过概率就是零,绝不会被采纳。倒看动画,合法的分支一个个亮起来,非法的那些全灰掉被剪掉, 模型只能往合法的路上走。补一个细节,正则编出来的是有限状态机 fsm, 但 jason 是 有嵌套的,大括号要一层层配对 fsm 记不住嵌套了几层,所以要用下推。自动机 pda 靠一个站来压进出处理配对 ex grammar 这个库就是把 jason schema 翻译成 pda, 还预算了每个状态接受哪些 token 的 未言吗?特别快,当然有代价。屏蔽会把模型逼到很低概率的 token 上,可能损害质量和多样化。再看工具谱系 outlines 主要管政则 x grammar 是 v l l m 的 默认,后端速度很快。拉马 c p p 用的是 g b n f 文法,还有 open ai 官方的 structured outputs api, 它们底层都是这一套思路, 一行看懂原理,先取出当前状态允许的 token 掩码 mask, 然后把不合法位置的 logit 全部设成富无穷,接着照常 softmax 踩样。注意一个关键点, 屏蔽改的是 logit, 不是 已经吐出来的 token, 生成之后没法回头改,除非用 token healing 去修补边界。三十秒回顾,第一问题是模型自由踩样会吐出非法 js。 第二 做法是把格式编辑成 fsm 或 pda, 每一步只放行合法 token。 第三实现是把非法 token 的 logit 设成富无穷,屏蔽掉一句话,带走约束解码等于每一步只放行合法 token。 最后提醒, 别和预测解码搞混,它卡的是合法性。预测解码猜的是多步。看懂了,点个关注,下期接着拆。

面试官问你,大模型怎么稳定输出 jason 格式?如果你脱口而出说在提示词里加上请输出 jason 这几个字,不好意思,这个面试真的没办法让你过啊! 嗨,大家好,我是小哲,关注点赞加收藏,我们开始今天的讲解。咱们遇到这种题,很多同学的第一反应绝对是直接在提示词里死磕,比如加上一句,绝对不要输出多余的废话。但你放到实际生产环境里跑一跑,就会发现,大模型本质上是个靠概率猜下一个词的文字接龙游戏, 他太有礼貌了,保不起哪天发神经。就在你的格式前面加一句,好的,这是你要的数据。这一下,你的代码解析器直接原地爆炸,把希望全寄托在提示词上,被面试官嫌弃太正常了, 那咱们的破局点在哪呢?其实真正的高手会从四个维度去构建一个坚不可摧的输出防线,也就是提示词加原生能力、加底层约束,再加兜底机制。 我们在脑子里跑一个真实的业务场景,假设我们要从一段聊天记录中提取用户的姓名和年龄。第一步,我们肯定还是得靠提示词打底,不过别光喊口号,咱们直接给他喂两个完美的例子,告诉他输入小明今年十八岁,你就要原样输出带有姓名和年龄的格式数据。 大模型模仿能力极强,有了例子他就不太会乱跑了,但这还不够。第二步,咱们要动用大模型自带的超能力了。现在的主流模型都有现成的接口参数,我们在发请求的时候 开启他的专属格式模式,或者用一种叫函数调用的绝招,我们提前定义好姓名必须是文本,年龄必须是数字。大模型为了走这个函数的流程,就会乖乖按照我们规定的坑位去填数据。讲到这,你可能会问,如果大模型还是瞎输出怎么办? 第三步就是更硬核的底层黑科技了。如果咱们是自己本地跑模型,在他往外吐字的时候,我们就用代码死死盯着他,只要他企图输出不符合语法的字,我们就直接把这个字的生成概率打成零,从源头上强行矫正他。 最后一步,无论前面做的多好,咱们都得有个兜底思维,拿到结果后,立刻用代码去检查验证,万一真的少了个括号或者类型错了,直接把错误信息重新扔回给大模型,让他自己查漏补缺再发一次。 你看,这样拆解下来,从软性的提示词引导,到硬性的接口限制,再到极限的底层拦截和容错重试,整套逻辑可以说 滴水不漏。大家以后做任何大模型应用,都要有这种多层防御的工程思维。顺便给大家留个课后思考题。刚才讲的这四层防线里,如果我们用的是别人家的云端大模型接口,有一层咱们是摸不到也用不了的,大家知道是哪一层吗?欢迎在评论区打出你的答案,今天的视频就到这里,我们下期见,拜了个拜!

让大模型调用一个工具,从一百六十六毫秒干到六十一毫秒,精度居然还变高了,这加速是怎么做到的?欢迎回到狗头读论文。我是狗头读论文。 今天这篇来自上海交大、复旦和上海创新研究院,叫 simple two, 专治大模型调工具太慢这个老毛病。 先说说慢在哪?函数调用得等模型把完整的 jason 吐出来,才能执行半截输出毫无意义。对,所以流逝输出救不了它。而聚深智能游戏、 ai 这些实时场景要求延迟低于一百毫秒,现在的差距可不小。 那现有的加速办法呢?投机解码都不对,正函数调用输出本来就短,偷鸡解码的开销把收益抵消了,语法约束解码本质还是一个偷肯,一个偷肯往外蹦。那 simple two 的 突破口在哪儿? 他们发现借伞里大部分偷肯根本不用动脑,括号、冒号这些结构符号,还有招超工具定义的参数名,都是低商的,真正要推理的只有参数值。 所以第一步是压缩,对他们造了十七个特殊头啃,把低伤部分全吸收掉,输出平均压缩四点六六倍。然后关键一招,韩树明和每个参数各开一条独立的解码流,并行往外吐 等等。并行不就是多开几条线吗?凭什么几乎免费?因为解码阶段卡在显存贷宽上,每生成一个 token 都得把模型权重搬一遍,算力大量闲着实测八个头,并行,效率还有百分之九十三,开销只有百分之八点二。 那端到端延迟就不是所有托肯之合,而是最长那个头的时间了。没错,结果在 rtx 四零九零上加速二点八到五点四倍,最高九点六倍,叠加四比特量化后 群三杠四 b 做到六十一点二毫秒,够十六赫兹实时控制零点五。 b 模型只要三十二点一毫秒。 快了这么多,精度没掉,反而涨了五个基准,平均涨百分之二点九,函数名准确率平均涨百分之七点一。特殊 token 消除了结构歧义,输出更短,出错的机会也更少。 那跟谷歌的端侧模型 function gemma 比呢?在 mobile actions 上微调后百分之八十六点二,超过 function gemma 的 百分之八十五点零,尾部延迟优势更明显。 p 九零只要七十四点五毫秒,对面是一百三十九点五,有没有什么坑? 有,参数并行,假设它们互相独立,要是某个参数得从别的参数推断,就得合到一个头里串行生成。另外固定六个参数头,超出的只能串行补训练,成本也比普通微调高三十亿以上还没验证。 如果今天这篇让你有收获,记得点个关注狗头读论文,别错过每天更新,感谢收听,我们下期再见!

你能不能吃上 ai 这碗饭?答案其实很明显,真正想学会 ai 的 人,直接锁定这四位大神,按照这个顺序学就行。第一位武恩达,啥也不懂就去看他的 ai for everyone, 不 用写代码,不用懂技术,先搞懂 ai 到底是什么。第二位李弘毅, 当你知道 ai 是 什么之后,就去看他的机器学习,深度学习大模型生成式 ai, 那 些看着头疼的概念都被他讲出人话,让你听懂 ai 背后的逻辑。第三位,李慕, 想从听懂变成会做,直接从他的动手学 ai, 从模型训练到项目实战,一步步带你上手,真正把知识变成技能。第四位卡卡西,他擅长把复杂的大模型原理掰开揉碎讲清楚,帮你看透 ai 底层的运行逻辑。 怕大家懒得一个个去找,我已经把配套资源和学习路线整理好了,照着学就行。留下六六六直接面试官问你如何让大模型稳定输出的 jason 结构,这个问题看起来像是在考 prompt, 实际上考察的是你有没有生产环境思维。 因为在真实系统里,我们不能只告诉模型一句请返回 json, 然后就把结果直接交给后端使用。更合理的思路是通过预防、检测和兜底,建立一套完整的结构化输出链路。 这里需要先区分三个层次,第一个层次是语法正确,也就是模型返回的内容能不能被 json 解析, 比如括号有没有闭合,字母串有没有正确,转译前后有没有多余的说明文字。第二个层次是结构正确, 比如字段是否完整,字段类型是否符合要求,每举值是否在规定范围内。第三个层次是业务正确,比如退款金额不能超过订单金额,订单号必须属于当前用户,用户没有权限时,模型就算返回了正确格式,也不能直接执行。所以 json 解析、 json 模块或函数调用主要帮助我们解决格式和结构问题,至于业务是否合理,还要由服务端完成校验。 常见的做法大概有三种,第一种只依赖 prompt, 比如告诉模型请只输出 json, 不要输出解释。这种方式比较简单,但它属于自然语言约束模型有可能在 json 前面加一句说明,也可能用 markdown 代码块包起来,还可能出现字断缺失、类型错误或者内容截断。 第二种,给模型一个 jason 视力。视力对于解释字段含义还是有帮助的,但一个视力通常描述不了所有规则,比如哪些字段必填,哪些字段允许为空,数字范围是多少,复杂的嵌套结构怎么组织这些内容,单靠视力并不充分,所以视力适合做语义说明,但不能替代 schema 校验。 第三种是函数调用或者工具调用,它可以提前定义参数名称、字段类型和每举值,结构上会更清晰。 不过函数调用也不是整条业务链路的保护措施,还要考虑模型能力差异、参数、 schema 版本变化、工具执行失败、重复调用以及参数值是否符合业务规则。即使模型成功生成了函数参数,服务端也要继续叫验,不能直接执行。 我们看一个智能客服的场景,假设客服系统需要模型返回用户意图、知情度和回复内容,用户发来一大段聊天记录,里面包含多轮历史问题订单信息,还有用户自己粘贴的 j s。 模型生成结果之后, 系统可能会遇到这样一条链路,长聊天记录进入模型,模型进行概率性生成,最后返回一个格式异常的结果,解析失败后继续进入业务服务,最终造成接口异常。 比如返回内容被代码块包起来,这次末尾少了一个括号,知情度变成了字母串,或者意图返回了系统没有注册过的类别。这类问题的根本原因是系统把模型输出当成了可信数据,而没有把它当成外部输入来校验。 那问题为什么容易出现?这里有三个原因。第一个是长文本效应,上下文变长以后,格式要求可能被大量业务内容稀释,历史信息也可能互相干扰。另外,特殊字体引号换行符变多之后,转移错误和输出阶段的概率也会增加。第二个是模型的概率性输出 模型并不是一个固定程序,面对复杂任务时,他会根据概率生成结果。输入相同,不代表每次都能得到完全一致的内容, 尤其是字断,很多任务有歧义或者输出比较长的时候。第三个是软提示,没有强制约束我们写了请返回合法接送,并不会自动阻止模型返回错误格式。如果应用层没有解析和校验,模型产生的问题就会直接流入后端服务。 所以这个问题不只是 prompt 写的够不够详细,更重要的是有没有完整的工程防护。生产环境里可以采用三层防御,第一层是预防,尽量降低错误产生的概率。第二层是检测,把模型输出当做不可信数据,逐层进行验证。 第三层是兜底,即使前面出现异常,也要让系统能够安全降级,而不是把错误扩散到核心业务。整个流程可以理解为模型输出之后先进行校验,校验通过就进入正常处理,校验失败就进行有限次数的重试,如果仍然失败,就进入默认值转人工或者其他降级流程。 先看第一层预防, prompt 里不能只写一句返回 jason, 还要明确字段含义、数据类型、必填项、每举值、空值规则以及无法判断时应该返回什么。比如 intent 只能从系统预先定义的意图中选择, confidence 必须是零到一之间的数字,无法判断时, intent 返回 unknown。 在 机制上优先使用结构化输出 jason schema 或工具参数 schema, 让模型可自由生成的空间变小。另外还要控制上下文无关的历史内容,可以裁剪, 过长的聊天记录可以先做摘要,用户原文和系统指令也要进行清晰隔离,减少内容互相干扰。 第二层是检测,模型返回结果后,先做 json 解析,确认它是不是合法。 json 解析成功以后再做 skma 检验, 检查自断是否存在,类型是否正确,每举值是否合法,数值有没有超出范围。之后还要做业务规则检验,比如 confidence 必须是数字, intent 必须属于系统注册的意图,退款金额不能超过订单金额。 如果叫验失败,可以把具体错误反馈给模型,让它重新修正。比如告诉模型 confidence 当前是字母串儿,需要改成数字 ans, 字断缺失就要补充。不过重试要设置次数、超时时间和成本控制,不能无限重试,因为重试本身也会增加延迟和资源消耗。 第三层是兜底。如果解析 skimmer 校验和业务校验都没有通过,或者有限次数,重试之后仍然失败,就要进入安全路径。一种方式是返回安全默认值,比如把意图设为 anon, 给用户一段通用回复。 另一种方式是转人工或者切换到确定性更高的业务流程。对于复杂判断人工和固定流程往往比继续让模型自由生成更适合。同时,系统要记录请求编号、模型版本、 prompt 版本、 schema、 错误类型、重试次数和最终结果,方便后续定位问题。 日制里还要注意敏感信息脱敏,避免记录不必要的个人身份信息和订单隐私。这里还要特别注意,结构正确不等于业务可以执行。 比如模型返回了一个格式完全正确的退款请求,服务端仍然要检查用户身份、订单归属、退款金额、订单状态和操作权限。对于退款、删除、发货这类高风险动作,不能让模型绕过服务端直接执行。系统还需要增加二次确认 密等控制和审计记录,避免因为重复请求造成重复退款或者重复创建公单。可以把模型的结果理解为一份建议,最终是否执行要由确定性的业务系统来判断。 如果在面试中我会这样回答,我不会只依赖 prompt 来约束大漠性输出。生产环境中,我会通过预防、检测和兜底三层机制提高结构化输出的可能性。预防层使用清晰的 prompt、 json、 schema 或函数调用并控制上下文长度。检测层先做 json 解析,再做 schema 校验和业务规则校验。 校验失败时把具体错误反馈给模型,进行有限次数的自动重试,都底层则返回安全默认值转人工或者进入降级流程,同时记录模型版本、 prompt 版本、 schema 原始结果和失败原因。 另外,模型输出必须按照不可信输入处理,不能绕过服务端叫验,直接驱动高风险业务。最后总结三个工程原则,第一个是防御深度,不要依赖单一的 prompt 视力或者函数调用,而是让预防、检测、重试、降级和监控共同发挥作用。第二个是假设模型不可信, 模型输出应该像第三方接口数据一样,经过类型范围、全线状态和密等型校验。第三个是观测与迭代,持续关注 jason 解析失败率、 schema 失败率、业务调研失败率、重试率、降级率和延迟变化,再根据失败样本持续优化 prompt c 码和上下文处理策略。 所以结构化输出不是一个单独的 prompt 问题,而是一条从模型生成、结果校验到持续观测的完整工程链路。

还在用大模型吐出永长难解析的 jason 来画前端网页吗?来看 github 上狂展八千多星的开源项目 open ui, 它用专属流利语言传输 toker 直接报审,高达百分之六十七网页组建边生成边渲染原声,支持 react view 和 swell 终端运行一条 npx 脚手架命令,配上 api key 就 能跑通。这非常适合想做动态 ai 交互与智能体界面的前端开发者,局限是它没有任何官方代币,千万别信网上那些同名虚拟币!想在本地搞生城市 ui 的, 现在就去新建项目跑起来吧!