30aitool使用教程

ai 说我要挑天气接口，这句话到底是怎么发生的？今天是 ai agent 学习计划第三天，我们来深挖 to use 的 底层机制， function calling 完整流程。 今天有四个目标，搞清楚 function calling 的 完整两轮交互流程，掌握 to schema 的 正确写法，理解 arguments 是 自互串这个经典坑，以及学会错误回传机制，让 agent 失败也能优雅恢复。 先讲最核心的， function calling 是 两轮交互，第一轮把用户问题加上 tools 定义，一起传给大模型。大模型不执行代码，只返回一个工单，告诉你调哪个函数，传什么参数。 divide 是 下划线， reason 是 tool 下划线 cause。 第二轮你拿到这个公单，自己去执行函数，把结果以 raw to 的 身份追加到消息历史，再发给大模型，大模型才生成最终回答。记住，大模型只负责发指令，执行是开发者的事。 另外，大模型可以一次返回多个 to 下划线靠 sdk 会并发执行，提升效率。 来讲一个经典坑， arguments 是 自辅串，不是对象。大模型返回的 arguments 字段类型是 string， 长得像 j s o n， 但本质是一个自辅串。如果你直接用 arcs city， 拿到的是 undefined， 正确做法是先 j s o n parse， 然后再取值才能拿到北京。需要说明的是， versa a i s d k 的 to execute 方法已经自动帮你处理了这步，但如果你裸用 open a i s d k 这一步必须手动做。 再讲 to schema 怎么写， description 是 灵魂，大模型靠它决定。跳步条叼哪个 有四个原则，第一说清楚什么时候用，明确适用场景。第二，说清楚什么时候不用，排除容易混淆的情况。第三， 参数描述要带格式，比如写城市名，中文如北京，不要只写城市。第四，用自然语言描述，当成给聪明同事写说明书。 description 写得好，工具调用准确率直接翻倍。 最后讲错误处理，工具执行失败的时候不要直接 so error 让 agent 中断。正确做法是把错误信息以 raw to 的 形式返回给大模型，大模型收到错误后可以选择重试换方案，或者告知用户， agent 可以 继续运转。 原则就一条，永远不要让工具异常，直接冒泡。大模型是最好的错误恢复策略。 今天的感悟， to use 这层看着简单，细节贼多，每一条都是真实踩坑总结出来的。从今天起我算真懂工具调用了三条核心，两文交互缺一不可。 arguments 必须 j s n n plus， 错误要回传，大模型不要直接崩溃。 versa a i s d k。 帮你封装了大部分细节，但底层必须懂才能排查问题。 今天打卡第三天，进度百分之十五。明天第四天， plan and 和 multi agent 写作，包括 react plan and execute reflection 三种 planning 范式，以及 versa a i s d k。 实现多智能体写作。 今天的工具调用练习一定要做，自己动手实现一遍比看十遍都有用，明天见！

我个人认为硕博深使用 ai 最省事，也是最合适的方式就是你先搭一个初稿，然后让 ai 来帮助你权威润色，或者直接生成一些相关的招标或者结论。那相比逐段润色呢？这种方式，它的整体的逻辑性会更强，也会更流利。 但是现在一些主流的 ai 模型在使用的过程中都会收录你的一些数据，那保不起你的文章还没发表，你的创新点就已经被 ai 给收录。这期视频给大家介绍的这个工具呢，就很好的解决了这个问题。 madpia 是 国内的一个一站式科研平台，从文献的剪辑到文章的拣写、润色， 回复审稿人意见，甚至是查越领域相关的国自然基金，它都有相关独立的模块。那这期视频主要给大家介绍的呢，是它的科学对话功能，这个功能内部接入了国内一些主流的 ai 大 模型，并且都是通过官方渠道来接入的， 他们和厂商签订了相关的协议，保证用户对话的内容不会运作模型训练。那换句话来说呢，就是你可以放心把你现在的数据初稿全部上传上来，不用担心数据泄露的问题。科学对话的模块中呢，也集成了现在很火的 ai 深图，不同于市面上通用的 ai 深图， 它的这个功能是面向科研领域去做了专门的调试，你在这可以选择不同的绘图风格甚至是模板来适配不同题材的一个风格。那最后如果你最近需要完成一些文献综述或者开题报告， deadline 在 齐，但是你完全没有头绪，可以试一下它的 deep search 功能，专业版加学术解锁，足以生成一个非常专业的报告。而且不同于市面上的其他模型，参考文献都是一些推文、新闻甚至是广告，它引用的都是实打实的真实文献，你是可以直接作为参考文献来使用的， 而且每一篇文献都给你提供了直达链接。在阅读的过程中，你如果发现了一些特别相关的文献，你可以用我们之前介绍的 connect paper 把它所有相关的文献都给找出来，这样的话你的效率就非常高了。看完之后大家感兴趣可以去试一下。

现在呢就是 agent 智能体 tools 的 架构设计和流程，它包含很多个阶段，每个阶段里面有不同的过程，它不是一个简单的含函数定义和执行，它是一个非常复杂的一个架构设计。 大家好，我是双月，今天我们聊一下 a r agent 智能体的 tools， 就是 工具部分的架构和流程， 我们之前已经讲过了 ai 智能呃整体的架构流程，并且分享过几个核心部分。今天我们继续啊，还是讲这个 tools 这个部分的，这个 tools 非常关键的一个部分啊。 好，我们开始啊，我们先从一个最基本的一个场景开始，就是我们作为用户，我们发送一个 啊， message 啊，然后最后呢，我们给到了这个大模型啊，大模型呢，最终返回一个结果啊，然后给我们的这个用户，对吧？这是一个最基本的一个使用场景啊。 然后大模型呢，会有一些问题啊。第一个问题呢就是时效性问题，就是他在发布之日起就不知道往后发生了什么事情，因为那时候已经发布了，对吧？第二个呢就是他，他只是一个大脑，对吧？ 他可以思考，他可以回复，但是呢，他没有动手能力啊，他没有动手能力什么意思呢？你让他帮你发个邮件， 他发不了，你让他帮你读取一个本地文件，他也读取不了，默认情况下啊，读取不了啊，你让他帮你搜索一个最新的网络信息，他也没有这个能力，没有这个权限， 所以说他没有动手能力，这就大大限制了他能做的一些事情，他只是一个大脑，帮我们去思考一些事情，对吧？而且具有时效性的这个限制，所以为了解决这个时效性以及他只有大脑没有动手能力的这个问题呢，我们就引入了这个 toast 的 这个概念， toast 呢？就是工具，对吧？啊？工具，所谓工具呢，其实就是我们这说的这个动手能力， 就是它可以赋予这个大模型很多很多的工具，让大模型去根据我们传入的啊 message， 我 们传入的 prompt 啊，包括我们啊之前讲的我们传入的这个 skills 啊，更多东西吧，去去让它自己决定到底是用哪个工具，然后去动手去做一些事情啊，比如说使用场景哈，比如说有这个 search 啊，就是帮忙搜索明天北京的天气，这是不是要搜索，对不对？要去搜索啊？第二个呢，比如说啊这个 browser， 比如说使用浏览器帮我打开一个什么东西，然后帮我去查看这个网页的一些什么信息，帮我做一些测试等等这些，是吧？再再比如说 file， 就是 帮我去读取一个文件，帮我去修改一个文件，帮我去创建一个文件，对不对 啊？比如说我们的编程，编程里面我们就需需要去读取一个文件，读代码嘛，然后去写一个文件，去编辑一个文件，对不对？去创建一个文件。 再比如说啊，我们的这个最常见的这个 code 啊，就是 code write， 就是 我们去运行一份代码，对吧？ 大模型只是一个大脑啊，只是个大脑，他没有办法直接运行代码，如果我们给他一个脚本让他运行的话，他还是需要去通过这种方式来去运行啊，啊，对吧？有很多很多啊，这种工具 啊，你可以随便查一下，比如说现在大那个智能体常见的一些工具有哪些，就会有很多很多啊，而且工具呢会衍生出这个 m c p 协议啊，我们等会再讲啊，这个 m c p 协议呢，去年就已经火了，就已经推广开了，然后呢很多厂商都推出了自己的 m c p 的 服务，这个服务里面就包含了很多很多标准化的工具，供党供这个智能体去使用啊， 所以这是一个工具的使用场景，总之我们传入信息，然后传入这些工具集，然后呃大模型呢，就能去自己判断使用哪些工具啊，这样就具具备了这个动手能力，对不对？ ok。 但是呢随着我们这个智能体啊，越来越大啊，越来越通用化啊，就是越来越多的人使用，那这个工具呢就会怎么样？就会越来越多，对吧？ 成千个，上万个，甚至几万个，而且呢还可以用允许用户去自定义添加，自定义扩展，这也是呃，很常见的功能，对吧？ 他一旦大，一旦多了他就他就会带来几个问题，比如说这个如何高效的去运行啊？高效低成本的，比如说我们一次性传到大模型里面，我们一次性传入一万个工具，一千个工具，这样的话明显就不高效，明显就成本就会增加，对不对 啊？这样肯定是不对的，怎么解决这个问题？再一个就是怎么解决这个安全性的问题，比如说你这个工具一多了， 然后呢外部的人再一注册，然后再一资金一扩展，那再给你注入一些恶意代码，然后去攻击你的系统啊，攻击你的这个 agent 智能体啊，包括盗取你的头，肯盗取你的一些密码之类的，很正常，对吧？安全怎么保障？ 然后第三个就是怎么保障这个稳定性的问题啊，这个东西一多他就容易不稳定，对吧？容易不稳定，容易去抢占资源，容易去争夺资源，容易去啊，排不好序，有可能会导致各种各样的问题啊，比如说报错了怎么处理呀？超时怎么处理呀？对不对？所以 一多之后呢，就会有各种各样的问题啊，高效、安全、稳定。所以我们接下来就是设计 怎么样去通过一个机制来满足这种大的、通用的多的这种智能体的 toos 安全稳定的运行啊？所以 toos 这个 to 它本质上其实就是一个函数，或者就是一个可执行代码。但是 真正设计起来可不简简单单的是调用一个函数。这么简单。好，首先我们从头说啊，比如说我们有一个新的拓，我们要去注册，我们我们要去定义，那怎么办呢？首先我们这个智能体啊，肯定得有一个注册的机制啊， registered 注册的机制，然后让它新的这个拓来去注册和定义。那注册的时候呢？我们就需要一个 schema， 就是 一个规范和协议，然后规定这个拓我们要注册什么东西。一般情况下我们需要注册名称，然后 呃描述，呃，然后比如说这个参数以及这个函数，我们因为它是可执行的嘛，所以说这个函数内容。 然后呢还有另外的一些东西，比如说这个安全性的一些配置啊，比如说这个权限的一些限制也会在这里面去啊，定义，定义好之后呢，后面我们会去使用啊。 另外呢我们还可以通过，比如说像我们通过 l m 大 模型来去智能的判断，这个注入的这个新的工具里面是不是有一些风险代码，这个也是可以进行的啊。 然后注册完之后呢，我们肯定是存到一个数据库里面，或者存到一个文件里面，如果多的话呢，存到数据库里面是比较啊，方便操作的啊，然后这里面就存储了我们所有的这些 tos， 对 吧？可能有一千个，可能有一万个，可能有几万个啊， 好，那接下来我们用户在执行每一次请求的时候，我们要发送哪些托斯到大模型呢？不能说我们把这个数据库里面所有的这些全部弄过来，对吧？这肯定是不现实的，那怎么办呢？其实有一个很好的方法，就是我们之前讲过的那个 r a g 那 一节， 那一节啊，大家可以去翻一翻，那就是我们把这个拓的描名称和描述，甚至是些参数，我们给他怎么呢？给他向量化 啊，放在个向量数据库里面就给他向量化。这个向量化的好处呢，就是我们可以通过用户输入的信息，包括大家的上下文，然后我们进行语义的匹配啊，语义的匹匹配 啊，语义匹配完了之后呢，我们就可以得出这么一些结果，一般情况下呢，我们需要的大概是每次十到二十个 toast 就 可以了啊，就是根据输入的信息进行语义匹配，找出最适合当前请求的十到二十个 toast， 然后让它传递给大模型啊， 这是一般的一个筛选的一个情况啊，因为太多了之后你不可能全部传过去，对不对？这样会大量向后投坑。那现在所有的 agent 都是智能的 语义匹配的方式去搜索，动态解锁，动态加载 toos 啊，因为现在的这个大的通用的智能体，它里面都有很多很多 toos， 比如说 cursor， 它里面可能很多 toos， 包括配置了很多 m c p 设备，东西太多，所以只能是智能的动态的去加载和解锁，对不对？ 所以这块呢是动态啊，按需啊，这个一定要有，没有的话那这个系统就废了，没法运行， ok， 然后，呃，带着 message， 带着 prompt， 带着 skills， 然后带着这些 tools 到了大模型，大模型呢？判断根据这些判断哪些 tools 要执行，这样的话就开始怎么就开始去调用，对吧？ 好，调用的话，那是不是就把函数一执行就完了啊？当然不是，第一步呢，我们还是需要进行检查，看看这个权限怎么样，看看这个安全的配置怎么样啊？比如说我们是不是通过这些权限安全的配置，我们是不是需要人工干预，对吧？我们是不是需要人工确认？ 有一些代码可能会有风险，我们是是不是需要告诉这个我们的用户对不对啊？这一步完成之后呢，我们接下来还有一步就是 catch 啊， 就是看看当前的，就是根据啊当前的这个函数的名称，加上当前的这个 参数的配置，我们看看能不能命中这个 cash， 这个缓存数据库里面的一些信息，如果说正好命中了，那我们就不用执行了，那我们就直接使用执行的结果就可以了，对吧？ cash 的 数据库，比如说我们可以是一个 reddis 的 数据库啊，啊？这个数据库比较快，而且呢它有这个自动的过期机制，我们的缓存可以定义，比如说一小时之后过期啊， ok， 经过验证，经过缓存之后，如果没有命中缓存啊，我们接下来我们就会进入一个 q， 就是 一个队列啊，为什么需要队列呢？因为太多 啊，如果太多的话，我们需要需要一个队列排队去执行，否则的话可能会导致他们抢夺资源，一块执行会导致报错，所以说多了求稳，那队列这东西是必不可少的，所以进入队列之后，接下来我们才是执行阶段， 那执行的时候是不是把对这个东西全部拿出来，一个一个执行就行了啊？当然也不是，对吧？执行情况呢？一般情况，一般情况下会有一个统一的一个，就是执行的一个 n g， 就是 一个引擎 啊，这个引擎里面基本上要包含这么几个考虑，比如说过期怎么办啊？啊？ time out 过期怎么办？比如说 air 错误怎么办？错误完了是不是要去 try？ 是 不是要重试，对吧？比如说我们为了安全性，一些有风险的代码是不是要进行这个？这个 sandbox 就是 沙箱的执行， 沙箱啊，沙箱一般可以弄个 docker， 也可以用一个 web worker 之类的一些东西去执行啊。 另外就是如果有了结果，我们这个结果呢，还要放在这个开始里面，就刚才这个缓存数据库里面去缓存一下，对吧？这是最基本的一些考量，当然还有更细节的啊，这个我们就不再深入了啊。 总之当前这个过程啊，就是我们 tos 的 架构和流程的整个的过程，他不是一个简单的函数调用，他是一个非常复杂的一个注册调度和执行的一个机制啊， 整个的流程哈，从注册开始，对吧？然后呢到这呢去与一匹配限量搜索，然后呢带着这个 toos 进 lm， 然后去调用，然后去执行，每个过程中都有一些步骤去 操作啊。好，最后吧我们说一说这个 m c p 啊， m c p 呢？它其实就是基于这个 tools 这个机制扩展而来的啊，因为它不是从零到一的创新，这个世界上没有多少从零到一的创新， 基本上都是基于当前的进行改进，这算是一个，呃，一个创新或者一个微创新吧。啊？ 比如说啊，我们开发智能体，我开发一个智能体，你也开发一个智能体，他也开发一个智能体，每个人开发智能体呢，都需要自己写很多 tools， 那 这样是不是很麻烦？严重违反了我们这个软件工程里面的这些联网啊、附用啊、分享啊这些设计原则，对吧？ 呃，特别是像一些 search， browser， file， code， run 这些东，这些非常通用的这些东西，我们尽量的附用，对不对？ 如果每个人写一份的话，那写的质量参差不齐，而而且没法服用，会大量的这个，呃，浪费时间。所以说我们能不能用一种方法，让别人或者让社区里面第三方去 定义好这些东西我们直接用呢？比如说啊，我们要一个 github 的 一个 tools 啊，这个 top 可能有很多个啊，有 github 的 功能很强大，所以 top 呢，可能有很多，比如说啊，创建仓库的啊，获取仓库的，提交代码的，比如说啊，回复问题的，创建问题的，然后合并代码的，然后提交 呃，评选意见的等等，这些很多很多的这些 top， 那 我们自己写的话，我们肯定写不全，而且写的不好啊，每个人自己写的质量参差不齐。那最好的方法呢？是 github 的 第三方啊， 第三方他们去定义一些 tools 啊，把这个 tools 这这么多 tools 封装成一个 server， 然后呢，我们在开发智能体的时候，我们直接把这个 server 拿过来，直接获取到这些 tools， 这样是不是更合理一些，对吧？ 那既然有 server， 那 就有 client， 那 我们这个呢，其实就是 client 客户端，对吧？那 server， client 之间是不得有个协议啊，就像 h t d p 一 样啊，浏览器和服务，我们服务端之间有一个协议叫 h t d p 协议，那我们这儿呢，协议呢，就叫 m c p， 这个 p 呢，就是 protocol， 就是 协议的意思， m c p， 它其实就是个协议，它的协议就是规定了我们智能体作为客户端怎么样 啊，通过什么方式来去正确的获取到第三方定义的这些 tools？ 包括第三方定义的时候，通过什么方式能让客户端获取到他们之间是一个协议，一个规定啊，所以 这个 server 我 们一般就叫 m c p server， 那 这 client 呢，我们一般就叫 m c p client， 所以 m c p 本质上就是一个协议，它的本质呢，就是让 tuos 和 agent 可以 脱离 tuos 作为一方， agent 作为一方，然后 agent 和 tuos 可以 多对多的相互的引用和赋用。 嗯，它本质上还是玩。嗯，玩转这个 tuos 啊，怎么样去赋用的问题。好，今天就讲到这里吧，这个 tuos 的 架构和设计。

今天教你们如何用豆包反推生图提示词，只需要三句话，记得点赞、关注加收藏。一、先帮我拆解这张图片，重点分析主体、场景、风格、色调、构图和细节，尽量具体一点，不要只做表面描述。二、根据刚才的分析结果，帮我反推出一版完整的 ai 生图提示 词，要求尽量还原原图的氛围风格和画面质感。三、再把这版提示词优化成更适合直接升图的版本，要求表达更清晰，细节更完整，可以直接复制使用。学会了快去试试吧！

本视频将向您介绍着实 ai 杠三零首次使用的基本操作。 首先打开工具箱，工具盒作为底座可组合为工作台，上盖就是工作凳，九合一功能的着实钳在右侧工具仓。然后依次检查随机配件， 电源开关、放大键、继续键、 复位键、 刀片换面键、光功与红光开关键、 电池弹出键、 opm 光功接口、 vfl 红光接口 长按电源开关键开机。首次使用屏幕会有操作简介提示，按继续键两次进入熔接界面，只要完成一次熔接，以后就不会再出现此提示。 同时扫描主界面上二维码下载着实掌中宝 app， 苹果商店和安卓应用市场均可下载。熔接设置，对熔接机菜单开启、关闭以及参数设置 语言选择，支持英语、西班牙语等多国语言。熔接记录可查看熔接次数、时间和熔接损耗。 放电校正新机器或者当施工环境变化较大时执行放电校正， app 也可以进行此操作。熔接暂停，点击熔接过程即可暂停 光公，红光可以快速开启和关闭光公和红光功能并进行参数选择。点击主页图标返回主菜单， 点击放电校正，放入提前切好的光纤，匹配当前施工环境放电火力，以达到最佳熔接效果，直到提示放电校正成功。放电校正中 放电校正成功。首先解锁切刀，切刀只有在开机状态才能进行工作，然后再套热缩管 着实钱包。鲜皮鲜插入两毫米常规皮鲜钳口，玻璃外皮用米勒钳口刮除涂覆层 皮纤承载钢丝钳口，严禁直接剪皮纤或其他钢丝跳线，尾纤用最大米勒钳口剥除，外皮前端剪刀剪掉凯夫拉纤维中号钳口剥除，内皮小口刮除。涂附层。 擦纤用清洁棉圈占取百分之九十五。酒精擦拭。光纤切纤，裸纤 光纤涂覆层包储点放置于夹板标志十五毫米以内，光纤前端超出右侧压线板皮纤皮纤外皮抵靠夹板档块， 光纤前端超出右侧压线板。跳线尾纤白色内芯放置于夹板标志十五毫米以内，光纤前端超出右侧压线板，向下按压切刀上盖切线完成。 放纤放纤要求涂覆层不能超出家具。光纤前端超出微槽，离电及针尖尽量近，但不能超过针尖。盒盖自动熔接，自动检测端面角度， 熔接成功显示预估损耗。打开冷却槽和加热槽，上盖移动热缩管，使熔接点处于热缩管中心。 放纤自动合盖，指示灯亮起，开启十五秒，高速加热，冬季可开启预加热，缩短加热时间，指示灯熄灭，加热完成。取出光纤，放入冷却槽。 当前切割点切割次数大于一千次时，并且连续三次切割不合格。刀片自动换面，也可以手动按压刀片换面键三秒，刀片自动换面。 七千八百毫安时。大容量锂电池，两个充电口，三种充电方式，超长续航。 红光功能，进入熔接界面，打开光功和红光开关。红光光功接口为 s c、 f c 通用接口，按压光功与红光开关三次切换至红光。通常用于寻线和断点排查 光功率计。进入熔接界面，插上光信号，打开光功和红光开关，点击选择线路光信号波长，默认波长是幺三幺零 d b m， 数值越大，光通量越大。 首先准备一个标准的光源，并且知道其标准功率值，然后将标准信号插到机器光功接口，显示实际测量数值。最后连接上手机 app， 进入光功与光模块，再测量功率值。 点击查询读取机器测量数值。再测量工具，校准输入光源的标准功率值并保存校正成功。 打开 a p p 获取权限，不需配对。点击机号，直接连接蓝牙语言，选择十二种语言，覆盖全球主要市场。 融接设置，可以对融接机菜单开启、关闭以及参数设置。读取记录，可导出记录，上传融接记录学习教程融接机使用方法指导 固件更新，可远程升级熔接机系统，使机器始终保持最先进状态。售后服务，专业团队在线提供技术支持，添加工程师联系方式，提供操作培训售后服务，着实让熔纤更轻松。

还在拿千问当百度使用吗？千问加这个工具才是打工人真正的王炸！打开千问，开启深入思考，直接发指令，按 ppt 分 页生成详细内容，它会自动帮你拆分好每一页 ppt 的 完整文案， 直接选全复制。再打开常用的聊天工具，找到 ppt 制作导，用大纲生成功能，黏贴文本等，它自动整理成清晰大纲，选个好看模板，一键导出一份专业的 ppt 就 搞定了。打工人效率直接拉满，再也不用熬夜做 ppt 了！

大家好，之前有人问我 agent 到底是什么，还有人问我 agent 和 lolm 有 什么区别，更有人觉得工具以及 skill 的 调用都是大模型自己来调用的。所以今天我就来把 agent 和 lolm 它们两个的分工以及交互流程讲清楚。你有没有想过你对 ai 说一句话，它为什么真的能去读文件，去跑命令？ 先来说一下他们的分工， lolm 式决策是在给定上下文下生成，要说什么，要补要条，工具参数是什么？ agent 是 执行，是真正去调用模型。解析， to cause 在 你的环境里跑工具，写回 to 消息干活发生在 agent 这一层，不是模型自己在读文件，跑命令。 agent 在 流程上其实就五 步，先组装上下文，再调用调大模型，这一步把球交给 lolm 生成。下一步如果返回里带了 to cause， 接下来执行工具的是 agent， 不是 模型本身，执行完把结果作为 tool 消息追加进历史，再发下一轮请求，一直到模型不再要工具或者碰到轮数长度上限为止。对话里有四种角色比较关键， system 放系统提示和规则，比如 skills 怎么用， user 是 用户问题， assistant 是 模型回复里面可以欠 tool cost， tool 是 工具执行结果，而且必须带上和 tool cost 对 齐的 tool cost id， 如果顺序错了很多， a p i 会直接报错。看一个协议实力， 首轮请求里除了 system 和 user， 还会带上 tools 组，里面用 dos schema 描述每个函数叫什么，参数长什么样。 tool choice 设为 auto， 表示由模型自己决定要不要调用 模型，读完用户问题和工具说明就能规划下一步视力是按 openai 的 协议来写的，其他各个厂商的 api 字段名可能略有不同。模型如果决定读文件，响应里 finish reason 会是 to cause， 表示要走工具 assistant 这条消息里会带 to cause 树组。 to cause 里有 type function， function 里有 name 和 arguments。 arguments 在 协议里是字符串，里面会再包一层。 jason agent 会解析这个字符串，再去真正读盘或调接口。 这里已经离开模型了，是本地代码。在执行工具跑完之后，要再调一次大模型。上一轮模型说我要调工具的那条 assistant 的 消息，里面记着他想调什么，以及每次调用对应的 id。 在 这条后面会再加一条新消息，角色是 to， 这条消息里的 to call id 要和上一条 assistant 里某一次 to call 的 id 对 得上。像回执单编号一样， content 里写工具真正跑出来的结果。比如读到的文件内容。 如果模型一口气要调好几个工具，就每个工具各发一条 to 消息，每条都对应的 id 拼好以后，再 post 一 次模型，看见执行结果就能用正常话回答用户了。 那 skills 在 哪一层？通常不会多出一种神秘协议，常见做法是在 system 里告诉模型有哪些 skill， 路径在哪，什么时候要读全文，真正读 skill md， 还是走读文件这类工具调用。所以 skills 本质上是规则加文档，仍然落在同一套 to 循环里。 串起来看用户提问， agent 拼消息调 lolm， lolm 的 响应里可能代表用意图，真正执行工具链的是 agent， 再把结果以 tool 消息回关，再调 lolm， 直到结束。 ok， 我 们来最后回顾一下三个核心要点， lolm 再上下文理深层下一句回复或 to cause 急打酸调什么参数是什么，但不执行具体工具。 agent 在 运行时真正执行 ping messages post 模型，跑工具写 tool， 消息循环直到结束。协议本质就是多轮 messages 加可选 tools 标准 http 对 话并没有玄学。

人家干一天，顶你干十天。会用 ai 工具的和不会用 ai 工具的，你的一天就不一定都是二十四小时，明白我的意思吗各位， 你不会用 ai 工具的，你可能吭哧吭哧的做表格做啥？干一天？你的一天的产出，产出和会用 ai 工具的产出是完全不一样的。人家干一天， 顶你干十天，好不大好，理解，非常简单，我现在从山东临沂走路走到北京啊，一天走二十公里，走路走到北京六百公里，我得走三十天，走一个月对不对？ 坐高铁四个小时到了。而这个就是在现在这个阶段，人和人之间在 ai 工具层面最大的差别。你的任务就是了解了解 ai， 然后每天去用啊。 会了解的会用的朋友们自己去了解，自己去用。直播间里所有在这之前没有对 ai 不是 很了解，也不会写提示词，也不知道这东西有什么用，该怎么用的朋友们，你就拍他，你先试试花二十九块八 能不能先了解个基础。这个是我反反复复筛选过的。适合什么样的朋友？适合想花点小钱解决问题的朋友。这本我为什么选了这本？因为这本是最浅的， 适合对 ai 工具完全不了解的人。看目录行了，钱从哪来？高效工作流，像产品经理一样驾驭豆包短视频时代的三大玩法， ds 行业的应用全景图 ds 未来发展与职业赋能。没了，我除了自己的书以外，这是我上的第二本书，我上它只有一个目的，我希望更多的人在这个时代，先别说用 ai 赚多少钱啊，我，我把它挡住。先别说 ai 赚多少钱啊， 先别掉队，文化水平不高的看不懂。看不看得懂我挑来挑去。为什么挑了它？是因为这本书是我觉得最浅的， 是我觉得普通老百姓，你自己以前没有干过互联网，没有接触过这些你能看得懂的？我思来想去去上它只有一个目的，就是你花三十块钱能干点啥，你花三十块钱换个视角去看一看这个新世界，仅此而已啊。

大模型有三大局限，一是知识有截止日期，大模型自训练完成起，知识就截止到了那一天，无法获取实时信息。二是无法与外界互动，大模型不具备和外界交互的能力， 比如发邮件、打电话、预定机票等。三是大模型不擅长计算和推理，对于实时计算、大规模数据处理等场景，大模型是不擅长的，需要借助外部工具才能完成。这就诞生了 tour calling 这个机制。 to-call 令就是让大模型能和外部世界交互。这里的 to- 虽然翻译是工具，但 to- 代表的意义很广泛，它代表任何外部能力的抽象接口。工具的执行流程如下，用户提出问题，大模型分析意图大模型生成调用工具的指令，应用程序接收到指令， 实际调用工具返回结果，应用程序将结果注入到大模型中。大模型整合信息生成回复。接下来我们实际写一下代码，看一下 to 是 如何使用的。首先我们需要定义一些工具，定义 to 有 多种方式，这里我们写两种最常用的方式， 第一种是使用 itto 注解，这里我们实现两个工具，一个加法工具，一个乘法工具。 工具的定义有最核心的三个元素，第一就是工具的名称，大模型生成的工具调用指令中，使用工具名称作为唯一标识。第二就是工具的描述，这个是大模型决定是否调用工具的依据。第三是工具需要接收的参数，大模型会根据参数的描述和类型 生成符合条件的参数信息。按 tool 注解中定义工具名称和描述。按 tool parameter 定义工具的参数信息， 参数中有一个属性是 required， 这个是必填字段，默认是 tool， 方法中则是工具的执行逻辑。 第二种 tool 的 定义是使用 function tool callback， 这种方式就是定义一个 tool callback 的 being。 使用 function tool callback 来创建 tool， 构建时需要添加工具的名称，描述实际执行方法，输入参数类型。最后我们实现具体的工具逻辑就行。 我们添加一个日制配置，这样在工具调用时可以打印日制信息，便于观察。 调用 tool 时，我们需要借助 tool calling manager model 都接受 to a callback 对 象列表，最终执行 to 的 时候是由 to a calling manager 执行，我们来写代码。 虽然 chat client 可以 接受 to a callback 对 象，但是这里我们使用 chat options 的 方式，我们将其包含在提示词中。 internal tool execution enable 的 属性我们设置为 false， 这是手动触发 tool 调用的意思。下面我们学习 agent 的 时候再使用自动模式。 由于是手动模型，所以我们需要判断大模型的响应中是否有 tool 调用信息。如果有 tool 调用信息，我们就使用 tool call manager 来执行工具的调用。将工具的执行结果和绘画历史再次发给大模型， 大模型再次进行调用，如果没有工具调用了，就直接返回最终的结果。 service 写好后，我们来写 controller 进行实际测试调用。先测试 at tool 注解的工具，调用 tool 注解的工具，我们需要使用 tool comacs 转换一下，将其转换为 tool comacs 列表使用。 这里我们日制改一下包名写错了。 通过观察日记我们可以看到工具的调用信息。 function to a callback 这种方式就比较简单了，我们直接注入就行，因为我们定义的就是 to a callback 类型的 been。 我 们观察日记可以看到工具的调用信息。

今天教你用 ai 三十秒的时间做这种动作迁移视频，手、衣服、 头发、眼睛都可以随之摆动。制作方法很简单，一张图加一段视频就能全部搞定。选择可零二点六动作控制上传图片， 在上传之前拍好的视频就能用 ai 实现动作迁移了。这个保温杯。

今天又带来了新的 ai 工具，场景美术三 d 资产拆分工具，这里有关于本工具的中英文介绍， 支持宽 v l 和 gemini 视觉分析模型，在这里可以输入不同模型对应的 api， 这里有工具的使用帮助。 接下来让我们正式开始还是找黑暗世界隐喻果的游戏场景来试例。上传图片 选择模型，这里选择 gemine 三 pro， 场景类型选择自动检测。点击开始分析，等待的时间就跳过了，分析完成会分成序号、 资产类型、中文命名、英文命名、预估人天对应的位置，截图制作注意事项来分类。如果是附用的资产，会标记出附用的数量， 会给出大致的预估人天，并且会在图片中把对应的物件框选出来，其他的我们就快速过一遍。 会把资产的总数、类型数、可附用数和总人天汇总出来， 可以选择按照规则来排序和筛选，还可以编辑单条内容，修改资产类型中英文命名和预估人天。人天以零点五为单位， 还可以修改制作注意事项， 支持搜索单个资产名称， 还会提供制作管线，估算人天与美术制作建议。 支持手动添加资产 修改后我们可以导出 excel 表格，让我们继续编辑或者发送给别人，导出的内容会保持一致， 刚刚在里面手动修改的内容也会保留下来。 工具页面的上面有我平时在使用的 ai 工具， 工具还支持同个场景的不同角度截图分析。最后我们也简单过一遍，看看内容，谢谢观看！

从毛坯户型图到精细布置的平面，再到每个空间的概念效果图，甚至是动画视频，那全程只需要不到一个小时，那今天呢，手把手来教会你如何制作好。首先呢，我们在浏览器输入栏搜索设计师 a a 工具箱才进到这个官网， 进来之后呢是这样一个界面，那接下来我们在工作流下方呢，哎，找到平面布局效果图的一个生成卡片，好，直接点进来， 那点进来之后呢，默认啊，就跳转到这个平面渲染这个功能啊，这功能一共分两个模块啊，第一个是自动布局的一个生成，就是你传一张空白的啊这种平面图，哎，他可以根据你的要求啊，你的平面类型还有风格来帮你生成里面的布置图。 好，第二个功能是根据布置图呢来生成效果图啊，比如说这样一张布置图，我想生成啊这个卧室的效果图，哎，他可以帮我们达到这样一个效果。好，首先我们先演示第一个功能啊，就是自动布局生成，我们先可以从素材库里面去找一个空白的啊这样一个平面。好， 那比如说我们我们就找找第三个。好，那点点击完之后呢，你可以在提示处输入框呢来限定一下啊，你的一个他的一个功能，比如说是住宅，酒店还是其他的 办公类型，你也可以自定义啊，去去进行一个修改，比如说我们选择的是呃住宅或者说住宅功能吧，然后呢类型我们先选择宪岗， 好，那我们可以点击生成，这个时候它会跳转出一个弹窗啊，它要提示你要在房间里面进行一个标注，那我们可以点击进行标注，因为你标注之后呢，它生成的这个准确度会更高一些。那比如说这个位置，我们希望它是 卧室，你可以直接直接打字，然后呢这个位置，比如说是客厅啊，我随便写。那这个位置是一个书房啊，这个是一个儿童房，这边比如说是一个呃， 阳台或者是户外游乐器都可以啊，你可以随便写，我只是做一个示意啊，然后你可以点击右上角的确认啊。好，点击完之后呢，就可以点击生成设计 啊，时间一般是一分钟左右，那很快的我们的效果就生成好了，可以看到说卧室是卧室，对吧？他按照我们的这样一个要求啊，去进行了一个生成啊，整体看起来是 比较合理的，对吧？那这也是第一个功能啊，就是他是一个住宅，我们生成的是一个线稿图啊，当然如果说你你喜欢，希望他直接有一个填色的效果啊，立体的效果，你可以点击把它改成写着渲染好，我们什么都不改啊，直接再次点击生成， 哎，同样的很快，那我们这个图就生成好了，当然这些风格你可以自己去进行一个指定，比如说你希望啊整个的 呃炫是一个北欧风啊，是一个极简风，还是一个什么风格，你都可以进行一个指定，是非常的方便。好，那接下来我们说一下第二个功能啊，就是 布局的一个渲染好，我们输入一个平面图，然后框一下你要生成的空间的范围，哎，就是可以得到这样一个效果图啊，首先我们把刚才得到的一个平面啊，生成一个平面布局图，我们截个图把它放进来啊，比如说我们想生成 这个卧室啊，这个主卧的效果图，我们直接用鼠标啊，在这边进行一个框选啊，框选的范围尽可能的准一点。好，框完之后呢，这边会有一个相机的一个示意啊，你可以把它拖拽一下，按住鼠标左键拖拽，这边有个旋转按钮，也可以进行旋转，比如说我们希望是从门的位置向 窗户的位置去看，你就可以用这个方式进行一个框选，然后呢这个风格上我们可以去进行一个限定啊，比如说并且是住宅啊，比如说选择是住宅，然后风格是现代简约或者说 法式啊，北欧都可以。好，那选完风格之后呢，你也可以在下方进行一个更多的约束，比如说描述一下吊顶是什么样子的，我希望这个窗头柜是什么样子都可以，这样的话画面会更接近你想要的效果。那框好之后呢，我们可以直接点击哎生成设计。 哎，那我们的 效果图生成好了，是一个法式风格，那布局呢？哎，跟我们的这个平面啊也是吻合的啊，当然啊，这种通过平面图直推效果图的方式，他 啊很难达到，说百分之百是准的啊，就是如果说你希望非常准的话，肯定还是要有一个三 d 模型的约束，这是最准的。但是你去从时间成本上，从效率上来说，我觉得这个方式还是 在很前期的时候，大家就可以去试用一下，因为你不需要建模，然后你你全程啊，只用一个空白的毛坯图，然后生成布局，然后直接生成效果图，可能总时间加起来可能半个小时你就做完了一套这样一个概念方案，用来给客户沟通其实是一个非常高效的方式啊， 当然这个方式的成功率我目前测试下来在百分之八十左右啊，然后后期配合局部的微调，应该会达到一个还不错的效果。那另外一个玩法呢？是，呃，根据生成的效果图来生成视频，我们以这个客厅场景的效果图为例，生成好之后呢，我们在左下角点到，点击这个视频生成按钮， 好出现一个弹窗，我们可以先选择一个七二零 p 五秒的这样一个模式，然后输入啊，比如说镜头前推，当然你可以输入镜头后移啊，像右侧移动等等都可以。 那视频生成的时间大约是两分钟左右，那么看到效果还不错，完全符合我们的语气， 可以通过这样一个流程，把其他几个空间完全进行一个组合。 ok， 那 本期分享就到这里，希望这个视频对你有帮助，我们下期再见。拜拜。

注意看这个分身变装效果，太炫酷了，制作非常简单，三十秒学会。首先拍摄一张人物穿着展示服往画面左边站立的照片，在 liblib 里选图片，生成模型，选全能图片、 vr 参考图，添加拍摄照片，再输入这段提示词，点生成就会得到服装分身的效果图。选一张满意的保存，接着切换到视频生成，添加保存效果图，模型选可零，三点零输入这段变装提示词， 时常设置五到八秒点生成，稍等一会，视频就做好了。最后保存看效果。

你以为你真的会用豆包吗？大部分人守着这个免费的工具，却只把它当成了查天气和搜百科的对话框。为什么同样的软件，有人能半小时写完一周的方案，你却只能拿它解闷？原因很简单，你根本没有掌握那套专业的指令级。这本书就是沈清干和蓝衣剑客等专家专门为你定制的职场作弊码。 他把那些让你头秃的文档编辑、海量数据清洗，还有没完没了的周报总结，全部拆解成了拿来即用的实战案例。 读完之后，你会发现，以前自己那种手动搬运信息的用法，简直是在用坦克耕地。所谓的十倍效率提升，绝不是空喊口号，而是工具应用能力的降维打击。 在这个技术贫权的时代，最可怕的不是你没工具，而是你拿着神兵利器却只会当烧火棍。别再羡慕别人的高校和从不加班了，这就是能让你在办公室里迅速脱颖而出的秘密武器。

最近呢咱们网上啊又出现了一款跨时代的 ai 工具，名字呢叫做千吻，它是由阿里巴巴集团研发的，它同 时啊拥有咱们豆包， deepsea 以及极梦三款 ai 工具的功能。那这款工具呢，也是刚刚出来没多久，所以啊，接下来呢我就教一教大家如何去用咱们这个工具，咱们零 像零基础的小白呢，你跟着我从头来学，也可以轻松学会。那我们也废话不多说，直接来开始今天的实操环节。好，那咱们呢直接来打开我们的亲吻， 进来之后呢下面是有很多工具的，你平时呢可以用这里写文案，像我们 tipsy 呢也是同样有这个写文案的功能，可以打开深度思考的，对不对？好，那今天呢我就来教大家用这个功能啊，来做图或者做视频，像网络上面很多火的图片和视频呢，都是用这些工具来制作的， 那咱们呢直接点击下方的 ai 生图好，进来之后呢，同学们可以看到这里有图片的模板，也有视频的模板，同样的还有一些短剧模板，都是有的啊，可以按照你自己的需求去选择。 这边的话呢，比如说你想制作一些写真的图片，这里呢就有模板对不对？像这种都是比较好看的，那我们如果说你也想要做这种类型的一个写真，但是呢用自己去拍又需要花米对不对？所以用 ai 工具呢就可以直接制作，如何做呢？我们找到喜欢的模板，就直接点击下方这个做同款， 然后呢把这个照片替换了，点一下，替换来到我们相册，然后呢选择我们自己的照片去替换就可以了，直接选中，然后点击上传 好，这个时候呢他就在帮我们生成当中，大概呢需要五到十秒钟时间，他就能把我们把自己的一个写真照片做出来了， 同学们看一下对不对？这个呢就是一共有四张，这四张呢就是用我们自己的照片做出来的一个写真图，是不是很高清，很自然，还不需要你自己画面去外面拍摄，也不需要你请摄影师，我们直接用 ai 就 能制作 好，这个是其中一种，比如说呢，你还想要做视频，或者说其他的模板都有，我们继续回到 ai 生图里面来，回来了之后，比如说啊，你家小朋友，你拍了很多小朋友的照片，但是呢感觉构图自己拍的不是那么的好看，那我们同样可以用 ai 来优化的， 在这里啊找到萌娃。同样的在这里面呢有很多的一个模板，你可以去选择，像这种呢，像水果头像等等的，对吧？好，一样的，我们点击做同款， 然后呢点击替换，我们去选择自己宝宝的一个照片，这边的话呢我没有的话，我就选择一张这个图片来给大家演示一下，同样的直接点击选择，然后点击上传就可以了， 同样等待一会他就能帮我们把这个图片做出来，做出来之后呢我们去下方呢找到自己喜欢的去用就可以了，是不是这个图片就会变得非常的可爱，非常的神奇。好，这个呢是第二种，如果说呢，你想要做视频的话，我们继续回到 ai 生图里面来， 在这里呢还有一个视频栏目的，你点一下视频就可以了，比如说像这种烟花视频，或者说呢像能跟机器人合在一个视频里面等等等等，很多很多啊，好比如说呢，我要做一个这种练舞的一个视频，那我们点击它进来。 好，然后呢点击做同款，选中我们自己的图片，直接点击生成就可以了。这个时候呢，我们视频生成的一个时间会久一些，我们稍微等待一下，稍后呢我把成品导出给大家看一下。那今天视频分享到这边，如果说对你有所帮助的话，也可以留下六六六来支持和鼓 励一下小金，那我可以把我自己的一个提升指南以及运营笔记来给大家详细分享一下。那我们今天就先到这边了，我们下期再见吧， 耶耶耶耶耶耶耶耶耶耶耶耶耶。

今天开始个人微信官方支持大龙虾了，提供了微信 clubbot 这个插件。在开始使用之前呢，首先确保你的微信是不是八点零点七零这个版本，打开微信，点击右下角我的，然后进入设置， 检查你的版本号是不是八点零点七零，如果不是的话，就点击检查新版本，更新到八点零点七零就有这个插件了。 那它怎么跟电脑的龙虾连接呢？教你一个最简单的办法，不需要安装命令。行，你只要在电脑上安装好 qcloud， qcloud 就 会引导你扫描二维码，无脑连接，立刻使用，并且 qcloud 每天还有四千万的 token 送给你，你学会了吗？评论区告诉我。