00:00 / 03:48
连播
清屏
智能
倍速
点赞12
00:00 / 07:02
连播
清屏
智能
倍速
点赞1
Tony沈哲1周前
本地 AI 推理平台 第十二期 Vol.12|给 Agent 装上“视觉”:FastSAM 实例分割 Skill 这一期给 视觉分析 Agent 增加一个新的能力:实例分割。 在 AI Agent 系统里,大模型本身并不需要完成所有任务。 很多专业能力可以通过 Tool / Skill 的方式接入。 这一期我把 FastSAM 封装成一个视觉 Skill,并让 Agent 在任务执行过程中自动调用。 通过这个例子可以看到一个典型的 Agent 工作流程: 用户任务 → Agent 推理 → 调用视觉 Tool → 返回结构化结果 具体演示内容包括: 1️⃣ FastSAM 模型简介 FastSAM 是一个轻量级的实例分割模型,相比原始 SAM: * 推理速度更快 * 模型更轻量 * 更适合实时应用 非常适合作为 视觉 Agent 的工具模型。 2️⃣ FastSAM Skill 封装 将实例分割能力封装为一个 Tool,例如: fastsam_segment(image_path) Agent 在需要进行视觉分析时,可以自动调用这个 Skill。 3️⃣ Agent 自动执行实例分割 用户输入一张图片并提出任务: 帮我对这张图进行实例分割 Agent 会自动: * 识别任务类型 * 调用 FastSAM Skill * 返回图像中的实例区域 最终得到完整的 实例分割结果可视化。 这一期主要演示的是: 如何给 AI Agent 接入一个视觉工具模型,从而扩展系统能力。 这也是构建 多模态 AI Agent 系统的一种典型方式。 如果你对 本地 AI 推理、Agent 架构、视觉 AI 或多模态系统感兴趣, 欢迎关注这个系列。 我会持续分享 本地 AI 推理平台的开发和实验过程。 #FastSAM #实例分割 #多模态AI #本地AI #本地大模型
00:00 / 04:48
连播
清屏
智能
倍速
点赞22
00:00 / 01:06
连播
清屏
智能
倍速
点赞3
00:00 / 09:00
连播
清屏
智能
倍速
点赞10