00:00 / 00:34
连播
清屏
智能
倍速
点赞142
00:00 / 02:35
连播
清屏
智能
倍速
点赞47
00:00 / 00:23
连播
清屏
智能
倍速
点赞11
PEKI-AI3天前
最近在研究 TouchDesigner 和 AI 视觉模型的结合,做了一个小原型:摄像头实时捕捉手势,不同手势触发不同的 GLSL 动效。 技术实现很直接: MediaPipe 负责视觉理解层——通过摄像头捕捉画面,实时提取手部 21 个关键点坐标,同时对手势进行分类(张掌、握拳、指向、剪刀手等)。这一层跑在 TouchDesigner 内嵌的 Chromium 里,走 WebAssembly,GPU 加速。 TouchDesigner 负责渲染层——拿到手部坐标和手势类型后,作为 uniform 变量传入 GLSL 着色器。着色器里跑的是 Raymarching 体积渲染,不同手势路由到不同的渲染函数:体积火球(32步光线步进 + FBM噪声场)、光追火焰(64步 Raymarching)、分形超新星(复数域分形迭代)。特效位置实时跟随手部坐标。 两者之间通过 WebSocket 通信,延迟在 3 帧左右。 这个原型本身很粗糙,但我觉得有意思的是 TouchDesigner + AI 视觉模型这个组合的可能性: - 互动装置:展览空间里,观众的身体姿态驱动整面墙的视觉生成 - 现场演出:舞者的动作实时控制灯光和投影内容 - 直播场景:主播手势触发实时特效,不依赖绿幕和后期 - 教育/演示:演讲者用手势控制数据可视化的展开和切换 - 无障碍交互:为行动不便的用户提供非接触式的界面控制 核心思路是把 AI 的感知能力(理解人在做什么)和 TouchDesigner 的渲染能力(实时生成视觉内容)连起来,中间的映射规则可以任意定义。 TouchDesigner 本身就是创意编程领域的标杆工具,现在接上 AI 视觉模型之后,它从「需要人手动设计交互逻辑」变成了「能自动理解人在做什么」。这个变化打开的空间很大——任何需要「人的行为 → 视觉反馈」的场景,都可以用这套思路重新做一遍。 感兴趣的评论区聊。 #TouchDesigner #MediaPipe #手势识别 #创意编程 #AI交互
00:00 / 00:49
连播
清屏
智能
倍速
点赞4