00:00 / 02:00
连播
清屏
智能
倍速
点赞19
00:00 / 01:11
连播
清屏
智能
倍速
点赞29
00:00 / 01:26
连播
清屏
智能
倍速
点赞8
Codeye3天前
物理世界建模 #物理世界建模 谷歌发布从物理世界模型中进行机器人学习 物理世界模型 展示了机器人可以通过构建物理世界模型从生成的视频中学习,从而产生遵守物理规律的动作,而无需真实机器人数据。 它通过将重建的场景与面向对象的残差强化学习(residual RL)相结合,提升了真实任务的准确性和零样本泛化能力。 从单张图像 + 文本命令开始,它首先生成任务视频,然后重建一个 4D 场景包含物体网格和物理属性,最后学习一个小型残差策略,该策略跟随物体运动,同时物理模型提供校正反馈。 视频质量至关重要,Veo3 生成的可用片段比例高达 70%,而 Tesseract 为 36%,CogVideoX 为 4%,Cosmos 为 2%。 在 10 个操作任务中,每项任务进行 10 次试验,PhysWorld 的平均成功率达到 82%,而最强的像素跟踪基线仅为 67%。 世界模型将抓取失败率从 18% 降低到 3%,跟踪失败率从 5% 降低到 0%,这表明物理反馈能够修复累积错误。 基于物体运动的训练优于重定向人类手部运动,例如,在将书放到架子上时成功率为 90% 对 30%,在将鞋子放入盒子时为 80% 对 10%。 残差强化学习在几百次迭代内收敛,并在相同预算下优于从零开始的学习,这得益于物理模型对探索的约束。 尽管整体成功率有所提高,但仍存在局限性,因为模拟器的保真度和单视图重建噪声可能会引入额外错误。
00:00 / 03:58
连播
清屏
智能
倍速
点赞4
00:00 / 00:58
连播
清屏
智能
倍速
点赞36
00:00 / 00:31
连播
清屏
智能
倍速
点赞0
00:00 / 00:38
连播
清屏
智能
倍速
点赞3