How tactile sensing improves model performance
视觉-语言-动作模型是机器人操作领域的最新技术。他们仍然无法在不压碎薯片的情况下拿起薯片。这是视频触觉动作模型（VTAM）背后的团队今年早些时候发布的结果。在薯片拾取和放置任务中（一项需要高保真力感知的任务，仅靠视觉无法区分挤压性抓握和握持性抓握），VTAM 的性能比 π0.5 基线高出 80%。在更广泛的接触丰富的基准测试套件中，VTAM 的平均成功率为 90%。 1该芯片是一个对抗性示例，这正是它是正确测试的原因。在抓握点，只有接触动态才携带有用的信号。压力、振动和力/扭矩告诉策略正在发生什么，纠正仅视觉模型无法自行检测的视觉估计错误。相机无论分辨率有多高，都无法完成这项工作。
