XiaoMi-AI文件搜索系统
World File Search System关节速度
精确：使用带有变压器的动作块的端到端自动挖掘机系统
摘要 - 挖掘机对于诸如建设和采矿等各种任务至关重要，而自主挖掘机系统可以提高安全性和效率，解决劳动力短缺并改善人类的工作条件。与现有的模块化方法不同，本文介绍了精确的末端自动挖掘机系统，该系统处理原始的LIDAR，相机数据和关节位置，以直接控制挖掘机阀。利用具有变压器（ACT）体系结构的动作块，精确地采用模仿学习来从多模式传感器中获取观测作为输入并生成可行的序列。在我们的实验中，我们基于捕获的现实世界数据来构建一个模拟器，以模拟挖掘机阀态与关节速度之间的关系。有了一些人类经营的演示数据轨迹，精确证明了完成不同发掘任务的能力，包括通过模拟器验证中的模仿学习到达，挖掘和倾倒。据我们所知，精确代表了通过模仿学习方法以最少的人类示范集来构建端到端自主挖掘机系统的第一个实例。有关此工作的视频可以在https://youtu.be/nmzr rf-aek上访问。
机器人绘画的神经形态电子艺术家
摘要 - 计算机视觉和深度学习方面的进步导致人们对Ai-Art的领域的兴趣激增，包括数字图像创建和机器人辅助绘画。传统的绘画机依靠静态图像和offl ine处理来将视觉反馈纳入其绘画过程中。但是，这种方法并未考虑绘画的动态性质，并且无法将复杂的重叠模式分解为单个笔触。作为基于框架的RGB摄像机的替代方法，神经形态摄像机通过异步事件流捕获场景中光强度的变化，有望克服传统计算机视觉技术的某些固有局限性。在此项目中，提出了一种用于物理绘画的机器人系统，该系统利用了动态视觉传感器（DVS）摄像机的基于事件的视觉输入。为了利用摄像机的超低潜伏期和稀疏编码，该建议的系统还采用了基于事件的信息处理，并在神经形态Dynapse-1处理器上使用尖峰神经网络实现。机器人系统接收DVS感官数据，它代表了笔触的轨迹，并计算了所需的关节速度，以闭环方式用6多F的机器人臂重新创建中风。控制器还将触觉反馈从力量扭转传感器集成在一起，以动态调整末端exector的距离，这取决于刷子的变形。在项目范围内，进一步证明了如何从DVS数据中提取有关感知的笔触中风的速度信息。该系统在现实世界中进行了测试，并成功生成了物理笔触的集合。提出的网络是迈向完全尖峰的机器人控制器的第一步，能够无缝融合基于事件的感觉反馈，从而提供超低潜伏期响应能力。除了在机器人辅助绘画中的实用性之外，开发的网络还适用于需要实时自适应控制的任何机器人任务。