我们提出了Mujoco Manipulus,这是一种由Mujoco物理模拟引擎提供动力的新型开源基准测试,旨在加速机器人学习的进步以进行工具操作。我们的基准包括用于操纵工具的各种任务 - 该领域目前缺乏统一的基准。不同的研究小组依赖于定制设计的任务或封闭式设置,从而限制了交叉可靠性并阻碍了该领域的重大进展。为此,我们的基准提供了16个具有挑战性的工具操纵任务,包括倒入,sc sc,刮擦,堆叠,聚集,锤击,迷你高尔夫球和乒乓球的变体。基准测试支持基于州立和基于视觉的观察空间,与体育馆API完全集成,并与广泛使用的深入强化学习库相连,以确保社区轻松采用。我们在基准上进行了广泛的强化学习实验,我们的结果表明,对于培训工具操纵策略,要取得进展。可以在我们的匿名项目网站:mujoco-manipulus.github.io上找到我们的代码库和其他学识的策略的其他视频。
大多数人工智能算法在现有的计算系统上运行,例如中央处理单元(CPU),图形处理单元(GPU)和现场可编程可编程的门阵列(FPGAS)。(Batra,Jacobson,Madhav,Queirolo和Santhanam,2019年; Viswanathan,2020年),也正在开发用于加速机器学习的数字类型或模拟数字混合信号类型的应用特定的集成电路(ASIC)。然而,随着摩尔法律方法的扩展极限,通过现有扩展可以实现的性能和功率效率正在下降。需要一个特殊的处理器来在短时间内接受和处理学习数据,而该处理器是“ AI半导体”。AI半导体是专门针对效率的非内存半导体,以超高速度和超功率实施AI服务所需的大规模计算。AI半导体对应于核心大脑,学习数据并从中得出推断的结果。(Al-Ali,Gamage,Nanayakkara,Mehdipour,&Ray,2020; Batra等,2019; Esser,Appuswamy,Merolla,Arthur,&Modha,2015年)CPU是处理计算机所有输入,输出和命令处理的计算机的大脑。但是,对于需要大规模并行处理操作的AI,串行处理数据的CPU并未优化。为了克服这一限制,GPU已成为替代方案。gpu是针对3D游戏等高端图形处理开发的,但具有并行处理数据的特征,使其成为AI半导体之一。
异构计算表示针对特定应用使用不同计算平台的场景 (Danovaro 等人,2014)。随着对大数据量和速率的查询和分析需求不断增长,对计算资源的需求也随之增长,但能源效率限制了传统方法,即通过在现有基础设施中添加数千台最先进的 x86 机器来提高数据中心的计算能力,转而采用节能设备 (Cesini 等人,2017;D'Agostino 等人,2019)。因此,数据中心的计算节点具有不同的执行模型,从传统的 x68 架构到 GPU、FPGA(Papadimitriou 等人,2020 年)和其他处理器类型,如 ARM 或更专业的处理器,如 TPU(Albrecht 等人,2019 年;Cass,2019 年)。例如,GPU 用于许多基于常规领域的科学应用中,并且提供的性能比传统内核高出几个数量级。它们也广泛用于深度学习,尤其是机器学习训练阶段。FPGA 是一种可以由程序员配置以实现特定功能的集成电路,它试图缩小硬件和软件之间的差距。在此背景下,该研究主题收集了五篇论文,展示了在高能物理中采用异构架构进行 AI 和大数据应用的非常有趣的经验。在 GPU 加速机器学习推理作为中微子实验计算服务 (Wang 等人) 中作者讨论了通过利用 GPU 资源作为服务为在深层地下中微子实验 (DUNE) 背景下开发的 ProtoDUNE-SP 重建链所实现的性能。这篇文章代表了在中微子软件框架中使用 GPU 加速机器学习的首次体验之一。最耗时的任务,即轨迹和粒子簇射命中识别,已加速 17 倍。在使用 CMS 像素跟踪器对轨迹和主顶点进行异构重建(Bocci 等人)中作者描述了一种在 GPU 上实现像素轨迹和顶点重建链的异构实现,能够实现高性能加速值。在 FPGA 上用于高能物理实时粒子重建的距离加权图神经网络(Iiyama 等人)中所开发的框架已集成到 CMS 粒子探测器重建软件 CMSSW (http://cms-sw.github.io) 中,CMSSW 用于检测 CMS 实验中 LHC 高能碰撞产生的粒子和现象。作者提出了一种新方法,将图神经网络从复杂的现代机器学习包导出到高效的 FPGA 实现中。