XiaoMi-AI文件搜索系统
World File Search System弹奏
使用3D高斯弹奏
摘要 - 可推广的感知是太空机器人技术中高级自治的支柱之一。估计动态环境中未知对象的结构和运动对于此类自主系统至关重要。传统上，解决方案依赖于目标对象的先验知识，多个不同的表示或不适合机器人操作的低保真输出。这项工作提出了一种新颖的方法，可以使用统一表示形式来逐步重建和跟踪动态未知对象 - 一组3D高斯斑点，描述了其几何形状和外观。可区分的3DGS框架适合以动态对象设置。管道的输入是一组顺序的RGB-D图像。3D重建和6-DOF姿势跟踪任务是使用基于一阶梯度的优化来解决的。该公式很简单，不需要预训练，不假定对对象或其运动的先验知识，并且适合在线应用程序。在任意相对运动下的10个未知航天器的数据集中验证了所提出的方法。实验表明，在短期到中持续时间内，目标对象的成功3D重建和准确的6-DOF跟踪。讨论了跟踪漂移的原因，并概述了潜在的解决方案。
互动表演中的审美失败设计
失败是具有挑战性的体验的常见产物，是互动系统的现实，也是美学和即兴表演的资源。我们介绍了一项研究，研究了三位专业钢琴家如何演奏一首互动钢琴曲，其中包括弹奏音乐中的隐藏代码，以控制他们在乐曲中的路径并触发系统动作。我们揭示了由于各种原因导致的弹奏代码失败，包括弹奏错误、系统限制，以及故意失败以控制系统，以及这些失败如何激发表演者的美学和即兴反应。我们建议应设计创造性和表演性的界面来实现美学失败，并引入一种分类法，将人类对失败的态度与对有能力的系统的态度进行比较，揭示游戏、驯服、驾驭和服务系统的新创意设计策略。
交互式表演中的美学失败设计
失败是具有挑战性的体验的常见产物，是互动系统的现实，也是审美和即兴表演的资源。我们介绍了一项研究，研究了三位专业钢琴家如何演奏互动钢琴曲，其中包括弹奏音乐中的隐藏代码，以控制他们在乐曲中的路径并触发系统动作。我们揭示了由于各种原因导致的明显无法弹奏代码，包括弹奏错误、系统限制，以及故意失败作为控制系统的方式，以及这些失败如何激发表演者的审美和即兴反应。我们建议应设计创造性和表演性界面以实现审美失败，并引入一种分类法，将人类对失败的方法与对有能力的系统的方法进行比较，揭示游戏、驯服、驾驭和服务系统的新创意设计策略。
您是否知道音乐活动以很大的方式使儿童发展受益？
支持感官发展，因为当您的孩子学会握持和弹奏不同的乐器时，运动，平衡，听力和触摸都涉及。例如，他们得知，慢慢而轻柔地敲打鼓与快速而有力地敲打它的声音不同。
用机器人第三拇指弹钢琴
图。1。钢琴弹奏任务设置。（a）SR3T的顶视图渲染，显示水平运动DOF和相关电动机。（b）SR3T的侧视图渲染，显示垂直运动DOF和相关电动机。（c）第一度自由度（DOF）的SR3T控制界面的顶视图渲染；参与者使用其右脚通过脚在脚上的惯性测量单元（IMU）捕获SR3T的运动。（d）第二DOF的SR3T控制接口的侧视图渲染。（e）在球体上投射的人拇指终点的工作表面与（f）（f）在球体上投射的SR3T端点的工作表面进行比较 - 增强人类的工作表面范围（请参阅方法）。（g，h）无约束的飞行员实验的顶部和侧视图：一位经验丰富的钢琴演奏者在佩戴和使用SR3T时自由锻炼钢琴，在使用后的1小时内有效地弹奏11个指钢琴。（i）系统实验：使用右手的5个手指加上左手食指（LHIF）和（J）使用SR3T弹奏序列。（k）参与者使用SR3T扮演在其前面显示器上显示的音符顺序。
2023 年 CHI 计算机系统人为因素会议扩展摘要：追随大师之手：捕捉钢琴演奏，用于混合现实钢琴学习应用
直觉。我们引入了端到端工作流程，以准确捕捉钢琴家的技术手势并使其与乐谱保持一致。我们记录了钢琴家弹奏的技术练习和乐曲。我们开发了一个多模态性能数据集 (MPD)，其中包括虚拟手模型、键盘 (MIDI) 录音和相应的乐谱，以及捕捉运动的手部轨迹的不同可视化。最后，我们开发了 Pianoverse，一款辅助钢琴学习的 MR 应用程序，并对新手钢琴演奏者进行了探索性用户测试，以了解运动的多模态表示对技能学习的影响。我们的初步观察表明，通过物理键盘理解录制表演的运动轨迹可以提高学习者正确定位身体和手的能力，并在弹奏乐谱时复制手势。进一步的研究将集中于自动化性能数据收集和对主要运动轨迹在钢琴学习中的使用的全面评估。
rp1m：用于钢琴的大型运动数据集，与双人灵巧的机器人手
摘要：将机器人手赋予人类水平的灵活性是一个长期的研究目标。bimanual机器人钢琴演奏构成了一项任务，该任务构成了动态任务所挑战的任务，例如快速产生同时精确的动作，并且较慢但触及率丰富的操纵问题。尽管基于强化的学习方法在单个任务中表现出了令人鼓舞的结果，但这些方法在多首歌的环境中挣扎。我们的作品旨在缩小这一差距，从而为机器人钢琴演奏而启用模仿学习方法。为此，我们介绍了100万（RP1M）数据集的机器人钢琴，其中包含比起一百万个轨迹的双人机器人钢琴弹奏运动数据。我们将手指放置作为最佳运输问题，因此可以自动注释大量未标记的歌曲。基准测试现有的模仿学习方法表明，这种方法通过利用Rp1m⋄来达到有希望的机器人钢琴弹奏性能。
人类声道的顶叶-颞叶感觉-运动整合区域：来自熟练音乐家的 fMRI 研究的证据
顶叶皮层中已发现几个感觉运动整合区域，这些区域似乎围绕运动效应器（例如眼睛、手）组织。我们研究了人类声道是否存在感觉运动整合区域。说话需要大量的感觉运动整合，其他能力（如发声音乐技能）也需要。最近的研究发现，颞顶叶后上部区域 Spt 区既具有感觉（听觉）又具有运动反应特性（针对语音和音调刺激）。熟练的钢琴家在听新旋律时，要么偷偷地哼唱旋律（声道效应器），要么偷偷地在钢琴上弹奏旋律（手动效应器），这时用 fMRI 测量了他们的大脑活动。与偷偷地哼唱相比，偷偷地弹奏条件下 Spt 区域的活动明显更高。前 IPS（aIPS）中的一个区域显示出相反的模式，表明它参与了感觉手动转换。这一发现表明，Spt 区是声道手势的感觉运动整合区域。© 2007 Elsevier Ltd. 保留所有权利。