摘要 - 现代仓库处理数百万个独特的物体,这些物体通常存储在密集的容器中。为了在此环境中自动化任务,机器人必须能够从高度混乱的场景中挑选各种对象。现实世界学习是一种有前途的方法,但是在现实世界中执行选秀权是耗时的,可能会导致昂贵的失败,并且通常需要大量的人类干预,这会导致操作负担并限制数据收集和部署的范围。在这项工作中,我们利用交互式探针在不完全执行选片的情况下视觉评估杂物中的grasps,我们称为交互式视觉失败(IVFP)。这可以在执行过程中对GRASP的自主验证,以避免昂贵的下游失败以及自主奖励分配,从而提供监督以连续塑造并改善机器人在现实世界中的经验,而无需不断需要人类干预。通过在RESTARTH RE1机器人上进行实验,我们研究了IVFP对绩效的影响 - 无论是在有效的数据吞吐量和成功率方面,都表明这种方法会导致掌握单独接受人类监督的政策的政策,同时需要减少人为干预。代码,数据集和视频,请访问https://robo-ivfp.github.io
摘要 - 评估和培训自主驾驶系统需要多样化且可扩展的角案例。但是,大多数现有场景生成方法都缺乏可控性,准确性和多功能性,从而导致产生不令人满意的结果。受图像生成中Draggan的启发,我们提出了DragTraffic,这是基于条件扩散的广义,交互式和可控制的交通场景生成框架。dragtraffic使非专家可以通过自适应混合物专家体系结构为不同类型的交通代理生成各种逼真的驾驶场景。我们采用回归模型来基于条件扩散模型提供一般的初始解决方案和改进程序,以确保多样性。通过交叉注意来引入用户注定的上下文,以确保高可控性。在现实世界中的数据集上进行的实验表明,拖拉法在真实性,多样性和自由方面优于现有方法。演示视频和代码可在https://chantss.github.io/dragtraffic/上找到。
生成的AI正在彻底改变游戏设计领域,并在游戏玩法中引入了前所未有的适应性和个性化。AI驱动引擎的最新进步可实现实时内容创建,提供了动态的,以玩家为导向的体验,与传统的预编程叙述不同。此班次标志着向“选择自己的冒险”格式的过渡,其级别,敌人,收藏品和武器的数量无限数量,该级别是针对每个玩家的决定量身定制的。Google的Gamengen展示了AI重新创建经典游戏,例如实时学习和生成游戏玩法的能力。这些创新并不仅限于游戏。它们扩展到了娱乐,电视和电影,诸如Cybever之类的AI工具允许创作者从诸如草图之类的简单输入中产生3D世界。这样的发展强调了AI在塑造交互式媒体中的作用的更广泛趋势,为个性化学习和娱乐体验提供了新的机会。诸如笔记本LM之类的工具的出现也模糊了游戏与其他媒体之间的界限,从而创建了AI编写的脚本和化身,从而增强了跨平台的讲故事。本文探讨了生成AI的变革潜力,强调了对娱乐,游戏及其他地区的未来的影响。
摘要:我们介绍了交互式场景探索的新颖任务,其中机器人自主探索环境并产生一个动作条件的场景图(ACSG),该图形图(ACSG)捕获了基础环境的结构。ACSG在场景中既说明了低级信息(几何和语义)以及高级信息(不同实体之间的动作条件关系)。为此,我们提出了机器人探索(RoboExp)系统,该系统结合了大型多模型(LMM)和明确的内存设计,以增强我们的系统功能。机器人的原因以及如何探索对象,通过交互过程累积新信息,并逐步构建ACSG。利用构造的ACSG,我们说明了机器人系统系统在促进涉及涉及刚性,清晰的对象,嵌套对象和可变形对象的各种真实的操纵任务方面的有效性和效率。项目页面:https://jianghanxiao.github.io/roboexp-web/
随着环境智能(AMI)的愿景变得更加可行,在这种情况下,设计有效和可用的人机相互作用的挑战变得越来越重要。交互式机器学习(IML)提供了一组技术和工具,以使最终用户参与机器学习过程,从而有可能构建更值得信赖和适应性的环境系统。在本文中,我们的重点是探索APS,以有效整合和协助基于ML的AMI系统中的人类用户。通过对关键IML相关贡献的调查,我们确定了在AMI应用中设计有效的人类相互作用的原则。我们将它们应用于开权构成的情况,这是实现AMI的一种方法,以增强人类与人工智能之间的协作。我们的研究强调了对以用户为中心和上下文感知的设计的需求,并提供了将IML技术集成到AMI系统的挑战和机遇的见解。
您想推荐产品吗?建议接受季节性补救措施?提供有趣的条件?与建议的产品和产品交互时,所有这些都是可能的。黑色星期五?现在,您可以设置每个人一直在等待的折扣率。也可以使用用户识别的自定义凸轮paign
图 1. 交互的基本模型。A:在与传统的非 AI 系统交互时,用户选择要执行的操作并向系统提供输入以执行该操作 (1)。系统执行操作 (2),然后将输出提供给用户,用户根据自己的目标评估输出 (3)。B:在与 AI 交互时,用户将他们期望的结果传达给 AI (1),AI 解释目标并执行操作以实现该目标 (2),然后 (3) 将输出发送给用户。C:相同的人机交互周期,AI 对齐概念映射到三个步骤上:(1) 规范对齐机制为用户提供了对齐 AI 以执行特定任务的方法。(2) 流程对齐机制使用户能够修改任务的执行方式,从而可能为用户提供对特定步骤的直接控制。(3) 评估对齐机制帮助用户评估和理解输出。
文本到语音(TTS)模型的评估目前由均值开放得分(MOS)听力测试所统治,但MOS的有效性越来越受到质疑。mos测试将听众置于被动设置中,其中他们不会与TTS积极互动,通常会评估孤立的话语而没有上下文。因此,它没有表明TTS模型适合诸如口语对话系统之类的交互应用程序的迹象,在对话中,在对话环境中生成适当语音的能力至关重要。我们旨在通过评估几种最先进的神经TTS模型来解决这一缺点的第一步,其中包括一种在定制的口语对话系统中适应对话环境的模型。我们提出系统设计,实验设置和结果。我们的工作是第一个在上下文对话系统交互中评估TTS的工作。我们还讨论了拟议的评估范式的缺点和未来企业。索引术语:文本到语音,口语对话系统,评估方法,人类计算机互动
摘要 - 传统上,音乐教育依赖于理论教学和乐谱。但是,集成实时音频分析和交互式学习工具引入了学生如何掌握音乐基础知识的范式转变。本文介绍了一个基于Web的交互式平台和用于教学印度古典音乐(ICM)基础知识的实时音频分析系统。该平台结合了一系列实验,每个实验旨在增强对音乐元素的理解,从简单的音乐音符到复杂的旋律。音频分析还使用DSP套件TMS320C6713实时进行。本文提供了简洁的概述,强调了这些信号处理技术在音乐教育中的重要性及其在革新互动音乐学习中的潜力。学生可以实验,构成和可视化音乐元素,促进创造力并更深入地欣赏音乐的细微差别。实时反馈可以增强学习经验,从而立即进行更正和改进。索引术语 - 印度古典音乐,TMS320,信号程序,互动学习,音乐教育
得益于人工智能技术,音乐艺术的个性化学习成为可能。该技术能够分析歌曲中的音高、节奏、韵律和和声,从而根据每个学生的独特特点量身定制学习体验。Shazam、Adobe Podcast、Am-phed Studio、Mix Check Studio 和 Yousician 等各种基于人工智能的在线应用程序为更广泛地学习音乐艺术打开了大门。学生现在可以通过基于互联网的移动或平板设备灵活地学习和练习音乐,而不受空间或时间的限制。使用人工智能技术的学生还可以调整速度、难度级别和学生偏好,使学习体验更具适应性和有效性。