无缝的人类机器人相互作用(HRI)需要机器人对人类的多模式输入的熟练处理,包括语音,凝视和面部表情,以准确评估人类的影响并相应地提供帮助。同时,机器人必须通过多模态输出渠道清楚地将自己的意图清楚地传达给人类,包括语音,手势和凝视。传统上,在机器人系统中实现此功能通常需要复杂的设计。在意图估计的领域中,以前的研究通常合并意图识别模块,以基于多模式输入[3,17]对人类意图进行分类。一些系统还具有用于检测人类情感状态的专用模块,对于建立社会细微差别的互动至关重要[10,16,18]。但是,这些方法的缺点在于它们耗时且昂贵的培训过程。在输出方面,许多先前的系统集成了情绪状态[8,11]模块,以控制人形输出提示,例如音调,凝视或面部表情,增强了向人类反馈的透明度和生动性。关于运动产生,提出了多种方法,包括预先建立的运动集的混合和图表[19,25],以及使用运动捕获数据[5,9,15]。值得注意的是,这涉及与特定状态相关的每种输出模式的动作手动设计。通过利用文本理解,推理和计划的能力,在短时间内提出了许多机器人应用[7,12,14,20,21,28]。例如,Zhang等人。大型语言模型(LLM)的最新进展,诸如聊天机器人,数据过程和代码生成之类的域中的表现令人印象深刻的功能正在揭示其在机器人技术领域的潜在应用。其中一个通常的例子是“ Saycan”机器人[1],它能够解释人的自然语言命令,分析环境并生成具体的可执行操作序列,以通过使用LLMS来满足人类的要求。但是,机器人和人之间的互动提示仅限于语音命令,即使没有语音输出。最近,一些研究人员还试图将这种技术应用于HRI领域。利用LLM来估计人类有多少信任机器人[30]; Yoshida等人,使用LLMS生成低级控制命令来推动人形机器人运动以进行社会表达[29],而不是用于实践援助。Baermann等人,部署了LLM不仅遵循人类的言语命令,而且还通过人类的自然语言反馈来纠正其错误[2]。然而,通信主要依赖语音相互作用,而较少关注多模式感应和表达能力。ye等。[27]驱动了一个LLM驱动的机器人系统,该系统能够与人类在VR环境中的组装任务中合作。,但是该系统仅限于处理人类语言输入并控制虚拟空间中的单臂。通常,与快速
了解人类的社会行为对于综合愿景和机器人技术至关重要。微观的观察(例如,分裂行动)不足,需要采取一种全面的方法来考虑个人行为,组内动态和社会群体层次,以彻底理解。要解决数据集限制,本文引入了JRDB-Social,JRDB的扩展[2]。旨在填补跨室内和室外社会环境的人类理解的空白,JRDB-Social提供了三个层次的注释:个体属性,组内侵入和社会群体环境。该数据集旨在增强我们对机器人应用的人类社会动态的理解。利用最近的尖端多模式大型语言模型,我们评估了我们的基准,以表达其破译社会人类行为的能力。
歌曲在人脑中如何处理?在歌曲中,音乐和歌词在音乐语言的协同作用中紧密绑定,以传达含义和情感,而不是语言内容,从而提出了有关如何代表两个组成部分并将其整合到有凝聚力的感知整体中的问题。先前的研究指出了对音乐,语音和歌曲敏感的人类皮质的领域,它们既可以找到共享和专业网站。然而,听歌曲时的音乐和歌词处理之间的互动仍然很糟糕。为了解决这个问题,我们探究了具有脑电图的特定于音乐和语音的神经预测机制。当向听众提供歌曲或相应的嗡嗡声(无语言)旋律时,比较了旋律预测的编码。同样,在歌曲和相应的口语(无旋律)歌词中研究了语音预测的编码。我们发现,歌曲中音乐和言语的同意改变了它们的预测信号的产生和处理,从而改变了它们的神经编码。此外,我们在旋律和音素期望的神经编码中找到了一个权衡,其平衡取决于谁在听(反映听众的偏爱的内部驱动力,例如音乐训练)以及歌曲的创作和表演方式(外部驱动程序(外部驱动力)(反映了歌词和音乐的出色和音乐))。总的来说,我们的结果表明,歌曲涉及并行预测过程,以竞争共享处理资源的使用。
hal是一个多学科的开放访问档案,用于存款和传播科学研究文件,无论它们是否已发表。这些文件可能来自法国或国外的教学和研究机构,也可能来自公共或私人研究中心。
随着机器人技术和人工智能的快速发展,人类机器人的协作和互动已成为研究和技术发展的基石。机器人系统与人类合作伙伴的无缝整合对于提高不同应用程序领域的效率,适应性和安全性至关重要。本专注的部分重点介绍了人类 - 机器人协作和互动技术的最新突破,展示了对共享自治,适应性控制,环境系统以及工业,医疗保健和互动环境的共同自主权,适应性控制,人类融合系统的新贡献。本专注的部分收到了80篇论文提交,通过严格的同行评审过程从中选择了9篇论文。这些论文被组织为三个关键主题:(1)辅助应用中的人与动物的相互作用,(2)安全且智能的人类 - 动物统计的高级方法,以及(3)人类与机器人交流的创新界面和技术。每个贡献都为构成了下一代人类与机器人协作和互动所面临的挑战和解决方案提供了宝贵的见解。
如果赞助商已经完成了概念证明和一些安全研究,并且正处于确定性毒理学研究的设计和行为时,请求可能过于先进,并且更适合于投票前的新药应用(预印度)会议。另一个原因将被视为相互作用过于先进的原因是,是否已定义了用于临床研究的制造过程,并且您已经制定了测定法和初步释放标准。此外,如果产品的临床前测试和制造过程使用与同一赞助商提交给OTP的其他产品相同的平台,则该程序被认为处于高级阶段。,我们还将考虑相同产品和临床指示的先前研究中存在临床数据是一个更先进的开发阶段。
森林服务研究与发展由国家华盛顿办事处(WO),5个研究站(南部,北部,落基山,太平洋西北和西南太平洋),两个国家实验室(森林产品和国际部落林业研究所)以及森林清单和分析(FIA)计划组成。R&D管理了81个实验森林和范围,雇用了近1,500名员工,其中500名是研究科学家,多年来,他们发表了超过59,000名同行评审出版物。每个站都由各种研究工作单位(RWUS)组织,该单位(RWUS)在既定的研究宪章下运作,其目标和目标与特定的RWU相关。此路线图改善了与土著人民的参与,打算为与土著人民合作的所有研发提供指导和建议。它还提供了有关六个重要目标的更新细节,以通过活着的文件继续改善研发部落参与度和有效的协作研究,并与每个电台的知识渊博的部落关系人员建立联系,他们可以联系和支持所有科学家。
摘要 - 本文介绍了Gestllm,这是人类机器人相互作用的高级系统,可以通过手势来实现直观的机器人控制。与常规系统不同,该系统依赖于有限的预定义手势,Gestllm利用大型语言模型并通过MediaPipe [1]提取功能来解释各种各样的手势。该集成解决了现有系统中的关键局限性,例如受限的手势灵活性以及无法识别人类交流中常用的复杂或非常规的手势。通过结合最先进的功能提取和语言模型功能,Gestllm实现了与领先的视觉模型相当的性能,同时支持传统数据集中没有代表的手势。例如,这包括来自流行文化的手势,例如《星际迷航》的“瓦肯敬礼”,没有任何其他预处理,及时的工程等。这种灵活性增强了机器人控制的自然性和包容性,使互动更加直观和用户友好。gestllm在基于手势的相互作用方面提供了重要的一步,使机器人能够有效地理解和响应各种手势。本文概述了其设计,实施和评估,证明了其在高级人机协作,辅助机器人技术和互动娱乐中的潜在应用。索引条款 - llm;手势识别;机器人控制
1计算机工程系1银橡树大学,艾哈迈达巴德,印度摘要:文化遗产保护对于学习历史和维护我们的身份至关重要。但是,使用传统方法进行遗产现场识别和认可经常需要手动检查和专业知识,这可能是资源和时间密集的。为了自动化遗产识别的过程,本研究提出了一种新颖而创意的解决方案,将深度学习技术与直观的互动相结合。使用历史和建筑意义上的七个图片,使用VGG16模型训练该系统,VGG16模型是通过转移学习改进的卷积神经网络(CNN)的一种形式。Pygoogle-image Python库用于收集这些图片。结果是一个在简化平台上开发的交互式,用户友好的应用程序。潜在的遗产网站可以由用户上传照片,算法可以很高的精度识别它们。此方法使保护工具更广泛地可用,同时还可以简化历史识别程序。支持文化保护计划,并使包括遗产经理,城市规划师和政策制定者在内的利益相关者受益,它减少了对常规技术的依赖。这项将最先进的深度学习方法与用户输入相结合的技术是可持续性和文化遗产保护的主要进步。索引术语 - 深度学习,卷积神经网络,机器学习,图像识别
摘要:机器人越来越多地用于医疗保健服务,可以通过了解其个性来确定其有效性。尽管如此,医疗保健人类机器人互动(H-HRI)尚未对人格进行系统或全面的掌握。过去的医疗保健为人形机器人带来了好处。但是,对卫生保健人类机器人互动中的个性(H-HRI)没有系统的全面了解。本文研究了医学中一些常见的情况,并提供了一种详尽的衡量信任的方式。这样的拟议范式强调了医生之间明确沟通的重要性,以及他们对机器人干预的期望,这些任务是针对人类的任务。此外,它显示了患者如何从机器人那里获得帮助。最后,提出了旨在提高患者信心的建议,因为前者有助于提高治疗效率水平。它简要讨论了五个性格特征,也是个性特征。这些需要人类机器人的相互作用因素。