XiaoMi-AI文件搜索系统
World File Search System交互类型
分布式交互式模拟、练习管理和反馈标准：草案
两个相关的草案标准构成了 DIS 的通信元素。第一份文件“信息技术标准、分布式交互式模拟协议”定义了模拟应用程序之间交换的消息。这些协议数据单元 (PDU) 提供有关模拟实体状态和 DIS 演习中发生的实体交互类型的数据。“分布式交互式模拟通信架构”(CADIS) 确定了 DIS 应用程序中使用的通信架构的要求。它就可以提供满足这些要求的服务的通信配置文件提出了建议。本文档描述的标准以及 CADIS 文档为 DIS 的通信元素提供了必要的信息交换。
机上娱乐地图应用中的用户交互
地图应用程序，乘客可以在此接收有关当前航线的信息。重点是探索移动增强现实在乘客自己的设备上运行的地图应用程序中的适用性。为了提供评估基础，开发了同一原型的三个版本，以测试不同类型的用户输入，以获得最简单、最舒适的用户体验。此外，根据测试对象对最积极的感知用户交互类型的反应，开发了一个完整的原型，模仿机上地图应用程序的真实功能。在此过程中，在原型的每次迭代中都实践了以用户为中心的设计方法，该方法基于以用户为中心的设计，包括用户性能测试和访谈。此外，采用了迭代过程，以进一步改进原型的每次迭代。
通过基于人工智能的 DSS 实现人机交互
摘要。基于人工智能的决策支持系统 (AI-based DSS) 在许多情况下变得越来越重要。这项工作旨在为新的价值共同创造过程等级定义一种人机交互类型，以帮助确定可以刺激人机交互中价值共同创造的因素。为了了解人机交互的结果是否有助于价值共同创造，以及以何种方式，所开展的工作是认识论和类型学的，也基于系统思维。已经创建了人类与非人类之间关系的新梯度矩阵，并确定了人机交互的类型，以适应新的价值共同创造过程程度，以及新的特定技能规模，包括语言、学习、知识、信任水平和知识禀赋。主要含义涉及需要定制决策支持系统 (DSS)，以增强不同程度的关系强度，并为基于决策的 AI 用户确定见解。
迈向社会群体的计算理论：在 conf 上下文中表示任何和所有社会群体的一组有限的认知原语
目前，我们尚无完善的理论来解释当人类思维表征一个社会群体时，它所表征的是什么。更糟糕的是，许多人认为我们知道。这种错误观念是由当前情况造成的：到目前为止，研究人员一直依靠自己的直觉将社会群体概念与特定研究或模型的结果联系起来。这种对直觉的依赖虽然有必要，但却付出了相当大的代价。冷静来看，现有的社会群体理论要么是 (i) 字面意义上的，但远远不够（比如建立在经济博弈之上的模型），要么是 (ii) 仅仅是隐喻性的（通常是包含或包含隐喻）。直觉填补了明确理论的空白。本文提出了一种计算理论，解释冲突背景下的群体表征的字面含义：它是将代理分配给少数三元交互类型中的特定角色。这种群体的“心理定义”为社会群体的计算理论铺平了道路——因为它提供了一种理论，说明表示和推理群体的信息处理问题究竟是什么。对于心理学家来说，本文提供了一种概念化和研究群体的不同方法，并表明非同义反复的社会群体定义是可能的。对于认知科学家来说，本文提供了一个计算基准，可以以此为标准衡量自然智能和人工智能。
迈向脑心计算机接口 - ARPI
摘要。目的：脑机接口 (BCI) 利用脑信号的计算特征来执行给定任务。尽管最近的神经生理学和临床研究结果表明大脑和心血管动力学之间的功能相互作用在运动中起着至关重要的作用，但心跳信息仍未包含在常见的 BCI 系统中。在本研究中，我们利用脑电图和心跳频谱之间的方向性和功能性相互作用的多维特征将上肢运动分为三类。方法：我们收集了 26 名健康志愿者的数据，他们进行了 90 次运动；使用最近提出的基于合成生理数据生成的脑心相互作用 (BHI) 评估框架对数据进行处理。提取的 BHI 特征用于通过顺序前向选择方案和 k-最近邻算法根据与物体的交互类型在静息状态和三类运动之间进行分类。主要结果：结果表明，所提出的脑心计算机接口 (BHCI) 系统可以自动区分休息和运动类别，平均准确率为 90%。意义：此外，这项研究提供了神经生理学见解，表明源自皮层水平的功能相互作用在上肢神经控制中起着至关重要的作用。纳入功能性 BHI 见解可能会大大提高有关运动控制的神经科学知识，并可能导致高级 BHCI 系统性能。
基于对象分类的上肢假肢用户-假肢界面
摘要 — 用户-假肢接口 (UPI) 的复杂性，用于控制和选择主动上肢假肢的不同抓握模式和手势，以及使用肌电图 (EMG) 所带来的问题，以及长时间的训练和适应，都会影响截肢者停止使用该设备。此外，开发成本和具有挑战性的研究使得最终产品对于绝大多数桡骨截肢者来说过于昂贵，并且经常为截肢者提供无法满足其需求的界面。通常，EMG 控制的多抓握假肢将一组肌肉的特定收缩的具有挑战性的检测映射到一种抓握类型，将可能的抓握次数限制为可区分的肌肉收缩次数。为了降低成本并以定制方式促进用户和系统之间的交互，我们提出了一种基于图像和 EMG 对象分类的混合 UPI，与 3D 打印上肢假肢集成，由 Android 开发的智能手机应用程序控制。这种方法可以轻松更新系统，并降低用户所需的认知努力，从而满足功能性和低成本之间的权衡。因此，用户可以通过拍摄要交互的物体的照片来实现无数预定义的抓握类型、手势和动作序列，只需使用四种肌肉收缩来验证和启动建议的交互类型。实验结果表明，假肢在与日常生活物体交互时具有出色的机械性能，控制器和分类器具有很高的准确性和响应能力。
多感官人工智能基础
构建能够从多种感官输入（例如文本、语音、视频、现实世界的传感器、可穿戴设备和医疗数据）中学习的多感官人工智能系统有望对许多科学领域产生影响并带来实际好处，例如支持人类健康和福祉、实现多媒体内容处理以及增强现实世界的自主代理。然而，多模态研究进展的广度使得很难确定该领域的共同主题和悬而未决的问题。通过综合一系列理论框架和应用领域，本论文旨在推进多模态机器学习的基础。我们首先定义多模态问题中经常出现的三个关键原则：模态异质性、连接和交互[371]。以这些原则为基础，我们提出了多模态研究中六个核心挑战的分类：表示、对齐、推理、生成、转移和量化。我们将通过这种分类法介绍最新的技术成果，使研究人员能够了解不同方法之间的异同，并确定未来研究的开放问题。本论文的主要内容涵盖了我们在解决多模态学习中的两个关键问题方面的最新进展：多模态交互的机器学习基础，以及构建可推广到现实世界中许多模态和任务的多感官基础模型的实用方法。在第一部分，我们研究多模态交互的基础：模态如何结合起来为某项任务产生新信息的基本原理。我们提出了一个理论框架，形式化了模态如何相互作用从而为某项任务产生新信息，例如从口语单词和声音表达之间的不一致中识别出的讽刺 [372]。利用这个理论框架，我们提出了两个实用的估计量来量化现实世界数据集中的交互。量化多模态任务所需的交互类型，使研究人员能够决定收集哪种模态[376]，设计合适的方法来学习这些交互[374]，并分析他们的模型是否成功学习[375]。在第二部分中，我们研究了实用的多模态基础模型的设计，这些模型可以推广到许多模态和任务，这为将大型语言模型应用到现实世界的感知模态迈出了一步。我们首先介绍 M ULTI B ENCH，这是一个统一的大规模基准，涵盖了广泛的模态、任务和研究领域[367]。我们还将介绍跨模态注意[101,359]和多模态变换器[613]架构，它们现在是许多当今多模态基础模型的基础。在 M ULTI B ENCH 上扩展这些架构，可以创建跨各种任务的通用多模态多任务模型，我们与实践者进行了广泛合作，将这些模型应用于情感计算、心理健康和癌症预后等现实世界的影响。我们通过讨论未来的工作如何利用这些想法实现更通用、互动性更强、更安全的多模态人工智能来结束这篇论文。