XiaoMi-AI文件搜索系统
World File Search System多模式
U-Limb：关于健康和中风后手臂运动控制的多模式、多中心数据库
1 “Enrico Piaggio”研究中心和 Dipartimento di Ingegneria dell'Informazione，比萨拉戈大学 Lucio Lazzarino 1, 56122 比萨，意大利； 2 用于人类合作与康复的软机器人，Fondazione Istituto Italiano di Tecnologia，Via Morego 30, 16163 Genova，意大利； 3 RSI - 慕尼黑工业大学 (TUM) 慕尼黑机器人与机器智能学院机器人与系统智能主席，Heßstr。 134, 80797 慕尼黑, 德国; 4 MoMiLab 研究中心，IMT 卢卡高级研究学院，Piazza S. Francesco 19, 55100 Lucca, Italy； 5 苏黎世大学神经病学系血管神经病学和神经康复科，Frauenklinikstrasse 26, 8006 苏黎世，瑞士；6 汉诺威医学院矫形外科系生物力学和生物材料实验室 (LBB)，L384, 30625 汉诺威，德国；7 苏黎世健康科学与技术系机器人与智能系统研究所康复工程实验室，CLA H 1.1 Tannenstrasse 3, 8092 苏黎世，瑞士
镜子u-net：将多模式裂变与多任务学习嫁给医学成像中的语义分割
正电子发射断层扫描（PET）和计算的刻录术（CT）通常共同用于检测肿瘤。PET/CT分割模型可以自动化肿瘤的描述，但是，当前的多模式模型不能完全阐明每种模式中的互补信息，因为它们要么串联PET和CT数据，要么在决策水平上融合它们。为了对抗这一点，我们提出了镜像u-net，它通过将多模式表示形式分配到模态特异性的解码器分支和辅助多模态解码器中，以多模态化的方式代替了传统的融合方法。在这些分支上，镜像u-net标志着一个针对每种模式量身定制的任务，以增强单峰特征，同时保留共享表示中的多模式特征。与以前的方法相比使用了其他方法或多任务学习，Mirror U-net将两个范式结合在一个统一的框架中。我们探索各种任务组合，并检查在模型中共享的哪些参数。我们在Autopet PET/CT和多模式MSD Braintumor数据集上评估了Mirror U-NET，证明了其在多模式分段中的有效性并在两个数据集中实现了先进的性能。代码：https：//github.com/zrrrrr1997/ autopet_challenge_mirrorunet
大多数：运动预测的多模式场景象征化
许多现有的运动预测方法都依赖于符号感知输出来生成代理轨迹，例如边界框，路图信息和traf-fight。这种符号表示是现实世界的高级表现，它可能会使运动预测模型容易受到感知错误的影响（例如，在检测开放式录音障碍时失败），而缺少场景中的显着信息（例如，糟糕的道路条件）。另一种范式是从原始传感器中端到端学习。但是，这种方法缺乏解释性，需要大量的培训资源。在这项工作中，我们提出将视觉世界的标记化为一组紧凑的场景元素，然后利用预先训练的图像基础模型和LiDAR神经网络以开放式播音方式进行编码所有场景元素。图像基础模型使我们的场景令牌可以编码开放世界的一般知识，而LiDAR神经网络编码几何信息。我们提出的表示形式可以有效地用几百个令牌编码多帧多模式观察，并且与大多数基于变压器的体系结构兼容。为了评估我们的方法，我们使用了带有凸轮嵌入的Waymo开放运动数据集。通过Waymo开放运动数据集进行的实验表明，我们的方法会导致对最先进的表现的显着改善。
L2词汇音调采集中的多模式提示
海洋生物膜是全球无处不在的表面相关微生物群落，由于其独特的结构和功能，引起了人们的关注。The aim of this study is to provide a comprehensive overview of the current scienti fi c understanding, with a speci fi c focus on naturally occurring bio fi lms that develop on diverse marine abiotic surfaces, including microplastics, sea fl oor sediments, subsurface particles, and submerged arti fi cial structures susceptible to biocorrosion and biofouling induced by marine bio fi LMS。本文介绍了有关海洋环境中这些表面相关微生物群落的多样性，结构，功能和动态的最新进展和发现，突出了它们的生态和生物地球化学维度，同时也是为了进一步研究海洋生物生物LMS的灵感。
一种多模式的方法利用脑电图研究VR环境对心理工作负载的影响
抽象虚拟现实（VR）是一项允许用户体验模拟真实或虚构场景的多感觉和交互式环境的技术。仍然辩论了不同的VR沉浸式技术神学对心理工作量（MWL）的影响，即执行任务所需的资源数量；但是，从未利用脑电图在这种情况下的潜在作用。本文旨在调查在VR环境中对MWL进行认知任务的影响，这是通过使用多模式的方法进行的，其特征在于以不同程度的沉浸式来进行，这些方法通过生理EEG测量对MWL进行了良好评估的主观评估。提出了基于N-BACK测试的认知任务，以比较使用头部安装显示器（HMD）或桌面计算机展示Stim uli的特定裤子的性能和MWL。任务具有四个不同的复杂度（N¼1或2具有视觉或视觉和听觉刺激）。二十七名健康参与者都参加了这项研究，并在两种情况下都执行了任务。EEG数据和NASA任务负荷指数（NASA-TLX）分别用于评估客观和主观MWL的变化。 错误率（ER）和反应时间（RTS）也针对每个条件和任务水平进行了COL。 任务水平在两种情况下都对MWL产生了重大影响，增加了次级措施和降低性能。 EEG MWL指数显示出显着增加，特别是与休息相比。 不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。EEG数据和NASA任务负荷指数（NASA-TLX）分别用于评估客观和主观MWL的变化。错误率（ER）和反应时间（RTS）也针对每个条件和任务水平进行了COL。任务水平在两种情况下都对MWL产生了重大影响，增加了次级措施和降低性能。EEG MWL指数显示出显着增加，特别是与休息相比。 不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。EEG MWL指数显示出显着增加，特别是与休息相比。不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。但是，在大多数情况下，HMD降低了EEG衍生的MWL，表明较低的认知负载。总而言之，HMD可能会减少某些任务的认知负担。如脑电图MWL指数所示，MWL的降低水平可能对基于VR的应用程序的设计和未来评估有影响。
一种多模式的方法利用脑电图研究VR环境对心理工作负载的影响
抽象虚拟现实（VR）是一项允许用户体验模拟真实或虚构场景的多感觉和交互式环境的技术。仍然辩论了不同的VR沉浸式技术神学对心理工作量（MWL）的影响，即执行任务所需的资源数量；但是，从未利用脑电图在这种情况下的潜在作用。本文旨在调查在VR环境中对MWL进行认知任务的影响，这是通过使用多模式的方法进行的，其特征在于以不同程度的沉浸式来进行，这些方法通过生理EEG测量对MWL进行了良好评估的主观评估。提出了基于N-BACK测试的认知任务，以比较使用头部安装显示器（HMD）或桌面计算机展示Stim uli的特定裤子的性能和MWL。任务具有四个不同的复杂度（N¼1或2具有视觉或视觉和听觉刺激）。二十七名健康参与者都参加了这项研究，并在两种情况下都执行了任务。EEG数据和NASA任务负荷指数（NASA-TLX）分别用于评估客观和主观MWL的变化。 错误率（ER）和反应时间（RTS）也针对每个条件和任务水平进行了COL。 任务水平在两种情况下都对MWL产生了重大影响，增加了次级措施和降低性能。 EEG MWL指数显示出显着增加，特别是与休息相比。 不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。EEG数据和NASA任务负荷指数（NASA-TLX）分别用于评估客观和主观MWL的变化。错误率（ER）和反应时间（RTS）也针对每个条件和任务水平进行了COL。任务水平在两种情况下都对MWL产生了重大影响，增加了次级措施和降低性能。EEG MWL指数显示出显着增加，特别是与休息相比。 不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。EEG MWL指数显示出显着增加，特别是与休息相比。不同程度的沉浸式均未显示个人的表现和MWL的显着差异，如主观评分所估计。但是，在大多数情况下，HMD降低了EEG衍生的MWL，表明较低的认知负载。总而言之，HMD可能会减少某些任务的认知负荷。如脑电图MWL指数所示，MWL的降低水平可能对基于VR的应用程序的设计和未来评估有影响。
通过非侵入式脑机接口和生成式人工智能辅助多模式软件记录梦境
摘要：本研究提出了一种新的梦境记录方法，该方法结合了非侵入式脑机接口 (BMI)、思维输入软件和生成式 AI 辅助多模态软件。该方法旨在将 REM 睡眠期间的意识过程升华到半意识状态，并产生用于思维输入的信号。我们概述了一个两阶段的过程：首先，使用生成式 AI 开发多模态软件来补充文本流并生成多媒体内容；其次，采用基于摩尔斯电码的打字方式来简化信号要求并提高打字速度。我们通过建议一种涉及植入 BMI 的用户的控制系统来优化非侵入式信号，从而应对非侵入式 EEG 的挑战。文献综述重点介绍了 BMI 打字、意识过程升华以及生成式 AI 在基于文本提示的思维输入方面的潜力方面的最新进展。
多模式推理的问题意识视力变压器
视觉语言（VL）模型已获得了显着的重点，从而在多模式推理方面取得了显着进步。这些体系结构通常包括视觉编码器，大型语言模型（LLM）和一个将视觉特征与LLM的代表空间保持一致的投影模块。尽管他们成功了，但仍然存在一个关键的限制：愿景编码过程仍然与用户查询相关，通常是以与图像相关的问题的形式。因此，所得的视觉特征可能无法最佳地调整图像的特定元素。为了解决这个问题，我们介绍了QA-Vit，这是一种问题的多模式原因，这是一种问题，将问题意识直接嵌入到视觉编码器中。此集成导致动态视觉特征，重点是提出问题的相关图像方面。QA-VIT是模型 - 静态的，并且可以有效地将其置于任何VL体系结构中。广泛的经验证明了将我们的方法应用于各种多模式体系结构的有效性，从而导致跨不同任务的一致改进，并展示了其以增强视觉和场景文本理解的能力。
dmr：视觉增强学习中的框架和事件融合的分解多模式表示
我们使用两种互补视觉方式探索视觉增强学习（RL）：基于框架的RGB凸轮和基于事件的动态视觉传感器（DVS）。iSTING多模式视觉RL方法在有效提取与任务相关的信息时经常遇到挑战。为了解决这个问题，我们提出了用于视觉RL的分解多模式表示（DMR）框架。它将输入分为三个不同的组成部分：与任务相关的效果（共同功能），RGB特异性噪声和DVS特异性噪声。共同创作表示与RL任务相关的两种模式中的完整信息；这两个噪声组件都受到数据重构损失以避免信息泄漏的约束，与共同创作形成对比，以最大程度地差异。广泛的经验表明，通过明确分开不同信息的类型，我们的方法可实现与最先进的方法相比，实质性改善的政策绩效。
多模式和多任务自动驾驶数据集
当前用于自动驾驶计算机视觉的深层神经网络（DNNS）通常在仅涉及单一类型的数据和urban场景的特定数据集上进行培训。因此，这些模型努力使新物体，噪音，夜间条件和各种情况，这对于安全至关重要的应用至关重要。尽管持续不断努力增强计算机视觉DNN的弹性，但进展一直缓慢，部分原因是缺乏具有多种模式的基准。我们介绍了一个名为Infraparis的新颖和多功能数据集，该数据集支持三种模式的多个任务：RGB，DEPTH和INDRARED。我们评估了各种最先进的基线技术，涵盖了语义分割，对象检测和深度估计的任务。更多可视化和