XiaoMi-AI文件搜索系统
World File Search System多模式
迈向多模式BCI：外围控制对运动皮层活动和代理意识的影响
摘要 - 近年来，使用运动图像的大脑计算机界面（BCI）显示出一些局限性在控制质量方面。为了改善这项有前途的技术，一些研究旨在与其他技术（例如眼睛跟踪）开发混合BCI，这些技术显示出更可靠的可靠性。但是，在机器人控制中使用眼动仪可能会自身影响机构感（SOA）（SOA）和用于运动图像（MI）区域的大脑活动。在这里，我们探讨了代理意识与运动皮层活动之间的联系。为此，我们使用了投影在表面上的虚拟臂，该虚拟手臂由运动捕获控制或使用眼迹器凝视控制。我们发现，在凝视控制任务期间，电动机皮层有一项活动，并且对预计的机器人臂的控制会带来显着差异，这与观察机器人移动的情况有很大的差异。
使用 MQTT 实现 Cobot 的多模式交互
摘要：为了提高效率，人机和人机交互必须以多模态的理念进行设计。为了允许在多种不同的设备（计算机、智能手机、平板电脑等）上使用多种交互模式，例如使用语音、触摸、注视跟踪，并集成可能的连接对象，必须在系统的不同部分之间建立有效且安全的通信方式。当使用协作机器人 (cobot) 共享同一空间并在执行任务期间非常靠近人类时，这一点就更为重要。本研究介绍了使用 MQTT 协议的协作机器人在虚拟（Webots）和现实世界（ESP 微控制器、Arduino、IOT2040）中的多模态交互领域的研究工作。我们展示了如何高效地使用 MQTT，为系统的多个实体提供通用的发布/订阅机制，以便与连接的对象（如 LED 和传送带）、机械臂（如 Ned Niryo）或移动机器人进行交互。我们将 MQTT 的使用与之前几项研究工作中使用的 Firebase 实时数据库的使用进行了比较。我们展示了协作机器人和人类如何共同完成“挑选-等待-选择-放置”任务，以及这在通信和人体工程学规则方面意味着什么，包括健康或工业问题（残疾人和远程操作）。
PassFlow：用于预测深部脑刺激结果的多模式工作流程
目的：深部脑刺激 (DBS) 是一种行之有效的帕金森病 (PD) 治疗方法，通常可增强运动功能。然而，DBS 后可能会出现一些不良副作用，从而降低患者的生活质量。因此，临床团队必须仔细选择要进行 DBS 的患者。在过去十年中，曾有人尝试将术前数据与 DBS 临床结果联系起来，其中大部分都集中在运动症状上。在本文中，我们提出了一种基于机器学习的方法，能够预测大量 PD 的 DBS 临床结果。方法：我们提出了一种多模式管道，称为 PassFlow，可预测 84 个临床术后临床评分。PassFlow 由一个用于压缩临床信息的人工神经网络、一种用于从 T1 成像中提取形态生物标志物的最先进的图像处理方法以及一个用于执行回归的 SVM 组成。我们在 196 名接受 DBS 的 PD 患者身上验证了 PassFlow。结果：PassFlow 的相关系数高达 0.71，能够显著预测 84 个评分中的 63 个，优于比较线性方法。还发现，利用这些术前信息预测的指标数量与可获得这些信息的患者数量相关，表明 PassFlow 方法仍在积极学习中。结论：我们提出了一种基于机器学习的新型流程，用于预测 PD 患者 DBS 术后的各种临床结果。PassFlow 考虑了来自不同数据模式的各种生物标志物，仅从术前数据中就显示出一些评分的高相关系数。这表明，DBS 的许多临床结果都可以预测，而与特定的模拟参数无关，因为 PassFlow 已在没有此类刺激相关信息的情况下得到验证。
从大型语言模型到多模式AI
生成的人工智能（AI）模型，例如扩散模型和Openai的Chatgpt，正在通过增强诊断准确性和自动化临床工作流程来改变医学。该领域已经迅速发展，从文本 - 仅用于临床文档和决策支持的大型语言模型向多模式AI系统提供，能够在单个模型中整合各种数据模式，包括成像，文本和结构化数据。这些技术的各种景观以及不断上升的兴趣强调了对其应用和潜力进行全面审查的必要性。此范围审查探讨了多模式AI的演变，突出了其在临床环境中的方法，应用程序，数据集和评估。遵守Prisma-SCR指南，我们系统地查询PubMed，IEEE Xplore和Web of Science，优先于2024年底发表的最新研究。严格筛选后，包括144篇论文，揭示了这个动态领域的关键趋势和挑战。我们的发现强调了从单峰方式转变为多模式方法的转变，在诊断支持，医疗报告生成，药物发现和对话性AI方面引起了创新。然而，仍然存在关键挑战，包括整合异质数据类型，改善模型的解释性，解决道德问题以及在现实世界中验证现实世界临床环境中验证AI系统。本评论总结了当前的艺术状态，确定了关键差距，并提供了见解，以指导医疗保健中可扩展，可信赖和临床影响力的多模式AI解决方案的发展。
HCI 研究人员如何描述他们的软件工具？多模式交互工具概要调查的见解
[1] Abdullah X. Ali、Meredith Ringel Morris 和 Jacob O. Wobbrock。2019 年。Crowdlicit：一种用于开展分布式最终用户诱导和识别研究的系统。2019 年 CHI 计算机系统人为因素会议论文集。ACM，美国纽约州纽约，1-12。https://doi.org/10.1145/3290605.3300485 [2] Khalil J. Anderson、Theodore Dubiel、Kenji Tanaka、Marcelo Worsley、Cody Poultney 和 Steve Brenneman。2019 年。化学舱：一种用于课堂的多模式实时回顾工具。2019 年国际多模式交互会议（ICMI '19）论文集。 ACM，纽约，纽约州，美国，506–507。https://doi.org/10.1145/3340555.3358662 [3] Muhammad Zeeshan Baig 和 Manolya Kavakli。2020 年。多模态系统：分类、方法和挑战。arXiv：2006.03813 [cs.HC]
基于多模式的基于机器学习模型，用于区分非结核分枝杆菌与结核分枝杆菌
结果：基于临床数据的模型包含年龄，性别和IL-6，而RandomForest算法则达到了最佳学习模型。确定了CT图像的两个关键放射线特征，然后用于建立放射线模型，发现Logistic算法的模型是最佳的。多模型模型包含年龄，IL-6和2个放射线特征，最佳模型来自LightGBM算法。与最佳的临床或放射线学模型相比，最佳的多模型模型具有最高的AUC值，准确性，灵敏度和负预测值，并且在外部测试数据集中还验证了其“优惠性能”（准确性= 0.745，敏感性= 0.900）。此外，多模型模型的性能优于放射科医生，NGS检测和现有机器学习模型的性能，其精度分别为26％，4和6％。
演员：基于跨注意的结构的多模式融合...
AI的最新进展彻底改变了材料科学和加速材料发现的财产预测。图形神经网络（GNN）由于能够表示晶体结构作为图形，有效捕获局部相互作用并提供出色的预测，因此脱颖而出。但是，这些方法通常会丢失关键的全局信息，例如晶体系统和重复单位连接。为了解决这个问题，我们提出了Cast，这是一个基于跨注意的多模式融合模型，该模型集成了图形和文本模式以保留基本的材料信息。cast使用交叉注意机制将节点 - 和令牌级的特征结合在一起，超过了依赖于材料级嵌入（如图形平均值或[Cls]令牌）的先前方法。掩盖的节点预测预处理策略进一步增强了原子级信息的整合。与Crysmmnet和MultiMAT等方法相比，我们的四个晶体特性（包括带隙）的性质预测的实现最大提高了22.9％。预处理是对齐节点和文本嵌入的关键，并且注意力图证实了其在捕获节点和令牌之间关系的有效性。这项研究强调了材料科学中多模式学习的潜力，为更强大的预测模型铺平了道路，这些模型纳入了本地和全球信息。
脊髓损伤后功能恢复的非侵入性方法：治疗目标和多模式设备干预
© 2021 Elsevier。根据知识共享署名-非商业-禁止演绎 4.0 国际许可协议获得许可，允许在任何媒体中进行无限制、非商业性的使用、分发和复制，前提是对作品进行适当引用。
开发了一个多模式睡眠基础模型，其疾病预测的睡眠记录为50万小时
美国加利福尼亚州斯坦福大学斯坦福大学生物医学数据科学系。丹麦哥本哈根Rigshospitalet 6数据科学，生物维度，巴黎，法国7临床医学系，哥本哈根大学，哥本哈根大学，丹麦8号哥本哈根大学，贝丝·伊斯雷尔·迪克森斯医学院神经病学系，哈佛大学医学中心，马萨诸塞州波士顿，美国马萨诸塞州，美国马萨诸塞州，美国 * jamesz@stanford.edu
探索丰富环境中的多模式 BCI 策略
摘要 — 脑机接口依赖于看似简单但实际执行起来却很复杂的认知任务。在这种情况下，提供引人入胜的反馈和主体的体现是整个系统性能的关键之一。然而，事实证明，单靠非侵入性大脑活动通常不足以精确控制机械臂等复杂外部设备的所有自由度。在这里，我们开发了一种混合 BCI，它还集成了眼动追踪技术，以提高主体的整体代理感。虽然之前已经探索过这种解决方案，但如何结合凝视和大脑活动以获得有效结果的最佳策略研究甚少。为了解决这一差距，我们探索了两种不同的策略，其中执行运动想象的时间会发生变化；一种策略可能比另一种策略更不直观，这会导致性能差异。