XiaoMi-AI文件搜索系统
World File Search Systemmodal
使用 MQTT 实现 Cobot 的多模式交互
摘要：为了提高效率，人机和人机交互必须以多模态的理念进行设计。为了允许在多种不同的设备（计算机、智能手机、平板电脑等）上使用多种交互模式，例如使用语音、触摸、注视跟踪，并集成可能的连接对象，必须在系统的不同部分之间建立有效且安全的通信方式。当使用协作机器人 (cobot) 共享同一空间并在执行任务期间非常靠近人类时，这一点就更为重要。本研究介绍了使用 MQTT 协议的协作机器人在虚拟（Webots）和现实世界（ESP 微控制器、Arduino、IOT2040）中的多模态交互领域的研究工作。我们展示了如何高效地使用 MQTT，为系统的多个实体提供通用的发布/订阅机制，以便与连接的对象（如 LED 和传送带）、机械臂（如 Ned Niryo）或移动机器人进行交互。我们将 MQTT 的使用与之前几项研究工作中使用的 Firebase 实时数据库的使用进行了比较。我们展示了协作机器人和人类如何共同完成“挑选-等待-选择-放置”任务，以及这在通信和人体工程学规则方面意味着什么，包括健康或工业问题（残疾人和远程操作）。
PassFlow：用于预测深部脑刺激结果的多模式工作流程
目的：深部脑刺激 (DBS) 是一种行之有效的帕金森病 (PD) 治疗方法，通常可增强运动功能。然而，DBS 后可能会出现一些不良副作用，从而降低患者的生活质量。因此，临床团队必须仔细选择要进行 DBS 的患者。在过去十年中，曾有人尝试将术前数据与 DBS 临床结果联系起来，其中大部分都集中在运动症状上。在本文中，我们提出了一种基于机器学习的方法，能够预测大量 PD 的 DBS 临床结果。方法：我们提出了一种多模式管道，称为 PassFlow，可预测 84 个临床术后临床评分。PassFlow 由一个用于压缩临床信息的人工神经网络、一种用于从 T1 成像中提取形态生物标志物的最先进的图像处理方法以及一个用于执行回归的 SVM 组成。我们在 196 名接受 DBS 的 PD 患者身上验证了 PassFlow。结果：PassFlow 的相关系数高达 0.71，能够显著预测 84 个评分中的 63 个，优于比较线性方法。还发现，利用这些术前信息预测的指标数量与可获得这些信息的患者数量相关，表明 PassFlow 方法仍在积极学习中。结论：我们提出了一种基于机器学习的新型流程，用于预测 PD 患者 DBS 术后的各种临床结果。PassFlow 考虑了来自不同数据模式的各种生物标志物，仅从术前数据中就显示出一些评分的高相关系数。这表明，DBS 的许多临床结果都可以预测，而与特定的模拟参数无关，因为 PassFlow 已在没有此类刺激相关信息的情况下得到验证。
从大型语言模型到多模式AI
生成的人工智能（AI）模型，例如扩散模型和Openai的Chatgpt，正在通过增强诊断准确性和自动化临床工作流程来改变医学。该领域已经迅速发展，从文本 - 仅用于临床文档和决策支持的大型语言模型向多模式AI系统提供，能够在单个模型中整合各种数据模式，包括成像，文本和结构化数据。这些技术的各种景观以及不断上升的兴趣强调了对其应用和潜力进行全面审查的必要性。此范围审查探讨了多模式AI的演变，突出了其在临床环境中的方法，应用程序，数据集和评估。遵守Prisma-SCR指南，我们系统地查询PubMed，IEEE Xplore和Web of Science，优先于2024年底发表的最新研究。严格筛选后，包括144篇论文，揭示了这个动态领域的关键趋势和挑战。我们的发现强调了从单峰方式转变为多模式方法的转变，在诊断支持，医疗报告生成，药物发现和对话性AI方面引起了创新。然而，仍然存在关键挑战，包括整合异质数据类型，改善模型的解释性，解决道德问题以及在现实世界中验证现实世界临床环境中验证AI系统。本评论总结了当前的艺术状态，确定了关键差距，并提供了见解，以指导医疗保健中可扩展，可信赖和临床影响力的多模式AI解决方案的发展。
HCI 研究人员如何描述他们的软件工具？多模式交互工具概要调查的见解
[1] Abdullah X. Ali、Meredith Ringel Morris 和 Jacob O. Wobbrock。2019 年。Crowdlicit：一种用于开展分布式最终用户诱导和识别研究的系统。2019 年 CHI 计算机系统人为因素会议论文集。ACM，美国纽约州纽约，1-12。https://doi.org/10.1145/3290605.3300485 [2] Khalil J. Anderson、Theodore Dubiel、Kenji Tanaka、Marcelo Worsley、Cody Poultney 和 Steve Brenneman。2019 年。化学舱：一种用于课堂的多模式实时回顾工具。2019 年国际多模式交互会议（ICMI '19）论文集。 ACM，纽约，纽约州，美国，506–507。https://doi.org/10.1145/3340555.3358662 [3] Muhammad Zeeshan Baig 和 Manolya Kavakli。2020 年。多模态系统：分类、方法和挑战。arXiv：2006.03813 [cs.HC]
基于多模式的基于机器学习模型，用于区分非结核分枝杆菌与结核分枝杆菌
结果：基于临床数据的模型包含年龄，性别和IL-6，而RandomForest算法则达到了最佳学习模型。确定了CT图像的两个关键放射线特征，然后用于建立放射线模型，发现Logistic算法的模型是最佳的。多模型模型包含年龄，IL-6和2个放射线特征，最佳模型来自LightGBM算法。与最佳的临床或放射线学模型相比，最佳的多模型模型具有最高的AUC值，准确性，灵敏度和负预测值，并且在外部测试数据集中还验证了其“优惠性能”（准确性= 0.745，敏感性= 0.900）。此外，多模型模型的性能优于放射科医生，NGS检测和现有机器学习模型的性能，其精度分别为26％，4和6％。
使用 3D 卷积神经网络对缺氧缺血性昏迷患者进行基于多模态 MRI 的全脑评估
摘要背景：人们尚未找到最佳方法来自动捕获、分析、组织和合并结构和功能性脑磁共振成像（MRI）数据，以最终提取相关信号，协助缺氧昏迷患者床边的医疗决策过程。我们的目标是开发和验证一种深度学习模型，以利用多模态3D MRI全脑时间序列对缺氧缺血性昏迷相关的脑损伤进行早期评估。方法：这项概念验证、前瞻性、队列研究于 2018 年 3 月至 2020 年 5 月期间在大学医院（法国图卢兹）附属的重症监护室进行。所有患者在心脏骤停后至少 2 天（4±2 天）处于昏迷状态时接受扫描。在同一时期，我们招募并纳入年龄匹配的健康志愿者。脑 MRI 量化包括来自感兴趣区域（楔前神经和后扣带皮层）的“功能数据”和全脑功能连接分析以及“结构数据”（灰质体积、T1 加权、各向异性分数和平均扩散率）。专门设计的 3D 卷积神经元网络 (CNN) 通过使用原始 MRI 指标作为输入来区分意识状态（昏迷与对照）。基于卷积滤波器研究的体素可视化方法被用于支持 CNN 结果。法国图卢兹大学教学医院伦理委员会 (2018-A31) 批准了这项研究，并获得了所有参与者的知情同意。结果：最终队列包括 29 名缺氧后昏迷患者和 34 名健康志愿者。通过结合不同的 MR 指标使用 3D CNN 成功将昏迷患者与对照区分开来。功能性 MRI 数据（尤其是后扣带皮层的静息态功能性 MRI）的准确率最高，经过 10 次重复的十倍交叉验证，测试集的准确率为 0.96（范围为 0.94-0.98）。通过多数投票策略，可以实现更令人满意的表现，这可以弥补
演员：基于跨注意的结构的多模式融合...
AI的最新进展彻底改变了材料科学和加速材料发现的财产预测。图形神经网络（GNN）由于能够表示晶体结构作为图形，有效捕获局部相互作用并提供出色的预测，因此脱颖而出。但是，这些方法通常会丢失关键的全局信息，例如晶体系统和重复单位连接。为了解决这个问题，我们提出了Cast，这是一个基于跨注意的多模式融合模型，该模型集成了图形和文本模式以保留基本的材料信息。cast使用交叉注意机制将节点 - 和令牌级的特征结合在一起，超过了依赖于材料级嵌入（如图形平均值或[Cls]令牌）的先前方法。掩盖的节点预测预处理策略进一步增强了原子级信息的整合。与Crysmmnet和MultiMAT等方法相比，我们的四个晶体特性（包括带隙）的性质预测的实现最大提高了22.9％。预处理是对齐节点和文本嵌入的关键，并且注意力图证实了其在捕获节点和令牌之间关系的有效性。这项研究强调了材料科学中多模式学习的潜力，为更强大的预测模型铺平了道路，这些模型纳入了本地和全球信息。
基于高级...
回忆录是一种神经形态电子产品的基石，通过改变其跨州的电阻，对电刺激的历史做出反应。最近努力致力于发展对光激发的类似响应。在这里，我们意识到了一种新型的隧道照相仪表，其行为是双峰的：它的阻力取决于双重电光历史。这是在最终简单的设备中获得的：高温超导体和透明的半导体之间的界面。被剥削的机制是两种材料之间可逆的纳米氧化还原反应，其氧含量可以确定界面上的电子隧道速率。氧化还原反应是通过电化学，光伏效应和光合辅助离子迁移之间的相互作用来光学驱动的。除了其基本利益外，揭幕的电形记忆效应具有巨大的技术潜力。尤其是与高温超导性结合使用，除了促进低衰减连接外，还为超导电子产品带来了光征效应。
脊髓损伤后功能恢复的非侵入性方法：治疗目标和多模式设备干预
© 2021 Elsevier。根据知识共享署名-非商业-禁止演绎 4.0 国际许可协议获得许可，允许在任何媒体中进行无限制、非商业性的使用、分发和复制，前提是对作品进行适当引用。
使用双峰脑电图进行多目标运动想象训练...
传统康复技术存在局限性，大多数患者在卒中后 1 年恢复情况不佳。因此，神经反馈 (NF) 或脑机接口在卒中康复中的应用越来越受到关注。事实上，NF 有可能增强对目标皮质区域的意志控制，从而影响运动功能恢复。然而，目前的实施受到所用特定成像方式的时间、空间或实际约束的限制。在这项试点工作中，也是在文献中首次，我们应用双模 EEG-fMRI NF 对四名具有不同卒中特征和运动障碍严重程度的卒中患者进行上肢卒中恢复。我们还提出了一种新颖的多目标训练方法，引导训练激活同侧初级运动皮质。除了 fMRI 和 EEG 结果外，我们还使用纤维束成像评估皮质脊髓束 (CST) 的完整性。初步结果表明我们的方法可行，并显示出其有可能根据中风缺陷的严重程度诱导同侧运动区域的增强激活。只有两名 CST 和皮质下病变保留的患者成功上调了同侧初级运动皮质，并表现出上肢运动功能改善。这些发现强调了考虑中风患者群体差异的重要性，并使我们能够确定未来临床研究设计的纳入标准。