XiaoMi-AI文件搜索系统
World File Search System多模式
试验板：多模式AI-Ready临床试验数据集
1伊利诺伊大学伊利诺伊大学乌尔巴纳 - 香槟分校的计算机科学系中国杭州大学的吉安格大学5医学大数据中心，广东省人民医院（广东医学科学院），南部医科大学，中国广州。6张大学医学创新研究所，中国杭州大学的药学学院，吉江大学，吉吉安格大学医学院第二个分支机构医院，中国医学院，美国芝加哥8 GE Healthcare，美国芝加哥，美国9吉维亚，美国哥伦比亚省芝加哥市，美国，美国，美国，美国，美国，美国，美国9吉尼亚州。美国纽约州伦斯勒理工学院 *通讯作者：Jintai Chen（cjt147@illinois.edu）†这些作者对这项工作也同样做出了贡献
治疗目标和多模式设备干预
本文是对有效的非侵入性疗法的跨学科叙事回顾，越来越多地用于恢复慢性脊髓损伤患者的功能（SCI）。首先提出的是原发性病变正在运动的继发性损伤级联反应和治疗性发育中的亮点，以减轻急性病理生理过程。然后总结是当前调节NORAD肾功能，血清素能和多巴胺能神经递质的药理策略，以增强亚急性和慢性SCI的长凳和临床研究的恢复。上次检查的是如何全面地设计神经力学设备（即电刺激，机器人辅助，脑部计算机界面和增强的感觉反馈），以吸引传出和传播的摩托学途径以诱导基于神经泄露性的神经模式产生。新兴证据表明，人类神经肌肉骨骼系统的计算模型（即人数字双胞胎）可以用作功能化的锚固剂，以将不同的神经力学和药理干预措施整合到单一的多模态原则中。如果适当地构建该系统，可以通过协调异质生物感觉，系统输出和控制信号来网络网络优化治疗结果。总体而言，这些康复方案涉及神经调节以引起保存的上脊髓，内部和周围神经肌肉电路中有益的适应性变化，以引起神经系统改善。因此，定性地推进对脊髓神经生物学和神经力学的理论理解对于设计新方法来恢复SCI后的运动是关键的。未来的研究工作应集中于个性化组合疗法，包括药理辅助，有针对性的神经生物学和神经肌肉修复以及脑部计算机界面，这些疗法遵循多模式的神经力学原理。
通过多模式进行互动特征学习
从多模式的磁共振图像数据自动分割脑肿瘤具有实现术前计划和术中体积测量的潜力。深度卷积神经网络技术的最新进展为实现脑肿瘤区域的端到端分段打开了机会。然而，脑肿瘤分割中使用的医学图像数据相对较少，并且脑肿瘤的出现变化，因此很难找到一种可学习的模式来直接描述肿瘤区域。在本文中，我们提出了一种新型的跨模式互动特征学习框架，以从多模式数据分割脑肿瘤。核心思想是多模式的MR数据包含正常大脑区域的丰富模式，可以轻松捕获，并且可以潜在地用于检测非正常的大脑区域，即脑肿瘤区域。所提出的多模式交互式特征学习框架由两个模块组成：跨模式特征提取模块和注意力引导特征融合模块，旨在探索丰富的模式跨多模式的富含模式，并指导相互作用的相互作用以及来自不同模态的丰富特征的融合过程。综合实验是在Brats 2018基准上进行的，该基准表明，与基线方法和最先进的方法相比，提出的跨模式特征学习框架可以有效地改善脑瘤分割性能。
通过多模式策略改善手卫生
•创建一个组织环境，该环境优先考虑高遵守手动卫生，以实现患者和卫生工作者的安全。•在机构层面，这应该包括分配手动卫生计划的资源，以及从机构内的领导者那里提供的手工卫生的明确信息，设定基准或目标，并拥有手卫生冠军。•在个人层面上，目的是确保卫生工作者将手卫生确定为反映他们对患者不伤害的承诺的优先事项。与患者和患者组织合作以促进手卫生，也可以促进患者安全的氛围，但应敏感地与包括卫生工作者和患者代表在内的主要利益相关者进行密切协商。
COVID-19 Pharmacome：从多模式知识协调
COVID-19 Pharmacome：从多模式协调Bruce Schultz 1，Andrea Zaliani 2.3，Christian Ebeling 1 Lage-Rupprecht 1，Reago Carki 1，SörenLukassen 7，Yojana Gadiya 1，Neal G劳伦·德隆（Lauren DeLong）1，菲尔·格里宾（Phil Gribbon）2.3， 5，Mark Jacobs 1，Honor 5，Roland第二7，Classin 2.3
COVID-19 Pharmacome：从多模式知识协调
COVID-19 Pharmacome：从多模式协调Bruce Schultz 1，Andrea Zaliani 2.3，Christian Ebeling 1 Lage-Rupprecht 1，Reago Carki 1，SörenLukassen 7，Yojana Gadiya 1，Neal G劳伦·德隆（Lauren DeLong）1，菲尔·格里宾（Phil Gribbon）2.3， 5，Mark Jacobs 1，Honor 5，Roland第二7，Classin 2.3
利用多模式数据和知识图
自然产品研究是一种多样化的主题，可产生和利用大量不同类型的数据。基因组，蛋白质组学，代谢组，光谱或（Bio）化学数据可能每个人都可以从不同的角度照亮相同的生化实体，并有能力相互告知。例如，基因组学可以揭示生物体中天然产物产生的遗传基础，而代谢组学可以揭示产生的代谢产物。光谱数据可以提供对这些分子结构特征的见解，并且生化数据可以阐明所涉及的酶促途径。这些综合观点可以对自然产品结构和功能进行更全面的理解。但是，可以表征自然产品科学数据格局
多模式嵌入中的对抗幻觉
多模式嵌入式编码文本，图像，热图像，声音和视频中的单个嵌入空间，对跨不同方式的对齐表示（例如，，将狗的图像与吠叫声相关联）。在本文中，我们表明多模式的嵌入可能容易受到我们称为“对抗幻觉的攻击”。给定图像或声音，对手可以扰动它，以使其嵌入接近另一种模式中的任意，对手选择的输入。这些攻击是跨模式和目标的：对手可以将任何图像或声音与他选择的任何目标保持一致。广泛的幻觉利用了嵌入空间中的邻近性，因此对下游任务和方式不可知，从而实现了当前和将来的任务的批发妥协，以及对敌方无法获得的方式。使用Imbind和AudioClip嵌入，我们演示了对抗性输入，在不了解特定下游任务，误解图像生成，文本生成，零拍，零拍摄和音频检索的情况下生成的对准输入是如何对准的。我们调查了跨不同嵌入式嵌入方式的幻觉的可转移性，并开发了我们方法的黑盒版本，我们用来证明对亚马逊商业专有泰坦嵌入的第一个对抗性对齐攻击。最后，我们分析了对策和逃避攻击。
3D对象检测的多模式融合
摘要：对自主驾驶的追求依赖于开发能够做出准确，健壮和快速决策以有效解释驾驶环境的感知系统。对象检测对于理解这些系统核心的环境至关重要。随着计算机视觉（CV）应用中深度学习的出现（DL）的出现，2D对象检测和分类已经显着提高，但它们在提供必要的深度信息方面缺乏，这是理解驾驶环境中的关键要素。因此，3D对象检测成为自动驾驶和机器人技术的基石，提供对象位置的精确估计并增强环境理解。CV社区对3D对象检测的兴趣日益增长，这是由DL模型的演变推动的，包括卷积神经网络（CNN）和变形金刚网络。尽管有这些进步，但在3D对象检测中仍存在诸如不同对象量表，有限的3D传感器数据和阻塞等挑战。为了应对这些挑战，研究人员正在探索多模式技术，这些技术结合了来自摄像机，雷达和激光镜等多个传感器的信息，以增强感知系统的性能。本调查对基于多模式融合的3D对象检测方法进行了详尽的审查，重点是基于CNN和基于变压器的模型。它强调了为完全自动驾驶汽车提供不同传感器的必要性，以确保可靠和可靠的操作。调查探讨了相机，激光雷达和雷达传感器的优点和缺点。此外，它总结了自治数据集并研究了基于多模式融合方法的最新进步。调查结束时，强调了正在进行的挑战，开放问题和未来研究的潜在方向。
学习对多模式大语言模型的推论
多模式的大语言模型（MLLM）在推理方面表现出了令人印象深刻的功能，但具有基本的计算成本，从而限制了它们在资源构成环境中的部署。尽管最近有一些关于提高MLLM效率的效力，但先前的解决方案产生了具有静态准确性和延迟占地面积的模型，因此在响应不同的运行时条件方面的响应不足，特别是由于设备上其他程序执行其他程序而引起的竞争）。为了弥合这一差距，我们介绍了Adallava - 一种自适应推理框架，该框架学会在推理期间在MLLM中动态重新配置操作，以获取输入数据和延迟预算。我们跨越涉及提问，推理和幻觉的多模式基准进行了广泛的实验。我们的结果表明，Adallava可以遵守输入预算，并在运行时实现不同的准确性和延迟权衡。我们的带代码重新租赁的项目网页位于https://zhuoyan-xu.github.io/ada-llava/。