XiaoMi-AI文件搜索系统
World File Search System多模式
TDC-2：治疗科学多模式基础
Therapeutics Data Commons（TDCommons.AI）是一项开放科学计划，具有统一的数据集，AI模型和基准，可支持跨治疗方式以及药物发现和开发阶段的研究。CONSON 2.0（TDC-2）是对治疗数据共享的全面大修，以通过统一分子的生物化学，生物化学的单细胞生物学，通过多模态数据集，API启用API的终点和新的模型，以及模型的框架和模型，通过统一分子的生物化学，分子生物化学的单细胞生物学来催化研究。TDC-2引入了1,000多个多模式数据集，涵盖了约8500万个单元，从5个状态的单细胞模型和一个生物医学知识图中介绍了预定的嵌入。TDC-2 drastically expands the coverage of ML tasks across therapeutic pipelines and 10+ new modal- ities, spanning but not limited to single-cell gene expression data, clinical trial data, peptide sequence data, peptidomimetics protein-peptide interaction data regarding newly discovered ligands derived from AS-MS spectroscopy, novel 3D structural data for proteins, and单细胞分辨率的细胞类型特异性蛋白质 - 蛋白质相互作用网络。TDC-2使用模型视频控制器范式在API-优先设计下引入了多模式数据访问。TDC-2还释放了5多个新的学习任务中评估15多个最先进模型的基准测试，以评估各种生物环境和采样方法的模型。其中，TDC-2是上下文特定学习的第一个基准。TDC-2也是第一个引入蛋白质肽结合相互作用基准的人。TDC-2 introduces 7 novel ML tasks with fine-grained biological contexts: contextualized drug-target identifica- tion, single-cell chemical/genetic perturbation response prediction, protein-peptide binding affinity prediction task, and clinical trial outcome prediction task, which introduce antigen-processing-pathway-specific, cell-type-specific, peptide-specific, and patient-specific biological上下文。
医学成像的多模式基础模型
人工智能（AI）的进步提供了有希望的解决方案，可增强临床工作流程和患者护理，并有可能彻底改变医疗保健服务。但是，医疗保健中AI集成的传统范式受到依靠培训期间单个输入方式的模型的限制，并且需要广泛的标记数据，无法捕获医疗实践的多模式性质。多模式基础模型，尤其是大型视觉语言模型（VLM），有可能通过处理多种数据类型并从大型未标记的数据集或不同方式的自然对中学习来克服这些局限性，从而有助于发展医疗保健中更健壮和多功能AI系统的发展。在这篇评论中，我们为医学成像应用的多模式基础模型建立了统一的术语，并对2012年至2024年发表的论文进行了系统分析。总共筛选了医疗和AI领域的1,144篇论文，并从97个包括的研究中提取了数据。我们的全面努力汇总了先前工作的集体知识，评估了医疗保健中多模式AI的现状，并描述了主要的局限性和潜在的增长领域。我们为包括模型开发人员，临床医生，政策制定者和数据集策展人在内的各种利益相关者提供实施指南和可行的建议。
多模式条件 - 金属有机-frameworks- ...
图1。介绍概述。a。 MOF的SDF表示。负SDF值代表孔隙表面的内部，而正值表示孔隙表面的外部。b。SDF的Noising和denoising过程的图形说明。c。 Moffusion的模型架构。在Moffusion中，使用denoising 3D U-NET用于扩散过程，MOF构造函数用于从生成的SDF构建MOF。vq-vae用于数据压缩和恢复，但是从可视化中省略了它。疗程表现出包括数字，分类和文本数据在内的不同数据方式的条件。
分子对齐的多模式结构和语言
药物发现通常由多个步骤组成，包括识别疾病病因的靶蛋白键，证明与该靶标相互作用可以防止症状或治愈该疾病，发现与之相互作用的小分子或生物学治疗方法，并通过所需的复杂特性的景观来优化候选分子。药物发现相关的任务通常涉及预测和产生，同时考虑了可能相互作用的多个实体，这对典型的AI模型构成了挑战。为此，我们提出了哺乳动物-M骨 - 一个木质的杂物和an an脚 - 我们采用了一种方法来创建一种多种多样的生物学数据集（包括20亿个样本）（包括蛋白质），包括蛋白质（包括蛋白质），包括蛋白质（包括蛋白质），包括小型分解物，以及小型分子和Genes和Genes and Genes and Genes and Genes and Genes and Genes and Genes and Genes and Genes and Genes。我们引入了一个及时的语法，该语法支持广泛的分类，回归和生成任务。它允许将不同的方式和实体类型组合为输入和/或输出。我们的模型处理令牌和标量的组合，并可以生成小分子和蛋白质，性质预测以及转录组实验室测试预测。我们在典型的药物发现管道中对11个不同步骤的11个不同步骤进行了评估，该任务在9个任务中达到了新的SOTA，并且是
有效的生成多模式集成（EGMI）
多模式的大语言模型（MLLM）在利用其丰富知识的挑战中面临挑战，因为跨越不同的模式是不平凡的，并且它们的上下文歧义是由于缺乏配对数据而引起的。在基于MLLM的音频生成的背景下，音频文本配对数据集的注释需要大量的人力资源，这是由于音频数据的复杂性，这使与图像text配对数据集相比，此类数据集越来越难以访问。为了解决这些问题，我们提出了一种称为高效生成多模式集成（EGMI）的新技术，该技术仅利用图像 - 文本数据来实现音频生成任务。基于验证的LLM关于文本理解的强大知识，EGMI成功利用图像文本配对的数据集进行跨模式对齐，从而使音频和图像信息之间的交互作用。我们还引入了一个高效的映射网络，称为EGMI映射器，并在生成音频数据时使用它来参与图像信息。因此，我们已经扩大了现有方法的限制，从可伸缩性和灵活性方面。此外，我们已经证明了EGMI最大程度地提高了交叉模式知识，改善对准和样本质量之间的相互作用。
MMTOM-QA：心灵的多模式理论问题回答
心理理论（汤姆）是掩盖人民精神状态的能力，是开发具有人类社会智力的机器的必要意义。最近的机器学习模型，尤其是大型语言模型，似乎显示了汤姆·不明智的某些方面。但是，现有的Tom Bench- Marks使用单峰数据集 - 视频或文本。人类汤姆不仅仅是视频或文字理解。peo-ple可以灵活地理解他人的思想，这些思想基于从任何可用数据中提取的概念表示（例如目标，信念，计划）。为了解决这个问题，我们介绍了一种思想问题问题回答（MMTOM-QA）基准。MMTOM-QA在多模式数据和各种单模式数据上对机器在房屋环境中的活动进行多种模态数据进行评估。对于工程师多模式的tom容量，我们提出了一种新颖的方法，即双层（贝叶斯逆计划通过语言模型加速）。BIP-ALM从多模式数据中提取统一表示形式，并利用语言模型进行可扩展的贝叶斯逆计划。我们对包括GPT-4在内的人类绩效，BIP-ALM和最新模型进行了系统的比较。实验表明，大型语言模型和大型多模型仍然缺乏强大的TOM容量。BIP-ALM通过利用基于模型的Mental推断和语言模型的力量来显示出令人鼓舞的结果。1
ReIMAGINE 多模式仓库：使用人工智能......
前列腺癌是全球男性中最常见的癌症，也是全球男性死亡的第二大原因，仅次于肺癌（Bray 等人，2018 年；Sung 等人，2021 年）。八分之一的男性在其一生中会被诊断出患有前列腺癌。尽管发病率很高，但前列腺癌的 5 年生存率超过 90%，因为大多数诊断出的癌症都局限于前列腺内（局部或区域性），只有约 7% 的男性在诊断时会患有更晚期的前列腺癌（Rawla，2019 年）。尽管如此，我们识别那些癌症会缩短其寿命和/或生活质量的男性的能力仍然很差（Bangma 等人，2007 年）。目前，前列腺癌的既定诊断途径包括 PSA 筛查和诊断性活检，其过度诊断率（1.7 – 67%）、过度治疗、漏诊和风险分层不佳（Loeb 等人，2014 年）。这些错误导致应用的治疗方法几乎没有或根本没有好处，降低了患者的生活质量，并导致宝贵的医疗资源使用效率低下（Klotz，2013 年）。前列腺癌风险评估工具可以在诊断时区分出罹患侵袭性疾病风险最低的男性和风险最高的男性，这对于改善患者的治疗效果和生活质量是必不可少的。ReIMAGINE 联盟 (ReIMAGINE Consortium, 2021) 由三个学术合作伙伴（伦敦大学学院 (UCL)、伦敦国王学院 (KCL) 和伦敦帝国理工学院）、多个商业合作伙伴以及一个患者和公众参与 (PPI) 小组委员会组成，旨在开展发现，以纠正 PCa 诊断途径中持续存在的关键错误（过度诊断、过度治疗、漏诊和风险分层不佳）。我们将首次将癌症的潜在分子变化与深度临床表型分析和最先进的成像相结合。将来，这可能让我们无需进行活检即可预测个人的前列腺癌状况（低风险、中风险或高风险），并预测哪些前列腺癌随着时间的推移更有可能发展，而这在很大程度上是我们无法做到的。因此，男性将接受更少但更好的活检；有效的风险分层策略将导致适当的治疗分配，最终提高护理质量并提高医疗保健系统的成本效益。需要集成大型数据集的项目（例如 ReIMAGINE）需要集成数据仓库。这不仅包括大量患者（“长数据”）的容量，还包括来自不同数据类型的大量数据字段（“宽数据”）的容量（Hulsen 和 Moustafa，2021 年）。数据仓库需要能够将原始数据与可查询的元数据结合存储，以实现队列选择、数据可视化和统计分析等。数据还需要是 FAIR（Wilkinson 等人，2016 年）——可查找、可访问、可互操作和可重用——以符合最新法规。在开源世界中，有多个系统可以充当临床数据的数据仓库。其中之一是 tranSMART，这是一个基于网络的平台，用于整合为转化研究创建的数据（Scheufele 等人，2014 年）。
信息呈现的高级多模式解决方案
1. HRP 风险和已解决的差距 本文回顾的工作解决了与人机交互 (HCI) 不足风险相关的几个差距，包括差距 HCI-03，“我们需要 HCI 指南（例如，显示配置、屏幕导航）来缓解长时间太空飞行的性能下降和操作条件”，并将其输入到后续任务“长期信息系统/多模式信息验证”下。 在差距 HCI-06 下：我们需要指导方针来确保机组人员即使在自主操作时也能及时收到完成必要任务所需的所有信息。 它也与差距 HCI-04 非常相关，“我们需要了解如何将新兴的多模式和自适应显示和控制技术最好地应用于拟议的长期 DRM（设计参考任务）操作的 HCI 设计中。” 该报告的一个具体目标是帮助制定包括多模式信息显示在内的新研究征集所涵盖的主题。该报告将通过评估目前已知的多模式自适应信息系统，包括结合多种模式以实现最有效信息显示的最佳实践，帮助缩小 HCI-03 和 HCI-04 之间的差距。该报告将对长期任务的潜在多模式显示技术进行分析，特别是将重点关注它们在 EVA 活动中的潜在作用。开发界面指南中的潜在问题
多模式雷达白皮书 - Blighter 监控系统
防空雷达、军用飞机和导弹的情况。空中交通管制雷达 (ATC) 是空中交通管理中用于保护和监控民用和军用空中交通的所有雷达设备的总称。它们通常是具有高度专业化的固定雷达系统。防空雷达可以在相对较大的天空范围内探测空中目标并确定其位置、航向和速度。最大范围可以超过 300 英里，方位覆盖是一个完整的 360 度圆。根据提供的位置信息量，防空雷达分为两类。仅提供距离和方位信息的雷达称为二维或 2D 雷达；提供距离、方位和高度的雷达是三维或 3D 雷达。防空雷达被用作预警设备，因为它们可以在很远的距离探测到正在接近的敌机或导弹。早期探测对于成功防御攻击至关重要。另一个功能是引导战斗空中巡逻机到达适合拦截敌机的位置。