XiaoMi-AI文件搜索系统
World File Search System多图
Mantis：交错的多图像指令调整
大型多模型模型（LMM）在单图像视觉语言任务中显示出了很好的结果。但是，他们解决多图像视觉语言任务的能力尚待改进。OpenFlamingo，EMU2和IDEFICS等现有的LMM通过对数亿个既没有有效又不有效的嘈杂的交织图像文本数据进行预训练，从而获得了多图像的能力。在本文中，我们旨在通过使用学术级别的资源进行指导调整来构建强大的多图像LMM。因此，我们精心构建包含721k多图像指导数据的螳螂教学，以培训螳螂模型家族。教学调整使螳螂具有不同的多图像技能，例如共同参考，比较，推理和时间理解。我们评估了8个多图像基准和6个单图像基准的螳螂。Mantis -IDEFICS2可以在所有多图像基准上实现SOTA结果，并击败最强的多图像基线，即IDEFICS2-8B平均13个绝对点。值得注意的是，IDEFICS2-8B已在140m的交织多图像数据上进行了预训练，该数据比Mantis-Instruct大200倍。我们观察到螳螂在持有的基准和持有的基准上表现出色，这表明其概括能力。我们进一步评估了单图像基准上的Mantis，并证明Mantis在与COGVLM和EMU2相当的情况下还保持了强劲的单像性能。我们的结果表明，多图像能力不一定是通过大规模的预训练获得的，而是通过低成本的指导调整可以获得它们。螳螂的培训和评估为未来的工作铺平了道路，以提高LMMS的多图像能力。
使用多图特征进行心理状态分类
我们考虑从被动式多通道脑电图 (EEG) 设备中提取特征的问题，以用于与压力和认知负荷等高级心理状态相关的下游推理任务。我们提出的特征提取方法使用最近开发的基于频谱的多图工具，并将它们应用于由多个传感器之间的统计依赖结构 (例如相关性) 暗示的图的时间序列。我们在两个数据集的背景下研究这些特征，每个数据集至少包含 30 名参与者，并使用多通道 EEG 系统记录。我们在三种环境下比较了在所提出的特征上训练的分类器与在传统的基于频带功率的特征上训练的分类器的分类性能，发现这两个特征集提供了互补的预测信息。我们最后证明，使用所提出的特征时特定通道和通道对对于分类的重要性在神经科学上是有效的。
基于多图融合的脑功能连接分析
本文提出了一种功能连接网络 (FCN) 分析框架，用于对静息态功能磁共振成像 (rs-fMRI) 数据进行脑部疾病诊断，旨在减少噪声、受试者间差异和受试者间异质性的影响。为此，我们提出的框架研究了一种多图融合方法来探索两个 FCN，即全连接 FCN 和 1 最近邻 (1NN) FCN 之间的共同信息和互补信息，而之前的方法仅侧重于从单个 FCN 进行 FCN 分析。具体而言，我们的框架首先进行图融合以生成具有高判别能力的 rs-fMRI 数据表示，然后使用 L1SVM 联合进行脑部区域选择和疾病诊断。我们进一步评估了所提框架在各种神经疾病数据集上的有效性，例如额颞叶痴呆症 (FTD)、强迫症 (OCD) 和阿尔茨海默病 (AD)。实验结果表明，与最先进的 FCN 分析方法相比，所提框架通过为分类任务选择合理的大脑区域实现了最佳诊断性能。
使用多图正则化核范数最小化预测药物-靶标相互作用
在制药科学中，识别药物和靶标蛋白之间的潜在相互作用至关重要。在基因组药物发现中，相互作用的实验验证费力且昂贵；因此，需要高效、准确的计算机模拟技术来预测潜在的药物-靶标相互作用，以缩小实验验证的搜索空间。在这项工作中，我们提出了一个新框架，即多图正则化核范数最小化，它从三个输入预测药物和靶标蛋白之间的相互作用：已知的药物-靶标相互作用网络、药物之间的相似性以及靶标之间的相似性。所提出的方法侧重于寻找一个低秩相互作用矩阵，该矩阵由图编码的药物和靶标的接近度构成。先前关于药物靶标相互作用 (DTI) 预测的研究表明，结合药物和靶标的相似性有助于通过保留原始数据的局部几何形状更好地学习数据流形。但是，对于哪种相似性以及哪种组合最能帮助完成预测任务，目前还没有明确的共识。因此，我们建议使用各种药物间相似性和靶标间相似性作为多图拉普拉斯（药物/靶标）正则化项，以详尽地捕获近似值。使用标准评估指标（AUPR 和 AUC）对四个基准数据集进行的大量交叉验证实验表明，所提出的算法提高了预测性能，并且大大优于最近最先进的计算方法。软件可在 https://github.com/aanchalMongia/ MGRNNMforDTI 上公开获取。