XiaoMi-AI文件搜索系统
World File Search SystemModels
用大语言模型在语言刺激下解码语义表示
大脑解码技术为解释神经活动的解释以重现思想，情感和运动的方式铺平了道路。Tang等。 （2023）引入了一种新颖的方法，该方法将语言模型用作基于功能磁共振成像（fMRI）数据的大脑解码的生成模型。 在他们的工作中构建，这项研究探讨了使用三种其他语言模型的使用以及先前研究中使用的GPT模型，以改善解码功能。 此外，我们使用嵌入模型添加了一个评估度量，提供了比BertScore更高水平的语义相似性。 通过比较解码的表现并确定导致良好性能的因素，我们发现高解码精度并不仅仅取决于准确预测大脑活动的能力。 相反，该模型倾向于生成更精确的句子重新构造的文本类型（例如Web文本，博客，新闻文章和书籍），它倾向于生成更重要的作用。Tang等。（2023）引入了一种新颖的方法，该方法将语言模型用作基于功能磁共振成像（fMRI）数据的大脑解码的生成模型。在他们的工作中构建，这项研究探讨了使用三种其他语言模型的使用以及先前研究中使用的GPT模型，以改善解码功能。此外，我们使用嵌入模型添加了一个评估度量，提供了比BertScore更高水平的语义相似性。通过比较解码的表现并确定导致良好性能的因素，我们发现高解码精度并不仅仅取决于准确预测大脑活动的能力。相反，该模型倾向于生成更精确的句子重新构造的文本类型（例如Web文本，博客，新闻文章和书籍），它倾向于生成更重要的作用。
医疗保健专业人员在实施基于机器学习的糖尿病预测模型
摘要：基于机器学习的糖尿病预测模型已在医疗保健中引起了人们的重大关注，作为糖尿病早期检测和管理的潜在工具。但是，这些模型的成功实施在很大程度上取决于医疗保健专业人员的参与。本摘要探讨了医疗保健专业人员在实施基于机器学习的糖尿病预测模型中的作用。医疗保健专业人员通过与数据科学家和机器学习专家合作，在这些模型的开发和实施中起着至关重要的作用。他们的临床专业知识和领域知识有助于确定相关的数据源和模型开发变量。他们还确保数据质量和完整性，在整个过程中解决道德方面的考虑。在实施阶段，医疗保健专业人员负责数据收集和预处理，包括从电子健康记录和可穿戴设备中收集患者数据。他们在清洁和组织模型输入数据时确保数据隐私和安全性。医疗保健专业人员评估和验证模型的性能和准确性，评估局限性和潜在偏见。集成到临床工作流程中是医疗保健专业人员的另一个关键责任。他们与IT部门合作，无缝整合
HHMR：通过增强图扩散模型的多模式可控性
近年来见证了一代和重建范式深入融合的趋势。在本文中，我们扩展了可控制的生成模块的能力，以实现更全面的手网恢复任务：在单个框架中，手工网格的生成，内部网状，重建，重建和拟合，我们将其命名为H olistic H和MESH R Ecovery（HHMR）。我们的主要观察结果是，具有强大多模式可偿还性的单个生成模型可以实现不同类型的手网恢复任务，并且在这样的框架中，实现不同的任务只需要给出不同的信号作为条件。为了实现这一目标，我们提出了基于图形卷积和整体手工网状恢复的注意力卷积和注意力机制的多合一扩散框架。为了实现强大的控制能力，同时确保多模式控制信号的解耦，我们将不同的模态映射到共享特征空间并应用跨尺度随机
使用扩散模型在潜在空间中进行图像修复
使用扩散模型进行图像修复通常使用预条件模型（即针对绘画任务进行微调的图像条件模型）或后条件模型（即在推理时重新用于绘画任务的非条件模型）。预条件模型在推理时很快，但训练成本极高。后条件模型不需要任何训练，但在推理过程中很慢，需要多次前向和后向传递才能收敛到理想的解决方案。在这里，我们推导出一种不需要昂贵训练但推理速度很快的方法。为了解决昂贵的推理计算时间，我们在潜在空间而不是图像空间上执行前向-后向融合步骤。这是通过扩散过程中新提出的传播模块解决的。在多个领域进行的实验表明，我们的方法达到或改善了状态
调整视觉语言模型以实现医学图像中的通用异常检测
大规模视觉语言预训练模型的最新进展已在自然图像领域中的零样本/少样本异常检测方面取得了重大进展。然而，自然图像和医学图像之间巨大的领域差异限制了这些方法在医学异常检测中的有效性。本文介绍了一种新颖的轻量级多级自适应和比较框架，以重新利用 CLIP 模型进行医学异常检测。我们的方法将多个残差适配器集成到预训练的视觉编码器中，从而实现不同级别视觉特征的逐步增强。这种多级自适应由多级、逐像素的视觉语言特征对齐损失函数引导，将模型的重点从自然图像中的对象语义重新校准到医学图像中的异常识别。调整后的特征在各种医学数据类型中表现出更好的泛化能力，即使在模型在训练期间遇到看不见的医学模态和解剖区域的零样本场景中也是如此。我们在医学异常检测基准上进行的实验表明，我们的方法明显优于当前最先进的模型，在零样本和少样本设置下，异常分类的平均 AUC 改进分别为 6.24% 和 7.33%，异常分割的平均 AUC 改进分别为 2.03% 和 2.37%。源代码可从以下网址获取：https://github.com/MediaBrain-SJTU/MVFA-AD
歌剧：通过过度信托的惩罚和转录分配
幻觉是对多模态大语言模型（MLLM）的普遍挑战的幻觉，极大地阻碍了他们需要精确判断的真实用法。现有方法可以通过特定设计的数据进行培训，或通过其他来源的特定知识来缓解此问题，从而产生了不可避免的额外费用。在本文中，我们提出了一种新型的MLLM解码方法，该方法基于o-vertust pe nalty和r eTroptoction-llocation策略，它是一种几乎免费的午餐，可以减轻幻觉问题，并没有其他数据，知识，知识或培训。我们的方法始于一个有趣的观察结果，即，大多数幻觉与自我注意力矩阵所表现出的知识聚集作用紧密相关，即MLLM倾向于通过关注一些摘要的代价来产生新的代币，但并非所有以前的代币。这种部分过度信任的倾向会导致忽略图像令牌，并用幻觉描述图像内容。基于观察结果，Opera在梁搜索解码过程中引入了对模型逻辑的惩罚术语，以使Miti-Gate the Trust问题以及回滚策略回顾了在预先生成的令牌中存在摘要令牌的存在，并在必要必要时重新分配给标记。通过广泛的实验，Opera在不同的MLLM和指标上表现出明显的幻觉降低性能，证明其有效性和性质。我们的代码为：https：//github.com/shikiw/opera。
在快速发展的大流行中部署人工智能模型的挑战
胡一鹏 1,2,4 约瑟夫·雅各布 1,3 杰弗里·JM·帕克 1,5,6 大卫·J·霍克斯 1,2,4 约翰·R·赫斯特 3 丹奈尔·斯托亚诺夫 1,2,5 1 伦敦大学学院医学图像计算中心，2 威康/EPSRC 介入和外科科学中心，3 伦敦大学学院呼吸科，4 医学物理和生物医学工程系，5 计算机科学系，伦敦大学学院，Gower Street，伦敦 WC1E 6BT，英国 6 Bioxydyn Limited，Pencroft Way，曼彻斯特，M15 6SZ，英国 通信：yipeng.hu@ucl.ac.uk 由严重急性呼吸系统综合症冠状病毒 2 引起的 COVID-19 大流行，发生在一个被基于大数据、计算能力和神经网络的人工智能（AI）迅速改变的世界。近年来，这些网络的目光越来越多地转向医疗保健领域的应用。COVID-19 是一种全球性疾病，对健康和经济造成破坏，或许不可避免地会吸引全球学术界和工业界的计算机科学家的关注和资源。AI 支持应对疫情的潜力已在广泛的临床和社会挑战 [1] 中提出，包括疾病预测、监测和抗病毒药物发现。随着疫情对世界人民、工业和经济的影响不断扩大，这种情况可能会持续下去，但对当前疫情的一个令人惊讶的观察是，迄今为止，AI 在 COVID-19 管理中的影响有限。本通讯重点探讨了在前线医疗服务中未能成功采用为 COVID-19 诊断和预后开发的 AI 模型的潜在原因。我们强调了模型在疫情的不同阶段必须解决的不断变化的临床需求，并解释了将模型转化为反映当地医疗环境的重要性。我们认为，基础研究和应用研究对于加速人工智能模型的潜力都至关重要，在迅速发展的疫情期间尤其如此。 从这个角度看，对 COVID-19 的反应，或许可以让我们一窥全球科学界应如何应对未来的疾病爆发，以更有效地应对。
适应植物表型的视觉基础模型
基础模型是对大量数据进行预训练的大型模型。通常可以以最小的努力来适应各种下游任务。但是，由于基础模型通常是在从互联网中提出的图像或文本上进行预培训的，因此它们在植物表型等植物域中的性能受到质疑。此外，完全调整基础模型是耗时的，需要高计算能力。本文研究了植物表型设置和任务的基础模型的有效适应。我们对三个基础模型（MAE，Dino和Dinov2）进行了大量实验，对三个必需的植物表型任务：叶子计数，实例阶段和疾病分类。特别是，预先训练的骨干被冷冻，同时评估了两种不同的调整方法，即适配器调整（使用lora）和解码器调整。实验结果表明，基础模型可以充分地适应植物表型任务，从而产生与针对每个任务的最先进的模型（SOTA）模型相似的性能。尽管在不同任务上表现出很高的传递能力，但在某些情况下，精细调整的基础模型的表现比SOTA任务特定的模型稍差，这需要进一步研究。