抽象的对比表示学习已被证明是图像和视频的有效自我监督的学习方法。最成功的方法是基于噪声对比估计(NCE),并将实例的不同视图用作阳性,应与其他称为否定的实例形成对比,被称为噪声。但是,数据集中的几个实例是从相同的分布中汲取的,并共享基本的语义信息。良好的数据表示应包含实例之间的关系,语义相似性和差异性,即通过将所有负面因素视为噪声来损害对比学习。为了避免此问题,我们提出了一种新的对比度学习的表述,使用称为“相似性对比估计(SCE)”的实例之间的语义相似性。我们的训练目标是一个软的对比目标,它使阳性更接近,并估计根据其学到的相似性推动或提取负面实例的连续分布。我们在图像和视频表示学习方面均通过经验验证我们的方法。我们表明,SCE在ImageNet线性评估方案上的最低时期时代的较少时代的时期与最低的时期进行了竞争性,并且它概括为几个下游图像任务。我们还表明,SCE达到了预处理视频表示的最新结果,并且学习的表示形式可以推广到下游任务。源代码可用:https://github.com/juliendenize/eztorch。
材料和方法 这项回顾性单中心研究考虑纳入 2019 年 11 月至 2021 年 3 月在 Gustave Roussy 癌症园区(法国维尔瑞夫)获取的共 250 张多参数脑 MRI。定义了独立的训练(107 例,年龄 55 岁±14 岁,58 名女性)和测试(79 例,年龄 59 岁±14 岁,41 名女性)样本。患者患有神经胶质瘤、脑转移、脑膜瘤或无增强病变。在所有病例中均获取了具有可变翻转角的梯度回波和涡轮自旋回波对比后 T1 序列。对于形成训练样本的病例,还获取了使用 0.025 mmol/kg 造影剂注射的“低剂量”对比后梯度回波 T1 图像。以标准剂量 T1 MRI 为参考,训练了一个深度神经网络来合成增强低剂量 T1 采集。训练完成后,对比增强网络用于处理测试梯度回波 T1 图像。然后由两名经验丰富的神经放射科医生进行读片,以评估原始和处理后的 T1 MRI 序列的对比增强和病变检测性能,以快速自旋回波序列为参考。结果对于增强病变的病例,处理后图像的对比噪声比(44.5 比 9.1 和 16.8,p<.001)、病变与脑组织比(1.66 比 1.31 和 1.44,p<.001)和对比增强百分比(112.4% 比 85.6% 和 92.2%,p<.001)均优于原始梯度回波和参考快速自旋回波 T1 序列。两位读者都更喜欢处理后的 T1 的整体图像质量(平均评分为 3.4/4 比 2.7/4,p<.001)。最后,对于大于 10 毫米的病变,所提出的处理方法将梯度回波 T1 MRI 的平均灵敏度从 88% 提高到 96%(p=.008*),而误检率则没有差异(两种情况下均为 0.02/例,p>.99)。考虑所有大于 5 毫米的病变时观察到了相同的效果:灵敏度从 70% 提高到 85%(p<.001*),而误检率保持相似(0.04/例 vs 0.06/例,p=.48)。如果包括所有病变,无论其大小如何,原始和处理后的 T1 图像的灵敏度分别为 59% 和 75%(p<.001*),相应的误检率为 0.05/例和 0.14/例(p=.06)。
摘要 - 随着多模式融合技术的快速发展,病理图像与基因组学数据的整合已在癌症生存预测中取得了令人鼓舞的结果。但是,大多数现有的多模型模型不是通过结合病理学和基因组学模态来预训练的,而忽略了不同模态之间固有的任务无关联的关联。尽管某些自我监督的方法通过预训练的目标(例如相关性和均方误差)来对齐多模式信息,但它们缺乏深入的多模式相互作用。为了解决这些问题,我们提出了Contramae,这是一种对比度对齐的掩盖自动编码器框架,以融合病理学图像和基因组学数据,以进行癌症存活预测。具体而言,我们引入了一个对比目标,以使多形态保持一致并构建其内在的一致性。此外,我们设计了两个重建目标,以通过互补偿双方所缺乏的信息来捕获多模式之间的复杂关系。在生存预测中,将Contramae编码器的病理和基因组学编码串联为产生生存风险评分的最终表示。实验结果表明,在五个癌症基因组图集(TCGA)中,CONTORAMA的表现优于五个癌症数据集的现有最新方法。该代码可从https://github.com/suixuewang/contramae获得。
1心脏病学系,心血管研究中心,伯里兹医学科学大学,伊朗伯利撒2号,伊朗2伊朗北部霍拉桑医学科学大学护理和助产士学院6泌尿外科,伊朗伊朗医学科学大学Hasheminejad肾脏中心,伊朗7号心脏病学系,医学院,医学院,医学院,医学院,医学院。科学,伊朗乌尔米亚科学9个心脏病学系,Seyed-Al-Shohada心脏病学医院,乌尔米亚乌尔米亚乌尔米亚大学医学院
摘要。本文提出了一种检索训练有素的图像生成洛拉(低级别适应性)模型的方法。此搜索算法采用单个任意图像输入,然后将模型在其中将图像转换为与输入映像相同的样式中的模型。我们使用三胞胎网络(带有三重损失的暹罗网络)采用了对比度学习方法。我们在预采用的洛拉模型上创建了一个示例图像集并执行了样式转移。使用这些传输的图像,对网络进行了微调,以通过其样式而不是通过其主题来计算距离;对于由不同的Lora模型转化的同一主题的一对图像对成对的差异很大,对于由同一LORA模型转换的不同下ject的图像对。通过准确评估任务评估了搜索算法,这些任务估计是否通过对模型进行排名的相同模型和用户实验进行了转换。实验结果表明,精细调整至关重要,样本图像集的多样性也很重要。
鉴于此,我建立了将Echonet动力学集成到标准临床工作流程中所需的工具和基础设施。这使我们能够进行3,769个超声心动图研究的盲,随机临床试验,以将模型的性能与超声检查员评估进行比较[6]。首先,试验发现该模型的预测已充分融合到工作流程中,心脏病专家审查了初步评估,无法可靠地确定模型或超声检查员是否进行了初步评估。该试验还发现,心脏病专家对模型的初始评估进行了重大变化(对Sonogra-Pher的27.2%而言,16.8%),并且使用该模型的初始评估节省了心脏病专家和超声学家的时间。该模型已经完成了FDA 510(k)清除过程,以确保其符合安全和功效标准。
其次,在ID插入后,它仍应保留原始T2i模型遵循提示的能力。在ID自定义的上下文中,这通常意味着更改ID属性的能力(例如,年龄,性别,表情和头发),方向和配件(例如,眼镜)通过提示。为了获得这些功能,当前的解决方案通常分为两类。第一类涉及增强编码器。iPadapter [50,1]从网格特征的早期剪辑提取到利用面部识别主链[6]来提取更多抽象和相关的ID信息。尽管提高了编辑性,但ID保真度不够高。InstantID [44]通过在此基础上包括一个额外的ID和Landmark ControlNet [52]以进行更有效的调制。即使ID相似性大大提高,它也会损害某种程度的编辑性和灵活性。第二类方法[22]支持非重构培训,以通过构造由ID分组的数据集来增强编辑性;每个ID都包含几张图像。但是,创建此类数据集需要巨大的努力。此外,大多数ID对应于有限数量的名人,这可能会限制其对非赛车的有效性。
单细胞RNA测序(SCRNA-SEQ)在单细胞水平上对全转录组基因表达提供了前所未有的见解。细胞聚类长期以来在SCRNA-SEQ数据的分析中已建立,以识别具有相似表达谱的细胞组。然而,细胞聚类在技术上具有挑战性,因为原始的SCRNA-SEQ数据具有各种分析问题,包括高维度和辍学值。现有研究开发了深度学习模型,例如图形机器学习模型和基于对比度的学习模型,用于使用SCRNA-SEQ数据进行细胞聚类,并总结了将细胞聚类的无监督学习到人介入的格式中。虽然细胞聚类的进展是深刻的,但我们没有更接近找到一个简单而有效的框架来学习鲁棒聚类所需的高质量表示。在这项研究中,我们提出了SCSIMGCL,这是一个基于图形对比的学习范式的新型框架,用于图形神经网络的自我监督预处理。该框架促进了对细胞聚类至关重要的高质量表示的产生。我们的SCSIMGCL结合了细胞细胞图结构和对比度学习,以增强细胞聚类的性能。对模拟和实际SCRNA-SEQ数据集的广泛实验结果表明了所提出的SCSIMGCL的优势。此外,聚类分配分析证实了SCSIMGCL的一般适用性,包括最新的聚类算法。所提出的SCSIMGCL可以作为开发用于细胞聚类工具的从业者的强大框架。此外,消融研究和超参数分析表明,在自我监督的学习环境中,决策的鲁棒性表明了我们的网络体系结构的功效。SCSIMGCL的源代码可在https://github.com/zhangzh1328/scsimgcl上公开获得。
背景与目标:使用机器学习来进行空气污染建模正在迅速增加。我们对比较统计和机器学习模型的研究进行了系统的综述,该研究预测了环境氮二氧化氮(NO 2),超细颗粒(UFPS)和黑碳(BC)的时空变化,以确定哪种情况以及在哪种情况下,机器学习是否会产生更准确的预测。方法:截至2024年6月13日,搜索了科学和Scopus的网络。所有记录均由两个受依赖的审阅者筛选。在最佳统计和机器学习方法之间的确定系数(R 2)和均方根误差(RMSE)之间的差异进行了比较。结果:包括46个模型比较的38项研究(第2号,UFPS为30,为BC为8)。线性非规范方法和随机森林最常使用。机器学习在34个比较中优于统计模型。最佳机器学习和统计模型之间的R 2中的平均差异(95%置信区间)分别为0.12(0.08、0.17)和20%(11%,29%)。基于树的方法在17个多模型比较中的12个中表现最好。非线性或正则回归方法仅在12个比较中使用,并提供了与机器学习方法相似的性能。结论:这项系统的综述表明,机器学习方法,尤其是基于树的方法,可能优于线性非验证方法,用于预测2号,UFP和BC的环境浓度。需要使用非线性,正则化和更广泛的机器学习方法的其他比较研究来确认其相对性能。未来的空气污染研究也将受益于对方法和结果的更明确和标准化的报告。
摘要。传统的单对象跟踪任务正在经历新的转型浪潮,尤其是随着语义缺乏的出现,这导致了视觉跟踪任务的兴起。但是,将Vi-Sual Tracker与自然语言描述相结合的先前方法倾向于依靠文本描述的全局表示,而较少考虑文本描述和Vi-Sual外观之间的精细连接。本文提议利用双向交叉注意模块来捕获语言和视觉特征之间的连接,这些连接进一步投影为密集的语义反映以保持对齐方式。为了保持搜索区域与耦合的自然语言之间的语义同意,并使融合功能保持一致,本文提出了一种新颖的密集性对比度学习损失,以弥合文本和视觉方式之间的语义差距,并以密集的形式对齐。所提出的框架在跟踪包含自然语言描述的数据集(例如TNL2K和OTB99-LANG)方面实现了有希望的结果。我们的方法提供了一种新颖的解决方案,用于代表和对齐单个对象跟踪任务的跨模式信息,并可能激发该领域的进一步研究。