XiaoMi-AI文件搜索系统
World File Search System图像
调整视觉语言模型以实现医学图像中的通用异常检测
大规模视觉语言预训练模型的最新进展已在自然图像领域中的零样本/少样本异常检测方面取得了重大进展。然而，自然图像和医学图像之间巨大的领域差异限制了这些方法在医学异常检测中的有效性。本文介绍了一种新颖的轻量级多级自适应和比较框架，以重新利用 CLIP 模型进行医学异常检测。我们的方法将多个残差适配器集成到预训练的视觉编码器中，从而实现不同级别视觉特征的逐步增强。这种多级自适应由多级、逐像素的视觉语言特征对齐损失函数引导，将模型的重点从自然图像中的对象语义重新校准到医学图像中的异常识别。调整后的特征在各种医学数据类型中表现出更好的泛化能力，即使在模型在训练期间遇到看不见的医学模态和解剖区域的零样本场景中也是如此。我们在医学异常检测基准上进行的实验表明，我们的方法明显优于当前最先进的模型，在零样本和少样本设置下，异常分类的平均 AUC 改进分别为 6.24% 和 7.33%，异常分割的平均 AUC 改进分别为 2.03% 和 2.37%。源代码可从以下网址获取：https://github.com/MediaBrain-SJTU/MVFA-AD
移动 NPU 上的实时量化图像超分辨率，移动 AI 2021 挑战赛：报告
图像超分辨率是最流行的计算机视觉问题之一，在移动设备上有许多重要的应用。虽然已经为这项任务提出了许多解决方案，但它们通常甚至没有针对常见的智能手机 AI 硬件进行优化，更不用说通常仅支持 INT8 推理的更受限的智能电视平台了。为了解决这个问题，我们推出了第一个移动 AI 挑战赛，其目标是开发一种基于端到端深度学习的图像超分辨率解决方案，该解决方案可以在移动或边缘 NPU 上展示实时性能。为此，为参与者提供了 DIV2K 数据集和训练过的量化模型，以进行高效的 3 倍图像升级。所有模型的运行时间都在 Synaptics VS680 智能家居板上进行评估，该板具有能够加速量化神经网络的专用 NPU。所提出的解决方案与所有主流移动 AI 加速器完全兼容，能够在 40-60 毫秒内重建全高清图像，同时实现高保真度结果。本文提供了挑战赛中开发的所有模型的详细描述。
胸部MRI图像的定量分析，用于良性恶性诊断肺固体结节
方法：招募了总共333例肺结核（训练队列中的233例，在验证队列中为100例）。从MRI图像（CE T1W和T2W）中提取了总共2,824个放射线特征。逻辑回归（LR），幼稚的贝叶斯（NB），支持向量机（SVM），随机森林（RF）和极端梯度提升（XGBOOST）分类器用于构建预测模型，并在应用最佳预测模型后为每个患者获得了放射线学分数（RAD分数）。临床因素和RAD分数共同基于多元逻辑回归分析构建了一个nom图模型，并使用接收器操作特征曲线（AUC）下的区域评估了五个预测模型的诊断性能。
medblip：3D医学图像和文本
摘要。视觉语言预处理（VLP）模型已在众多计算机视觉应用中被证明。在本文中，我们基于图像扫描和电子健康记录中的文本介绍，为医疗领域开发VLP模型，以促进计算机辅助诊断（CAD）。为了实现这一目标，我们介绍了MedBlip，这是一种轻巧的CAD系统，该系统启动了从架子冻结的预训练的图像编码器和大型语言模型中启动VLP。我们合并了一个MEDQFormer模块，以弥合3D医学图像和2D预训练的图像编码器和语言模型之间的差距。为了评估MEDBLIP的有效性，我们从五个公共阿尔茨海默氏病（AD）数据集中收集了30,000多个图像量：ADNI，NACC，OASIS，OASIS，AIBL和MIRIAD。在这个大规模的广告集中，我们的模型在健康，轻度认知障碍（MCI）和AD主题的零摄像分类中表现出了令人印象深刻的表现，并且还显示了其在M3D-VQA-AD数据集中的医学视觉问题An-Swering（VQA）中的能力。代码和预训练模型可在https://github.com/qybc/medblip上找到。
图像处理：是什么、如何处理以及未来
退化现象。使用去噪技术去除图像中的噪声和使用去模糊技术去除图像中的模糊都属于图像恢复。 • 彩色图像处理：这基本上有两种类型——全彩色和伪彩色处理。在前一种情况下，图像是通过全彩色传感器（如彩色扫描仪）捕获的。全彩色处理进一步分为两类：在第一类中，每个组件被单独处理，然后形成复合处理后的彩色图像；在第二类中，我们直接操作彩色像素。伪彩色或假彩色处理涉及根据规定的标准将颜色分配给特定的灰度值或值范围。强度切片和颜色编码是伪彩色处理的技术。颜色用于图像处理是因为人类能够区分不同色调和强度与不同灰度。此外，图像中的颜色使得从场景中提取和识别物体变得容易。 • 图像压缩：这意味着通过消除重复数据来减少表达数字图像所需的信息量。压缩是为了减少图像的存储要求或减少传输期间的带宽要求。压缩是在存储或传输图像之前完成的。压缩有两种类型——有损和无损。在无损压缩中，图像的压缩方式不会丢失任何信息。但是在有损压缩中，为了实现高水平的压缩，可以接受一定量的信息丢失。前者适用于图像存档，例如存储医疗或法律记录，而后者适用于视频会议、传真传输和广播电视。无损压缩技术包括可变长度编码、算术编码、霍夫曼编码、位平面编码、LZW 编码、游程编码和无损预测编码。有损压缩技术包括有损预测编码、小波编码和变换编码。• 形态图像处理：它是一种绘制图像中可用于表示和描述图像形态、大小和形状的部分的技术。常见的形态学算子有膨胀、腐蚀、闭运算和开运算。形态学图像处理的主要应用包括边界提取、区域填充、凸包、骨架、细化、连通分量提取、加厚和剪枝。• 图像分割：这是使用自动和半自动方法从图像中提取所需区域的过程。分割方法大致分为边缘检测方法、基于区域的方法（包括阈值和区域增长方法）、分类方法（包括 K 近邻、最大似然法）、聚类方法（K 均值、模糊 C 均值、期望最大化方法）和分水岭分割 [3]。• 表示和描述：分割过程的结果是像素形式的原始数据，需要进一步压缩才能表示和描述，以便进行额外的计算机处理。区域可以用其外部特征（如边界）来表示
通过风格增强和双重规范化实现通用的跨模态医学图像分割
对于医学图像分割，想象一下如果一个模型仅使用源域中的 MRI 图像进行训练，那么它在目标域中直接分割 CT 图像的性能如何？这种设置，即具有临床潜力的通用跨模态分割，比其他相关设置（例如域自适应）更具挑战性。为了实现这一目标，我们在本文中提出了一种新颖的双重规范化模型，该模型在通用分割过程中利用增强的源相似和源不相似图像。具体而言，给定一个源域，旨在模拟看不见的目标域中可能的外观变化，我们首先利用非线性变换来增强源相似和源不相似图像。然后，为了充分利用这两种类型的增强，我们提出的基于双重规范化的模型采用共享主干但独立的批量规范化层进行单独规范化。随后，我们提出了一种基于风格的选择方案，在测试阶段自动选择合适的路径。在三个公开数据集（即 BraTS、跨模态心脏和腹部多器官数据集）上进行的大量实验表明，我们的方法优于其他最先进的领域泛化方法。代码可在 https://github.com/zzzqzhou/Dual-Normalization 获得。
社论：神经应用的计算机视觉和图像综合
多发性硬化症（MS）是中枢神经系统（CNS）的自身免疫性疾病，没有明确的触发因素。然而，流行病学研究表明，遗传性易感性个体中的Epstein-Barr病毒（EBV）感染（EBV）和低维生素D（VIT D）水平等环境因素是重要的危险因素。一个主要建议是，EBV通过分子模拟物等机制触发MS，在该机制中激活的自动反应性B和T淋巴细胞错误地靶向自我抗原。与其他危险因素，低血清VIT D水平，VIT D受体的遗传多态性以及北半球国家的MS发病率更高，这表明VIT D在MS病理学中也起着作用。维生素D，以其神经保护作用和免疫调节作用而闻名，有助于维持促炎和抗炎性免疫细胞之间的平衡。研究和正在进行的临床试验表明，次动物症D与MS的风险增加有关，而VIT D补充剂可以帮助降低疾病的严重程度。此外，次动物症D也与免疫系统失调和增加MS的风险增加有关。本综述探讨了这三个良好认可的危险因素如何在MS的发病机理中相互作用 - EBV感染，次动物症D和失调的免疫系统 - 相互作用。了解这些相互作用及其后果可以为治疗这种毁灭性疾病的新型治疗方法提供新的见解。
用于分析胸部 CT 图像的人工智能
本简报中的胸部成像人工智能 (AI) 技术是独立的软件平台，使用机器或深度学习算法来分析或解释放射图像。一些技术允许将图像从医院传输到软件平台，该平台托管在 NHS 认可的安全数据中心。该软件使用专有算法分析胸部 DICOM（医学数字成像和通信）图像。图像分析可以直接发送回医院，以便使用医院系统（例如图片存档和通信系统 (PACS)）和一些使用 DICOM 和 HL7 等协议的放射信息系统进行查看。一些技术还可能允许使用 Web 界面上传和查看图像和分析。
文本到图像生成模型中的开放式偏差检测
文本到图像生成模型正变得越来越流行，公众可以访问。由于这些模型看到大规模的部署，因此有必要深入研究其安全性和公平性，以免消散和永久存在任何形式的偏见。然而，存在的工作重点是检测封闭的偏见集，定义了先验的偏见，将研究限制为众所周知的概念。在本文中，我们解决了出现OpenBias的文本到图像生成模型中开放式偏见检测的挑战，该模型是一条新管道，该管道可识别和量化双质量的严重性，而无需访问任何预编译的集合。OpenBias有三个阶段。在第一阶段，我们利用大型语言模型（LLM）提出偏见，给定一组字幕。其次，目标生成模型使用相同的字幕绘制图像。最后，一个视觉问题回答模型认识到了先前提出的偏见的存在和范围。我们研究了稳定扩散1.5、2和XL强调新偏见的稳定扩散，从未研究过。通过定量实验，我们证明了OpenBias与当前的封闭式偏见检测方法和人类判断一致。
利用神经速度场进行微分同胚图像配准
微分同胚图像配准能够提供平滑的变换和拓扑保存，在许多医学图像分析任务中是必需的。传统方法对可接受的变换空间施加某些建模约束，并使用优化来寻找两幅图像之间的最佳变换。指定正确的可接受的变换空间具有挑战性：如果空间过于严格，配准质量可能会很差，而如果空间过于笼统，则优化可能难以解决。最近基于学习的方法利用深度神经网络直接学习变换，实现了快速推理，但由于难以捕捉微小的局部变形和泛化能力，在准确性方面面临挑战。在这里，我们提出了一种新的基于优化的方法，称为 DNVF（带神经速度场的微分同胚图像配准），该方法利用深度神经网络来建模可接受的变换空间。具有正弦激活函数的多层感知器 (MLP) 用于表示连续速度场，并为空间中的每个点分配一个速度矢量，从而提供对复杂变形进行建模的灵活性以及优化的便利性。此外，我们提出了一种级联图像配准框架 (Cas-DNVF)，结合了优化和基于学习的方法的优点，其中训练完全卷积神经网络 (FCN) 来预测初始变形，然后使用 DNVF 进行进一步细化。在两个大型 3D MR 脑部扫描数据集上进行的实验表明，我们提出的方法明显优于最先进的配准方法。