高光谱图像 (HSI) 分类旨在为每个像素分配一个唯一标签,以识别不同土地覆盖的类别。现有的 HSI 深度学习模型通常采用传统学习范式。作为新兴机器,量子计算机在嘈杂的中尺度量子 (NISQ) 时代受到限制。量子理论为设计深度学习模型提供了一种新的范式。受量子电路 (QC) 模型的启发,我们提出了一种受量子启发的光谱空间网络 (QSSN) 用于 HSI 特征提取。所提出的 QSSN 由相位预测模块 (PPM) 和受量子理论启发的类测量融合模块 (MFM) 组成,以动态融合光谱和空间信息。具体而言,QSSN 使用量子表示来表示 HSI 长方体,并使用 MFM 提取联合光谱空间特征。量子表示中使用了 HSI 长方体及其由 PPM 预测的相位。使用 QSSN 作为构建块,我们进一步提出了一种端到端的量子启发式光谱空间金字塔网络 (QSSPN),用于 HSI 特征提取和分类。在这个金字塔框架中,QSSPN 通过级联 QSSN 块逐步学习特征表示,并使用 softmax 分类器进行分类。这是首次尝试将量子理论引入 HSI 处理模型设计。在三个 HSI 数据集上进行了大量实验,以验证所提出的 QSSPN 框架相对于最新方法的优越性。
生成模型的最新进展导致了模型,这些模型既可以为大多数文本输入产生现实和相关的信息。这些模型每天都用于生成数百万张图像,并具有巨大影响诸如生成艺术,数字营销和数据增强等领域。鉴于它们的影响力,重要的是要确保生成的内容反映全球的伪影和周围环境,而不是过分代表世界的某些地区。在本文中,我们使用众包研究的研究衡量了通过dall·e 2产生的普通名词(例如房屋)的地理代表,以及稳定的扩散模型,其中包括27个国家 /地区的540名参与者。为了有意地指定没有国家名称的意见,生成的图像最反映了美国之后是印度的周围,而顶级世代很少反映出所有其他国家的周围环境(平均得分少于5分中的3个)。在输入中指定国家名称的代表性增加了1。平均在5-点李克特(Dall)的李子量表上为44点。75对于稳定的扩散,许多国家的超高分数仍然很低,这突出了将来模型在地理上更具包含的需求。最后,我们研究了量化使用用户研究的产生图像的地理代表性的可行性。1
计算机视觉的抽象工业应用有时需要检测数字图像中小组像素的非典型物体。这些对象很难单一单,因为它们很小并且随机分布。在这项工作中,我们使用新型基于ANT系统的聚类算法(ASCA)提出了一种图像分割方法。ASCA对蚂蚁的觅食行为进行建模,蚂蚁的觅食行为在搜索高数据密度区域的数据空间中移动,并在其路径上留下信息素跟踪。信息素图用于识别簇的确切数量,并使用信息素gra-denient将像素分配给这些簇。我们将ASCA应用于数字乳房X线照片中的微钙化,并将其与最先进的聚类算法进行比较,例如1D自组织图,k -meanss,模糊C-Meanss和可能的模糊模糊C-Meanss。ASCA的主要优点是,群集的数量不需要先验。实验结果表明,在检测非典型数据的小簇时,ASCA比其他算法更有效。
本文介绍了 DeepFLASH,一种用于基于学习的医学图像配准的高效训练和推理的新型网络。与从高维成像空间中的训练数据中学习空间变换的现有方法相比,我们完全在低维带限空间中开发了一种新的配准网络。这大大降低了昂贵的训练和推理的计算成本和内存占用。为了实现这一目标,我们首先引入复值运算和神经架构表示,为基于学习的配准模型提供关键组件。然后,我们构建了一个在带限空间中完全表征的变换场的显式损失函数,并且参数化要少得多。实验结果表明,我们的方法比最先进的基于深度学习的图像配准方法快得多,同时产生同样精确的对齐。我们在两种不同的图像配准应用中展示了我们的算法:2D 合成数据和 3D 真实脑磁共振 (MR) 图像。我们的代码可以在https://github.com/jw4hv/deepflash上找到。
课程:ENGG5104课程ID:011157 AFF日期:2024-07-01 CRSE状态:主动批准。状态:批准的[新课程]图像处理和计算机视觉图像处理及计算机视觉本课程将涵盖图像处理和计算机视觉中的基本知识和高级主题,包括特征检测,细分,运动估算,全景构建,3D重建,场景检测和分类,颜色图像处理和恢复。还将引入计算机图形中的应用程序,包括图像转换和摄像机校准。将讨论相关算法和数学背景的基本概念。
文本到图像生成模型正变得越来越流行,公众可以访问。由于这些模型看到大规模的部署,因此有必要深入研究其安全性和公平性,以免消散和永久存在任何形式的偏见。然而,存在的工作重点是检测封闭的偏见集,定义了先验的偏见,将研究限制为众所周知的概念。在本文中,我们解决了出现OpenBias的文本到图像生成模型中开放式偏见检测的挑战,该模型是一条新管道,该管道可识别和量化双质量的严重性,而无需访问任何预编译的集合。OpenBias有三个阶段。在第一阶段,我们利用大型语言模型(LLM)提出偏见,给定一组字幕。其次,目标生成模型使用相同的字幕绘制图像。最后,一个视觉问题回答模型认识到了先前提出的偏见的存在和范围。我们研究了稳定扩散1.5、2和XL强调新偏见的稳定扩散,从未研究过。通过定量实验,我们证明了OpenBias与当前的封闭式偏见检测方法和人类判断一致。
文本对图像(T2I)生成模型最近成为一种强大的工具,可以创建照片现实的图像并引起多种应用。然而,将T2i模型的有效整合到基本图像分类任务中仍然是一个悬而未决的问题。促进图像锁骨表现的一种普遍的策略是通过使用T2I模型生成的合成图像来增强训练集。在这项研究中,我们仔细检查了当前发电和常规数据增强技术的缺点。我们的分析表明,这些方法努力产生既忠实的(就前景对象)而且针对领域概念的多样化(在背景上下文中)。为了应对这一挑战,我们引入了一种创新的类数据增强方法,称为diff-mix 1,该方法通过在类之间执行图像翻译来丰富数据集。我们的经验结果是,DIFF-MIX在信仰和多样性之间取得了更好的平衡,从而导致各种图像分类场景之间的性能显着提高,包括域名数据集的少量,常规和长尾分类。
可变形图像配准是医学图像分析的基本步骤。最近,Transformer 已用于配准,其表现优于卷积神经网络 (CNN)。Transformer 可以捕获图像特征之间的长距离依赖性,这已被证明对配准有益。然而,由于自注意力的计算/内存负载高,Transformer 通常用于下采样特征分辨率,无法捕获全图像分辨率下的细粒度长距离依赖性。这限制了可变形配准,因为它需要每个图像像素之间精确的密集对应关系。没有自注意力的多层感知器 (MLP) 在计算/内存使用方面效率高,从而可以捕获全分辨率下的细粒度长距离依赖性。然而,MLP 尚未在图像配准中得到广泛探索,并且缺乏对医学配准任务至关重要的归纳偏差的考虑。在本研究中,我们提出了第一个基于相关感知 MLP 的配准网络 (CorrMLP) 用于可变形医学图像配准。我们的 CorrMLP 在新颖的粗到细配准架构中引入了关联感知多窗口 MLP 块,该架构可捕获细粒度多范围依赖性以执行关联感知粗到细配准。对七个公共医疗数据集进行的大量实验表明,我们的 CorrMLP 优于最先进的可变形配准方法。
在生成AI的快速发展的领域中,这项工作采取了初步步骤,以建立用于比较图像编辑方法的系统范围。当前,缺乏用于评估IMED编辑任务的定量指标,而新方法主要是定性评估的。我们的方法涉及三个关键组成部分:1)使用gan-Control创建大型合成数据集,该数据集可以生成地面图像,以跨不同面部身份进行一致的编辑; 2)匹配过程,将编辑的图像与相应的地面真相配对; 3)将感知距离指标应用于匹配对。我们通过用户研究和一组仿真实验评估了我们提出的框架的有效性。我们的结果表明,我们的方法可以以与人类判断相符的方式对图像编辑方法进行排名。这项研究旨在为随后的研究中的图像编辑技术建立全面的评估框架奠定基础,并就此主题进行对话。
退化现象。使用去噪技术去除图像中的噪声和使用去模糊技术去除图像中的模糊都属于图像恢复。 • 彩色图像处理:这基本上有两种类型——全彩色和伪彩色处理。在前一种情况下,图像是通过全彩色传感器(如彩色扫描仪)捕获的。全彩色处理进一步分为两类:在第一类中,每个组件被单独处理,然后形成复合处理后的彩色图像;在第二类中,我们直接操作彩色像素。伪彩色或假彩色处理涉及根据规定的标准将颜色分配给特定的灰度值或值范围。强度切片和颜色编码是伪彩色处理的技术。颜色用于图像处理是因为人类能够区分不同色调和强度与不同灰度。此外,图像中的颜色使得从场景中提取和识别物体变得容易。 • 图像压缩:这意味着通过消除重复数据来减少表达数字图像所需的信息量。压缩是为了减少图像的存储要求或减少传输期间的带宽要求。压缩是在存储或传输图像之前完成的。压缩有两种类型——有损和无损。在无损压缩中,图像的压缩方式不会丢失任何信息。但是在有损压缩中,为了实现高水平的压缩,可以接受一定量的信息丢失。前者适用于图像存档,例如存储医疗或法律记录,而后者适用于视频会议、传真传输和广播电视。无损压缩技术包括可变长度编码、算术编码、霍夫曼编码、位平面编码、LZW 编码、游程编码和无损预测编码。有损压缩技术包括有损预测编码、小波编码和变换编码。• 形态图像处理:它是一种绘制图像中可用于表示和描述图像形态、大小和形状的部分的技术。常见的形态学算子有膨胀、腐蚀、闭运算和开运算。形态学图像处理的主要应用包括边界提取、区域填充、凸包、骨架、细化、连通分量提取、加厚和剪枝。• 图像分割:这是使用自动和半自动方法从图像中提取所需区域的过程。分割方法大致分为边缘检测方法、基于区域的方法(包括阈值和区域增长方法)、分类方法(包括 K 近邻、最大似然法)、聚类方法(K 均值、模糊 C 均值、期望最大化方法)和分水岭分割 [3]。• 表示和描述:分割过程的结果是像素形式的原始数据,需要进一步压缩才能表示和描述,以便进行额外的计算机处理。区域可以用其外部特征(如边界)来表示