数字化期待已久的进展每天都会产生大量的医疗数据,而对这些数据进行手动分析和有针对性的、以患者为中心的评估变得越来越困难甚至不可行。这种状况以及个性化精准医疗日益复杂的相关要求,凸显了整个医疗保健系统对现代软件解决方案和算法的需求。过去几年,几乎所有医学领域都采用了最先进的设备和技术,确实已经使自动化流程至少部分进入了常规临床实践。这类系统利用了各种各样的人工智能 (AI) 技术,其中大多数已经开发用于优化医学图像重建、降噪、质量保证、分类、分割、计算机辅助检测和分类,以及新兴的研究领域放射基因组学。人工智能处理的任务完成得更快、更准确,这一点在 2015 年首次举办的 ImageNet 大规模视觉识别挑战赛 (ILSVCR) 的年度结果中得到了明确证明,错误率远低于人类。这篇评论文章将讨论人工智能在妇产科诊断中的潜在能力和目前可用的应用。本文将特别关注产前超声诊断中的自动化技术。
摘要。基于光子计数检测器(PCD)的光子计算计算机断层扫描(PCCT)以尖端的CT技术脱颖而出,提供增强的空间分辨率,减少辐射剂量和先进的材料分解功能。尽管它得到了公认的广告,但挑战是由现实现象引起的,例如PCD电荷共享效应,特定于应用的集成电路(ASIC)堆积和频谱转移,并引入了实际物理效应与理想物理模型中的实际物理效应之间的差异。这种未对准会导致图像重建过程中的重大错误,该过程在材料分解中尤其。在本文中,我们介绍了一种新型的检测器物理学和ASIC模型引导的深度学习系统模型,该模型是为PCCT量身定制的。该模型擅长捕获PCCT系统的全面反应,包括检测器和ASIC重音。我们提出了实验结果,证明了该模型的实验精度和鲁棒性。关键进步包括减少校准误差,材料分解成像的提高质量以及提高定量一致性。该模型代表了在弥合PCCT的理论假设和实际复杂性之间的差距,为更精确,更可靠的医学成像铺平道路时的差距。
深度学习方法有可能减轻放射科医生处理繁琐的,耗时的任务,例如检测和细分病理病变[1],但是在医学成像的背景下对神经网络的培训面临着主要的挑战:它们需要训练大量图像,因为这是很难获得的,因为在许多方面都可以限制医疗信息,并且由于许多方面的范围限制了其他方面的范围。此外,虽然在世界各地的医院数据库中可以提供相对较大的医学图像,但这些图像是未标记的,并且不同的机构以派遣和不均匀的方式保存医疗图像,这使得它们在较大的数据库中收集它们。在这种情况下,从头开始生成医学图像的方法可能引起人们的极大兴趣。生成建模是机器学习的一个子字段,它在产生新的高质量自然图像(例如面部照片[2])方面具有令人印象深刻的精力[2],并应用于语音综合[3]和磁共振图像重建等任务[4]。如果可以教导生成模型来产生现实且多样化的新医学图像,那么它们将具有很有吸引力的潜力,可以显着增加可用于深神经网络培训的图像数量,因此可以帮助提高这些网络的准确性[5-7]。
摘要:微电子技术正在兴起,有时命运多舛,是诊断学中的关键推动技术。本文回顾了一些最新成果和技术挑战,这些挑战在 CMOS 模拟专用集成电路 (ASIC) 的设计及其与周围系统的集成方面仍需解决,以巩固这一技术范式。从两个看似遥远但互补的角度讨论了悬而未决的问题:微分析设备,结合了微流体和整体生物传感,以及用于同时进行多模态成像的伽马相机,即闪烁扫描和磁共振成像 (MRI)。集成电路在这两个应用领域都发挥着核心作用。在便携式分析平台中,ASIC 提供小型化并解决噪声/功耗权衡问题。CMOS 芯片与微流体的集成带来了多个悬而未决的技术问题。在多模态成像中,既然已经证明了伽马探测器的采集链(数千个硅光电倍增管通道)与特斯拉级磁场的兼容性,那么就可以设想由微电子技术推动的其他发展方向,特别是对于单光子发射断层扫描(SPECT):例如,更快、更简单的操作,以允许可移动的应用程序(床边)和硬件预处理,从而减少输出信号的数量和图像重建时间。
随着图像生成器的质量不断提高,深层蛋糕成为社会辩论的一个话题。图像水印允许负责任的模型自动检测和标记其AI生成的内容,从而减轻危害。然而,图像水印中的当前最新方法仍然容易受到伪造和去除攻击的影响。这种脆弱性发生在部分原因是水印会扭曲产生的图像的分布,无意中揭示了有关水印技术的信息。在这项工作中,我们首先根据扩散模型的初始噪声展示了一种无误的水印方法。但是,检测水印需要将图像重建的初始噪声与所有先前使用的初始噪声进行比较。为了减轻这些问题,我们提出了一个两阶段的水印框架,以进行有效检测。在生成期间,我们通过生成的傅立叶模式增加了初始噪声,以嵌入有关我们使用的初始噪声组的信息。为了检测,我们(i)检索相关的噪声组,以及(ii)在给定组中搜索可能与我们的图像相匹配的初始噪声。这种水印方法实现了对大量攻击的伪造的最新鲁棒性和去除。
在X射线计算机断层扫描(CT)成像中,重建内核的选择至关重要,因为它显着影响了临床图像的质量。不同的内核会以各种方式影响空间分辨率,图像噪声和对比度。涉及肺成像的临床应用通常需要使用软核和锋利核重建的图像。使用不同内核的图像重建需要原始的曲征数据,并为所有内核存储图像会增加处理时间和存储要求。视野的视野(DFOV)增加了内核合成的复杂性,因为在不同的DFOV上获得的数据表现出不同级别的清晰度和细节。这项工作为基于图像的内核综合使用基于模型的深度学习引入了有效的,DFOV - 敏锐的解决方案。提出的方法将CT内核和DFOV特性集成到正向模型中。对临床数据的实验结果,以及使用电线幻像数据对估计调制函数进行定量分析,清楚地证明了该方法实时的实用性。此外,缺乏正向模型信息的直接学习网络的比较研究表明,所提出的方法对DFOV变化更为强大。
摘要 - 在过去的十年中,编码器二十字架框架的图像字幕显示出巨大的进步,在过去的十年中,CNN主要用作编码器,LSTM用作解码器。尽管在简单图像中的准确性方面取得了令人印象深刻的成就,但它在时间复杂性和空间复杂性效率方面缺乏。除此之外,如果具有许多信息和对象的复杂图像,则该CNN-LSTM对的性能由于缺乏对图像中显示的场景的语义理解而呈指数降级。因此,要考虑这些问题,我们提出了CNN-GRU编码器解码框架,用于字幕到图像重建器,以考虑到语义上下文以及时间复杂性。通过考虑解码器的隐藏状态,将输入图像及其相似的语义表示是重建的,并且在模型训练过程中使用了语义重建器的重建分数与可能的可能性使用,以评估生成的字幕的质量。结果,解码器会收到改进的语义信息,从而增强了字幕生产过程。在模型测试期间,选择最合适的标题也可行。建议的模型优于最先进的LSTM-A5模型,用于图片的图片字幕,以时间复杂性和准确性。
摘要 — 神经科学研究表明,大脑对视觉内容进行编码并将信息嵌入神经活动中。最近,深度学习技术通过使用生成对抗网络 (GAN) 将大脑活动映射到图像刺激,促进了解决视觉重建问题的尝试。然而,这些研究都没有考虑图像空间中潜在代码的语义含义。忽略语义信息可能会限制性能。在本研究中,我们提出了一个新框架,用于从功能性磁共振成像 (fMRI) 数据重建面部图像。在该框架下,首先应用 GAN 逆向来训练图像编码器以提取图像空间中的潜在代码,然后使用线性变换将其桥接到 fMRI 数据。使用属性分类器从 fMRI 数据中识别出属性后,决定操纵属性的方向,然后属性操纵器调整潜在代码以提高所见图像和重建图像之间的一致性。我们的实验结果表明,所提出的框架实现了两个目标:(1)从 fMRI 数据重建清晰的面部图像;(2)保持语义特征的一致性。索引术语 —fMRI、面部图像重建、GAN 反转、属性操纵
从大脑活动中解码图像一直是一个挑战。由于深度学习的发展,有可用的工具来解决这个问题。解码图像旨在将神经脉冲序列映射到低级视觉特征和高级语义信息空间。最近,有一些从脉冲序列解码的研究,然而,这些研究较少关注神经科学的基础,很少有研究将感受野合并到视觉图像重建中。在本文中,我们提出了一种具有生物特性的深度学习神经网络架构,从脉冲序列重建视觉图像。据我们所知,我们首次实现了一种将感受野属性矩阵集成到损失函数中的方法。我们的模型是一个从神经脉冲序列到图像的端到端解码器。我们不仅将 Gabor 滤波器合并到用于生成图像的自动编码器中,还提出了具有感受野特性的损失函数。我们在两个数据集上评估了我们的解码器,这两个数据集包含猕猴初级视觉皮层神经脉冲和蝾螈视网膜神经节细胞 (RGC) 脉冲。我们的结果表明,我们的方法可以有效地结合感受野特征来重建图像,为基于神经信息的视觉重建提供了一种新方法。
在 ChatGPT 等创新的推动下,生成式人工智能已获得广泛认可。在考古学领域,生成式人工智能具有巨大潜力,特别是通过引入源自受损或退化物体的 2D 或 3D 渲染来重建文化文物的外观。在本研究中,我们展示并评估了生成对抗网络 (GAN) 的实际应用,利用深度学习的力量,对古罗马硬币进行 2D 图像重建,旨在帮助改善其可视化效果。罗马硬币被选为我们的焦点,因为它们相对丰富,并且可以通过在线存储库和数据集获得。我们的结果表明,增强受损或退化硬币的能力有所提高,使它们更类似于保存更完好的硬币。在某些情况下,生成的硬币与原件几乎没有区别。这项工作的贡献展示了 GAN 在协助文化遗产专家和考古学家重现受损物体外观方面的潜力,从而有助于改善保存不佳的硬币的可视化效果。但是,我们还讨论了在重建中使用 GAN 的局限性。虽然这项工作是针对古钱币量身定制的,但只要有足够的训练数据,GAN 在其他文物中的应用前景广阔。我们讨论了如何应用 GAN 并改善文物重建的外观,我们还提供了本研究中使用的相关数据。