我们引入了一个新框架,用于从脑记录中超现实地重建感知到的自然刺激。为此,我们在神经解码流程的最早阶段采用了生成对抗网络 (GAN),通过获取功能性磁共振成像数据作为受试者感知的由 GAN 的生成器网络创建的面部图像。随后,我们使用线性解码方法从脑数据中预测 GAN 的潜在状态。因此,获得了刺激 (重新) 生成所需的潜在表示,从而实现了突破性的图像重建。总之,我们开发了一种非常有前途的方法来解码现实世界数据的神经表征,这可能为系统地分析功能性大脑中的神经信息处理铺平道路。
FM1B.2 • 08:30 (Invited) Unlocking Tissue Secrets: Live Histology Without Labels Through Microstructured Imaging Windows, Mario Marini 1 , Margaux Bouzin 1 , Laura Sironi 1 , Luca Presotto 1 , Jennifer Riccio 1 , Davide Panzeri 1 , Donato Inverso 2 , Maddalena Collini 1 , Laura D'alfonso 1 , Giuseppe Chirico 1; 1个degli di di di Milano-bicocca,意大利; 2免疫学,移植和传染病的划分,意大利的Vita Sanrute San Raffaele大学。EX-VIVO组织剖面组织学是病理学家的主要方法,但它既耗时,主观又具有侵入性。在这里,我们探讨了非线性激发,结构化照明和物理启发的图像重建等技术如何为体内组织组织学铺平了道路。
基于学习的图像编码解决方案已经证明,它们可以实现比现有传统解决方案更好的压缩效率,即通过利用先进的机器学习工具,例如深度神经网络 [1]。具体而言,与 JPEG、JPEG 2000 和 HEVC Intra 相比,事实证明,对于某些目标比特率,基于学习的编码解决方案可以提供更好的感知质量,无论是在适当的感知客观质量指标还是主观评估分数方面 [2]。除了高压缩效率之外,基于学习的图像编码解决方案还可以毫不费力地适应图像处理和计算机视觉任务,而无需完全解码,即无需执行图像重建。这与经典图像编解码器形成对比,后者在图像处理和计算机视觉管道中使用时,需要对压缩比特流执行完全解码以获得基于像素的表示。
摘要 —人工智能 (AI) 具有改变放射治疗临床工作流程的巨大潜力。自从深度神经网络 (DNN) 引入以来,已经提出了许多基于 AI 的方法来应对放射治疗不同方面的挑战。商业供应商已经开始发布基于 AI 的工具,这些工具可以轻松集成到已建立的临床工作流程中。为了展示 AI 辅助放射治疗的最新进展,我们回顾了放射治疗五个主要方面的基于 AI 的研究,包括图像重建、图像配准、图像分割、图像合成和自动治疗计划。在每一节中,我们都总结和分类了最近发表的方法,然后讨论了挑战、关注点和未来发展。鉴于 AI 辅助放射治疗的快速发展,未来通过放射治疗各个方面的智能自动化可以显着提高放射治疗的效率和有效性。
引言:对受影响的特定解剖结构进行三维(3-D)重建可以帮助临床医生更好地可视化和利用来自三维成像方式(包括计算机断层扫描(CT)或磁共振成像(MRI)[1])的体积事实。从临床图像中获取大脑解剖结构已被证实对术前计划和计算机辅助手术非常有用。从 CT 或 MRI 图像重建 3-D 模型的传统方法主要涉及图像处理和可视化技术,并且图像中已经存在三维数据。使用关于大脑形状和形状模型的一些预先记录从大脑图像进行三维建模已经成为一个研究感兴趣的话题[2]。根据用于重建的信息,可以从图像进行 3D 重建的方法可分为以下几种。
本综述旨在讨论人工智能 (AI),特别是深度学习 (DL) 算法在单光子发射计算机断层扫描 (SPECT) 和正电子发射断层扫描 (PET) 成像中的最重要应用。为此,简要讨论了这些成像方式的潜在局限性/挑战,然后描述了为应对这些挑战而提出的基于 AI 的解决方案。本综述将重点关注主流通用领域,包括仪器仪表、图像采集/形成、图像重建和低剂量/快速扫描、定量成像、图像解释(计算机辅助检测/诊断/预后)以及内部辐射剂量测定。还提供了深度学习算法和用于这些应用的基本架构的简要描述。最后,讨论了全面验证和采用基于 AI 的解决方案以提高临床中 PET 和 SPECT 图像的质量和定量准确性所面临的挑战、机遇和障碍。
扩散模型由于其众多优点已成为一种流行的图像生成和重建方法。然而,大多数基于扩散的逆问题解决方法仅处理二维图像,即使是最近发表的三维方法也没有充分利用三维分布先验。为了解决这个问题,我们提出了一种新方法,使用两个垂直的预训练二维扩散模型来解决三维逆问题。通过将三维数据分布建模为不同方向切片的二维分布的乘积,我们的方法有效地解决了维数灾难。我们的实验结果表明,我们的方法对于三维医学图像重建任务非常有效,包括 MRI Z 轴超分辨率、压缩感知 MRI 和稀疏视图 CT。我们的方法可以生成适合医疗应用的高质量体素体积。代码可在 https://github.com/hyn2028/tpdm 获得
基于能量的模型 (EBM) 因其在似然建模中的通用性和简单性而具有吸引力,但传统上很难训练。我们介绍了在连续神经网络上扩展基于 MCMC 的 EBM 训练的技术,并展示了它在 ImageNet32x32、ImageNet128x128、CIFAR-10 和机器人手轨迹的高维数据域上的成功,获得了比其他似然模型更好的样本,接近当代 GAN 方法的性能,同时覆盖了数据的所有模式。我们重点介绍了隐式生成的一些独特功能,例如组合性和损坏图像重建和修复。最后,我们表明 EBM 是适用于各种任务的有用模型,实现了最先进的分布外分类、对抗鲁棒分类、最先进的持续在线类学习和连贯的长期预测轨迹推出。
脑机接口为增强人类能力提供了一系列新的可能性和途径。在此,我们提出脑机接口是实现计算形式(即计算成像)的一种途径,将大脑与外部硅处理相结合。我们展示了使用人类视觉系统与自适应计算成像方案相结合对隐藏场景进行重影成像。这是通过投影图案“雕刻”技术实现的,该技术依靠大脑的实时反馈来修改光投影仪上的图案,从而实现更高效、更高分辨率的成像。这种脑机连接展示了一种增强人类计算的形式,未来可以扩展人类视觉的感知范围,并为研究人类感知的神经物理学提供新方法。作为一个例子,我们说明了一个简单的实验,其中图像重建质量受到同时有意识地处理和读取感知到的光强度的影响。