由于缺乏配对样本且功能性磁共振成像 (fMRI) 信号的信噪比低,重建感知到的自然图像或从 fMRI 数据解码其语义内容是一项艰巨的任务。在这项工作中,我们首次提出了一种与任务无关的基于 fMRI 的大脑解码模型 BrainCLIP,该模型利用 CLIP 的跨模态泛化能力来弥合大脑活动、图像和文本之间的模态差距。我们的实验表明,CLIP 可以作为通用大脑解码任务的关键,包括零样本视觉类别解码、fMRI 图像/文本匹配和 fMRI 到图像生成。具体来说,BrainCLIP 旨在通过结合视觉和文本监督来训练一个映射网络,将 fMRI 模式转换为对齐良好的 CLIP 嵌入空间。我们的实验表明,这种组合可以提高解码模型在某些任务上的性能,例如 fMRI 文本匹配和 fMRI 到图像生成。在零样本视觉类别解码任务中,BrainCLIP 的表现明显优于 BraVL,后者是最近提出的一种专门为该任务设计的多模态方法。BrainCLIP 还可以重建具有高语义保真度的视觉刺激,并在高级语义特征方面为基于 fMRI 的自然图像重建建立了新的领先水平。
上下文。太阳通过发射能量和电磁辐射在太空天气中起着重要作用,这些辐射影响着地球周围的环境。诸如SOHO,立体声和SDO之类的任务在多个波长下捕获了太阳观测,以监视和预测太阳事件。但是,这些任务的数据传输通常受到限制,特别是对于那些在距地球较远的距离的人来说。这限制了连续观察的可用性。目标。我们增加了太阳图像的空间和时间分辨率,以提高太阳能数据的质量和可用性。通过对遥测约束进行构造并提供更详细的太阳图像重建,我们试图促进对太阳能动态的更准确分析并改善太空天气预测。方法。我们特别采用了基于UNET的体系结构的深度学习技术来生成高分辨率的太阳图像,从而增强了太阳结构的复杂细节。此外,我们使用类似的体系结构来重建具有降低时间分辨率的太阳图像序列,以预测缺失的帧和恢复时间连续性。结果。我们的深度学习方法成功增强了太阳图像的分辨率,并揭示了太阳结构的详细信息。该模型还预测了太阳图像序列中缺失的帧,尽管遥测限制了,但尽管有遥测限制,从而可以更连续观察。这些进步有助于更好地分析太阳能动态,并为改善空间天气预报和未来的太阳能物理学研究奠定了基础。
过去十年中,机器学习和人工智能在信号处理、图像和语音识别、机器人、自主系统等领域取得了巨大的成功。这一成功还伴随着机器学习和人工智能在科学和工程等广泛领域的应用不断扩大。微波社区是最早探索机器学习和人工神经网络(ANN)用于无线和有线电子设备、电路和系统设计的社区之一。近年来,人们对机器学习和人工智能不仅在设备/电路级建模和设计,而且在系统和更高级别的应用中的应用兴趣和活动都显著增加。受到激发的研究和应用带来了面向微波的机器学习技术的新方法,例如新型 ANN、基于支持向量机和高斯过程的方法、自动建模、深度学习;此外,机器学习和人工智能还解决了越来越多的微波问题,包括电磁结构建模和设计、多物理建模、微波滤波器/多路复用器设计、GaN HEMT 建模、PA 行为建模、数字预失真设计、振荡器设计、SIW 诊断、MEM 传感器建模、高速 VLSI 封装和微系统设计、无线电力传输、MIMO 发射器设计等等。机器学习在系统级的进一步应用正在创造微波系统的突破性能力,例如用于医疗或安全应用的基于电磁的图像重建,以及用于下一代无线系统的动态频谱分配。
人工智能 (AI) 的最新进展与当今临床系统生成的大量数据相结合,推动了整个医学成像价值链中成像 AI 解决方案的开发,包括图像重建、医学图像分割、基于图像的诊断和治疗计划。尽管 AI 在医学成像领域取得了成功并具有未来潜力,但许多利益相关者仍担心成像 AI 解决方案的潜在风险和伦理影响,这些解决方案被认为复杂、不透明且难以理解、利用和信任关键临床应用。尽管存在这些担忧和风险,但目前还没有具体的指导方针和最佳实践来指导未来医学成像领域的 AI 发展,以提高信任度、安全性和采用率。为了弥补这一差距,本文介绍了从五个大型欧洲健康成像 AI 项目中积累的经验、共识和最佳实践中精心挑选的指导原则。这些指导原则被称为 FUTURE-AI,其基本要素包括 (i) 公平性、(ii) 普遍性、(iii) 可追溯性、(iv) 可用性、(v) 稳健性和 (vi) 可解释性。通过循序渐进的方法,这些指南进一步转化为具体建议框架,用于指定、开发、评估和部署技术上、临床上和伦理上值得信赖的 AI 解决方案到临床实践中。
本综述深入探讨了人工智能 (AI) 在核医学中的作用,重点关注机器学习 (ML) 及其当前应用所代表的观点。在肿瘤学中,人工智能最重要的影响是卷积神经网络在四个主要领域的应用,包括图像重建、图像细化、自动病变检测,以及最终人工智能以先进的定量方式创建分析图像的新方法。它提供独特的功能信息,以提高诊断准确性和未来的全面疾病评估。随着人工智能与核医学数据和临床信息的融合,个性化治疗计划将不断发展。这将彻底改变治疗选择,因为它将基于患者的个性。由于对治疗结果的良好预测模型,医学中的放射组学可能会带来更好的诊断。人工智能将通过在人工智能的帮助下开发的放射性药物在治疗诊断学中发挥重要作用,从而提供优化的患者选择。实时决策支持将人工智能视为核医学程序中永远存在的合作伙伴。道德考虑,包括患者隐私和算法透明度,是负责任地使用人工智能的关键考虑因素。建立全球合作以制定标准和监管框架是让人工智能负责任的必要条件。此外,本综述的范围是探索人工智能在核医学中的多方面影响,一窥技术和医学科学交叉领域的现状和前景。
我们提出了 MindEye,一种新颖的 fMRI 到图像方法,用于从大脑活动中检索和重建所看到的图像。我们的模型包含两个并行子模块,专门用于检索(使用对比学习)和重建(使用扩散先验)。MindEye 可以将 fMRI 大脑活动映射到任何高维多模态潜在空间,如 CLIP 图像空间,从而能够使用接受来自该潜在空间的嵌入的生成模型进行图像重建。我们使用定性的并排比较和定量评估,将我们的方法与其他现有方法进行了全面比较,并表明 MindEye 在重建和检索任务中都达到了最先进的性能。特别是,即使在高度相似的候选图像中,MindEye 也可以检索出精确的原始图像,这表明它的大脑嵌入保留了细粒度的图像特定信息。这使我们能够准确地从 LAION-5B 等大型数据库中检索图像。我们通过消融证明,Mind-Eye 的性能优于以前的方法,这得益于专门用于检索和重建的子模块、改进的训练技术以及具有更多数量级参数的训练模型。此外,我们还表明,通过使用 img2img,MindEye 可以更好地保留重建中的低级图像特征,并使用单独的自动编码器进行输出。所有代码均可在 GitHub 上找到。
摘要:阿尔茨海默氏病(AD)是最普遍的神经退行性疾病,引起了人们的疾病,并对中年和老年人构成了显着的健康风险。大脑磁共振成像(MRI)是AD最广泛使用的诊断方法。但是,收集具有高质量注释的能力大脑成像数据是一项挑战。弱监督学习(WSL)是一种机器学习技术,旨在从有限或低质量的注释中学习有效的功能表示。在本文中,我们提出了一个基于WSL的深度学习(DL)框架(ADGNET),该框架由具有注意机制的骨干网络和同时图像分类和图像重建的任务网络组成,以使用有限的注释来识别和分类AD。ADGNET基于六个评估指标(Kappa,敏感性,特定型,精度,准确性,F1分数)在两个大脑MRI数据集(2D MRI和3D MRI数据)上实现出色的性能,并使用两个数据集中的Babels仅使用20%的标签。ADGNET的F1得分为99.61%,灵敏度为99.69%,表现优于两个最先进的模型(Resnext WSL和SIMCLR)。所提出的方法代表了一种潜在的基于WSL的计算机辅助诊断方法,用于临床实践中的AD。
摘要。计算机断层扫描是第一种需要计算机化解决逆问题的成像方式,以便从传感器硬件获取的数据中生成有用的图像。因此,计算机化解决方案(称为图像重建算法)已成为每台售出的 CT 扫描仪的重要组成部分。我们回顾了商业部署的 CT 重建算法的历史,并考虑了在不同时间点导致创新和围绕某些广泛有用的算法融合的力量。这些力量包括新硬件功能的出现、竞争压力、计算能力的可用性以及监管考虑。我们考虑了四个主要的历史时期和转折点。最初的 EMI 扫描仪是使用迭代重建算法开发的,但创新的爆发加上对旧文献的重新发现导致了整个 20 世纪 70 年代早期替代算法的开发。大多数 CT 供应商很快转向使用滤波反投影 (FBP) 算法,尽管该算法在投影数据和图像域中都分层了各种专有校正以提高图像质量。螺旋扫描和多行探测器等创新都得益于 FBP 在 20 世纪 90 年代和 21 世纪的其他应用的发展。最后,在过去的二十年里,迭代重建又重新兴起,人工智能方法也开始引入,这些方法受益于计算能力的提高,可以减少辐射剂量并提高图像质量。© 2021 光学仪器工程师协会 (SPIE) [DOI:10.1117/1.JMI.8.5.052111]
解码人脑一直是神经科学家和人工智能研究人员的标志。重新构建来自脑电脑脑电图(EEG)信号的视觉图像,由于其在脑部计算机接口中的应用,引起了人们的极大兴趣。本研究提出了一种两阶段的方法,其中第一步是获得脑电图衍生的特征,以稳健地学习深度代表,然后将学习的表示形式用于图像产生和分类。我们使用具有监督和对比度学习方法的深度学习体系结构在三个不同的数据集中进行了特征提取管道的普遍性。我们已经执行了零摄影的脑电图分类任务,以进一步支持概括性索赔。我们观察到,与脑电图和图像之间的联合代表学习相比,在单峰设置中仅使用脑电图数据来学习一个单独使用脑电图数据的近距离线性分离的视觉表示。最后,我们提出了一个新颖的框架,将看不见的图像转换为脑电图空间,并以近似值重建它们,从而展示了来自EEG信号的图像重建潜力。我们提出的来自EEG的图像合成方法显示了62。9%和36。EEGCVPR40和ThoughtViz数据集的成立得分提高了13%,这比GAN 1中的最先进的表现效果。EEGCVPR40和ThoughtViz数据集的成立得分提高了13%,这比GAN 1中的最先进的表现效果。
背景:乳牙过早脱落是儿童牙科的常见问题,导致牙弓完整性被破坏。因此,用于维持空间的间隙保持器 (SM) 是必需的。然而,目前制作可拆卸间隙保持器 (RSM) 的方法存在一些局限性。方法:利用扫描技术结合激光医学图像重建获得牙列缺损的数字模型。使用 3Shape 软件设计数字 RSM。它们使用两种方法制造:聚醚醚酮 (PEEK) 和传统方法(每组 20 个 RSM)。对于定性评估,10 位专家使用 Likert 五点量表对 40 个 RSM 进行评分。用硅胶替换 RSM 组织表面和模型之间的间隙,并测量最大和平均距离以及标准差。使用三维变异分析来测量这些空间。使用学生 t 检验和 Satterthwaite t 检验来比较不同材料的空间差异。结果:PEEK RSMs与模型拟合度较好,定性评估中,PEEK组和常规组的专家平均评分分别为1.80±0.40和1.82±0.40,两组间差异无统计学意义(p=0.875);定量评估中,PEEK数字RSMs和常规RSMs的平均间距分别为44.32±1.75μm和137.36±18.63μm,两组间差异有统计学意义(p<0.001),且两组间的最大间距和标准差均有显著差异。
