我们引入了 Mind Artist (MindArt),一种新颖而高效的神经解码架构,可以以可控的方式从我们的脑海中捕捉艺术照片。最近,使用非侵入性脑记录进行图像重建取得了进展,但由于数据注释的稀缺,仍然很难生成具有高语义保真度的真实图像。与以前的方法不同,这项工作将神经解码转化为最佳传输 (OT) 和表示解耦问题。具体而言,在离散 OT 理论下,我们设计了一个图匹配引导的神经表示学习框架来寻找概念语义和神经信号之间的潜在对应关系,从而产生了一个自然而有意义的自我监督任务。此外,所提出的 MindArt 具有多个独立模态分支结构,能够将语义表示无缝地合并到任何视觉风格信息中,从而使其具有多模态重建和无训练语义编辑功能。
主题包括但不限于:• 整合结构、分子和功能信息的多模态成像• 多模态显微成像• 2D、3D、4D 断层扫描和/或多光谱成像(从 UV-VIS 到 SWIR)• 应用于光学成像的成像分析和/或图像处理技术(例如可视化、分割、配准)• 基于机器学习和深度学习的图像形成和数据分析• 用于图像重建/融合的人工智能和机器学习• 多模态成像仪器和系统设计• 可为临床和临床前成像提供更好的定量和/或诊断洞察的检测和诊断分析技术(例如定量测量方法、计算机辅助诊断)• 用于将光学成像与其他成像模式(例如 MR、X 射线、PET)相结合的成像分析和/或图像处理技术• 可能有助于将光学成像引入临床的图像分析、计算方法和重建方法(复杂数据集的视觉渲染、辅助光学重建的新算法)• 这些新技术的临床评估(图像数据的生理和功能解释、视觉感知和观察者表现,体内光学特征定量评估的验证
在每次迭代时,将重建对象 ^ o的绝对值与样本布局中的参考对象o进行比较。误差归一化为像素的总数。所有NAS的对象误差如图2所示。3。在探针更新启动后,在第100次迭代开始时,对于所有照明NAS,错误正在迅速衰减至稳定的水平。在该水平周围的波动,最适合下NA曲线可见,是差图算法所固有的,该算法通常达到接近最佳解决方案的稳态。7要找到最佳的图像重建,可以平均使用最后几个迭代的解决方案,或使用另一种算法(例如,从PIE-FAMILY 9)进行更多迭代,该算法更有可能收敛到全球迷你妈妈。我们观察到两个最小的NAS的较大对象误差,以及最大的三个照明NAS的较小对象误差。最大的NA(naillum = 0:050)观察到最低误差。从图。3,我们观察到较低的物体误差的趋势,因此具有较大的照明Na的样品重建更准确。
项目描述:这项工作将把尖端物理和工程研究与有影响力的临床应用相结合。在熟悉项目的技术和临床方面时,您将开始探索3D MRI序列和图像重建算法的开发和优化,该算法量身定制,以量化血流。最初的发展和模拟将在幻影和健康的成人志愿者中进行优化,然后在患者队列中进行扫描。您将有机会通过与洛桑大学医院(CHUV)的心脏病学和放射学的临床医生的一项已建立的合作来翻译您的工作。您将在介入的MRI环境中的高级3D流MRI序列的暗示中进行合作,这将允许对先天性心脏病患者的非侵入性血液动力学评估。介入的MRI套件是洛桑大学医院可用的独特结构,提供令人兴奋的研究可能性。您还将有机会传播您的工作并与我们广泛的国际研究机构网络合作。
图1:来自Operando XCT的实验设计和选定图像。(a)操作XCT细胞设计,成像和图像重建过程的示意图。(b)在0.5 mA CM -2电流密度,10 MPa堆栈压力和25°C下,在Operando XCT实验中循环的硅半细胞的电静态电压谱图。XCT图像是在第一次锂化之前和之后收集的,然后在划界和重新构度期间每15分钟收集一次。(c)从XCT数据中重建单元堆的3D渲染,突出显示了不同的2D切片。(d)垂直横截面图像显示了(i)原始的硅/LPSC界面,(ii)锂化,(iii)界定,(iii)截然不见,(iv)重新列为较高的状态,false-Color叠加层,突出显示了(I)中的硅和LPSC。(E-G)平面图像来自(e)锂化,(f)删除和(g)重新列为的硅电极中点的平面图像。
从 3D 显微镜图像重建数字神经元是研究大脑连接组学和神经元形态的重要技术。现有的重建框架使用基于卷积的分割网络在应用追踪算法之前将神经元从噪声背景中分割出来。追踪结果对原始图像质量和分割精度很敏感。在本文中,我们提出了一种新的 3D 神经元重建框架。我们的关键思想是利用点云的几何表示能力来更好地探索神经元的内在结构信息。我们提出的框架采用一个图卷积网络来预测神经骨架点,采用另一个图卷积网络来产生这些点的连通性。我们最终通过解释预测的点坐标、半径和连接来生成目标 SWC 文件。在 BigNeuron 项目的 Janelia-Fly 数据集上进行评估,我们表明我们的框架实现了具有竞争力的神经元重建性能。我们对点云的几何和拓扑学习可以进一步有益于 3D 医学图像分析,例如心脏表面重建。我们的代码可在 https://github.com/RunkaiZhao/PointNeuron 上找到。
视觉语言模型(例如剪辑)对零拍或无标签预测的各种下流任务显示出很大的影响。但是,当涉及到低级视觉时,例如图像恢复其性能会由于输入损坏而急剧下降。在本文中,我们提出了一种退化感知的视觉模型(DA-CLIP),以更好地将预验证的视觉模型转移到低级视觉任务中,作为用于图像恢复的多任务框架。更具体地说,DA-CLIP训练一个额外的控制器,该控制器适应固定的剪辑图像编码器以预测高质量的特征嵌入。通过通过交叉注意将床上用品集成到图像恢复网络中,我们能够试行该模型以学习高保真图像重建。控制器本身还将输出与输入的真实损坏相匹配的降级功能,从而为不同的降解类型产生天然分类器。此外,我们将混合降解数据集与合成字幕结构为DA-CLIP训练。我们的方法在特定于降解和统一的图像恢复任务上提高了最先进的性能,显示出具有大规模预处理视觉模型促使图像恢复的有希望的方向。我们的代码可在https://github.com/algolzw/daclip-uir上找到。
人工智能(AI)已在磁性共振成像(DMRI)和其他神经影像模式的领域取得了显着进步。这些技术已应用于各个领域,例如图像重建,降解,检测和去除工件,分割,组织微观结构建模,大脑连接性分析和诊断支持。最新的AI算法有可能利用DMRI中的优化技术来通过生物物理模型提高灵敏度和推断。虽然在大脑微观结构中使用AI有可能彻底改变我们研究大脑和了解脑部疾病的方式,但我们需要意识到可以进一步推进这一领域的陷阱和新兴的最佳实践。此外,由于DMRI扫描依赖于Q空间几何形状的采样,因此它为数据工程的创造力留出了空间,以最大程度地提高先前的推断。的固有几何形状的利用已被证明可以提高一般推断质量,并且可能在识别病理差异方面更可靠。我们使用这些统一特征来承认并分类了基于AI的DMRI方法。本文还强调并审查了通过数据驱动技术涉及组织微观结构估算的一般实践和陷阱,并提供了在其上构建的方向。
我们解决了在应用程序中捕获的图像(相机)捕获到云的应用程序中的隐私问题,以推断出诸如分类之类的实用程序任务。将原始图像发送到云中,使它们暴露于数据嗅探,并被不受信任的第三方服务提供商滥用,超出了用户的预期任务。我们提出了一个编码方案,该方案不仅可以直接远程视觉检查到图像或图像重建,还可以防止确定敏感信息。与常用的对抗性学习方法不同,所提出的方法是两个方面:首先,它使用衍射光学神经网络将与光学域中传感器平面上不同任务相对应的空间分开。然后只读取与实用程序任务区域相对应的像素。此编码可确保绝不会将私人功能存储在边缘设备上,从而防止隐私泄漏。所提出的方法成功地减少了二进制任务中的隐私检索,其准确性损失最小(约2%),同时将私人任务准确性降低了约35%,并防止SSIM得分为0的重建攻击。43。
1. Li, D. 等人。扩展分辨率结构化照明成像的内吞和细胞骨架动力学。91 Science 349 , 944–944 (2015)。92 2. Gustafsson, MGL 使用结构化照明显微镜将横向分辨率极限提高两倍。Journal of Microscopy 198 , 82-87 (2000)。94 3. Gustafsson, MGL 等人。通过结构化照明在宽视场荧光显微镜中实现三维分辨率加倍。Biophysical Journal 94 , 4957-4970 (2008)。96 4. Cragg, GE 和 So, PTC 使用驻波增强横向分辨率。Opt. Lett. 97 25 , 46-48 (2000)。 98 5. Kner, P. 等人。通过结构化照明对活细胞进行超分辨率视频显微镜检查。自然方法 6 , 99 339–342 (2009)。00 6. Hirvonen, LM 等人。活细胞的结构化照明显微镜检查。欧洲生物物理杂志 38 , 807–812 01 (2009)。02 7. Guo, Y. 等人。在毫秒时间尺度上以纳米级分辨率可视化细胞内细胞器和细胞骨架相互作用。Cell 175 , 1430-1442 (2018)。04 8. Huang, X. 等人。使用 Hessian 结构化照明显微镜实现快速、长期、超分辨率成像。自然生物技术 36 , 451–459 (2018)。 06 9. Chu, K. 等人。低信号水平结构照明显微镜的图像重建。Opt. 07 Express 22 , 8687-8702 (2014)。08 10. Wen, G. 等人。通过点扩展函数工程实现高保真结构照明显微镜。09 Light Sci Appl 10 , 70 (2021)。10 11. Jin, L. 等人。深度学习使结构照明显微镜具有低光照水平和更快的速度。Nat Commun 11 , 1934 (2020)。12 12. Qiao, C. 等人。用于光学显微镜图像超分辨率的深度神经网络的评估和开发。Nat Methods 18 , 194–202 (2021)。 14 13. Kobler, E. 等人。线性逆问题的总深度变分。CVPR,7546-7555(2020 年)。15 14. S. Bhadra。等人。断层扫描图像重建中的幻觉。IEEE 医学成像学报 40,3249-3260(2021 年)。17 15. Jakobs, S. 和 Wurm, CA 线粒体的超分辨率显微镜。化学生物学最新观点 20,9-15(2014 年)。19