内存计算(CIM)是解决“记忆墙”和效果瓶颈的有效技术方法。许多新出现的非挥发性记忆(NVM),例如电阻随机访问记忆(RRAM)[1-3],相位变化记忆(PCM)[4,5],铁电RAM(FERAM)[6,7]和灰烬记忆[8-13],并且在许多人工网络中都表现出了良好的能力。重新说,高精度的CIM体系结构吸引了更多的关注,因为它可以提供一种基本的方法来满足不同科学计算的严格要求[2,14]。泊松图像编辑[15]是一种无缝图像编辑算法,在保留源图像的梯度信息的同时,已广泛用于融合背景图像和目标图像。要使用CIM体系结构实施高精度泊松图像编辑,有必要确保单元格和阵列具有良好的稳定性和稳健的可靠性。与其他NVM相比,在超高/效率上,良好的可靠性和对细胞变化的强可控制性方面,闪光内存具有显着的好处,因此在高精度计算中具有很大的优势。重要的是,灰烬内存与外围电路具有很大的兼容性,并且能够设计大型CIM阵列以进行大规模处理。到目前为止,已经根据NORPH ASH记忆报告了神经网络的CIM体系结构的大量作品。在2017年,Guo等人首先证明了基于嵌入的和灰分记忆技术的混合信号神经形态分类器。[8]。用于更多能量的卷积操作,
摘要 - 这项工作介绍了多模式扩散变压器(MDT),这是一种新颖的扩散策略框架,它擅长从多模式目标规范中学习多功能行为,而语言注释很少。MDT利用基于扩散的多模式变压器主链和两个自我监督的辅助目标来掌握基于多模式目标的长马操纵任务。绝大多数模仿学习方法仅从个人目标方式中学习,例如语言或目标图像。但是,现有的大规模模仿学习数据集仅以语言注释为部分标记,这禁止当前的方法从这些数据集中学习语言条件行为。MDT通过引入潜在的目标状态表示来解决这一挑战,该状态表示同时接受多模式目标指令进行培训。此状态表示将基于图像和语言的目标嵌入对齐,并编码足够的信息以预测未来状态。该表示是通过两个自制的辅助目标来训练的,从而增强了提出的变压器主链的性能。MDT在具有挑战性的Calvin和Libero基准提供的164项任务上显示出出色的表现,其中包括包含不到2%语言注释的Libero版本。此外,MDT还建立了关于加尔文操纵挑战的新记录,证明了对先前最新的最新方法的绝对性能提高了15%,该方法需要大规模预处理并包含10倍更多可学习的参数。MDT显示了其在模拟和现实世界环境中稀疏注释的数据中求解长马的能力。演示和代码可在https://intuitive-robots.github.io/mdt policy/。
摘要在这项研究中,我们从安装在车辆上的3D激光雷达和外部交通监视摄像头的图像中融合数据,以创建经常洪水泛滥的道路部分的3D表示。这项研究中的LIDAR的点云数据是从ODU校园附近Norfolk的W 49街的一条路段收集的。交通监视摄像头安装在同一地区的公共停车大楼上。LIDAR在车辆穿越该部分时会收集连续的点云框架。使用ICP注册方法将与外部摄像头监控的多个与各个道路相关的LIDAR框架首先合并为单位点云,代表路段的局部高分辨率数字高程模型(DEM)。然后,将结果的DEM投射到监视摄像头捕获的被淹没的道路的图像上。到此目的,采用了摄像机校准技术来估计转换参数。相机校准方法依赖于一个包含点及其相应像素的数据集中的目标图像。生成了点的虚拟网格和相应的像素以运行相机校准函数。提到的数据集是借助激光雷达的内部相机上的投射点云而生成的,从而使我们能够识别对象和Curbsides。还采用了观点几何原则来创建DEM。投影结果显示了用于摄像机校准的技术技术的成功性能。深度估计是在外部相机记录的洪水图像上使用投影的DEM模型进行的。
背景:动态对比增强(DCE)MRI被广泛用于评估癌症的血管灌注和渗透性。在小动物应用中,DCE MRI图像的药代动力学(PK)参数的常规建模是复杂且耗时的。这项研究旨在开发一种深度学习方法,以完全自动化动力学参数图的产生,KTRAN(体积传输系数)和VP(血浆体积比),作为基于DCE MRI的小鼠脑肿瘤模型中常规PK建模的潜在替代PK模型。方法:使用7T MRI,在U87神经胶质瘤异种移植物中进行了DCE MRI,裸鼠在原位生长。使用经典的Tofts模型以及扩展Tofts模型生成了血管通透性KTRAN和VP图。然后将这些血管通透性图作为目标图像处理到二十四层卷积神经网络(CNN)。CNN在T 1加权DCE图像上作为源图像进行了训练,并使用平行的双途径设计以捕获多尺度特征。此外,我们对乳腺癌脑转移(BCBM)小鼠模型进行了该神经胶质瘤训练的CNN的转移研究,以评估替代性脑肿瘤网络的潜力。结果:我们的数据显示了目标PK参数图和胶质瘤的相应CNN映射之间生成的KTRAN和VP映射的良好匹配。像素像素分析揭示了肿瘤内异质性渗透性,这在CNN和PK模型之间是一致的。在BCBM的转移研究中进一步证明了深度学习方法的效用。结论:由于它直接从DCE动态图像直接从无需复杂的数学建模的DCE动态图像中快速准确地估计了血管PK参数,因此深度学习方法可以作为评估肿瘤血管通透性的有效工具,以促进小动物脑肿瘤研究。
摘要目的:多发性磁共振(MR)图像的存在增加了可用于诊断和治疗脑癌患者的临床信息水平。但是,获取完整的多元图像MR图像的完整集并不总是可行的。在这项研究中,我们开发了一种最先进的深度学习卷积神经网络(CNN),用于跨三个标准的MRI对比度,用于大脑的三个标准MRI对比度。方法:在本研究中使用了477例临床诊断患有神经胶质瘤脑癌的477例患者的BRATS'2018 MRI数据集,每位患者患有T1加权(T1),T2加权(T2)和FLAIR对比度。分别将其分别分为64%,16%和20%,分别为培训,验证和测试集。我们开发了一个U-NET模型,以学习与三个MRI对比度的目标图像对比的源图像的非线性映射。使用于点误差(MSE)成本函数,0.001学习率的ADAM优化器和120个时期,批次大小为32。通过计算MSE,平均绝对误差(MAE),峰值信噪比(PSNR)和结构相似性指数(SSIM)来评估生成的合成MR图像。结果:与我们的模型一起生成的合成-MR图像几乎与测试数据集上的真实图像有关所有翻译的区别,除了合成的素质图像的质量略低,并且显示出细节的丢失。我们的结果与Brats数据集上其他深度学习模型的最佳报告结果一样好。六个翻译中平均PSNR,MSE,MAE和SSIM值的范围分别为29.44–33.25 dB,0.0005–0.0012,0.0086–0.0149和0.932–0.946。结论:我们的U-NET模型表明,它可以在跨大脑MRI对比度上准确地执行图像图像翻译。由于多重激发MRIS的可用性,这种方法可能在改善临床决策和更好地诊断脑癌患者的临床使用方面具有很大的希望。这种方法可能在临床上相关,并设定明显的步骤以有效地填充没有其他MR序列的缺乏空隙。
图谱标准化是功能数据分析中常用的方法,只要使用适合年龄和人群的目标图谱,它就可以自动解决区域和全脑形态测量分析中普遍遇到的头部大小变化校正问题。在本文中,我们开发并验证了一种图谱标准化程序,以手动测量颅内总容量 (TIV) 作为参考,用于校正头部大小。用于图谱转换的目标图像由合并的年轻人和老年人模板组成,专门为跨年龄跨度标准化而创建。自动图谱转换生成了图谱缩放因子 (ASF),该因子定义为将每个个体与图谱目标匹配所需的体积缩放因子。因为图谱标准化等同于头部大小,所以 ASF 应该与 TIV 成比例。对 147 名受试者进行了验证分析,以评估 ASF 作为手动 TIV 测量的代理。此外,对 19 名受试者在多天内进行成像以评估重测信度。结果表明,ASF(1)与手动 TIV 标准化相当(r = 0.93),(2)在多次成像过程中可靠(r = 1.00;平均绝对差异百分比 = 0.51%),(3)能够纠正不同性别的头部大小差异,以及(4)在萎缩明显的痴呆老年人中偏差最小。无论是使用手动 TIV 还是自动 ASF 进行校正,非痴呆(n = 49)和痴呆(n = 50)老年人之间的海马体积差异(手动测量)都是相同的(效果大小分别为 1.29 和 1.46)。为了提供规范值,ASF 用于在 335 名年龄在 15–96 岁之间的受试者中自动得出估计 TIV(eTIV),其中包括具有临床特征的非痴呆(n = 77)和痴呆(n = 90)老年人。非痴呆组和痴呆组之间的 eTIV 差异可以忽略不计,因此无法支持以下假设: