我们介绍C ONTITION- WARE神经N ETWORK(CAN),这是一种将控制添加到图像生成模式中的新方法。与先前的条件控制方法并行,可以通过动态降低神经网络的重量来控制图像生成过程。这是通过引入条件感知的重量产生模式来实现的,该模块会根据输入条件为卷积/线性层生成条件重量。我们测试可以在Coco上的ImageNet和文本对图像生成上生成类别图像的生成。可以始终如一地为包括DIT和UVIT在内的扩散变压器模型提供显着改进。特别是,Ca n与有效的T(CAT)结合在Imagenet 512×512上达到2.78 FID,超过DIT-XL/2,同时每个采样步骤需要少52×MAC。
并非所有神经网络架构都是一样的,有些架构在某些任务上的表现比其他架构好得多。但是,与神经网络架构相比,权重参数有多重要?在这项工作中,我们想知道,在没有学习任何权重参数的情况下,神经网络架构本身能在多大程度上为给定任务编码解决方案。我们提出了一种搜索方法,用于搜索无需任何明确权重训练就能执行任务的神经网络架构。为了评估这些网络,我们用从均匀随机分布中采样的单个共享权重参数填充连接,并测量预期性能。我们证明,我们的方法可以找到无需权重训练就能执行多项强化学习任务的最小神经网络架构。在监督学习领域,我们发现使用随机权重在 MNIST 上实现远高于偶然准确率的网络架构。本文的交互式版本位于 https://weightagnostic.github.io/
时空时间序列通常是通过放置在不同位置的监视传感器来收集的,这些传感器通常由于各种故障而包含缺失值,例如机械损坏和内部中断。归纳缺失值对于分析时间序列至关重要。恢复特定的数据点时,大多数现有方法都考虑了与该点相关的所有信息,较小的因果关系。在数据收集期间,不可避免地包括一些未知的混杂因素,例如,时间序列中的背景噪声和构造的传感器网络中的非杂货快捷方式边缘。这些混杂因素可以打开后门路径并在输入和输出之间建立非泡沫相关性。过度探索这些非毒性相关性可能会导致过度拟合。在本文中,我们首先从因果的角度重新审视时空时间序列,并展示如何通过前门调整来阻止混杂因素。基于前门调整的结果,我们引入了一种新颖的C技术性-Ware Sp aTiot e Mpo r al图神经网络(CASPER),其中包含一种新型的基于及时的解码器(PBD)和空间 - 可导致的因果发生(SCA)。PBD可以减少混杂因素的影响,而SCA可以发现嵌入之间的因果关系稀疏。理论分析表明,SCA根据梯度值发现因果关系。我们在三个现实世界数据集上评估Casper,实验结果表明,Casper可以胜过基准,并可以有效地发现因果关系。
如何开发精简而准确的深度神经网络对于实际应用至关重要,尤其是对于嵌入式系统中的应用。尽管之前沿着该研究方向的工作已经显示出一些有希望的结果,但是大多数现有方法要么无法显著压缩训练有素的深度网络,要么需要对修剪后的深度网络进行大量再训练才能重新提高其预测性能。在本文中,我们提出了一种新的深度神经网络分层修剪方法。在我们提出的方法中,每个单独层的参数都基于相应参数的分层误差函数的二阶导数独立地进行修剪。我们证明,修剪后最终的预测性能下降受每层造成的重构误差的线性组合限制。通过适当控制分层误差,只需对修剪后的网络进行轻度再训练即可恢复其原始的预测性能。我们在基准数据集上进行了大量实验,以证明我们的修剪方法与几种最先进的基线方法相比的有效性。我们的工作代码发布在:https://github.com/csyhhu/L-OBS 。
在这项工作中,我们提出了一种用于人形 iCub 机器人头部姿势估计和场景表示的神经形态架构。脉冲神经网络在英特尔的神经形态研究芯片 Loihi 中完全实现,并精确整合发出的运动命令,以在神经路径整合过程中估计 iCub 的头部姿势。iCub 的神经形态视觉系统用于校正姿势估计中的漂移。机器人前方物体的位置使用片上突触可塑性来记忆。我们使用机器人头部的 2 个自由度 (DoF) 进行实时机器人实验,并展示精确的路径整合、视觉重置和片上物体位置学习。我们讨论了将机器人系统和神经形态硬件与当前技术集成的要求。
摘要:至关重要的是要问,代理如何仅使用通过习惯性感觉运动经验获得的部分世界模型来生成行动计划,从而实现目标。尽管许多现有的机器人研究都使用了前向模型框架,但存在高自由度的泛化问题。当前的研究表明,采用生成模型的预测编码 (PC) 和主动推理 (AIF) 框架可以通过学习低维潜在状态空间中的先验分布来开发更好的泛化,该先验分布表示从习惯性感觉运动轨迹中提取的概率结构。在我们提出的模型中,学习是通过推断最佳潜在变量以及突触权重来最大化证据下限来进行的,而目标导向规划是通过推断潜在变量来最大化估计下限来完成的。我们提出的模型在模拟中使用简单和复杂的机器人任务进行了评估,通过为正则化系数设置中间值,证明了在有限的训练数据下学习中具有足够的泛化能力。此外,比较模拟结果表明,由于先验学习将运动计划的搜索限制在习惯轨迹范围内,因此所提出的模型在目标导向规划中优于传统的前向模型。
微分同胚可变形图像配准在许多医学图像研究中至关重要,因为它提供了独特的属性,包括拓扑保存和变换的可逆性。最近基于深度学习的可变形图像配准方法利用卷积神经网络(CNN)从合成基本事实或相似性度量中学习空间变换,从而实现快速图像配准。然而,这些方法往往忽略了变换的拓扑保存和变换的平滑性,而平滑性仅由全局平滑能量函数来强制执行。此外,基于深度学习的方法通常直接估计位移场,这不能保证逆变换的存在。在本文中,我们提出了一种新颖的、有效的无监督对称图像配准方法,该方法最大化微分同胚图空间内图像之间的相似性,并同时估计正向和逆变换。我们使用大规模脑图像数据集在 3D 图像配准上评估了我们的方法。我们的方法实现了最先进的配准精度和运行时间,同时保持了理想的微分同胚特性。
国际医学与生物系统物理学学院6-8 2020年11月8日结论:Alexnet和Googlenet体系结构的比较,以对树类型进行分类
卷积神经网络(CNN)在培训数据集代表预期在测试时遇到的变化时,可以很好地解决监督学习问题。在医学图像细分中,当培训和测试图像之间的获取细节(例如扫描仪模型或协议)之间存在不匹配和测试图像之间的不匹配时,就会违反此前提。在这种情况下,CNNS的显着性能降解在文献中有很好的记录。为了解决此问题,我们将分割CNN设计为两个子网络的串联:一个相对较浅的图像差异CNN,然后是将归一化图像分离的深CNN。我们使用培训数据集训练这两个子网络,这些数据集由特定扫描仪和协议设置的带注释的图像组成。现在,在测试时,我们适应了每个测试图像的图像归一化子网络,并在预测的分割标签上具有隐式先验。我们采用了经过独立训练的Denoising自动编码器(DAE),以对合理的解剖分段标签进行模型。我们验证了三个解剖学的多中心磁共振成像数据集的拟议思想:大脑,心脏和前列腺。拟议的测试时间适应不断提供绩效的改进,证明了方法的前景和普遍性。对深CNN的体系结构不可知,第二个子网络可以使用任何分割网络使用,以提高成像扫描仪和协议的变化的鲁棒性。我们的代码可在以下网址提供:https://github.com/neerakara/test- time- aptaptable-neural-near-netural-netural-networks- for- domain-概括。
ex Cathedra讲座和微型注射器。ex catherdra:主要思想带有黑板上呈现的幻灯片和计算。每周都会为一次课堂运动中断前大教堂的讲座。讲座的第二部分需要此练习的结果。其他练习是作为家庭作业进行的,或者可以在第二个锻炼时间进行混乱。讲座也被几个简短的测验打断。miniProject:小型设备是在两个组成的团队中完成的,并从两个或三个小型设备的列表中选择。
