XiaoMi-AI文件搜索系统
World File Search SystemCIFAR10
使用拓扑数据分析预测神经网络中的概括差异
了解神经网络在看不见的数据上如何概括对于设计更多的易萧条和可靠的模型至关重要。在本文中，我们使用拓扑数据分析的方法研究了神经网络的概括差距。为此，我们计算训练阶段后神经元激活相关性构建的加权图的同源持久图，旨在捕获与网络的通用能力相关的模式。我们比较了持久图的不同数值摘要的有用性，并表明其中一些可以准确预测并部分解释生成间隙而无需测试集。对两项计算机视觉识别任务（CIFAR10和SVHN）的评估显示，与最新方法相比，竞争性的泛化差距预测。
剥离扩散概率模型
我们使用扩散概率模型表示高质量的图像合成结果，这是一种受非平衡热力学考虑因素启发的潜在变量模型。我们的最佳结果是通过根据扩散概率模型与Langevin Dynamics匹配的扩散概率模型和降级分数之间的新联系而设计的，我们的模型可以解释为一种渐进的损失减压方案，该方案可以解释为自动性解码的普遍化。在无条件的CIFAR10数据集中，我们获得的成立分数为9.46，最先进的FID得分为3.17。在256x256 LSUN上，我们获得了类似于Progenkivegan的样品质量。我们的提示可在https://github.com/hojonathanho/diffusion上获得。
使用拓扑数据分析预测神经网络中的概括差异
了解神经网络在看不见的数据上如何概括对于设计更健壮和可靠的模型至关重要。在本文中，我们使用拓扑数据分析的方法研究了神经网络的概括差距。为此，我们计算训练阶段后神经元激活相关性构建的加权图的同源持久图，旨在捕获与网络的通用能力相关的模式。我们比较了持久图的不同数值摘要的有用性，并表明其中一些可以准确预测并部分解释概括差距而无需测试集。对两项计算机视觉识别任务（CIFAR10和SVHN）的评估显示，与最新方法相比，竞争性的泛化差距预测。
NISPA：受神经启发的稳定性-可塑性适应，用于稀疏网络中的持续学习
持续学习 (CL) 的目标是随着时间的推移学习不同的任务。与 CL 相关的主要需求是保持旧任务的表现，利用后者来改进未来任务的学习，并在训练过程中引入最小的开销（例如，不需要增长模型或重新训练）。我们提出了神经启发稳定性-可塑性适应 (NISPA) 架构，通过固定密度的稀疏神经网络解决这些需求。NISPA 形成稳定的路径来保存从旧任务中学到的知识。此外，NISPA 使用连接重新布线来创建新的可塑性路径，以便在新任务上重用现有知识。我们对 EMNIST、FashionM-NIST、CIFAR10 和 CIFAR100 数据集的广泛评估表明，NISPA 的表现明显优于具有代表性的最先进的持续学习基线，并且与基线相比，它使用的可学习参数减少了十倍。我们还认为稀疏性是持续学习的必要因素。NISPA 代码可在 https://github.com/BurakGurbuz97/NISPA 上找到
基于启发式的深度神经网络自动修剪
摘要 深度神经网络 (deep NN) 的性能取决于大量需要训练的权重参数，这是一个计算瓶颈。更深层次的架构日益增长的趋势对资源受限设备上的训练和推理方案造成了限制。剪枝是去除深度 NN 中不重要的参数并使其更容易在资源受限的设备上部署以供实际应用的重要方法。在本文中，我们提出了一种基于启发式的新型滤波器剪枝方法来自动识别和剪枝不重要的滤波器，并加快资源有限设备上的推理过程。不重要的滤波器的选择由一种新颖的剪枝估计器 (c) 进行。所提出的方法在各种卷积架构 AlexNet、VGG16、ResNet34 和数据集 CIFAR10、CIFAR100 和 ImageNet 上进行了测试。在大规模 ImageNet 数据集上的实验结果表明，VGG16 的 FLOP 可降低高达 77.47%，实现 5 倍推理加速。与其他最先进方法相比，更流行的 ResNet34 模型的 FLOP 降低了 41.94%，同时保持了具有竞争力的性能。
基于分层脉冲的模型，通过增强特征提取和编码实现高效图像分类
摘要 — 由于其事件驱动的特性，脉冲神经网络 (SNN) 被认为是计算效率高的模型。脉冲神经元编码有用的时间事实并具有高抗噪性。然而，时空复杂性的高质量编码及其对 SNN 的训练优化受到当前问题的限制，本文提出了一种新颖的分层事件驱动视觉设备，以探索信息如何通过生物可控机制在视网膜中传输和表示。该认知模型是一个增强脉冲的框架，包括 CNN 的功能学习能力和 SNN 的认知能力。此外，该视觉设备以生物现实主义的方式建模，具有无监督学习规则和高级脉冲发放率编码方法。我们在一些图像数据集（MNIST、CIFAR10 及其嘈杂版本）上对它们进行训练和测试，以表明我们的模型可以处理比现有认知模型更有价值的数据。本文还提出了一种新颖的量化方法，使所提出的基于脉冲的模型更适合神经形态硬件实现。结果表明，这种联合 CNN-SNN 模型可以获得更高的聚焦精度并获得更有效的泛化能力。
有效的联合机器学习方法
近年来，联邦学习（FL）作为分布式机器学习范式引起了极大的关注。为了促进“被遗忘的权利”的实施，Feder-Eted Machine Unrearning（FMU）的概念也出现了。但是，当前的FMU方法通常涉及额外的耗时步骤，并且可能没有全面的未学习能力，这使得它们在实际的FL情况下的实用性降低了。在本文中，我们介绍了Fedau，这是一个创新有效的FMU框架，旨在克服这些限制。具体来说，Fedau将轻量级的辅助辅助模块置于学习过程中，并采用直接的线性操作来促进学习。这种方法消除了对耗时的步骤的要求，使其适合FL。此外，Fedau表现出了惊人的多功能性。它不仅使多个客户能够同时执行学习任务，还可以支持各种粒度级别的学习，包括各个数据示例，特定类别，甚至在客户级级别。我们对MNIST，CIFAR10和CI-FAR100数据集进行了扩展实验，以评估Fedau的性能。结果表明，在保持模型准确性的同时，Fedau效率地实现了所需的未学习效果。
肖恩·库林斯基
2019 年 8 月 - 至今 博士研究（机器学习、自然语言处理、计算机视觉）普渡大学（指导老师：David Inouye 博士），印第安纳州西拉斐特 • • 创建一个因果基础的生成式 AI 模型，该模型生成反事实示例来回答以下问题“如果发生 X 而不是 Y，情况会是什么样子？” （例如，如果我在 B 医院而不是 A 医院拍摄的胸部 X 光片会是什么样子。） • 派生出可解释领域翻译的方法，用于向人类操作员解释分布变化，可用于系统监控或知识发现。 • 根据《星际争霸 II》的人类比赛构建了一个新的大规模多智能体计算机视觉 (CV) 数据集，该数据集表现出复杂且不断变化的智能体行为，产生了 180 万张具有多种数据表示的图像，例如可以用作 CIFAR10 和 MNIST 的替代品。 • 创建了一种轻量级机器学习算法，该算法使用深度密度模型来检测分布的变化，并将变化定位到导致变化的特定问题特征，从而允许以很少的额外开销进行在线监控。
注意力门控大脑传播：大脑如何实现基于奖励的错误反向传播
最近的许多研究都集中在生物学上可行的监督学习算法变体上。然而，运动皮层中没有老师来指导运动神经元，大脑中的学习取决于奖励和惩罚。我们展示了一种生物学上可行的强化学习方案，适用于具有任意层数的深度网络。网络通过选择输出层中的单元来选择动作，并使用反馈连接将信用分配给负责此动作的连续较低层中的单元。做出选择后，网络会得到强化，没有老师来纠正错误。我们展示了新的学习方案——注意力门控大脑传播 (BrainProp)——在数学上等同于错误反向传播，每次针对一个输出单元。我们展示了深度全连接、卷积和局部连接网络在经典和硬图像分类基准（MNIST、CIFAR10、CIFAR100 和 Tiny ImageNet）上的成功学习。 BrainProp 的准确度与标准误差反向传播相当，甚至优于最先进的生物启发式学习方案。此外，学习的反复试验性质与有限的额外训练时间有关，因此 BrainProp 的速度要慢 1-3.5 倍。因此，我们的研究结果为如何在大脑中实施深度学习提供了新的见解。
如何在小型数据集上训练视觉变压器？
Vision Transformer（VIT），与卷积神经网络的根本不同的架构具有多种优势，包括设计简单，鲁棒性和在许多视觉任务上的表现。然而，与卷积的旋转网络相反，视觉变压器缺乏固有的感应偏见。因此，对此类模型的成功培训主要归因于在大规模数据集上的预训练，例如具有1.2m的Imagenet或具有300m图像的JFT。这阻碍了小规模数据集的Vi-Sion变压器的直接适应。在这项工作中，我们表明可以直接从小规模数据集中学习自我监督的偏见，并作为微调的有效权重初始化方案。这允许在没有大规模预训练的情况下训练这些模型，更改模型体系结构或损失功能。我们提出了在五个小型数据集上成功训练整体石器和非孔子视觉转换器的thor outh实验，包括CIFAR10/100，CINIC10，SVHN，SVHN，Tiny-ImageNet和两个细粒度的数据集：飞机和汽车。我们的方法始终如一地提高视觉变压器的性能，同时保持其特性，例如关注显着区域和更高的鲁棒性。我们的代码和预培训模型可在以下网址获得：https：//github.com/hananshafi/vits-for-small-scale-datasets。