XiaoMi-AI文件搜索系统
World File Search SystemMNIST
自然视觉场景的神经网络重建...
神经编码是系统神经科学中的核心问题之一，用于了解大脑如何从环境中处理刺激，此外，它也是设计脑与机器界面算法的基石，在该算法中，解码传入的刺激是高度要求的，以便更好地性能进行物理设备的性能。传统研究人员将功能性磁共振成像（fMRI）数据作为解码视觉场景感兴趣的神经信号。但是，我们的视觉感知在称为神经尖峰的事件方面以毫秒的快速时间尺度运行。几乎没有使用尖峰进行解码的研究。在这里，我们通过开发一个基于深层神经网络的新型解码框架（名为Spike-图像解码器（SID））来重建自然视觉场景（包括静态图像和动态视频），从实验记录的视网膜神经节细胞的尖峰中重建了新的解码框架。SID是一个端到端解码器，其一端为神经尖峰，另一端为图像，可以直接训练它，以使视觉场景以高度准确的方式从尖峰重建。与现有的fMRI解码模型相比，我们的SID在视觉刺激的重建方面也表现出色。此外，借助Spike编码器，我们证明SID可以通过使用MNIST，CIFAR10和CIFAR100的图像数据集将其推广到任意视觉场景。此外，有了预先训练的SID，可以解码任何动态视频，以实现通过Spikes对视觉场景进行实时编码和解码。©2020 Elsevier Ltd.保留所有权利。总的来说，我们的结果为人工视觉系统（例如基于事件的视觉摄像机和视觉神经图）提供了有关神经形态计算的新启示。
模拟量子变分嵌入分类器
量子机器学习有可能为人工智能提供强大的算法。在量子机器学习中追求量子优势是一个活跃的研究领域。对于目前有噪声的中型量子计算机，已经提出了各种量子-经典混合算法。一种先前提出的混合算法是基于门的变分嵌入分类器，它由经典神经网络和参数化的基于门的量子电路组成。我们提出了一种基于模拟量子计算机的量子变分嵌入分类器，其中控制信号随时间连续变化：我们特别关注的是使用量子退火器的实现。在我们的算法中，通过线性变换将经典数据转换为模拟量子计算机的时变哈密顿量的参数。非线性分类问题所需的非线性纯粹由模拟量子计算机通过最终量子态对哈密顿量控制参数的非线性依赖性提供。我们进行了数值模拟，证明了我们的算法对线性不可分数据集（例如同心圆和 MNIST 数字）进行二分类和多类分类的有效性。我们的分类器可以达到与最佳经典分类器相当的准确度。我们发现，通过增加量子比特的数量可以提高分类器的性能，直到性能饱和并波动。此外，我们的分类器的优化参数数量与量子比特的数量成线性关系。因此，当我们的模型大小增加时，训练参数数量的增加速度不如神经网络快。我们的算法提出了使用当前量子退火器解决实际机器学习问题的可能性，并且它还可用于探索量子机器学习中的量子优势。
用于分段线性降维的自适应潜在特征共享
线性高斯探索性工具（例如主成分分析 (PCA) 和因子分析 (FA)）广泛用于探索性分析、预处理、数据可视化和相关任务。由于线性高斯假设具有限制性，因此对于非常高维的问题，它们已被稳健、稀疏扩展或更灵活的离散-连续潜在特征模型所取代。离散-连续潜在特征模型指定依赖于数据子集的特征词典，然后推断每个数据点共享这些特征的可能性。这通常是使用关于特征分配过程的“富者得富”假设来实现的，其中词典试图将特征频率与其解释的总方差部分结合起来。在这项工作中，我们提出了一种替代方法，可以更好地控制特征到数据点的分配。这种新方法基于双参数离散分布模型，该模型将特征稀疏性和词典大小分离，从而以简约的方式捕获常见和罕见特征。新框架用于推导一种新型自适应因子分析变体 (aFA) 以及自适应概率主成分分析 (aPPCA)，能够在各种场景中灵活地发现结构和降低维度。我们推导出标准吉布斯采样以及有效的期望最大化推理近似，这些近似以更快的数量级收敛到合理的点估计解。所提出的 aPPCA 和 aFA 模型的实用性在特征学习、数据可视化和数据白化等标准任务上得到了证明。我们表明，aPPCA 和 aFA 可以为原始 MNIST 或 COLI-20 图像提取可解释的高级特征，或者在应用于自动编码器分析时
CMOS-MEMRISTOR混合动力突触的设计及其在耐噪声的尖峰神经网络
鉴于数据量的越来越多，有一个显着的研究重点是硬件，可提供低功耗的高计算性能。值得注意的是，神经形态计算，尤其是在利用基于CMO的硬件时，已经表现出了有希望的研究成果。此外，越来越强调新兴突触设备（例如非挥发性记忆（NVM）），目的是实现增强的能量和面积效率。在这种情况下，我们设计了一个硬件系统，该硬件系统采用了1T1R突触的一种新兴突触。Memristor的操作特性取决于其与晶体管的配置，特别是它是位于晶体管的源（MOS）还是排水口（MOS）。尽管其重要性，但基于Memristor的操作电压的1T1R配置的确定仍然不足以在现有研究中探索。为了实现无缝阵列的扩展，至关重要的是要确保单位单元格适当设计以从初始阶段可靠地操作。因此，对这种关系进行了详细研究，并提出了相应的设计规则。香料模型。使用此模型，确定最佳晶体管选择并随后通过仿真验证。为了证明神经形态计算的学习能力，实现了SNN推理加速器。此实现利用了一个基于在此过程中开发的验证的1T1R模型构建的1T1R数组。使用降低的MNIST数据集评估了精度。结果证明了受大脑功能启发的神经网络操作成功地在高精度而没有错误的硬件中实现。此外，在DNN研究中通常使用的传统ADC和DAC被DPI和LIF神经元取代，从而实现了更紧凑的设计。通过利用DPI电路的低通滤波器效应来进一步稳定该设计，从而有效地降低了噪声。
卷积神经网络根据小鼠广角成像记录的皮层反应对视觉刺激进行分类
摘要 目的。视神经是视觉神经假体的理想位置。当受试者无法接受视网膜假体时，可以将其作为目标，并且它比皮质植入物的侵入性更小。电神经假体的有效性取决于必须优化的刺激参数组合，优化策略可能是使用诱发的皮质反应作为反馈进行闭环刺激。然而，有必要确定目标皮质激活模式，并将皮质活动与受试者视野中存在的视觉刺激联系起来。视觉刺激解码应在视觉皮层的大面积上进行，并使用尽可能可转化的方法，以便将来将研究转移到人类受试者身上。这项工作的目的是开发一种满足这些要求的算法，并可以利用该算法自动将皮质激活模式与产生它的视觉刺激联系起来。方法。向三只小鼠展示十种不同的视觉刺激，并使用广角钙成像记录它们的初级视觉皮层反应。我们的解码算法依赖于卷积神经网络 (CNN)，该网络经过训练可以从相应的广角图像中对视觉刺激进行分类。我们进行了几项实验来确定最佳训练策略并研究推广的可能性。主要结果。最佳分类准确率为 75.38% ± 4.77%，在 MNIST 数字数据集上对 CNN 进行预训练并在我们的数据集上对其进行微调后获得。通过对 CNN 进行预训练以对鼠标 1 数据集进行分类并在鼠标 2 和鼠标 3 上对其进行微调，可以进行推广，准确率分别为 64.14% ± 10.81% 和 51.53% ± 6.48%。意义。广角钙成像和 CNN 的组合可用于对皮质对简单视觉刺激的反应进行分类，并且可能是现有解码方法的可行替代方案。它还使我们能够将皮质激活视为未来视神经刺激实验中的可靠反馈。
神经元的组件学会分类分布
组件是大量的神经元，其同步射击被假设以代表记忆，概念，单词和其他认知类别。组件被认为可以在高级认知现象和低级神经活动之间提供桥梁。最近，已显示出一种称为组合微积分（AC）的组合系统，其曲目具有生物学上合理的组合操作，可以显示能够模拟任意空间结合的计算，还可以模拟复杂的认知现象，例如语言，推理和计划。但是，组件可以调解学习的机制尚不清楚。在这里我们提出了这样的机制，并严格证明，对于标记组件的分布定义的简单分类问题，可以可靠地形成代表每个类别的新组装，以响应类中的一些刺激。因此，该组件是对同一类的新刺激的响应可靠地召回的。此外，只要相应的类是相似的组件的群集，或者通常可以通过线性阈值函数与边缘分开，则这些类组件将可以区分区分。为了证明这些结果，我们利用具有动态边缘权重的随机图理论来估计激活的顶点的序列，从而在过去五年中对该领域的先前计算和定理产生了强烈的概括。被视为一种学习算法，这种机制完全在线，从很少的样本中概括，并且只需要温和的监督 - 在大脑模型中学习的所有关键属性。这些定理是通过实验来支持的，这些实验证明了组件的成功形成，这些组件代表了从此类分布中绘制的合成数据以及MNIST上的概念类别，这也可以通过一个AS-emerbly每位数字来分类。我们认为，从现实世界数据中提取属性（例如边缘或音素）的单独感觉预处理机制支持的这种学习机制可以是皮质中生物学学习的基础。关键字：关键字列表
带射频的卷积神经网络，带有射频旋转纳米驱动器
摘要卷积神经网络（Lecun and Bengio 1998脑理论与神经网络手册255-58； Lecun，Bengio和Hinton 2015 Nature 521 436-44）在现代信号处理和机器视觉中是最先进的，无处不在。如今，基于新兴纳米版的硬件解决方案旨在减少这些网络的功耗。 这是通过使用实现卷积滤波器并顺序乘以输入的连续子集的设备，或者通过使用不同的一组设备来并行执行不同的乘法，以避免将中间计算步骤存储在内存中。 SpinTronics设备由于提供了各种神经和突触功能，因此可以进行信息处理。 然而，由于其低/偏高/比率，在单个步骤中使用横杆式旋转记忆阵列进行卷积所需的所有乘法将导致偷偷摸摸的路径电流。 在这里，我们提出了一个建筑，其中突触通信基于共振效果。 这些突触通信具有频率选择性，可防止由偷偷摸摸电流引起的串扰。 我们首先演示了一系列自旋谐振器如何通过依次校正编码连续输入集的射频信号来充当突触并进行卷积。 我们表明，具有多个自旋谐振器的多个链可以实现并行实现。 我们为这些链条提出了两种不同的空间布置。如今，基于新兴纳米版的硬件解决方案旨在减少这些网络的功耗。这是通过使用实现卷积滤波器并顺序乘以输入的连续子集的设备，或者通过使用不同的一组设备来并行执行不同的乘法，以避免将中间计算步骤存储在内存中。SpinTronics设备由于提供了各种神经和突触功能，因此可以进行信息处理。然而，由于其低/偏高/比率，在单个步骤中使用横杆式旋转记忆阵列进行卷积所需的所有乘法将导致偷偷摸摸的路径电流。在这里，我们提出了一个建筑，其中突触通信基于共振效果。这些突触通信具有频率选择性，可防止由偷偷摸摸电流引起的串扰。我们首先演示了一系列自旋谐振器如何通过依次校正编码连续输入集的射频信号来充当突触并进行卷积。我们表明，具有多个自旋谐振器的多个链可以实现并行实现。我们为这些链条提出了两种不同的空间布置。对于每个人，我们解释了如何同时调整许多人工突触，从而利用了突触重量共享特定的卷积。我们通过使用自旋振荡器作为人工微波神经元来展示如何通过使用自旋振荡器在卷积层之间传输信息。最后，我们模拟了这些射频谐振器和自旋振荡器的网络，以求解MNIST手写数字数据集，并获得与软件卷积神经网络相当的结果。由于它可以与纳米设备的单一步骤完全平行运行卷积神经网络，因此本文提出的架构对于需要机器视觉的嵌入式应用程序（例如自主驾驶）很有希望。
gan和vaes的比较分析在产生高质量的
指标，例如网络大小，培训时间和生成数据的质量。此外，还研究了潜在的数学，并与gan和vaes的理论基础有关。2。相关的生成模型近年来一直是机器学习领域的重要研究的主题，具有生成的对抗网络（GAN）和变异自动编码器（VAE）是两种最广泛使用的技术。几项研究比较了gan和vaes在不同的数据集和应用程序上的性能，其中一些报道了gan的结果更好（Karras等，2019），而其他人则报告了VAE的更好结果（Bowman等，2019）。该领域最有影响力的论文包括Goodfellow等人。的（2014年）引入了GAN框架，以及Kingma and Welling（2014）的VAE框架的引入，这些框架已在随后的作品中广泛引用。Salimans等。的（2016）论文提出了稳定gan训练的技术，例如为发电机和歧视者使用不同的学习率，而Chen等人。（2016）提出了对GAN框架的修改，该修改允许学习可解释的表示形式。Mescheder等。的（2017）论文提出了一个结合了VAE和gans强度的混合模型，以及Arjovsky等。的（2017）论文提出了对GAN框架的修改，该框架将Wasserstein距离用作目标函数，从而进行了更稳定的训练。Kumar等。 3。 每个Kumar等。3。每个的（2019年）论文提出了对GAN框架的修改，该框架在歧视者中引入了瓶颈，从而提高了性能，而Shen等人则进行了改善。的（2020）论文提出了一种在gan的潜在空间中发现可解释方向的方法，从而可以控制生成的图像的特定属性。方法论3.1数据集我们从MNIST数据集中应用了60,000张培训照片和10,000个手写数字的测试图像。
医疗保健中联合学习的量子：从开发到部署以及从模型到数据的转变
医疗组织具有大量敏感数据，传统技术的存储容量和计算资源有限。由于与患者隐私相关的公司法规，共享机器学习的医疗数据的前景更加艰巨。对医疗保健数据的确定性，完整性和可用性的良好保护已成为古典数据安全考虑之外的主要关注点。近年来，联邦学习为加速分布式机器学习的解决方案解决了与数据隐私和治理有关的问题。目前，量子计算和机器学习的融合已经引起了学术机构和研究社区的注意。量子计算机表明，通过在几个量子节点上的有效分布培训为医疗保健部门带来巨大的好处。这项工作的最终目标是开发一个量子联合学习框架（QFL），以应对医疗和医疗成像任务的医疗保健和临床行业的优化，安全和隐私挑战。在这项工作中，我们提出了联合量子卷积神经网络（QCNN），并在边缘设备上进行了分布式培训。为了证明拟议的QFL框架的可行性，我们在医疗数据集（肺炎MNIST和CT-Kidney疾病分析）上进行了广泛的实验，这些实验是非独立和非独立地分区的医疗机构/客户/客户/客户的。通过大规模模拟对拟议的量子联合学习框架进行了验证和评估。量子联盟全球模型保持了高分类测试的准确性和义务的能力，并且无论医疗数据如何在客户之间分配如何不平衡，都超过了本地培训客户。与本地客户相比，全球模型在接收器操作特征曲线（Auc-Roc）（0.953）和全类平均（0.98）方面取得了最佳性能，以预测肺炎和CT-Kidney数据集的结果。此外，提出了客户选择机制，以减少每个通信的计算开销，从而有效地提高了收敛速度。基于我们来自数值模拟的结果，分布式和安全的量子机学习算法的部署用于启用可扩展和隐私的智能医疗保健应用程序将非常有价值。
自由空间光学脉冲神经网络
神经形态工程已成为开发大脑启发式计算系统的一种有前途的途径。然而，传统的基于电子人工智能的处理器经常遇到与处理速度和散热相关的挑战。作为一种替代方案，已经提出了此类处理器的光学实现，利用光的固有信息处理能力。在光学神经形态工程领域探索的各种光学神经网络 (ONN) 中，脉冲神经网络 (SNN) 在模拟人脑的计算原理方面表现出显著的成功。光学 SNN 基于事件的脉冲特性提供了低功耗操作、速度、时间处理、模拟计算和硬件效率方面的功能，这些功能很难或不可能与其他 ONN 类型相匹配。在这项工作中，我们介绍了开创性的自由空间光学深度脉冲卷积神经网络 (OSCNN)，这是一种受人眼计算模型启发的新方法。我们的 OSCNN 利用自由空间光学来提高功率效率和处理速度，同时保持模式检测的高精度。具体而言，我们的模型在初始层采用 Gabor 滤波器进行有效特征提取，并利用使用现成光学元件设计的强度到延迟转换和同步器等光学元件。OSCNN 在基准数据集（包括 MNIST、ETH80 和 Caltech）上进行了严格测试，显示出具有竞争力的分类准确性。我们的比较分析表明，OSCNN 仅消耗 1.6 W 的功率，处理速度为 2.44 毫秒，明显优于 GPU 上的传统电子 CNN，后者通常消耗 150-300 W，处理速度为 1-5 毫秒，并且与其他自由空间 ONN 相媲美。我们的贡献包括解决光学神经网络实现中的几个关键挑战。为了确保组件对准的纳米级精度，我们提出了先进的微定位系统和主动反馈控制机制。为了提高信号完整性，我们采用了高质量的光学元件、纠错算法、自适应光学和抗噪声编码方案。通过设计高速光电转换器、定制集成电路和先进的封装技术，优化了光学和电子元件的集成。此外，我们还利用高效、紧凑的半导体激光二极管，并开发了新颖的冷却策略，以最大限度地减少功耗和占地面积。