摘要 - 纠结神经网络(CNN)是计算机视觉中的流行模型,具有充分利用数据相关信息的优势。但是,如果数据或模型的给定维度太大,CNN的学习效率很大。量子卷积神经网络(QCNN)为使用量子计算环境或提高现有学习模型的性能的方向提供了解决问题的新解决方案。第一项研究将提出一个模型,以通过将CNN的结构应用于量子计算环境,从而有效地解决量子物理和化学中的分类问题。研究还提出了可以使用多尺度纠缠重归于ANSATZ(MERA)的O(log(log(n))深度计算的模型。第二项研究介绍了一种通过在现有计算机视觉中使用的CNN学习模型中添加量子计算来提高模型性能的方法。该模型也可以在小量子计算机中使用,可以通过在CNN模型中添加量子卷积层或用卷积层替换混合学习模型。本文还验证了QCNN模型是否能够通过使用Tensorflow量子平台使用MNIST数据集进行训练与CNN相比,是否能够有效学习。
概率机器学习利用可控的随机性来编码不确定性并启用统计建模。利用量子真空噪声的纯粹随机性,这是由于电磁磁场的流动,已经对高速和能量的随机光子元素表现出了希望。尽管如此,可以控制这些随机元素以编程可能的机器学习算法的光子计算硬件受到限制。在这里,我们实现了由可控的随机光子元件组成的光子概率计算机 - 光子概率神经元(PPN)。我们的PPN在带有真空级注入偏置的偏见的双态光学参数振荡器(OPO)中进行。然后,我们使用电子处理器(FPGA或GPU)进行了一个测量和反馈循环,以解决某些概率机器学习任务。我们展示了MNIST手写数字的概率推断和图像生成,它们是判别和生成模型的代表性示例。在两个实现中,量子真空噪声都用作随机种子来编码样品的分类不确定性或概率生成。此外,我们为通向全光概率计算平台的路径提出了一条路径,估计的采样速率约为1 Gbps,能源消耗约为5 FJ / MAC。我们的工作为可扩展,超快和能量良好的概率机器学习硬件铺平了道路。
摘要:联想记忆一直是大规模循环新皮质网络执行计算的主要候选对象。实现联想记忆的吸引子网络为许多认知现象提供了机械解释。然而,吸引子记忆模型通常使用正交或随机模式进行训练,以避免记忆之间的干扰,这使得它们不适用于自然发生的复杂相关刺激,如图像。我们通过将循环吸引子网络与使用无监督赫布-贝叶斯学习规则学习分布式表示的前馈网络相结合来解决这个问题。由此产生的网络模型结合了许多已知的生物学特性:无监督学习、赫布可塑性、稀疏分布式激活、稀疏连接、柱状和层状皮质结构等。我们评估了前馈和循环网络组件在 MNIST 手写数字数据集上的复杂模式识别任务中的协同效应。我们证明了循环吸引子组件在前馈驱动的内部(隐藏)表示上进行训练时实现了联想记忆。联想记忆还被证明可以从训练数据中提取原型,并使表示对严重失真的输入具有鲁棒性。我们认为,从机器学习的角度来看,所提出的前馈和循环计算集成的几个方面特别有吸引力。
抽象机器学习分类模型学习输入作为特征和输出作为类的关系,以预测新给定输入的类。几项研究工作证明了机器学习算法的有效性,但最新的算法基于概率和逻辑的经典理论。量子力学(QM)已经在许多领域显示其有效性,研究人员提出了几个有趣的结果,这些结果无法通过经典理论获得。近年来,研究人员一直在尝试调查QM是否可以帮助改善经典的机器学习算法。认为,如果正确实施QM理论也可能会激发有效的算法。从这种灵感中,我们提出了量子启发的二进制分类器,该分类基于量子检测理论。我们使用文本语料库和图像库来探索我们提出的模型的效果。我们提出的模型在20个新闻组文本语料库中的几个主题(类别)方面优于最先进的模型。当使用MNIST手写图像数据集时,我们所提出的模型在召回方面优于所有基准。对于大多数类别而言,F量也更高,对于某些类别,精度也更高。我们提出的模型表明,使用量子检测理论可以实现二元分类效果。特别是,我们发现我们的量子启发的二进制分类器可以增加分类的精度,回忆和f量表,而最先进的方法不能。
摘要。天气预报需要立即决策的确定性结果,也需要评估不可能的概率结果。但是,确定性模型可能无法完全捕获天气可能性的规范,概率预测可能缺乏特定计划所需的精确度,因为该领域旨在提高准确性和可靠性,因此面临重大挑战。在本文中,我们提出了基于确定性指导的扩散模型(DGDM),以利用确定性和概率天气前铸造模型的好处。DGDM集成了确定性分支和扩散模型作为概率分支,以提高预测精度,同时提供概率预测。此外,我们还引入了序列方差时间表,该序列方差时间表从不久的将来到遥远的未来进行了预测。此外,我们通过使用确定性分支的结果来提出截断的扩散,以截断差异模型的反向过程以控制不确定性。我们在移动MNIST上对DGDM进行了广泛的分析。此外,我们评估了Pacific Northwest风暴(PNW)typhoon卫星数据集的DGDM的有效性,用于区域极端天气预测,以及在WeatherBench数据集上用于全球天气预测数据集。实验结果表明,DGDM不仅在全球预测中,而且在区域预测方案中都能达到最先进的绩效。该代码可在以下网址提供:https://github.com/donggeun-yoon/dgdm。
自从 20 世纪中叶麦卡洛克-皮茨神经元 1 和感知器 2 模型诞生以来,人工智能 (AI) 或人工神经网络 (ANN) 在很大程度上仍然是一个计算机科学术语。由于计算能力不足,本世纪后期的进展受到阻碍。1980-2000 年期间的集成电路制造无法在单个处理器和内存芯片上高密度集成晶体管。因此,在深度神经网络 (DNN) 或深度卷积神经网络 (DCNN) 3 上运行模拟并存储指数级累积的数据在时间和能源成本方面是不切实际的,尽管当时 ANN 模型已经相对完善 4-10 。随着芯片密度的提升以及对摩尔定律的追求带来的图形处理单元 (GPU) 等多核处理器的出现,再加上更高效的 ANN 算法 3,11,12,计算能力瓶颈在本世纪初得到成功解决。2012 年,具有十亿个连接的 DNN 被证明能够识别猫和人体等高度概念化的物体 13。同年,DNN 被证明在图像分类准确率方面与人类不相上下(基于 MNIST 数据库),甚至在交通标志识别方面也超越了人类 14。脉冲神经网络 (SNN) 由 Maass 于 1995 年提出 15,16,它采用脉冲
摘要。生成的对抗网络(GAN)在为各种应用程序(包括涉及敏感信息(例如医疗保健和金融)等敏感信息的数据生成合成数据)中表现出了巨大潜力。但是,当将gan应用于敏感数据集时出现了两个主要问题:(i)模型可以记住培训样本,损害个人的隐私,尤其是当数据包括个人身份信息(PII),以及(ii)缺乏对生成样品的特异性的控制,这限制了其限制其量身定制的用途。为了应对这些挑战,我们提出了一个新颖的框架,该框架将差异隐私与潜在的表示学学习整合在一起,以确保隐私,同时提供对生成数据的特殊性的控制。我们的方法确保合成数据不会揭示单个数据点,并且通过学习有效的潜在代码,它可以生成特定和有意义的数据。我们使用MNIST数据集评估了我们的方法,表明它保留了隐私并证明了隐私 - 实用性权衡取舍,这会导致分类准确性降低。此外,我们强调了计算挑战,因为与标准GAN模型相比,训练过程的时间增加了十倍。最后,我们将方法扩展到Celeba数据集,证明如何控制隐私和特异性以生成高质量的私人合成数据。
摘要 - 联邦学习(FL)作为一个分离的机器学习范式的出现,引入了新的Cybercurity挑战,尤其是威胁模型完整性和参与者隐私的对抗性攻击。本研究提出了一个受控制流(CFA)机制启发的创新安全框架,传统上用于网络安全,以确保软件执行完整性。通过在FL框架内集成数字签名和加密散布,我们对整个网络跨网络的模型更新的完整性进行了验证,从而有效地减轻了与模型中毒和对抗性干扰相关的风险。我们的方法是将CFA原理应用于FL的新颖性,可确保参与节点的贡献是真实且未受到损害的,从而在不损害计算效率或模型性能的情况下增强了系统的弹性。对基准数据集,MNIST和CIFAR-10的经验评估证明了我们的框架的有效性,在完整性验证和身份验证方面达到了100%的成功率,以及针对对抗性攻击的明显韧性。这些结果验证了提议的安全性增强和开放途径,以提供更安全,可靠和意识的分布式机器学习解决方案。我们的工作弥合了网络安全与分布式机器学习之间的关键差距,为Secure FL中的未来进步奠定了基础。索引术语 - 填充学习,网络安全,控制流证明,数字签名,哈希
摘要 — 本文介绍了一种具有自定义指令集架构的嵌入式可编程处理器的设计和实现,用于高效实现人工神经网络 (ANN)。ANN 处理器架构可扩展,支持任意数量的层和每层人工神经元 (AN) 数量。此外,该处理器支持具有任意 AN 间互连结构的 ANN,以实现前馈和动态循环网络。该处理器架构是可定制的,其中 AN 之间的输入、输出和信号的数值表示可以参数化为任意定点格式。本文介绍了一种设计的可编程 ANN 处理器的 ASIC 实现,用于具有多达 512 个 AN 和 262,000 个互连的网络,估计占用 2.23 mm2 的硅片面积,在 1.6 V 电源下以 74 MHz 运行,采用标准 32 nm CMOS 技术,功耗为 1.25 mW。为了评估和比较所设计的 ANN 处理器的效率,我们设计并实现了专用的可重构硬件架构,用于直接实现 ANN。本文介绍了所设计的可编程 ANN 处理器和 Xilinx Artix-7 现场可编程门阵列 (FPGA) 上的专用 ANN 硬件的特性和实现结果,并使用两个基准进行了比较,即使用前馈 ANN 的 MNIST 基准和使用循环神经网络的电影评论情绪分析基准。
尽管在各种应用中都追求量子霸权,但量子计算机在机器学习(例如神经网络模型)中的能力大多仍不为人所知,这主要是因为缺少一个有效设计适合量子电路实现的神经网络模型的环节。在本文中,我们提出了第一个协同设计框架,即 QuantumFlow,以修复缺失的环节。QuantumFlow 由一种新颖的量子友好型神经网络 (QF-Net) 设计、一种用于为 QF-Net 生成量子电路 (QF-Circ) 的自动工具 (QF-Map) 以及一个基于理论的执行引擎 (QF-FB) 组成,以有效支持在经典计算机上训练 QF-Net。我们发现,为了充分利用量子表示的优势,QF-Net 中的数据最好建模为随机变量而不是实数。此外,我们为 QF-Net 提出了一种量子感知的批量归一化方法,而不是使用经典的批量归一化(这是实现深度神经网络高精度的关键)。评估结果表明,QF-Net 在广泛使用的 MNIST 数据集中区分数字 3 和 6 的准确率可达 97.01%,比最先进的量子感知实现高出 14.55%。对二元分类应用程序进行了案例研究。在 IBM Quantum 处理器的“ibmq_essex”后端上运行,由 QuantumFlow 设计的神经网络可实现 82% 的准确率。据我们所知,QuantumFlow 是第一个共同设计机器学习模型及其量子电路的框架。