是否可以将量子计算机用于实现比传统方法更好的机器学习模型,并且此类方法适合当今的嘈杂量子硬件吗?在本论文中,我们制作了一个Python框架,用于基于在量子硬件上评估的参数化量子电路来实施机器学习模型。该框架能够实现量子神经网络(QNN)和量子电路网络(QCN),并使用基于梯度的方法训练它们。为了计算量子电路网络的梯度,我们基于利用经典和量子硬件的参数移动规则开发了一种反向传播算法。我们进行了一项数值研究,我们试图表征密集神经网络(DNNS),QNN和QCN的表现如何作为模型架构的函数。我们专注于研究消失的梯度现象,并分别使用经验纤维信息矩阵(EFIM)和轨迹长度来量化模型的训练性和表达性。我们还通过对人工数据以及现实世界数据集训练模型来测试模型的性能。
量子机器学习 (QML) 是将经典机器学习 (ML) 推广到量子领域的一种方式,近年来,这种学习方式迎来了复兴,并催生出一系列令人眼花缭乱的公式和应用(详情请参见 [1-3] 及其参考文献)。广义上讲,量子机器学习有以下分类 [4]:(i) 经典机器学习的量子加速 [5-8],(ii) 经典机器学习表征量子系统 [9-11],或 (iii) 量子设备学习量子数据(完整 QML)[12-22]。我们这里重点关注最后一类,因为在这种情况下,量子加速不仅是最有可能的,而且由于前面提到的层析成像难度呈指数级增长,因此也是最迫切需要的 [23]。人们考虑了多种用于 QML 的量子架构,从变分量子电路 [ 19 , 24 ] 到人工神经网络的量子类似物 [ 15 , 17 , 18 , 20 , 21 , 25 ]。我们认为 [ 21 ] 中引入的量子神经网络 (QNN) 架构为完整的 QML 提供了最有前途的平台。例如,此类 QNN 最近被用作量子自动编码器,以对纠缠量子态进行去噪 [ 26 ]。此外,当量子神经元足够局部且稀疏时 [ 27 ],这些 QNN 似乎提供了一种架构,可能被用来避免“荒芜高原”问题 [ 28 ]。最后,这些 QNN 被发现达到了量子学习的基本信息论极限 [ 12 , 16 , 29 – 31 ],这是由量子无免费午餐定理 [ 32 – 34 ] 规定的,这是对通用非结构化量子数据源的量子学习性能的限制。量子数据源永远不会是通用和非结构化的,因为生成它们的设备总是有结构的。事实上,因果和空间顺序体现在附近局部产生的状态之间的相关性中
量子计算因其具有彻底改变计算能力的潜力而备受关注,随着它的出现,各种子领域的众多应用也应运而生。其中一个特别的子领域是量子神经网络 (QNN),它建立在流行且成功的经典对应物之上。QNN 通过利用量子信息中的量子力学原理和概念提供了一种替代方法。本论文项目研究变分量子算法作为量子神经网络的可训练性。具体而言,研究了用于天线倾斜优化用例的量子神经网络假设。QNN 架构在强化学习数据集上进行了测试,当仅实施单层时,其预测误差较低。此外,通过参数初始化技术检查了荒芜高原 (BP) 现象,该技术并没有改善模型的性能,因为添加了 QNN 的多层。最后,研究了训练数据集的结构,其中考虑了初始纠缠、线性独立性和正交性。研究发现,可控的纠缠量是有利的,没有纠缠或过多的纠缠会对模型的性能产生不利影响,而线性独立性和正交性的重要性高度依赖于数据集,线性独立性显示出进一步减少所需训练数据集大小的潜力。
那么如何构建和训练量子网络,使其执行任务时性能更佳呢?群体智慧或许能为这一热门答案做出贡献。群体智慧是指不同群体的集体结果或决策优于单个专家的决策 [1]。这一现象已在许多领域得到充分研究,尤其是社会科学 [2-8],并且可应用于经济预测 [9]、公共政策决策 [10]、医学诊断 [11] 和科学建议 [12]。一个简单的例子,类似于参考文献 [1],就是测量一棵树的高度。在这种情况下,群体智慧意味着群体中经验较少的个人的平均估计往往比专家的测量结果更好。类似范式还有集成学习,强调不同学习算法的组合比单独使用其中一种效果更好 [13-15]。这激发了人们对量子机器学习中这一现象的探索。人工神经网络的进步已在量子领域得到应用,并有可能展现出优于经典模拟的潜力 [16]。当前者将量子系统作为节点时,它们通常被称为量子神经网络 (QNN)。最近,已经提出了 QNN 提案 [17-22],其网络架构、
过去几十年,深度学习和量子计算领域取得了重大突破。这两个领域的交叉研究引起了越来越多的关注,这导致了量子深度学习和量子启发式深度学习技术的发展。在本文中,我们通过讨论该领域各种研究工作的技术贡献、优势和相似之处,概述了量子计算和深度学习交叉领域的进展。为此,我们回顾并总结了为建模量子神经网络 (QNN) 和其他变体(如量子卷积网络 (QCNN))而提出的不同方案。我们还简要介绍了量子启发式经典深度学习算法的最新进展及其在自然语言处理中的应用。
摘要 — 低位宽量化神经网络 (QNN) 通过减少内存占用,支持在受限设备(如微控制器 (MCU))上部署复杂的机器学习模型。细粒度非对称量化(即,在张量基础上为权重和激活分配不同的位宽)是一种特别有趣的方案,可以在严格的内存约束下最大限度地提高准确性 [1]。然而,SoA 微处理器缺乏对子字节指令集架构 (ISA) 的支持,这使得很难在嵌入式 MCU 中充分利用这种极端量化范式。对子字节和非对称 QNN 的支持需要许多精度格式和大量的操作码空间。在这项工作中,我们使用基于状态的 SIMD 指令来解决这个问题:不是显式编码精度,而是在核心状态寄存器中动态设置每个操作数的精度。我们提出了一种基于开源 RI5CY 核心的新型 RISC-V ISA 核心 MPIC(混合精度推理核心)。我们的方法能够完全支持混合精度 QNN 推理,具有 292 种不同的操作数组合,精度为 16 位、8 位、4 位和 2 位,而无需添加任何额外的操作码或增加解码阶段的复杂性。我们的结果表明,与 RI5CY 上的基于软件的混合精度相比,MPIC 将性能和能效提高了 1.1-4.9 倍;与市售的 Cortex-M4 和 M7 微控制器相比,它的性能提高了 3.6-11.7 倍,效率提高了 41-155 倍。索引术语 —PULP 平台、嵌入式系统、深度神经网络、混合精度、微控制器
量子信息处理旨在利用量子物理现象进行数据处理。该领域始于 20 世纪 80 年代初 [ 1 , 2 ],最近在构建可控量子力学系统方面取得的突破引发了该领域的爆炸式增长。构建量子计算机是一项艰巨的挑战,但设计算法同样艰巨,这些算法在量子计算机上运行后,能够利用专家们普遍认为量子计算在某些计算任务上优于传统计算的优势。一项特别引人注目的努力是利用近期的量子计算机,但它的缺点是尺寸有限,并且存在令人衰弱的量子噪声。过去几年,噪声中型量子 (NISQ) 计算机的算法设计领域一直在努力确定计算领域、采用量子信息处理的范例和商业用例,以便从构建可编程量子力学设备的最新进展中获益——尽管目前这些进展可能还很有限 [ 3 ]。人工智能 [ 3 , 4 ] 是近期可能实现量子优势的用例领域。这种希望最有可能出现在生成任务中:理论上已经证明,几种概率分布族允许量子算法从中有效地采样,而没有经典算法能够或已知能够执行该采样任务。玻色子采样可能是这些采样任务中最广为人知的,即使在有噪声的情况下这种优势似乎不会持续(参见 [ 5 ]);在参考文献 [ 6 , 7 ] 中可以找到一些其他采样程序的示例。在可以通过操纵一个或多个参数来迭代改变的量子电路方面也取得了有希望的进展:Du 等人 [ 8 ] 考虑了所谓的参数化量子电路 (PQC),发现它们也在生成任务中产生了理论优势。当强调非线性方面时,PQC 偶尔被称为量子神经网络 (QNN)(例如在 [ 9 ] 中),或称为变分量子电路 [ 10 ]。在本文中,我们坚持使用术语 PQC,但不考虑排除 QNN 或 VQC。
我们提出了一种称为量子互信息神经估计 (QMINE) 的量子机器学习方法,用于估计冯·诺依曼熵和量子互信息,这是量子信息理论的基本属性。这里提出的 QMINE 基本上利用了量子神经网络 (QNN) 技术,以最小化确定冯·诺依曼熵的损失函数,从而确定量子互信息,由于量子叠加和纠缠,人们认为它比传统神经网络更能处理量子数据集。为了创建精确的损失函数,我们提出了一种量子 Donsker-Varadhan 表示 (QDVR),它是经典 Donsker-Varadhan 表示的量子类似物。通过利用参数化量子电路上的参数移位规则,我们可以有效地实现和优化 QNN,并使用 QMINE 技术估计量子熵。此外,数值观测支持我们对 QDVR 的预测,并证明了 QMINE 的良好性能。
摘要:量子计算有望在未来从根本上改变计算机系统。最近,量子计算的一个新研究课题是机器学习的混合量子-经典方法,其中参数化的量子电路(也称为量子神经网络 (QNN))由经典计算机优化。这种混合方法可以兼具量子计算和经典机器学习方法的优点。在这个早期阶段,了解量子神经网络对不同机器学习任务的新特性至关重要。在本文中,我们将研究用于对图像进行分类的量子神经网络,这些图像是高维空间数据。与以前对低维或标量数据的评估相比,我们将研究实际编码类型、电路深度、偏置项和读出对流行 MNIST 图像数据集的分类性能的影响。通过实验结果获得了关于不同 QNN 学习行为的各种有趣发现。据我们所知,这是第一项考虑图像数据的各种 QNN 方面的工作。
曾经假定需要完全精确的计算以获得深入NNS(DNN)的准确结果。最近,研究人员确定了这些模型的较低精度,量化甚至三元或二进制变体可以使用计算资源的一部分来达到适当的精度水平。这些量化的NN(QNN)现在可以使用较低的功率,最小资源,嵌入式芯片(SOC)和FPGA进行实施。sec。3捕获了核心的学习,差距和机会,从QNN文献中进行了进一步的创新。使用卷积NNS(CNN)实施的模式识别算法非常适合太空探索和无人驾驶飞机,并且可以使用这些应用程序使用来基于捕获的图像来识别和分类对象[2]。由于其低成本,低功率消耗和灵活性,FPGA提供了有效实施NNS