机器学习系统必须适应随时间演变的数据分布,其应用范围包括传感器网络、自动驾驶汽车感知模块和脑机接口。传统的领域自适应只能保证在分布变化较小的情况下起作用;经验方法结合了几种启发式方法以应对更大的变化,但可以针对特定于数据集。为了适应更大的变化,我们考虑逐步领域自适应,其目标是在仅给出未标记数据的源域上训练的初始分类器,该分类器的分布逐渐向目标域移动。在直接适应目标域可能导致无界误差的设置下,我们证明了逐步转移的自训练的误差的第一个非空上限。理论分析带来了算法见解,强调即使我们拥有无限数据,正则化和标签锐化也是必不可少的。利用渐进式转变结构可以提高旋转的 MNIST 数据集、森林覆盖类型数据集和真实肖像数据集的准确度。
摘要 — 脑启发计算利用神经科学原理来支撑大脑在解决认知任务方面无与伦比的效率 — 正在成为一种有前途的途径,以解决当今深度学习面临的若干算法和计算挑战。尽管如此,当前的神经形态计算研究是由我们在执行确定性操作的计算平台上运行深度学习算法的完善概念驱动的。在本文中,我们认为在概率神经形态系统中采用不同的方式执行时间信息编码可能有助于解决该领域的一些当前挑战。本文将超顺磁隧道结视为一种潜在的途径,以实现新一代脑启发计算,它结合了计算神经科学的两个互补见解的各个方面和相关优势 — — 信息如何编码以及计算如何在大脑中发生。硬件算法协同设计分析证明 97。由于时间信息编码,状态压缩的 3 层自旋电子学使随机脉冲网络在 MNIST 数据集上具有高脉冲稀疏度,准确率为 41%。
多类分类对于各种应用程序非常感兴趣,例如,它是计算机视觉中的常见任务,其中一个需要将图像分为三个或更多类。在这里,我们提出了一种基于量子卷积神经网络来解决多类分类问题的量子机学习方法。相应的学习过程是通过TensorFlowquantum作为混合量子 - 古典(变化)模型实现的,其中量子输出结果通过优化量子电路的参数优化跨熵损失的随后最小化量符号。我们在这里的构思改进包括量子感知器的新模型和量子电路的优化结构。我们使用建议的方法来解决MNIST数据集的4类分类问题,使用八个量子位用于数据编码和四个Ancilla Qubits;三级分类问题已经获得了先前的结果。我们的结果表明,解决方案的准确性类似于具有相当数量的可训练参数的经典卷积神经网络。我们期望我们的发现将为使用量子神经网络朝着解决NISQ时代及其他地区的相关问题提供新的一步。
[1] Preskill, J., NISQ 时代及以后的量子计算, arXiv:1801.00862 [2] Orus, R. 等人, 金融量子计算 - 概述与前景, 物理学评论 4 (2019) [3] de Prado, ML, 广义最优交易轨迹, 金融量子计算应用 (2015) [4 Schuld, M. 等人, 使用量子计算机的监督学习, Springer 2018 [5] Schuld, M. 等人, 特征希尔伯特空间中的量子机器学习, arXiv:1803.07128 [6] Havlicek, V. 等人, 使用量子增强的监督学习 [7] Wörner, S. 等人, 量子风险分析, 量子信息 (2019) 5:15 [8] Stamatopoulos, N., 等人, 使用量子计算机,arXiv:1905.02666 [9] Egger, D. 等人,使用量子计算机进行信用风险分析,arXiv:1907.03044 [10] Hellstern, G.,金融中的量子计算,Bankpraktiker,10/2020 [11] Hellstern, G.,用于金融和 MNIST 数据分类的混合量子网络,已提交至第 1 届量子软件架构会议
电磁波驱动系统中的衍射神经网络由于其超高的平行计算能力和能源效率而引起了极大的关注。但是,基于衍射框架的最新神经网络仍然面临着未对准的瓶颈,并且相对较大的尺寸限制了其进一步的应用。在这里,我们提出了一个具有高度集成和共同结构的平面衍射神经网络(PLA-NN),以在微波频率下实现直接信号处理。在印刷电路制造过程的基础上,可以有效地规避未对准,同时为多个共形和堆叠设计启用灵活的扩展。我们首先在时尚记数据集上进行验证,并使用拟议的网络体系结构在实验中构建系统,以直接识别电磁空间中不同的几何结构。我们设想,曾经与先进的动态机动技术和柔性拓扑结合使用的结构将在高性能计算,无线传感和灵活的可穿戴电子设备的领域中表现出无限的潜力。
AE 对抗性示例 AI 人工智能 API 应用程序接口 BDP 边界差分隐私 BIM 基本迭代方法 CIFAR 加拿大高级研究院 CNN 卷积神经网络 CW Carlini 和 Wagner(攻击) DNN 深度神经网络 DP-SGD 差分隐私随机梯度下降 FGSM 快速梯度符号法 GNN 图形神经网络 IP 知识产权 JPEG 联合图像专家组 JSMA 基于雅可比矩阵的显著性图 KNHT 键控非参数假设检验 L-BFGS 有限内存 Broyden-Fletcher-Goldfarb-Shanno(算法) MNIST 改良的国家标准与技术研究所 MNTD 元神经木马检测 PATE 教师集合的私有聚合 PCA 主成分分析 PGD 项目梯度下降 PRADA 防止 DNN 模型窃取攻击 ReLU 整流线性单元 RNN 循环神经网络 RONI 拒绝负面影响 SAI 保护人工智能 SAT 可满足性 SGD 随机梯度下降 SMT 可满足性 模理论 STRIP STRong 有意扰动 TRIM 基于修剪的算法 ULP 通用试金石
近年来,联邦学习(FL)作为分布式机器学习范式引起了极大的关注。为了促进“被遗忘的权利”的实施,Feder-Eted Machine Unrearning(FMU)的概念也出现了。但是,当前的FMU方法通常涉及额外的耗时步骤,并且可能没有全面的未学习能力,这使得它们在实际的FL情况下的实用性降低了。在本文中,我们介绍了Fedau,这是一个创新有效的FMU框架,旨在克服这些限制。具体来说,Fedau将轻量级的辅助辅助模块置于学习过程中,并采用直接的线性操作来促进学习。这种方法消除了对耗时的步骤的要求,使其适合FL。此外,Fedau表现出了惊人的多功能性。它不仅使多个客户能够同时执行学习任务,还可以支持各种粒度级别的学习,包括各个数据示例,特定类别,甚至在客户级级别。我们对MNIST,CIFAR10和CI-FAR100数据集进行了扩展实验,以评估Fedau的性能。结果表明,在保持模型准确性的同时,Fedau效率地实现了所需的未学习效果。
摘要 — 图像分类在遥感中起着重要作用。地球观测 (EO) 不可避免地进入了大数据时代,但对计算能力的高要求已经成为使用复杂机器学习模型分析大量遥感数据的瓶颈。利用量子计算可能有助于解决这一挑战,因为它可以利用量子特性。本文介绍了一种混合量子-经典卷积神经网络 (QC-CNN),它应用量子计算有效地从 EO 数据中提取高级关键特征以进行分类。此外,采用振幅编码技术减少了所需的量子位资源。复杂度分析表明,与经典模型相比,所提出的模型可以加速卷积运算。通过 TensorFlow Quantum 平台,使用不同的 EO 基准(包括 Overhead-MNIST、So2Sat LCZ42、PatternNet、RSI-CB256 和 NaSC-TG2)对模型性能进行评估,结果表明,该模型能够取得比经典模型更优的性能,且具有更高的泛化能力,验证了 QC-CNN 模型在 EO 数据分类任务上的有效性。
摘要。不受限制的对抗攻击对深度学习模型和对抗性防御技术构成了严重威胁。它们为深度学习应用带来了安全问题,因为它们可以有效地绕过防御机制。然而,以前的攻击通常直接直接将投影梯度下降(PGD)梯度注入生成模型的采样中,这些模型并非理论上是可以预见的,因此通过合并对抗性目标,尤其是对于像ImageNet这样的大型数据集的基于GAN的方法,从而产生了不切实际的示例。在本文中,我们提出了一种称为Advdiff的新方法,以生成具有扩散模型的不受限制的对抗示例。我们设计了两种新型的对抗引导技术,以在扩散模型的反向生成过程中进行对抗采样。这两种技术通过解释的目标分类器的梯度来产生高质量的对抗性示例,在产生高质量的对抗性示例中是有效且稳定的。对MNIST和IMAGENET数据集的实验结果表明,Advdiff在产生无限制的对抗示例方面有效,在攻击性能和发电质量方面,其表现优于最先进的不受限制的对抗攻击方法。
尽管具有量子霸权的潜力,但最先进的量子神经网络 (QNN) 仍然受到推理精度低的困扰。首先,当前的噪声中型量子 (NISQ) 设备的错误率高达 10 −3 到 10 −2,大大降低了 QNN 的精度。其次,虽然最近提出的重新上传单元 (RUU) 在 QNN 电路中引入了一些非线性,但其背后的理论尚不完全清楚。此外,以前反复上传原始数据的 RUU 只能提供边际精度改进。第三,当前的 QNN 电路假设使用固定的两量子比特门来强制实现最大纠缠能力,使得无法针对特定任务进行纠缠调整,导致整体性能不佳。在本文中,我们提出了一种量子多层感知器 (QMLP) 架构,该架构具有容错输入嵌入、丰富的非线性和增强的变分电路设计,具有参数化的两量子比特纠缠门。与现有技术相比,QMLP 在 10 类 MNIST 数据集上的推理准确率提高了 10%,量子门数量减少了 2 倍,参数减少了 3 倍。我们的源代码可用,可在 https://github.com/chuchengc/QMLP/ 中找到。