我们考虑在具有挑战性的一声/训练后设置中,深度神经网络(DNN)的模型压缩问题,在该设置中,我们将获得一个准确的训练有素的模型,并且必须仅基于少量校准输入数据而无需进行任何重新训练。鉴于新兴软件和硬件支持,该问题已变得很流行,以通过加速进行修剪和/或量化来执行模型,并且已经针对两种压缩方法独立提出了良好的表现解决方案。在本文中,我们引入了一个新的压缩框架,该框架涵盖了在统一的环境中涵盖重量修剪和量化的,这是时间和空间效果,并且在现有后训练方法的实际性能上大大提高。在技术层面上,我们的方法基于[Lecun,Denker和Solla,1990]的经典最佳脑外科医生(OBS)框架的精确而有效的实现,以涵盖现代DNNS规模的体重量化。从实际的角度来看,我们的实验结果表明,它可以在现有训练后方法的压缩准确性权衡方面显着改善,并且它可以在培训后环境中启用修剪和量化的准确复合应用。
本文件涵盖了基于人工智能的多媒体身份表征操纵。由于在将人工智能应用于生成或修改以不同媒体格式(特别是音频、视频和文本)表示的数据的问题方面取得了重大进展,出现了新的威胁,这些威胁可能在各种情况下导致重大风险,从个人诽谤和使用虚假身份开设银行账户(通过攻击生物特征认证程序)到影响舆论的活动。人工智能技术可用于操纵真实的多媒体身份表征或创建虚假的多媒体身份表征。此类操纵的可能输出包括但不限于视频或音频文件,这些文件显示人们做或说他们从未做过或说过的事情。由于通常使用深度神经网络 (DNN) 来生成此类输出,因此它们通常被称为“深度伪造”。
本文档解决了基于AI的多媒体身份表示的问题和问题。由于将AI应用于以不同媒体格式(尤其是音频,视频和文本)代表的生成或修改数据的问题,因此出现了新的威胁,这些威胁可能会导致各种环境中的重大风险,范围从个人诽谤,从银行账户开设虚假身份(通过攻击虚假身份)(通过对生物身份验证程序的攻击)到竞选活动的攻击到竞争的信息,到竞争性的信息进行了虚假的信息,以置于虚假信息中。AI技术可用于操纵真实的多媒体身份表示或创建假的身份。此类操作的可能输出包括视频或音频文件,这些视频或音频文件表明人们在做或说出他们从未做过或实际上说过的事情。由于通常使用深层神经网络(DNN)来产生此类输出,因此通常称为“深击”。
人工智能领域的最新突破大大提升了我们对各种规模和各种形式的计算设备智能的需求。这种新智能包括数据中心的推荐系统、自动呼叫中心和游戏系统、自动驾驶汽车和机器人、与我们个人计算设备进行更直观和更具预测性的交互,以及能够立即应对紧急情况的智能城市和道路基础设施。与此同时,随着当今人工智能技术的成熟,人们逐渐意识到其局限性。虽然深度神经网络 (DNN) 表现出近乎无限的扩展能力来解决大问题,但这些收益是以计算能力和预先收集的数据为代价的。许多新兴的人工智能应用(尤其是那些必须在不可预测的现实环境中运行且受到功率、延迟和数据限制的应用)需要全新的方法。
曾经假定需要完全精确的计算以获得深入NNS(DNN)的准确结果。最近,研究人员确定了这些模型的较低精度,量化甚至三元或二进制变体可以使用计算资源的一部分来达到适当的精度水平。这些量化的NN(QNN)现在可以使用较低的功率,最小资源,嵌入式芯片(SOC)和FPGA进行实施。sec。3捕获了核心的学习,差距和机会,从QNN文献中进行了进一步的创新。使用卷积NNS(CNN)实施的模式识别算法非常适合太空探索和无人驾驶飞机,并且可以使用这些应用程序使用来基于捕获的图像来识别和分类对象[2]。由于其低成本,低功率消耗和灵活性,FPGA提供了有效实施NNS
在各种下游应用中,稀疏正则化的优化问题无处不在,例如深层神经网络(DNNS)的特征选择和压缩。尽管如此,当将这种正则化与随机损耗函数结合使用时,文献中现有的方法并不能很好地执行。,设计具有转换保证的计算有效算法并可以计算组较高的解决方案是一项挑战。最近,提出了一种半空间的预测梯度(HSPG)方法,部分解决了这些挑战。本文介绍了我们称之为ADAHSPG+的HSPG的大大增强版本,这取得了两个明显的进步。首先,与HSPG所要求的假设相比,ADAHSPG+在明显较宽的假设下具有更强的收敛结果。通过将差异技术与新的自适应策略整合在一起,以迭代预测解决方案的支持来实现这种改善。第二,与HSPG相比,ADAHSPG+的参数调整要少得多,从而使其更实用和用户友好。通过设计自动和自适应策略来选择每次迭代中采用的步骤类型并更新关键的HyperParam-eters来实现这一进步。我们提出的ADAHSPG+算法的数值有效性在凸面和非凸基准问题上都证明了。源代码可在https://github.com/tianyic/adahspg上找到。
摘要。模型反转(MI)攻击旨在通过利用输出信息来重建来自发布模型的隐私敏感培训数据,从而引起了人们对深神经网络(DNNS)安全性的广泛关注。最新的生成对抗网络(GAN)的进步已大大贡献了MI攻击的性能,因为它们具有具有高忠诚度和适当语义的逼真的图像的强大能力。但是,以前的MI攻击仅在Gan Pri-Ors的潜在空间中披露了私人信息,从而限制了它们在多个目标模型和数据集中的语义提取和可传递性。为了应对这一挑战,我们提出了一种新颖的方法,可以增强饮食,增强了g势元(IF-GMI),该方法分解了GAN结构并利用了中间块之间的特征。这使我们可以将优化空间从潜在代码扩展到具有增强表达能力的中间功能。为了防止gan先验产生不切实际的图像,我们将L 1球约束应用于优化过程。对多个基准测试的实验表明,我们的方法在各种设置下,尤其是在分布外(OOD)方案下显着执行先前的方法并实现最新结果。我们的代码可用:https://github.com/final-solution/if-gmi
这些光学驱动的系统具有巨大的增长潜力,因为我们了解如何控制控制这些系统的激发态量子动力学过程。尽管已经提出了几种方法和算法,以优化量子控制场(每种都有其自己的目的和优势14-17),但所有这些先前的方法本质上都是迭代性的,需要复杂的数值方法来求解这些最佳控制场。由于这些动态优化问题的非线性性质,这些算法所需的迭代和浮点操作的数量可能非常大,从而导致非常缓慢的收敛性(即使对于相对简单的一维问题16,18)。此外,当需要新的量子机械系统的最佳控制场时,必须重新启动整个迭代过程,因为该算法没有先前收敛的病例的先前的“内存”。由于这些计算瓶颈,我们想知道机器学习,尤其是深层神经网络(DNNS)是否可以提供一种有前途的方法来获得解决量子动力学中这种复杂的,逆问题的解决方案。近年来,机器学习已成为物理科学中的强大工具,用于在高维数据中找到模式(尤其是那些逃避人类直觉的模式)。虽然大多数机器学习
高质量的 AI 解决方案需要对 AI 算法(例如深度神经网络 (DNN))及其硬件加速器进行联合优化。为了提高整体解决方案质量并提高设计效率,高效的算法和加速器协同设计方法是必不可少的。在本文中,我们首先讨论了算法/加速器协同设计问题的动机和挑战,然后提供了几种有效的解决方案。特别是,我们重点介绍了三种有效的协同设计方法的主要工作:1)第一个同时进行的 DNN/FPGA 协同设计方法; 2)双向轻量级 DNN 和加速器协同设计方法; 3)可区分且高效的 DNN 和加速器协同搜索方法。我们通过在 FPGA 和 GPU 上进行大量实验来证明所提出的协同设计方法的有效性,并与现有工作进行了比较。本文强调了算法加速器协同设计的重要性和有效性,并呼吁在这个有趣且要求高的领域取得更多的研究突破。
大脑计算机界面(BCIS)已被广泛采用,以通过具有丰富的空间时间动力学(例如脑电图(EEG))来增强人类感知。近年来,BCI算法正在从经典的功能工程转变为新兴的深神经网络(DNN),从而可以以提高精度识别时空动力学。但是,省BCI体系结构并没有利用这种动力来实现硬件。在这项工作中,我们提出了ubrain,这是一种具有级联卷积和经常性神经网络的DNN模型的一级计算bci架构,以实现高任务能力和硬性功能。ubrain共同设计算法和硬件:DNN体系结构和硬件体系结构分别通过自定义的单一操作和传感后的即时信号处理进行了优化。实验表明,由于精确的准确性损失可忽略不计,超过了CPU,收缩期阵列和固定计算基线的基准,在片上功率的效率上超过了9。0⇥,6。2⇥和2。0⇥。