XiaoMi-AI文件搜索系统
World File Search System权重
深度神经网络的结构化权重修剪与三元化的和谐共存
深度卷积神经网络 (DNN) 取得了显著成功，广泛应用于多种计算机视觉任务。然而，其庞大的模型规模和高计算复杂度限制了其在 FPGA 和 mGPU 等资源受限的嵌入式系统中的广泛部署。作为两种最广泛采用的模型压缩技术，权重剪枝和量化分别通过引入权重稀疏性（即强制将部分权重设为零）和将权重量化为有限位宽值来压缩 DNN 模型。尽管有研究尝试将权重剪枝和量化结合起来，但我们仍然观察到权重剪枝和量化之间的不协调，尤其是在使用更激进的压缩方案（例如结构化剪枝和低位宽量化）时。本工作以 FPGA 为测试计算平台，以处理单元（PE）为基本并行计算单元，首先提出一种 PE 级结构化剪枝方案，在考虑 PE 架构的同时引入权重稀疏化，并结合优化的权重三元化方法，将权重量化为三元值（{- 1 , 0 , +1 }），将 DNN 中主要的卷积运算从乘法累加（MAC）转换为仅加法，同时将原始模型（从 32 位浮点数到 2 位三元表示）压缩至少 16 倍。然后，我们研究并解决了 PE-wise 结构化剪枝与三元化之间的共存问题，提出了一种自适应阈值的权重惩罚剪枝 (WPC) 技术。我们的实验表明，我们提出的技术的融合可以实现最佳的 ∼ 21 × PE-wise 结构化压缩率，而 ResNet- 18 在 ImageNet 数据集上的准确率仅下降 1.74%/0.94% (top-1/top-5)。
空间高效的内点法，应用于线性规划和最大权重二分匹配
是计算机科学和运筹学中最基本的问题之一。在过去的半个世纪里，人们致力于开发时间高效的线性规划求解器，例如单纯形法 [23]、椭球法 [44] 和内点法 [41]。近几年，利用内点法 (IPM) 加速线性规划求解得到了深入研究 [20, 55, 13, 35, 65, 25, 71]。当 m ≈ n 时，最先进的 IPM 运行时间为 O(m2+1/18+mω)，当 m≫n 时，运行时间为 O(mn+n3)。为了实现这些令人印象深刻的改进，大多数此类算法利用随机和动态数据结构来同时维护原始解和对偶解。虽然这些算法在时间上是高效的，但它们不太可能以空间高效的方式实现：维护原始对偶公式需要 Ω(m + n2) 空间，当 m ≫ n 时尤其不能令人满意。在本文中，我们研究了在流式模型中求解线性规划的问题：在每一遍中，我们可以查询 A 的第 i 行和 b 的对应行。目标是设计一个既节省空间又节省遍历次数的 LP 求解器。所谓高效，我们的目标是获得一种不依赖于 m 的多项式的算法，或者更具体地说，我们提出一个健壮的 IPM 框架，该框架仅使用 e O(n2) 空间和 e O(√n log(1/ϵ)) 次遍历。1据我们所知，这是实现与 m 无关的空间和遍历最高效的流式 LP 算法。目前最好的 LP 流式算法要么需要 Ω(n) 次传递，要么需要 Ω(n2+m2) 空间来进行 O(√n) 次传递。对于高密集 LP（m≫n）的情况，我们的算法实现了最佳空间和传递。获得这些 LP 算法的关键因素是从时间高效的原始对偶 IPM 转变为时间效率较低的仅对偶 IPM [64]。从时间角度来看，仅对偶 IPM 需要 e O(√nlog(1/ϵ)) 次迭代，每次迭代可以在 e O(mn+poly(n)) 的时间内计算完成。然而，它比原始对偶方法更节省空间。具体而言，我们表明每次迭代，只需维护一个 n×n 的 Hessian 矩阵即可。为了获得 e O ( √ n log (1 /ϵ )) 次传递，我们证明了诸如 Lewis 权重 [ 56 , 21 ] 等非平凡量可以以仅使用 e O ( n 2 ) 空间的就地方式递归计算。既然我们有了用于流式模型中一般 LP 的空间和传递效率高的 IPM，我们将使用半流式模型中的图问题应用程序对其进行实例化。在半流式模型中，每条边及其权重都以在线方式显示，并且可能受到对抗顺序的影响，并且算法可以在 e O ( n ) 空间中对流进行多次传递。2我们特别关注最大权重二分匹配问题，其中带有权重的边以流式传输给我们，目标是找到一个匹配，使其中的总权重最大化。虽然对这个问题的研究已经很多（[ 2 , 36 , 24 , 3 , 9 ] 等），但大多数算法只能计算近似匹配，这意味着权重至少是最大权重的 (1 − ϵ )。对于精确匹配的情况，最近的一项研究 [ 6 ] 提供了一种算法，它取 n 4 / 3 + o (1)
每次试验使用单一权重的脑电图稳健统计线性建模
美国） - Arnaud Delorme（加州大学圣地亚哥分校斯沃茨计算神经科学中心；法国图卢兹图卢兹第三大学保罗萨巴蒂尔大脑与认知研究中心；国家科学研究中心
最大权重策略的波动界限及其在状态空间崩溃中的应用
降低分析复杂性的常用方法是流体近似，也称为流体模型。流体模型依赖于两个简化，从而可以用一组微分方程来描述（参见第 2.3 节）：（a）动态在连续时间（而不是离散时间）中演变；（b）到达过程被具有相同平均值的恒定流所取代。流体模型是处理离散时间网络的通用技术的基础：用流体解近似队列长度，然后分析流体模型。该方法已被证明在 MW 动力学研究中非常有用，并产生了关于稳定性（Dai 和 Prabhakar 2000 、Andrews 等人 2004 ）、SSC（Stolyar 2004 ；Dai 和 Lin 2005 ；Shah 和 Wischik 2006 、2012 ）和重尾到达下的延迟稳定性（Markakis 等人 2016 、2018 ）的结果。这些结果背后的一个关键因素是理解流体解近似原始队列长度过程的准确性；本文有助于理解这一点。
使用基于自适应惯性权重的 PSO 进行综合可再生能源系统的技术经济建模
不断增加的碳排放率和对全球环境的持续破坏为可再生能源的实施铺平了道路，无论其性质如何不稳定。探索在孤立区域开发具有最低能源成本的合适的综合可再生能源（IRE）模型已成为最大的挑战之一。在目前的工作中，提出了一种由光伏、生物质和沼气系统组成的 IRE 模型，用于离网孤立区域电气化。为了强调建模的经济方面，平准化能源成本（LCE）已被作为重要因素。采用了基于自适应惯性权重的粒子群优化（PSO w）技术来降低发电总成本。正在考虑的四个区块的能源成本分别为 4.48 卢比/千瓦时、4.52 卢比/千瓦时、4.57 卢比/千瓦时和 4.49 卢比/千瓦时。结果表明，与研究区域现有的家庭能源成本 6.70 卢比/千瓦时（>250 千瓦时）相比，能源成本极低。
使用经典代码的权重分布描述具有擦除误差的量子计量
量子计量有望成为量子技术的一个突出用例。然而，噪声很容易降低这些量子探测状态的质量，并抵消它们在无噪声环境中提供的量子优势。虽然量子纠错 (QEC) 可以帮助解决噪声问题，但容错方法对于近期使用来说资源过于密集。因此，需要一种 (近期) 稳健的计量策略，该策略可轻松适应未来基于 QEC 的量子计量。在这里，我们通过研究由最小距离 d ≥ t + 1 的 [ n, k, d ] 二进制块码构成的量子探测状态的性能，提出了这样一种架构。此类状态可以解释为 CSS 码的逻辑 | + + · · · + ⟩ 状态，其逻辑 X 组由上述二进制码定义。当量子探测状态的常数 t 个量子比特被擦除时，利用量子 Fisher 信息 (QFI)，我们证明由此产生的噪声探测可以给出磁场估计值，其精度与相应 2 t 缩短代码的权重分布的方差成反比。此外，我们证明，如果 C 是任何与长度为 n 的线性内部重复代码连接的代码，那么量子计量中就可能存在量子优势。这意味着，给定任何恒定长度的 CSS 代码，与长度为 n 的线性重复代码的连接对于具有恒定擦除误差数量的量子计量是渐近最优的。除了基本的 QFI 结果之外，我们还明确构建了一个可观测量，当在这种受噪声代码启发的探测状态上测量时，它可以对磁场强度产生一定的精度，并且在磁场强度消失的极限下也表现出量子优势。我们强调，尽管使用了编码理论方法，但我们的结果并不涉及综合征测量或错误校正。我们用 Reed-Muller 码构建的探测状态示例来补充我们的结果。
脑肿瘤分类联邦学习环境中聚合模型的权重共享优化
正确的肿瘤分类将极大地帮助脑肿瘤的临床诊断和治疗。如果放射科医生使用深度学习帮助专家和医生检查大量的脑部 MRI 图像，则可以更快、更准确地诊断出脑肿瘤。训练过程需要大量数据集，并且必须将所有这些数据集中起来才能通过此类技术进行处理。由于医疗数据隐私法规，有时无法在集中式数据服务器上收集和分发患者数据。本文提出了联邦学习（FL），由于患者隐私问题，数据不可共享。使用 FL 方法，我们提出了两种聚合方法：第一种涉及对每个客户端的权重百分比进行排名；第二种是平均权重法。为了评估建议的模型，除了 SVM 和 VGG-16 之外，我们还比较了排名权重百分比方法与 FL 环境中提出的 CNN 和预训练（VGG-16）的平均权重的性能。实验结果应用于两个数据集，结果表明我们的模型准确率结果在使用排序权重百分比法时与其他方法相比非常有效，在数据集 (BT_large-1c) 上达到了准确率 (98%)，在数据集 (BT-large-2c) 上达到了准确率 (97.14%)。
多元微积分及其在人工智能中的应用...
其中 W = ( w 1 , w 2 , w 3 , ..., wn ) 是存储每个权重/偏差值的矩阵。对于每个 i ，wi 是网络中的一个权重或偏差的值。C 是我们的“错误”，应该尽可能低。显然，我们希望最小化成本函数，这可以通过计算网络中每个权重和偏差的偏导数来实现，这些权重和偏差最初具有任意初始值，这些值可能会发生变化。然后，我们使用递归关系 W n +1 = W n −∇ C ( W n ) 相应地修改权重和偏差值。通过迭代此过程，我们很可能可以到达点 C min = lim n →∞ C ( W n )，此时 C 最小化，并且人工神经网络模型经过训练可以给出我们想要的结果。
如果生成人工智能有了意识会怎样？
神经网络是受人脑启发而来的结构。它们由大量相互连接的基本细胞或神经元组成。通过各种训练方法，提供所需行为的信息会作为一组“权重”存储在这些互连中。这里的“权重”是指当互连被该特定链接另一端的神经元激活时，接收神经元处的信号强度。神经元是简单的细胞，其主要功能是根据权重传递信号。它们还必须在持续的学习过程中根据取决于整体结果质量的奖励系统调整这些权重，而整体结果在某种程度上是不可预测的。意识最终可以在足够大的细胞群中以更高的水平激发出来，就像人类大脑的情况一样。