XiaoMi-AI文件搜索系统
World File Search Systemquantization
使用自组织映射的量化误差（......
摘要。这些研究利用了自组织映射 (SOM) 学习后输出的量化误差 (QE)。SOM 学习应用于具有可变白色和暗像素内容相对量的空间对比图像的时间序列，如单色医学图像或卫星图像。事实证明，学习后 SOM 输出的 QE 提供了图像随时间变化的潜在关键变化的可靠指标。当对比度强度保持不变时，QE 会随着图像空间对比度内容随时间的变化而线性增加。使用超快速 SOM 学习后，该指标能够捕捉大量图像时间序列中最小的变化，这一点迄今为止从未被怀疑过，这一点在计算机生成的图像、MRI 图像时间序列和卫星图像时间序列的 SOM 学习研究中得到了说明。对给定系列图像的拍摄时间的 QE 变化进行线性趋势分析，证明了该指标作为局部变化指标的统计可靠性。结果表明，QE 与记录测试图像系列的同一参考时间段内的重要临床、人口统计学和环境数据相关。研究结果表明，SOM 的 QE 易于实现，对于给定的 20 到 25 个图像系列，计算时间不超过几分钟，当目标是提供与图像间变化/无变化相关的即时统计决策时，它可用于快速分析整个图像数据系列。关键词。自组织映射 (SOM)、量化误差、图像时间序列、空间对比度、可变性、变化检测。
紧张的Moiré晶格中的半经典量化条件
近几十年来，科学家掌握了由单个原子或分子层组成的二维晶体的创建。当这些晶体被轻微的偏移或旋转堆叠时，它们会产生大规模的干扰模式，称为Moiré模式。在这样的莫伊尔材料中，电子状态与莫伊尔图案的周期性一致，而不是原始晶体的周期性，对材料的电子特性产生了深远的影响。扭曲的双层石墨烯（TBG），其中两层石墨烯略有扭曲，是这种现象的主要例子。石墨烯是一种二维晶体，该晶体由排列在蜂蜜梳子晶格中的单层碳原子形成。当以特定的扭曲角度堆叠（称为魔法角度）时，TBG具有显着的特性，包括非常规超导性和低能量处的电子带结构的区别。Tarnopolsky，Kruchkov和Vishwanath [TKV19]引入了TBG的手性连续体模型，该模型通过精确地展示了Bloch-Floquet乐队，从而捕捉了TBG魔法角度的这种基本性质。在[bewz21，bewz22]中显示，由于扭曲角度非常小，几乎每个接近零能量的频段基本上都是为此模型的。在本文中，我们研究了Timmel和Mele [TM20]引入的上述手性模型的类似物，其中Moiré-type结构通过应用物理菌株在一个维度中占据一维。虽然此模型确实
基于局部性的编码器和模型量化，用于有效的超维计算
摘要 - 脑启发的高维（HD）计算是一种新的计算范式，可以模仿高维空间中神经元的活性。HD计算中的第一个步骤是将每个数据点映射到高维空间（例如10,000）中，该空间需要计算原始域中每个数据元素的数千个操作。单独编码大约需要培训执行时间的80％。在本文中，我们提出，REHD，用于HD Computing中的编码，培训和推断的整个重做，以实现更硬件友好的实现。REHD包括用于HD计算的完全二进制编码模块，用于能量良好和高智能分类。我们基于随机投影的编码模块可以在硬件中有效地实现可预测的内存访问模式。REHD是第一个基于HD的方法，它提供了与原始数据1：1比率的数据投影，并启用使用二进制HyperVector进行所有培训/推理计算。在优化后，重新添加了编码过程，重新培训和推断成为HD计算的能源密集型部分。为解决此问题，我们还提出了模型量化。模型量化引入了一种新型的方法，该方法是使用n位存储类高量向量的方法，其中n范围为1至32，而不是以完整的32位精度，从而可以在能量效率和准确性之间进行折衷的细节调整。为了进一步提高REHD效率，我们开发了一种在线尺寸缩小方法，可以消除训练期间无效的高度向量维度。
DNA-TEQ：用于 DNN 推理的自适应指数量化张量
摘要 — 量化通常用于深度神经网络 (DNN)，通过降低激活和权重（又称张量）的算术精度来减少存储和计算复杂度。高效的硬件架构采用线性量化，以便将最新的 DNN 部署到嵌入式系统和移动设备上。然而，线性均匀量化通常无法将数值精度降低到 8 位以下，而不会牺牲模型精度方面的高性能。性能损失是由于张量不遵循均匀分布。在本文中，我们表明大量张量符合指数分布。然后，我们提出 DNA-TEQ 以自适应方案对 DNN 张量进行指数量化，以在数值精度和精度损失之间实现最佳权衡。实验结果表明，DNA-TEQ 提供的量化位宽比以前的方案低得多，平均压缩率比线性 INT8 基线高出 40%，准确度损失可以忽略不计，并且无需重新训练 DNN。此外，DNA-TEQ 在指数域中执行点积运算方面处于领先地位。对于一组广泛使用的 DNN，与基于 3D 堆叠内存的基线 DNN 加速器相比，DNA-TEQ 平均可提供 1.5 倍的加速和 2.5 倍的节能。索引术语 —DNN、量化、指数、Transformer
APTQ：面向大型语言模型的注意力感知训练后混合精度量化
大型语言模型 (LLM) 极大地推进了自然语言处理范式。然而，高计算负荷和巨大的模型大小对在边缘设备上的部署提出了巨大挑战。为此，我们为 LLM 提出了 APTQ（注意感知训练后混合精度量化），它不仅考虑了每层权重的二阶信息，而且首次考虑了注意输出对整个模型的非线性影响。我们利用 Hessian 迹作为混合精度量化的敏感度指标，确保在保留模型性能的情况下进行明智的精度降低。实验表明，APTQ 超越了之前的量化方法，在 C4 数据集中实现了平均 4 位宽度和 5.22 困惑度，几乎相当于全精度。此外，APTQ 在 LLaMa-7B 和 LLaMa-13B 中分别以平均 3.8 的位宽实现了 68.24% 和 70.48% 的最佳零样本准确率，证明了其生成高质量量化 LLM 的有效性。
基于事件相关电位检测的脑机接口训练后量化
摘要 — 训练后量化 (PTQ) 是一种用于优化和减少机器学习模型的内存占用和计算要求的技术。它主要用于神经网络。对于完全可移植且可在各种情况下使用的脑机接口 (BCI)，有必要提供存储和计算量轻量级的方法。在本文中，我们提出对脑机接口中最先进的方法进行训练后量化的评估，并评估其对准确性的影响。我们评估了代表一个主要 BCI 范式的事件相关电位单次检测的性能。当在空间滤波器和分类器上应用 PTQ 时，受试者工作特征曲线下面积从 0.861 下降到 0.825，同时将模型的大小减少了约 × 15。结果支持以下结论：PTQ 可以显着减少模型的内存占用，同时保持大致相同的准确度。
最佳脑压缩：用于准确训练后量化和修剪的框架
我们考虑在具有挑战性的一声/训练后设置中，深度神经网络（DNN）的模型压缩问题，在该设置中，我们将获得一个准确的训练有素的模型，并且必须仅基于少量校准输入数据而无需进行任何重新训练。鉴于新兴软件和硬件支持，该问题已变得很流行，以通过加速进行修剪和/或量化来执行模型，并且已经针对两种压缩方法独立提出了良好的表现解决方案。在本文中，我们引入了一个新的压缩框架，该框架涵盖了在统一的环境中涵盖重量修剪和量化的，这是时间和空间效果，并且在现有后训练方法的实际性能上大大提高。在技术层面上，我们的方法基于[Lecun，Denker和Solla，1990]的经典最佳脑外科医生（OBS）框架的精确而有效的实现，以涵盖现代DNNS规模的体重量化。从实际的角度来看，我们的实验结果表明，它可以在现有训练后方法的压缩准确性权衡方面显着改善，并且它可以在培训后环境中启用修剪和量化的准确复合应用。
最佳大脑压缩：准确的训练后量化和修剪框架
我们考虑深度神经网络 (DNN) 在具有挑战性的一次性/后训练环境中的模型压缩问题，在该环境中，我们获得了一个经过精确训练的模型，并且必须仅基于少量校准输入数据对其进行压缩，而无需进行任何重新训练。鉴于新兴的软件和硬件支持通过加速剪枝和/或量化来执行压缩模型，这个问题变得很普遍，并且已经针对这两种压缩方法分别提出了性能良好的解决方案。在本文中，我们介绍了一种新的压缩框架，该框架在统一的环境中涵盖权重剪枝和量化，具有时间和空间效率，并且大大提高了现有后训练方法的实际性能。在技术层面，我们的方法基于 [LeCun、Denker 和 Solla，1990] 的经典最佳脑外科医生 (OBS) 框架的精确和高效实现，该框架扩展到还涵盖现代 DNN 规模的权重量化。从实际角度来看，我们的实验结果表明，它可以显著改善现有后训练方法的压缩-准确度权衡，并且可以在后训练环境中实现修剪和量化的准确复合应用。
partiii eq.4.13应用：混合状态k o = g o = g oo 11.1指标量化的概念来自方程式等方程。4.13分形
partiii eq.4.13应用：混合状态k o = g o = g o11.1指标量化的概念来自方程式等方程。4.13分形亚原子量表的量化应在下一个较高的10 40 x分形尺度（宇宙学）上重复，因此，应进行度量量化。一个元素不仅仅是局部重力，还包括确实有验证的局部组件。n = 1。例如，在所有螺旋星系平面的光环中，在大型R = 1-2gm /（rc 2）中，eq.4.13 k 00在大r（k 00»e i de /de /（1-2 e）的极限）中必须等于G oo = 1-2gm /（rc 2），鉴于所有通常的中心力力mv 2 /r = gmm /r 2在所有螺旋力平面中，halo的各个部分都必须在螺旋力平面中。求解V的这些方程式给出了我们的度量量化。v = n100km/sec（n =整数），因此我们不需要暗物质来解释这些光晕速度。审查：来自Parti Ultimate Occam的剃须刀理论的评论意味着最终数学物理学理论：假设0®Newpdet + µ + E Mandelbulbs in Fig6中的Mandelbulbs在自由空间中r H = E 2 10 40 40（0） /2M P C 2，k 00 （4.13）newpde = g µ（ÖKµµ）¶y /¶x µ =（w /c）y，y，v，v，k oo = 1-r h /r = 1 /k rr = 1 /k rr，r h = e 2 x10 40 n /m（n =。< /div>-1,0,1。，）。t +µ +e在2p 3/2球形壳上r = rh。2g = t +µ baryons，稳定（在此处不需要QCD）。那么，在r = r h时，newpde的（稳定）多电体状态吗？是。d c = 0给出了45°极端
弥合扩散模型之间的差距和图像压缩的通用量化
通过利用量化误差和加性噪声之间的相似性，可以通过使用扩散模型“ denoise”量化引入的伪影来构建基于扩散的图像压缩编解码器。但是，我们确定了这种方法中的三个差距，从而导致量化的数据排除在扩散模型的分布之外：噪声水平，噪声类型和由离散化引起的差距的差距。为了解决这些问题，我们提出了一个新型的基于量化的正向扩散过程，该过程是理论上建立的，并桥接了上述三个差距。这是通过经过精心量身定制的量化时间表以及对均匀噪声训练的扩散模型来实现的。与以前的工作相比，我们提出的架构也会产生一贯的现实和详细的结果，即使是在极低的比特率下，同时保持对原始图像的忠诚度。