XiaoMi-AI文件搜索系统
World File Search SystemPTQ
基于事件相关电位检测的脑机接口训练后量化
摘要 — 训练后量化 (PTQ) 是一种用于优化和减少机器学习模型的内存占用和计算要求的技术。它主要用于神经网络。对于完全可移植且可在各种情况下使用的脑机接口 (BCI)，有必要提供存储和计算量轻量级的方法。在本文中，我们提出对脑机接口中最先进的方法进行训练后量化的评估，并评估其对准确性的影响。我们评估了代表一个主要 BCI 范式的事件相关电位单次检测的性能。当在空间滤波器和分类器上应用 PTQ 时，受试者工作特征曲线下面积从 0.861 下降到 0.825，同时将模型的大小减少了约 × 15。结果支持以下结论：PTQ 可以显着减少模型的内存占用，同时保持大致相同的准确度。
![arxiv：2502.04628v1 [CS.CV] 2025年2月7日](/simg/g:\will\search\icon\source\e\e62c82b565d6cc8945b22d0eaa9569d70c13f527.webp)
arxiv：2502.04628v1 [CS.CV] 2025年2月7日
训练后量化（PTQ）已成为减少视觉变压器（VIT）的存储和计算成本的承诺解决方案。最近的进步主要是对制作量化器进行制作量化，以处理以VIT为特征的特殊激活。然而，大多数现有方法未列出重量序列产生的信息损失，从而导致严重的性能恶化，尤其是在低位案例中。此外，量化VIT后施加后激活的一种常见实践是对对数转换的影响，不幸的是，这对零左右的信息值较少。这种方法引入了其他冗余，最终导致了次序量化功效。为了处理这些内容，本文为VIT量身定制的创新PTQ方法称为AIQVIT（用于VIT S的训练后的训练后Q）。首先，我们设计了一个知情的低级补偿机制，其中引入了可学习的低级权重以补偿由权重量化引起的降解。第二，我们设计了动态的聚焦量化器，以适应后敏化后激活的不平衡分布，该分散量是为了动态地介绍更高量化的最有价值的间隔。对五个视觉任务的广泛实验，包括图像分类，对象检测，实例分割，点云分类和点云部分分割，证明了AIQVIT优于最先进的PTQ方法。
![arXiv:2207.03088v1 [cs.LG] 2022 年 7 月 7 日](/simg/g:\will\search\icon\source\6\6aed2ae97f3828187168ca2934089f3e02d8e419.webp)
arXiv:2207.03088v1 [cs.LG] 2022 年 7 月 7 日
摘要 目前神经网络模型的量化方法主要分为训练后量化（PTQ）和量化感知训练（QAT）。训练后量化只需要一小部分数据即可完成量化过程，但是其量化模型的性能不如量化感知训练。本文提出一种新的量化方法Attention Round，该方法让参数w有机会在量化过程中被映射到所有可能的量化值上，而不仅仅是w附近的两个量化值，且被映射到不同量化值的概率与量化值与w的距离负相关，并以高斯函数衰减。此外，本文以有损编码长度为度量为模型不同层分配位宽来解决混合精度量化问题，有效避免了求解组合优化问题。本文还对不同的模型进行了定量实验，结果证实了所提方法的有效性。对于ResNet18和MobileNetV2，本文提出的训练后量化仅需要1,024个训练数据和10分钟即可完成量化过程，可以达到与量化感知训练相当的量化性能。