AIQVIT

arxiv：2502.04628v1 [CS.CV] 2025年2月7日

训练后量化（PTQ）已成为减少视觉变压器（VIT）的存储和计算成本的承诺解决方案。最近的进步主要是对制作量化器进行制作量化，以处理以VIT为特征的特殊激活。然而，大多数现有方法未列出重量序列产生的信息损失，从而导致严重的性能恶化，尤其是在低位案例中。此外，量化VIT后施加后激活的一种常见实践是对对数转换的影响，不幸的是，这对零左右的信息值较少。这种方法引入了其他冗余，最终导致了次序量化功效。为了处理这些内容，本文为VIT量身定制的创新PTQ方法称为AIQVIT（用于VIT S的训练后的训练后Q）。首先，我们设计了一个知情的低级补偿机制，其中引入了可学习的低级权重以补偿由权重量化引起的降解。第二，我们设计了动态的聚焦量化器，以适应后敏化后激活的不平衡分布，该分散量是为了动态地介绍更高量化的最有价值的间隔。对五个视觉任务的广泛实验，包括图像分类，对象检测，实例分割，点云分类和点云部分分割，证明了AIQVIT优于最先进的PTQ方法。