摘要。机器和人类视力(ICMH)的图像压缩近年来引起了人们的关注。现有的ICMH方法受到高训练和存储开销的限制,这是由于特定于任务的网络设计的大量设计。为了解决此问题,在本文中,我们为ICMH(名为Adapt-ICMH)开发了一种新颖的基于轻量级适配器的调整框架,可以更好地平衡任务性能和比特率与减少的开销。We propose a spatial-frequency modulation adapter (SFMA) that simultaneously eliminates non-semantic redundancy with a spatial modulation adapter, and enhances task-relevant frequency com- ponents and suppresses task-irrelevant frequency components with a fre- quency modulation adapter.所提出的适配器是插件播放的,并且与几乎所有现有的学到的图像压缩模型兼容,而不会损害预训练模型的性能。实验表明,适应性ICMH始终在各种机器视觉任务上的现有ICMH框架较少,并且较少的微调参数和降低的计算复杂性。代码将在https://github.com/qingshi9974/eccv2024-adpaticmh上发布。
抽象空间频率(SF)是视觉场景中的重要属性,是视觉处理通道的定义特征。但是,关于灵长类动物视觉皮层中如何编码这一基本信息,还有许多尚未解决的问题。在这里,在猕猴V2和V4的视觉区域中使用固有的信号光学成像,我们量化了SF地图和(1)视觉形貌以及(2)颜色和方向图之间的关系。我们发现,在方向区域中,低到高SF的定向映射到方向。在据报道包含颜色和轻度的正交轴的颜色区域中,低SF往往比高SFS更频繁地表示。这支持与“颜色/取向”组织有关的基于人群的SF波动。我们提出了一个跨皮质区域的广义高柱模型,该模型由两个带有其他参数的正交参数组成。