我们更进一步考虑学习神经网络分类的问题。在信息瓶颈 (IB) 原则下,我们将这个分类问题与表示学习问题联系起来,我们称之为“IB 学习”。我们表明,IB 学习实际上等同于量化问题的一个特殊类别。率失真理论的经典结果表明,IB 学习可以受益于“矢量量化”方法,即同时学习多个输入对象的表示。这种方法辅以一些变分技术,产生了一种用于使用神经网络模型进行分类的新颖学习框架“聚合学习”。在这个框架中,多个对象由单个神经网络联合分类。通过在标准图像识别和文本分类任务上的大量实验验证了该框架的有效性。
主要关键词