XiaoMi-AI文件搜索系统
World File Search SystemChervonenkis
信息理论下限的信息理论上界限
了解过度参数化模型的成功似乎具有挑战性。部分，由于该过程的违反直觉。共同的智慧表明，在学习中，必须对问题的问题有一定的良好偏见，并且在学习时，我们需要将自己限制在不能过分贴上数据的模型类别中。这种直觉是通过经典学习模型（例如PAC LearningValiant [1984]以及回归Alon等人的理由证明的。[1997]。在这些古典模型中，甚至可以证明Vapnik和Chervonenkis [2015]，Blumer等。[1989]，学习需要比学习类别的能力更多的示例，并且避免插值对于概括是必要的。这些结果是在与分布无关的设置中获得的，其中人们假定数据上的最差分布。
量子电路的伪维度
经典学习理论中的一个重要研究方向是使用复杂性度量来表征函数类的表达能力。这种复杂性界限反过来又可用于限制学习所需的训练数据的大小。其中最突出的是 Vapnik 和 Chervonenkis (1971) 引入的 Vapnik-Chervonenkis (VC) 维度。其他众所周知的度量包括 Pollard (1984) 提出的伪维度、Alon 等人 (1997) 提出的脂肪粉碎维度、Rademacher 复杂性（参见 Bartlett 和 Mendelson 2002），以及更普遍的度量空间中的覆盖数字。表征对象表达能力的目标也以不同的形式出现在量子信息中。一个众所周知的例子是量子态断层扫描。Aaronson (2007) 将状态断层扫描的变体与经典学习任务相关联，其脂肪粉碎维度可以使用特定的函数类来限制