信息论领域中一个特别有趣的概念是信道。信道是一种以概率方式将输入字母表 X 的符号转换为输出字母表 Y 的符号的设备:当 x ∈X 是输入时,p ( y | x ) 给出在输出中获得 y ∈Y 的概率。对于这样的信道,容量是输入和输出之间最大相关性的度量。当它们独立时(所有输入以相同的概率产生相同的输出),容量为 0;当没有传输错误时(每个输出都由一个输入产生),容量取最大值。容量的重要性源于香农定理:容量给出了我们可以使用信道传输信息的最大可实现速率,而不会出现错误。除了在信息论中的应用外,信道和容量的概念在安全领域也非常有用。已经证明,在