相关性是随机变量之间的统计关系,其中一个随机变量的变化会导致另一个变化的期望变化。重要的是,在识别模型中选择的特征与目标变量高度相关,以提高预测的准确性,并且还将有助于简化识别模型的训练并有助于提高预测效率。[13,14]来自Kaggle.com的数据集与房地产特征及其价格细分市场有关,以作为培训神经网络和方法的数据。数据集包括具有21613值的房价细分市场以及18个属性。基于属性,选择了价格类别的属性,该属性具有值0、1和2的属性,其中0是廉价段,1是中段,而2是昂贵的段。数据图如表1所示。
经典随机通道是映射φ:p(x)→p(y),该概率测量在集合x上发送到集合y上的概率度量。在离散设置中,通过将每个x∈X映射到概率度量νxx∈P(y),然后φ(µ)(y)(y)(y)íx∈XνXx(y)来指定这样的通道。在样本方面,每个元素x∈X映射到y的随机元素y(x)。因此,如果x是x中的随机变量,则通过通道后,则结果随机变量为y(x)。请注意,可以将经典通道视为线性映射φ:r x→r y,可保留概率度量,并且可以将其分解为两个属性:
• 电路理论 • 工程师的概率和随机变量 • 微电子设备和电路 • 电磁理论 • 波和光学 • 信号和系统 • 数字信号处理 • 系统和控制 • 模拟和数字通信 • 数字系统设计 • 数字集成电路
我们先从经典信息论中的法诺不等式说起。一个马尔可夫链 X → Y → ˆ X,其中一个随机变量 X,以及从观测 Y 中得到的估计 ˆ X。最简单的理解是,这个马尔可夫链就是一个通信信道,其中 Y 等于噪声加上 X,ˆ X 是基于 Y 做出的估计。因此,最好的情况是 H(X|ˆ X)=0,这意味着我们的估计完全恢复了原始的 X 而没有错误,但是在大多数其他情况下这基本上是不可能的,因此我们感兴趣的是通过信道丢失了多少信息,换句话说,H(X|ˆ X),给出了估计 ˆ X 时 X 还有多少不确定性。因为它不是理想的,所以出错是不可避免的,我们定义 P e=P(ˆ X ̸= X) 和一个新的随机变量 Z [2]。
许多机器学习算法的核心是使用随机变量 (randvars) 描述隐藏在数据中的行为或结构的大型概率模型。在有效机器学习算法激增之后,有效的推理算法成为焦点,以利用学习到的模型或进一步优化机器学习算法 (LeCun 2018)。通常,模型由已知个体 (常数) 池 (即已知宇宙) 及其之间的关系形成。处理个体集可以实现易于处理的推理 (Niepert and Van den Broeck 2014)。通过与行为相同的个体代表合作并仅在必要时查看特定个体,提升可以有效地处理个体集。如果根据患病人数对可能的流行病进行建模,那么所有患病的人对流行病的行为都相同。在参数因子 (parfactors) 中,用逻辑变量 (logvars) 参数化的随机变量紧凑地表示随机变量集 (Poole 2003)。一个 parfactor 不是为每个人指定一个关于患病者如何影响流行病的因子,而是作为所有人的模板。马尔可夫逻辑网络使用一阶逻辑公式进行紧凑编码 (Richardson and Domingos 2006)。已知宇宙意味着 parfactors 或马尔可夫逻辑网络中的 logvars 具有域,并且可能具有将域限制为特定 parfactors 或公式的某些常数的约束。提升推理算法
在没有侧面信息的情况下,让我们首先引入了通常的猜测问题的对抗性扩展[1-10]。一方可以随意选择一个概率分布P,用于随机变量M,而不是字母M,并将她的选择传达给另一方(在先前考虑的,非对抗的情况下,P被游戏规则所构成)。在游戏的每一轮中,爱丽丝根据分布p随机选择一个值m,而鲍勃(Bob)对随机变量m的值进行了询问,一次是一个随机变量的值,直到他的猜测正确为止。例如,让我们考虑情况m = {a,b,c}。在这种情况下,鲍勃的第一个查询可能是b。如果爱丽丝回答负面,那么他的下一个查询可能是一个。假设这次爱丽丝在官能上回答,这一轮已经结束。鲍勃选择了查询的顺序,以最大程度地减少所产生的成本,提前双方已知的成本功能,仅取决于平均查询数量;爱丽丝选择先前的概率分布p来最大化这种成本。Alice和Bob的最佳策略都是显而易见的:对于Alice,它包括选择P作为M上方的均匀分布,而对于BOB,它包括以其先前概率的非进攻顺序查询M的值。
在信息论框架内,两个随机变量之间存在相关性意味着我们可以通过测量或观察另一个随机变量来获得有关其中一个变量的信息。在某些情况下,这种关系允许获取有关一个变量的信息,即使另一个变量相隔很远,也就是说,获取信息的过程是非局部的,一个例子(如果不是唯一的例子)就是量子纠缠。相关性的这些特征使得研究、分类和量化它们变得有趣和重要。相关性分为经典相关性和量子相关性,此外,它们通过互信息进行量化。在这里,我们将提出一种定义经典互信息的自然方法,然后将其推广到量子情况。此外,互信息定义中的每个术语都将使用经典和量子熵的概念进行解释。关键词:信息熵、相关性、互信息。
在本文中,我提出了这样一个主题,即在短期内,消费者可能会起作用,好像他们的货币边际公用事业是不变的。这个想法在以前的论文[Bewley(1977)]中表达了一个模型。在这里,使用了一般的Equilibnum模型。纯粹的交换经济的模型1s与不朽的消费者持有资金,以抵消其捐赠和公用事业功能的波动。也假定有一系列消费者,并且其公用事业和捐赠中的波动是独立的。做出这些假设是为了使它们的波动相互抵消,而平衡不需要波动。价格的稳定性大大简化了分析。主要定理是,如果消费者折扣未来的公用事业1S的速率达到零,那么他的货币边缘效用将几乎稳定。使纯粹的时间偏好率很小,大致对应于加速外源随机波动。与独立波动随机变量的连续性相关的技术困难。让Xa,a e [o,l]成为这样一个随机变量的家族。ILIESE变量的典型实现不是[请参见Judd(1985)]的可测量函数,因此人们想知道如何定义Integralf 0 1 XADA。本文与文献中的几个密切相关。模型1S与Lucas(1980)的模型类似,尽管他包含了一个Clower约束,该约束在这里不存在。独立随机变量的连续性已由
开始之前,我们先回顾一下在整个讲义中使用的古典概率论的标准符号。有很多关于概率论的优秀教科书和在线资源,比如 [Kel94; Ros10],我们推荐您参考其中任何一本以获取更多背景信息。考虑一个离散随机变量 X,其值取自某个大小为 n 的字母表 X。我们用 PX ( · ) 表示 X 的分布,用 | X | 表示 X 的字母表大小。符号 PX ( x ) 表示随机变量取特定符号 x ∈ X 的概率。当从上下文中可以清楚了解分布时,我们使用简写 px = p ( x ) = P ( X = x ) = PX ( x )。记住概率分布 PX ( · ) 由非负概率值指定很有用,即 ∀ x ∈ X , PX ( x ) ≥ 0。此外,X 应该是标准化的,这意味着 ∑ x ∈ XPX ( x ) = 1。
