b'Just like P \xcf\x80 ( s, s \xe2\x80\xb2 ) is the probability of going from s to s \xe2\x80\xb2 in one step, the entries P \xcf\x80 n ( s, s \xe2\x80\xb2 ) of the n -th power of P \ xcf \ x80在n步骤中计算从s到s \ xe2 \ x80 \ xb2的概率。特别是,向量p \ xcf \ x80 n v \ xcf \ x80 0表示V \ xcf \ x80 0(x)的预期值,其中x是随机变量表示随机轨迹的最终状态s n(s 1,。。。,s n)长度为n从s 1 = s \ xe2 \ x88 \ x88s。这意味着p \ xcf \ x80 n v \ xcf \ x80 0的每个组件最多是max s | v \ xcf \ x80 0(s)| = 1.'
我们感兴趣的问题不仅是关于随机变量的分布或其概率,而且我们可能想要确定随机变量的“平均值”或期望值,以及它与其期望值或标准差的偏差程度。我们将只研究离散随机变量的期望值和标准差,这些离散随机变量是其可能值集合形成可数不同值列表的随机变量。例如,博兹曼医院接下来的三胎女孩数量就是一个离散随机变量,因为它只能取值 0、1、2 或 3。离散随机变量可以取无限数量的可能值,只要我们能够将它们列在有序列表中。例如,掷硬币直到第一次出现正面的次数是一个离散随机变量,可能值为 1、2、3、4、...可以在某个间隔内取任意值的随机变量(例如时间、长度、利率、高度)称为连续随机变量。我们将使用以下符号来指定离散随机变量可能结果的概率: