数学526/Stats 526。离散状态随机过程Cohen,ASAF T/T t/t Th 10:00 AM-11:30 AM Cohen,ASAF T/TH 11:30 AM-1:00 PM TBD T/TH T/TH 8:30 AM-10:00 AM MATH 525或Stats 525或STAT 525或EEC 525或EECS 525或EECS 501。(3)。(BS)。可能不会重复以获得信用。这是关于随机过程在离散状态空间上的理论和应用的课程。一些特定主题包括:(1)马尔可夫链 - 马尔可夫属性, - 复发和瞬态, - 平稳性, - 千古, - 耦合, - 退出概率和预期的退出时间; (2)马尔可夫决策过程 - 最佳控制, - Banach固定点定理; (3)指数分布和泊松过程 - 无内存的特性, - 变薄和叠加, - 复合泊松过程; (4)Markov连续时间 - 发电机和Kolmogorov方程, - 嵌入了马尔可夫链, - 固定分布并限制定理, - 退出概率和预期的退出时间, - 马尔可夫队列; (5)Martingales - 有条件的期望, - 与Martingales的赌博(交易), - 可选采样, - 用于计算退出概率和预期退出时间的应用, - Martingale Convergence。
主要关键词