贝叶斯网络和马尔可夫网络:结构化不确定性的直观指南

对不确定性推理的直观介绍,从有向贝叶斯网络到无向马尔可夫网络和加权逻辑规则。贝叶斯网络和马尔可夫网络:结构化不确定性的直观指南首先出现在《走向数据科学》上。

来源:走向数据科学

解释从预测开始。流失模型估计客户是否可能离开。欺诈模型估计交易是否可疑。诊断模型根据症状、测试和病史估计疾病的可能性。文档分类器根据文本、元数据或嵌入分配类别。

在每种情况下,设置大致相同。我们有一些观察到的信息,通常称为输入或特征,以及我们想要预测的东西,通常称为目标。如果我们将输入写为 X,将目标写为 Y,那么通常的监督学习问题就是学习以下模型:

也就是说,给定输入,每个可能的输出的可能性有多大?

这个框架非常有用。它为我们提供了逻辑回归、支持向量机、随机森林、梯度提升、神经网络和大部分现代应用机器学习。在许多生产环境中,这是正确的起点。您有一个目标、一些数据和一个指标。模型的工作是为该目标提供一个好的答案。

贝叶斯网络来自不同的建模本能。当我们想要表示一个小的不确定世界而不是仅仅学习从输入到一个输出的映射时,它们非常有用。我们没有将世界分为“输入”和“目标”,而是描述一组不确定变量:

这些变量中有些可能是可以观察到的,有些可能是隐藏的,它们中的任何一个都可能成为我们关心预测的东西。该图描述了这些不确定变量如何相互依赖,证据可以进入哪里,以及当新信息到达时信念应该如何更新。

分类器通常围绕一个预测问题构建:

  • 给定这些输入,输出是什么?
  • 贝叶斯网络是围绕更普遍的不确定性问题构建的:

    这些不确定的事情是相关的。鉴于系统中任何地方的证据,我们现在应该相信其余部分的什么?

    完全联合分配是我们无法承受的

  • P(雨 | 湿草)
  • P(雨)
  • P(洒水装置)