Infinite surprise - the iridescent personality of Kullback-Leibler divergence
Kullback-Leibler 散度不仅用于训练变分自动编码器或贝叶斯网络（而且不仅仅是一个难以发音的东西）。它是信息论中的一个基本概念，被广泛应用于各种应用中。最有趣的是，它并不总是与约束、正则化或压缩有关。恰恰相反，有时它与新颖性、发现和惊喜有关。
Gaussian Process Regression with tfprobability
继续我们的 TensorFlow Probability (TFP) 应用之旅，在贝叶斯神经网络、汉密尔顿蒙特卡罗和状态空间模型之后，我们在这里展示了高斯过程回归的一个例子。事实上，我们看到的是一个相当“正常”的 Keras 网络，以非常常见的方式定义和训练，TFP 的变分高斯过程层发挥了所有魔力。
Variational convnets with tfprobability
在贝叶斯神经网络中，层权重是分布，而不是张量。使用 tfprobability（TensorFlow Probability 的 R 包装器），我们可以构建具有概率层的常规 Keras 模型，从而“免费”获得不确定性估计。在这篇文章中，我们展示了如何定义、训练和从概率卷积神经网络中获得预测。
Dynamic linear models with tfprobability
之前的文章介绍了 tfprobability（TensorFlow Probability 的 R 接口），重点介绍了深度神经网络的增强功能（例如，引入贝叶斯不确定性估计）以及使用汉密尔顿蒙特卡罗拟合分层模型。这次，我们将展示如何使用动态线性模型 (DLM) 拟合时间序列，从而得到后验预测以及来自卡尔曼滤波器的平滑和滤波估计。
Adding uncertainty estimates to Keras models with tfprobability
截至目前，还没有主流方法可以从神经网络中获取不确定性估计。只能说，通常情况下，方法往往是贝叶斯主义的，涉及某种方式将先验置于模型权重之上。这也适用于本文中介绍的方法：我们展示了如何使用 tfprobability（TensorFlow Probability 的 R 接口）以优雅且概念上合理的方式将不确定性估计添加到 Keras 模型中。
A friendly introduction to Generative Adversarial Networks
到目前为止，我们一直在讨论判别模型，它将输入特征 x 映射到标签 y 并近似 P(y/x)——贝叶斯定律。生成模型则相反，它们试图根据标签预测输入特征。假设给定的标签是 y，我们看到某些特征 x 的可能性有多大。它们近似 P(x 和 y) 的联合概率。来源：Medium / CycleGAN生成对抗网络 (GAN)来源：O'ReillyGAN 的组成部分：1. 生成器——这是一个逆 CNN，当我们沿着 CNN 链前进并在输出处提取特征时，该网络不会压缩信息，而是将随机噪声作为输入特征并在其输出处生成图像。2. 鉴别器——鉴别器是一个 CNN，它查看来自训练集和生成器输出的图像，并将它们分类为真
以下是本月推荐阅读的精选：Athey, S. & G. W. Imbens，2019 年。经济学家应该了解的机器学习方法。Mimeo。Bhagwat, P. & E. Marchand，2019 年。关于适当的贝叶斯但不可接受的估计量。美国统计学家，在线。Canals, C. & A. Canals，2019 年。什么时候 n 足够大？寻找合适的样本量来估计比例。《统计计算与模拟杂志》，89，1887-1898。Cavaliere, G. & A. Rahbek，2019 年。时间序列模型中假设的引导检验入门：应用于双自回归模型。讨论文件 19-03，哥本哈根大学经济学系。Chudik, A.
Overview of Cluster Analysis and Dirichlet Process Mixture Models
在伦敦帝国理工学院机器学习硕士学位的 ISO 研究项目中，我专注于使用狄利克雷过程混合模型进行聚类分析的问题。DPMM 是一种“完全贝叶斯”无监督学习技术，与其他聚类分析方法不同，它不需要我们预先定义聚类总数 [...]
Odds on that God exists, says scientist
一位科学家计算出上帝存在的概率为 67%。斯蒂芬·昂温博士使用了一个 200 年前的公式来计算全能存在的可能性。贝叶斯理论通常用于计算事件发生的可能性，例如核电故障，通过平衡可能影响情况的各种因素。继续阅读……
