使用 tfprobability 进行高斯过程回归

继续我们的 TensorFlow Probability (TFP) 应用之旅,在贝叶斯神经网络、汉密尔顿蒙特卡罗和状态空间模型之后,我们在这里展示了高斯过程回归的一个例子。事实上,我们看到的是一个相当“正常”的 Keras 网络,以非常常见的方式定义和训练,TFP 的变分高斯过程层发挥了所有魔力。

来源:RStudio AI博客

在一个主要致力于深度学习的博客上,您如何激励或围绕高斯过程回归编造一个故事?

很简单。正如围绕人工智能的看似不可避免的、可靠的 Twitter“战争”所证明的那样,没有什么比争议和对抗更能吸引注意力了。所以,让我们回到二十年前,找找人们说“高斯过程来了,我们不再需要为那些挑剔、难以调整的神经网络而烦恼了!”的引文。而今天,我们在这里;每个人都对深度学习有所了解,但谁听说过高斯过程?

一些东西

虽然类似的故事讲述了很多关于科学史和观点发展的故事,但我们更喜欢从不同的角度来讲述。在他们 2006 年出版的《机器学习的高斯过程》(Rasmussen and Williams 2005)一书的前言中,Rasmussen 和 Williams 分别提到了“两种文化”——统计学和机器学习学科:

机器学习的高斯过程 (Rasmussen and Williams 2005) Rasmussen and Williams 2005
高斯过程模型在某种意义上将两个社区的工作结合在一起。

高斯过程模型在某种意义上将两个社区的工作结合在一起。

在这篇文章中,“在某种意义上”变得非常具体。我们将看到一个以通常方式定义和训练的 Keras 网络,其主要成分是高斯过程层。任务将是“简单”的多元回归。

另外,这种“聚集社区”——或者思维方式,或者解决策略——也为 TensorFlow Probability 提供了良好的整体表征。

高斯过程

函数分布,其中您采样的函数值是联合高斯分布 (Rasmussen 和 Williams 2005) Rasmussen 和 Williams 2005 https://distill.pub/2019/visual-exploration-gaussian-processes/ https://peterroelants.github.io/posts/gaussian-process-tutorial/ (MacKay 2002) MacKay 2002 变分高斯过程 (Titsias 2009) Titsias 2009 (Hensman、Fusi 和 Lawrence 2013) ( )