Future of Natural Language Processing with Deep Learning (NLP/DL)
我最近参加了 Kevin Clarke (CS224n) 的演讲，他在演讲中谈到了 NLP 的未来趋势。我写这篇文章是为了总结和讨论最近的趋势。幻灯片片段来自他的客座演讲。有两个主要主题奠定了深度学习 NLP 的趋势：1. 使用无监督 / 未标记数据进行预训练2. OpenAI GPT-2 突破1. 使用无监督 / 未标记数据进行预训练监督数据昂贵且有限，我们如何使用无监督数据来补充训练和监督微调以做得更好？让我们将其应用于机器翻译的问题，看看它如何有所帮助 - 如果您有 2 个不同语言的文本语料库（转录或维基百科文章），没有跨语言映射。我们可以将其用于预训练，在两个语料库上分别训练编码器和解
Discrete Representation Learning with VQ-VAE and TensorFlow Probability
在考虑变分自动编码器 (VAE) 时，我们通常会将先验描绘为各向同性的高斯。但这绝不是必需的。van den Oord 等人的“神经离散表示学习”中描述的矢量量化变分自动编码器 (VQ-VAE) 具有离散潜在空间，可以学习令人印象深刻的简洁潜在表示。在这篇文章中，我们结合了 Keras、TensorFlow 和 TensorFlow Probability 的元素，看看我们是否可以生成与 Kuzushiji-MNIST 中的字母相似的令人信服的字母。
Getting started with TensorFlow Probability from R
TensorFlow Probability 提供了广泛的功能，从概率网络层上的分布到概率推理。它与核心 TensorFlow 和 (TensorFlow) Keras 无缝协作。在这篇文章中，我们简要介绍了分布层，然后使用它在变分自动编码器中采样和计算概率。
Representation learning with MMD-VAE
与 GAN 一样，变分自动编码器 (VAE) 通常用于生成图像。然而，VAE 增加了一个额外的承诺：即对底层潜在空间进行建模。在这里，我们首先看一个最大化证据下限的典型实现。然后，我们将其与 Info-VAE（信息最大化 VAE）系列中较新的竞争对手之一 MMD-VAE 进行比较。
