机器学习“降临日历”第 23 天：Excel 中文本的一维 CNN

最初是为图像引入的，对于图像来说它们通常很容易理解。

过滤器在像素上滑动并检测边缘、形状或纹理。您可以阅读我之前写的这篇文章，了解 CNN 如何使用 Excel 处理图像。

对于文本，想法是相同的。

我们在单词上滑动过滤器，而不是像素。

我们检测的不是视觉模式，而是语言模式。

文本中的许多重要模式都是非常本地化的。让我们看这些非常简单的例子：

“好”是积极的

“坏”是负数

“不好”是负面的

“不错”通常是积极的

在我的上一篇文章中，我们了解了如何使用嵌入将单词表示为数字。

我们还看到了一个关键的限制：当我们使用全局平均值时，词序被完全忽略。

从模型的角度来看，“不好”和“不好”看起来完全一样。

所以下一个挑战很明确：我们希望模型考虑词序。

一维卷积神经网络是一个自然的工具，因为它用小滑动窗口扫描句子，并在识别出熟悉的局部模式时做出反应。

1. 理解文本的一维 CNN：架构和深度

1.1。在 Excel 中为文本构建一维 CNN

在本文中，我们使用以下组件在 Excel 中构建一维 CNN 架构：

嵌入字典 我们使用二维嵌入。因为一个维度不足以完成这项任务。

一维编码情感，第二维编码否定。

Conv1D 层 这是 CNN 架构的核心组件。

它由滑动穿过句子的过滤器组成，窗口长度为 2 个单词。为了简单起见，我们选择2个词。

ReLU 和全局最大池化 这些步骤仅保留过滤器检测到的最强匹配。

我们还将讨论 ReLU 是可选的这一事实。

逻辑回归 这是最终的分类层，它将检测到的模式组合成概率。

该管道对应于标准 CNN 文本分类器。

1.2。 “深度学习”在此架构中意味着什么

“好”

“坏”

所以：