详细内容或原文请订阅后点击阅览

来自 R 的 BERT

2019年9月30日 00:00 33 Comments
X Twitter Instagram Mail

深度学习模型 - 来自 Google AI Research 的 BERT - 在各种自然语言处理 (NLP) 任务中取得了最先进的成果。在本教程中，我们将展示如何使用 Keras 从 R 加载和训练 BERT 模型。

来源:RStudio AI博客
模型 ________________________________________________________________________________________ 层（类型）输出形状参数 # 连接到 层 # 连接到 ============================================================================================== == ============================================================================================== 输入令牌 (InputLayer) (无，50) 0 - 令牌 50 0 ________________________________________________________________________________________ 输入段 (InputLayer) (无，50) 0 - 段 50 0 __________________________________________________________________________________________ 嵌入令牌 (TokenEmbedd [(None, 50, 768), ( 23440896 输入令牌[0][0] - 令牌 50 768 23440896 - 0 0 __________________________________________________________________________________________ 嵌入段 (Embedding (None, 50, 768) 1536 输入段[0][0] - 段 嵌入 50 768 1536 - 0 0 ____________________________________________________________________________________ 嵌入令牌段（添加（无、50、768） 0 嵌入令牌[0][0] - - 分段 添加 50 768 0 - 0 0 嵌入段[0][0] - 0 0 ________________________________________________________________________________________ 嵌入位置（位置（无，50，768） 38400 嵌入标记段[0][0] - 位置 位置 50 768 38400 - - 0 0 ________________________________________________________________________________________ 嵌入丢失（丢失） (无, 50, 768) 0 嵌入位置[0][0] - 丢失 50 768 0 - 0 0 ____________________________________________________________________________________ Em bedding-Norm (LayerNormali (None, 50, 768) 1536 Embedding-Dropout[0][0] - Norm LayerNormali 50 768 1536 - 0 0 __________________________________________________________________________________________ Encoder-1-MultiHeadSelfAtten (无, 50, 768) 2362368 Embedding-Norm[0][0] -1 - 50 768 2362368 - 0 0 -1 - 50 0
丢失 ________________________________________________________________________________________ 00 输出 500 位置 None 添加 分段 50 模型 Embedding 标记 令牌 __________________________________________________________________________________________ 768 嵌入 类型