机构名称：
¥ 3.0
近 年 来 ， 预 训 练 语 言 模 型 已 逐 渐 成 为 自 然 语 言 处 理 领 域 的 基 座 模 型 。 相 关 实 验 现 象 表 明 ， 预 训 练 语 言 模 型 能 够 自 发 地 从 预 训 练 语 料 中 学 到 一 定 的 语 言 学 知 识 、 世 界 知 识 和 常 识 知 识 ， 从 而 在 知 识 密 集 型 任 务 上 获 得 出 色 的 表 现 ( AlKhamissi et al., 2022 ; Safavi and Koutra, 2021 ; Petroni et al., 2019 ) 。 然 而 ， 预 训 练 语 言 模 型 中 的 知 识 隐 式 地 存 储 在 参 数 之中 ， 难 以 显 式 地 对 预 训 练 语 言 模 型 中 的 知 识 进 行 分 析 和 利 用 。 同 时 ， 预 训 练 语 言 模 型在 知 识 和 推 理 上 的 表 现 并 不 可 靠 ， 常常 会 出 现 “ 幻 觉 ” 现 象 ( Ji et al., 2022 ) ， 给 出 与 知 识 冲 突 的 预 测 结 果 。 这 些 因 素 阻 碍 了 预 训 练 语 言 模 型 提 供 可 靠 的 知 识 服 务 。 因 此 ， 探 究 模 型 掌握 知 识 的 机 理 、 研 究 如 何 提 取 和 补 充 语 言 模 型 中 的 知 识 成 为 近 期 的 研 究 热点 。 本 次 讲 习 班 主 要 内 容 包 括 预 训 练 语 言 模 型 中 的 知 识 分 析 、 预 训 练 语 言 模 型 的 知 识 萃 取 、 知 识 增 强 的 预 训 练 语 言 模 型 三个 部 分 ， 听 众 将 在 本 次 讲 习 班 中了 解 到 近 期 研 究 中 对 预 训 练 语 言 模 型 掌握 知 识 情 况 的 认识 、 从 预 训 练 语 言 模 型 中 提 取 符 号 知 识 的 实 现 方 案 、 利 用 外 部 知 识 增 强 模 型 弥 补 缺 陷 的 各 类 方 法 。
2023年8月5日，Harbin，Chin CCL教程摘要...
主要关键词
相关文件推荐
