Bianchis,F。,Land,S。,&Hovy,D。(2021)。预训练是在热门主题中:上下文嵌入的嵌入式培训。ACL。https://aclanthology.org/2021.clato-short.96/Banchie,F。,Terragate,S.,Hovy,D.,Navest,D.,D.,D.,D.,D.,D。(2021)。上下文化主题模型零击学习。EACL。https://www.acltweb.orgweb/anthology/2021.eacla-main.143/
自然语言生成(NLG)中的数据流以“世界”状态开头,该状态由应用程序的结构(例如,专家系统)表示,具有文本生成需求和产生NATU语言文本的动力。生成的输出是自然语言文本。生成过程涉及a)划分最终文本的内容的任务,b)plaining ning and ning and c)选择Lexieal,句法和单词命令,” MS实现了这种结构和d)实际上将文本介绍为后者。在高级生成系统中,这些过程不是以单片的方式处理,而是作为大型模块化发电的组成部分。nlg的研究人员尝试了各种方式来划定生成过程和控制架构的模块以驱动这些模块的模块(例如,参见McKeown,1985,Hovy,Hovy,1987或Meter,1989)。,但对有关一般(间膜间)或局部(室内)控制流的决策进行了无关,必须定义知识结构以支持处理并促进模块之间的通信。
自然语言处理及其应用的社会影响在 NLP 社区中受到越来越多的关注(例如 Hovy 和 Spruit,2016 年),其中大型语言模型 (LLM) 成为近期的主要目标之一(例如 Bender 等人,2021 年;Bommasani 等人,2021 年;Weidinger 等人,2021 年)。本文探讨了在设计和发布对话式 AI (ConvAI) 模型时需要考虑的事项。我们专注于神经对话响应生成模型,这些模型在开放域对话数据上训练,缺乏特定领域的任务公式,而是旨在自由而引人入胜地谈论各种主题。这些模型通常在流行的编码器-解码器范式中训练,该范式由 Vinyals 和 Le(2015 年);Shang 等人(2015 年);Serban 等人首次为此任务引入。 (2016 年)。我们将在此范式中训练的对话模型称为端到端 (E2E) 系统,因为它们学习输入和输出之间的隐藏映射,而无需临时语义表示。在此范式中训练的 E2E ConvAI 模型的一个重要优点是它们可以
11 阿尔凯西和麦克法兰,2023;阿塔鲁里等人。 2023;基督教 2023;法郎 2023;胡赛尼、拉斯穆森和雷斯尼克 2023;吉等人。 2023;基德和比尔汉 2023; Lee、Bubeck 和 Petro 2023;莱特曼等人。 2023;刘、张、梁 2023;梅加赫德等人。 2023;梅策、莫兰丁-雷斯、罗兰-梅策和弗洛林多 2023 年; OpenAI 2023 年 3 月 27 日;波里茨 2023;韦斯和梅斯 2023 年;威瑟 2023;张,等人。 2023;赵,等人。 2023; Zhavoronkov 2023。12 Busch 2023;电子隐私信息中心 2023;Huang 2023;Hosseini 和 Horbach 2023;Lauer、Constant 和 Wernimont 2023;Meskó 和 Topol 2023;美国国立卫生研究院 2023;Schwartz 和 Rogers 2022。13 请参阅 registrar.uky.edu/ferpa 和 registrar.uky.edu/ferpa/ferpa-faculty-and-staff-faq。14 请参阅 www.research.uky.edu/office-research-integrity。15 Bender、Gebru、McMillan-Major 和 Shmitchell 2021;Brown 等人 2020;Caliskan、Bryson 和 Narayanan 2017;Hovy 和 Prabhumoye 2021; Liang, Wu, Morency 和 Salakhutdinov 2021;Najibi 2020;Nazer 等人 2023;Nicholas 和 Bhatia 2023;Schwartz 等人 2022;Small 2023 年 7 月 4 日;Whittaker 等人 2019;Zhuo, Huang, Chen 和 Xing 2023。16 Appel、Neelbauer 和 Schweidel 2023;Lucchi 2023;Saveri 和 Butterick 2023;Sobel 2018;Strowel 2023;Thorbecke 2023;Zirpoli 2023。17 Chen, Zaharia 和 Zou 2023。