XiaoMi-AI文件搜索系统
World File Search SystemDevlin
人工智能发明与专利披露
* 加州西部法学院副教授；加州大学圣地亚哥分校客座副教授；印第安纳大学（布卢明顿）奥斯特罗姆访问学者；内布拉斯加大学（林肯）访问学者：内布拉斯加州治理与技术中心；乔治梅森大学安东宁斯卡利亚法学院托马斯爱迪生创新研究员和列奥纳多达芬奇研究员；加州大学洛杉矶分校法学院访问学者；美国注册专利律师；西北大学普利兹克法学院法学博士；西北大学凯洛格管理学院工商管理硕士；休斯顿大学法学院法学硕士；斯坦福大学商学院研究生创业证书；斯坦福大学工程学院机械工程硕士；德克萨斯大学奥斯汀分校科克雷尔工程学院机械工程学士。非常感谢 Michael Risch、Ted Sichelman、Brenda Simon、Thomas D. Barton、Robert A. Bohrer、Shawn Miller、Lisa Ramsey、Anjanette Raymond、Daniel R. Cahoy、Sonia Katyal、Tejas Narechania、Jonathan Barnett、Eric Claeys、John Duffy、Sean O'Connor、Ashish Bharadwaj、Loletta Dardin、Charles Delmotte、H. Tomás Gómez-Arostegui、Taorui Guan、Devlin Hartline、Christa Laser、Daryl Lim、Kevin Madigan、Talha Syed、James Stern、Seth C. Oranburg、Agnieszka McPeak、Gregory Day、Nicole Iannarone、Emily Loza de Siles、Eric C. Chaffee、Robert F. Kravetz、Ashley London、Aman Gebru、Elizabeth I. Winston、A. Michael Froomkin、Mason Marks、Larry DiMatteo、Robert W. Emerson、Robert E. Thomas、Colleen M. Baker、Lawrence Trautman、George Cameron、David Orozco、Thomas Freeman、Christopher Guzelian、Daniel Herron、Michelle Romero、Tyler Smith、Brian Haney、Jihwang Yeo、Sikander Khan、Erica Pascal、Ryan Hsu、Kevin R. Tamm 和 Daniel R. Peterson。感谢以下论坛展示本文并感谢参与者的真知灼见：佛罗里达大学沃灵顿商学院 2020 年 Huber Hurst 研究研讨会、杜肯大学法学院初级 #FutureLaw 研讨会 4.0、印第安纳大学（布卢明顿）奥斯特罗姆研讨会系列座谈会、乔治华盛顿大学法学院初级知识产权学者协会 (JIPSA)、迈阿密大学法学院 2019 年 We Robot 大会、堪萨斯大学法学院 PatCon 9（年度专利会议）以及圣地亚哥大学法学院第 9 届年度专利法会议。感谢商业法律研究学院 (ALSB) 跨学科部门在 2020 年 ALSB 年会上将本文评为首届“最佳论文奖”，并感谢 ALSB 成员的真知灼见。
人工智能发明与专利披露
* 加州西部法学院副教授；加州大学圣地亚哥分校客座副教授；印第安纳大学（布卢明顿）奥斯特罗姆访问学者；内布拉斯加大学（林肯）访问学者：内布拉斯加州治理与技术中心；乔治梅森大学安东宁斯卡利亚法学院托马斯爱迪生创新研究员和列奥纳多达芬奇研究员；加州大学洛杉矶分校法学院访问学者；美国注册专利律师；西北大学普利兹克法学院法学博士；西北大学凯洛格管理学院工商管理硕士；休斯顿大学法学院法学硕士；斯坦福大学商学院研究生创业证书；斯坦福大学工程学院机械工程硕士；德克萨斯大学奥斯汀分校科克雷尔工程学院机械工程学士。非常感谢 Michael Risch、Ted Sichelman、Brenda Simon、Thomas D. Barton、Robert A. Bohrer、Shawn Miller、Lisa Ramsey、Anjanette Raymond、Daniel R. Cahoy、Sonia Katyal、Tejas Narechania、Jonathan Barnett、Eric Claeys、John Duffy、Sean O'Connor、Ashish Bharadwaj、Loletta Dardin、Charles Delmotte、H. Tomás Gómez-Arostegui、Taorui Guan、Devlin Hartline、Christa Laser、Daryl Lim、Kevin Madigan、Talha Syed、James Stern、Seth C. Oranburg、Agnieszka McPeak、Gregory Day、Nicole Iannarone、Emily Loza de Siles、Eric C. Chaffee、Robert F. Kravetz、Ashley London、Aman Gebru、Elizabeth I. Winston、A. Michael Froomkin、Mason Marks、Larry DiMatteo、Robert W. Emerson、Robert E. Thomas、Colleen M. Baker、Lawrence Trautman、George Cameron、David Orozco、Thomas Freeman、Christopher Guzelian、Daniel Herron、Michelle Romero、Tyler Smith、Brian Haney、Jihwang Yeo、Sikander Khan、Erica Pascal、Ryan Hsu、Kevin R. Tamm 和 Daniel R. Peterson。感谢以下论坛展示本文并感谢参与者的真知灼见：佛罗里达大学沃灵顿商学院 2020 年 Huber Hurst 研究研讨会、杜肯大学法学院初级 #FutureLaw 研讨会 4.0、印第安纳大学（布卢明顿）奥斯特罗姆研讨会系列座谈会、乔治华盛顿大学法学院初级知识产权学者协会 (JIPSA)、迈阿密大学法学院 2019 年 We Robot 大会、堪萨斯大学法学院 PatCon 9（年度专利会议）以及圣地亚哥大学法学院第 9 届年度专利法会议。感谢商业法律研究学院 (ALSB) 跨学科部门在 2020 年 ALSB 年会上将本文评为首届“最佳论文奖”，并感谢 ALSB 成员的真知灼见。
姓名
Smith,Mattina Marie 助理体育主任 10 体育 体育 - 管理 82400.00 12 1.000000 Fiala,Kyle Roger 财务和预算分析师 II 10 体育 体育 - 管理 90640.00 12 1.000000 Brown,Georgia Davis 业务经理 II 10 体育 体育 - 管理 102588.00 12 1.000000 Scheid,Christy MacKenzie 助理体育主任 10 体育 体育 - 管理 106579.00 12 1.000000 Armwood,Beverly Moore 副体育主任 10 体育 体育 - 管理 185124.00 12 1.000000 Lee,Susan Michelle 副体育主任 10 体育 体育 - 管理 190345.00 12 1.000000 Menio,Stephanie 执行高级副体育主任 10 体育 体育 - 管理 257136.00 12 1.000000 Stansbury,Michael Todd 副体育主任 10 体育 体育 - 管理 267800.00 12 1.000000 Henderlong,Malorie Carmela 助理教练 10 体育 体育 - 训练营 器材 - 重量 Rm 55000.00 12 1.000000 Craven,William S 教练 10 体育 体育 - 训练营 器材 - 重量 Rm 58427.00 12 1.000000 Abbatoy,John Wesley 助理教练 10 田径 田径-训练营 装备重量 Rm 61615.00 12 1.000000 Lopes,Felipe Eduardo 助理教练 10 田径 田径-训练营 装备重量 Rm 70770.00 12 1.000000 Bartlett,Cristi Shenee 助理田径主任 10 田径 田径-训练营 装备重量 Rm 133900.00 12 1.000000 Murphy,Patrick James 总教练 10 田径 田径-训练营 装备重量 Rm 137208.00 12 1.000000 Timberlake,Paige Alivia 主任 10田径 运动-合规 51500.00 12 1.000000 Cunningham,Jake Robert 助理田径主任 10 田径 运动-合规 85000.00 12 1.000000 Michalik,Jonathan Adam 助理田径主任 10 田径 运动-合规 85000.00 12 1.000000 Hansen,Kevin James 副田径主任 10 田径 运动-合规 118450.00 12 1.000000 Doyle,Carrie Anne 副主任 10 田径 运动-合规 170295.00 12 1.000000 Purcell,Robert Lane 助理主任 10体育 体育-主任及职员 56821.00 12 1.000000 Corrigan,Eugene 主任 10 体育 体育-主任及职员 784519.00 12 1.000000 Washington,Tevin Corey Hunter 助理体育主任 10 体育 体育-设施管理员 101970.00 12 1.000000 Erickson III,Robert W 副体育主任 10 体育 体育-设施管理员 118031.00 12 1.000000 Portland,John Robert 副体育主任 10 体育 体育-设施管理员 169908.00 12 1.000000 Lyne,Alison Lynn主任 10 体育 体育-比赛运营 63736.00 12 1.000000 Stock,Adina Zager 副体育主任 10 体育 体育-比赛运营 117970.00 12 1.000000 Miller,Rachel Leigh 助理体育信息主任 10 体育 体育-内部/外部运营 50000.00 12 1.000000 Hirschfeld,Anne 助理体育信息主任 10 体育 体育-内部/外部运营 51310.00 12 1.000000 Hotz,Tyler 助理体育信息主任 10 体育 体育-内部/外部运营 51373.00 12 1.000000 Mostyn,Brandon Ari 助理主任 10 体育 体育-内部/外部运营 51373.00 12 1.000000 Magar,Kylie Anne 助理体育信息总监 10 体育 体育-内部/外部运营 61800.00 12 1.000000 Lisk,Justin R 助理体育主任 10 体育 体育-内部/外部运营 78000.00 12 1.000000 Ripper,Jonathan 助理体育主任 10 体育 体育-内部/外部运营 80340.00 12 1.000000 Cotton,Jonathan 助理体育主任 10 体育 体育-内部/外部运营80381.00 12 1.000000 Peel,Leigh Catherine IT 总线智能/数据分析 I 10 体育 体育-内部/外部运营 86478.00 12 1.000000 Hammel,Craig William 助理体育信息总监 10 体育 体育-内部/外部运营 89548.00 12 1.000000 Simorka,Brian Thomas 助理体育总监 10 体育 体育-内部/外部运营 90640.00 12 1.000000 Monk,Joshua L 助理体育总监 10 体育 体育-内部/外部运营 90913.00 12 1.000000 Gravley,Jeffrey Hoyle 主任 10 体育 体育-内部/外部运营 113642.00 12 1.000000 Myers,Annabelle 体育副主任 10 体育 体育-内部/外部运营 123188.00 12 1.000000 Myers,Annabelle 体育副主任 10 体育 体育-内部/外部运营 123188.00 12 1.000000 Byrd,Matthew Aaron 体育副主任 10 体育 体育-内部/外部运营 128750.00 12 1.000000 Trammel,Harold W. 总教练 10 体育 体育-精神团体 40419.00 09 1.000000 Devlin,Sean Brennan 助理体育教练 10 体育 体育-学生福利与发展 45088.00 12 1.000000 Latchford,Bradley Osceola 助理体育教练 10 体育 体育-学生福利与发展 45088.00 12 1.000000 Sandberg,Catherine Marie 助理体育教练 10 体育 体育-学生福利与发展 45088.00 12 1.000000 Wyeth,Katelyn Rebecca 助理体育教练 10 体育 体育-学生福利与发展 45088.00 12 1.000000 Noble,Erin Layne 营养师 10 体育 体育-学生福利与发展 51500.00 12 1.000000 O'Kelly,Logan Salas 助理体育教练 10 体育 体育-学生福利与发展 53560.00 12 1.000000 Bornholdt,Eric William 助理体育教练 10 体育 体育-学生福利与发展 54042.00 12 1.000000 Barkman,Molly Francesca 营养师 10 体育 体育-学生福利与发展 55500.00 12 1.000000Leigh Catherine IT 总线智能/数据分析 I 10 田径 运动-内部/外部运营 86478.00 12 1.000000 Hammel,Craig William 助理体育信息总监 10 田径 运动-内部/外部运营 89548.00 12 1.000000 Simorka,Brian Thomas 助理田径主任 10 田径 运动-内部/外部运营 90640.00 12 1.000000 Monk,Joshua L 助理田径主任 10 田径 运动-内部/外部运营 90913.00 12 1.000000 Gravley,Jeffrey Hoyle 主任 10 田径 运动-内部/外部运营113642.00 12 1.000000 Myers,Annabelle 副体育主管 10 体育 体育-内部/外部运营 123188.00 12 1.000000 Myers,Annabelle 副体育主管 10 体育 体育-内部/外部运营 123188.00 12 1.000000 Byrd,Matthew Aaron 副体育主管 10 体育 体育-内部/外部运营 128750.00 12 1.000000 Trammel,Harold W. 总教练 10 体育 体育-精神团体 40419.00 09 1.000000 Devlin,Sean Brennan 助理体育教练 10体育 体育-学生福利与发展 45088.00 12 1.000000 Latchford,Bradley Osceola 助理体育教练 10 体育 体育-学生福利与发展 45088.00 12 1.000000 Sandberg,Catherine Marie 助理体育教练 10 体育 体育-学生福利与发展 45088.00 12 1.000000 Wyeth,Katelyn Rebecca 助理体育教练 10 体育 体育-学生福利与发展 45088.00 12 1.000000 Noble,Erin Layne 营养师 10 体育 体育-学生福利&Dev 51500.00 12 1.000000 O'Kelly,Logan Salas 助理体育教练 10 体育 体育-学生福利 &Dev 53560.00 12 1.000000 Bornholdt,Eric William 助理体育教练 10 体育 体育-学生福利 &Dev 54042.00 12 1.000000 Barkman,Molly Francesca 营养师 10 体育 体育-学生福利 &Dev 55500.00 12 1.000000Leigh Catherine IT 总线智能/数据分析 I 10 田径 运动-内部/外部运营 86478.00 12 1.000000 Hammel,Craig William 助理体育信息总监 10 田径 运动-内部/外部运营 89548.00 12 1.000000 Simorka,Brian Thomas 助理田径主任 10 田径 运动-内部/外部运营 90640.00 12 1.000000 Monk,Joshua L 助理田径主任 10 田径 运动-内部/外部运营 90913.00 12 1.000000 Gravley,Jeffrey Hoyle 主任 10 田径 运动-内部/外部运营113642.00 12 1.000000 Myers,Annabelle 副体育主管 10 体育 体育-内部/外部运营 123188.00 12 1.000000 Myers,Annabelle 副体育主管 10 体育 体育-内部/外部运营 123188.00 12 1.000000 Byrd,Matthew Aaron 副体育主管 10 体育 体育-内部/外部运营 128750.00 12 1.000000 Trammel,Harold W. 总教练 10 体育 体育-精神团体 40419.00 09 1.000000 Devlin,Sean Brennan 助理体育教练 10体育 体育-学生福利与发展 45088.00 12 1.000000 Latchford,Bradley Osceola 助理体育教练 10 体育 体育-学生福利与发展 45088.00 12 1.000000 Sandberg,Catherine Marie 助理体育教练 10 体育 体育-学生福利与发展 45088.00 12 1.000000 Wyeth,Katelyn Rebecca 助理体育教练 10 体育 体育-学生福利与发展 45088.00 12 1.000000 Noble,Erin Layne 营养师 10 体育 体育-学生福利&Dev 51500.00 12 1.000000 O'Kelly,Logan Salas 助理体育教练 10 体育 体育-学生福利 &Dev 53560.00 12 1.000000 Bornholdt,Eric William 助理体育教练 10 体育 体育-学生福利 &Dev 54042.00 12 1.000000 Barkman,Molly Francesca 营养师 10 体育 体育-学生福利 &Dev 55500.00 12 1.000000Catherine Marie 助理体育教练 10 体育 体育-学生福利与发展 45088.00 12 1.000000 Wyeth,Katelyn Rebecca 助理体育教练 10 体育 体育-学生福利与发展 45088.00 12 1.000000 Noble,Erin Layne 营养师 10 体育 体育-学生福利与发展 51500.00 12 1.000000 O'Kelly,Logan Salas 助理体育教练 10 体育 体育-学生福利与发展 53560.00 12 1.000000 Bornholdt,Eric William 助理体育教练 10体育 体育-学生福利与发展 54042.00 12 1.000000 Barkman,Molly Francesca 营养师 10 体育 体育-学生福利与发展 55500.00 12 1.000000Catherine Marie 助理体育教练 10 体育 体育-学生福利与发展 45088.00 12 1.000000 Wyeth,Katelyn Rebecca 助理体育教练 10 体育 体育-学生福利与发展 45088.00 12 1.000000 Noble,Erin Layne 营养师 10 体育 体育-学生福利与发展 51500.00 12 1.000000 O'Kelly,Logan Salas 助理体育教练 10 体育 体育-学生福利与发展 53560.00 12 1.000000 Bornholdt,Eric William 助理体育教练 10体育 体育-学生福利与发展 54042.00 12 1.000000 Barkman,Molly Francesca 营养师 10 体育 体育-学生福利与发展 55500.00 12 1.000000
研讨会：Digitale Slawistik Ilia Afanasev，Elias Moncef Bounatirou，MaximilianGrübsch，Anna Jouravel Mit Dem Eintritt，Die Big-data-einritt
研讨会：数字奴隶Ilia afanasev，Elias Moncef Bounatrou，MaximilianGrübsch，Anna Jouravel，进入21st人文科学和社会科学中的研究机会和方法发生了巨大变化。大语言模型（LLM）的培训和伯特等变压器的发展（Devlin等人2019）或GPT家族（Brown等人al 2020）影响所有语言领域，特别是自然语言的处理（NLP），而斯拉夫语言学也不例外（请参见Nogolová等。 2023）。 本研讨会的目的是探索LLM对斯拉夫研究中问题和工作方法的影响。 Regina Guzaerova（Justus-Liebig-universitätgießen）基于语料库的分析，对俄罗斯讲俄罗斯的媒体领域的政治正确性和新道德的概念这项研究探索了俄罗斯语言媒体领域的政治正确性和新道德的概念通过全面的基于语料库的分析。 使用先进的自然语言处理（NLP）技术与传统语料库语言方法一起研究，研究了这些概念如何被列入并已在近年来在俄罗斯媒体中发展。 该研究使用各种来源的多样化和代表性语料库，包括俄罗斯报纸，在线新闻平台，博客和社交媒体，跨越2010年至2024年。 情感分析评估了公众的态度和情感色调，揭示了媒体报道的发展方式。 2。Nogolová等。2023）。本研讨会的目的是探索LLM对斯拉夫研究中问题和工作方法的影响。Regina Guzaerova（Justus-Liebig-universitätgießen）基于语料库的分析，对俄罗斯讲俄罗斯的媒体领域的政治正确性和新道德的概念这项研究探索了俄罗斯语言媒体领域的政治正确性和新道德的概念通过全面的基于语料库的分析。使用先进的自然语言处理（NLP）技术与传统语料库语言方法一起研究，研究了这些概念如何被列入并已在近年来在俄罗斯媒体中发展。该研究使用各种来源的多样化和代表性语料库，包括俄罗斯报纸，在线新闻平台，博客和社交媒体，跨越2010年至2024年。情感分析评估了公众的态度和情感色调，揭示了媒体报道的发展方式。2。这个广泛的时间范围可以详细探讨与政治正确性和新道德有关的话语中的时间动态和转变。高级NLP技术，例如命名实体识别（NER）和主题建模标识语料库内的关键实体和基本主题。话语分析认真研究了媒体对政治正确性和新道德的框架，从而强调了政治取向和媒体类型的差异。结果提供了对术语频率，分布和上下文的见解，从而提供了对公共话语的细微理解。趋势说明了这些概念的演变，并与重大的社会政治事件相关。这项研究为全球政治正确性和不断发展的社会规范的全球表现形式的研究做出了贡献。通过关注讲俄语的背景，我们阐明了这些概念如何在特定的文化和语言领域中进行本地化，有争议和重新构想。我们的发现暗示了理解跨文化交流，媒体话语分析以及与社会正义和文化变革有关的思想的全球循环。Maksim Aparovich (KNOT Knowledge Research Group, Brno University of Technology), Volha Harytskaya, Vladislav Poritski, Oksana Volchek (independent scholar, Lithuania), Pavel Smrž (KNOT Knowledge Research Group, Brno University of Technology) Towards a GLUE-type benchmark for Belarusian Recent progress in language modelling gave rise to various kinds of natural language understanding benchmarks.其中许多类似于胶水[Wang等。2020]和波兰[Rybak等。2016a]及其后代超粘合剂[Wang等。2019b];特别是，此类基准可用于俄罗斯[Shavrina等。2020]，但它们尚未用于一些较小的，相对较低的斯拉夫语言，这会阻碍LLMS中多语言能力的进一步发展。本演示文稿为东斯拉夫语言是白俄罗斯语的胶合型基准。基准包括五个专注于以下任务的新型数据集：1。句子级别的情感分析。具有正性和负极性（无中性）的句子是从主题上不同的在线资源中手动选择的，这些句子反映了现代书面白俄罗斯人的现实世界多样性。命名实体识别。数据集，源自通用依赖性中的BE_HSE语料库[Nivre等。2020; Shishkina＆Lyashevskaya 2021]，已根据通用指南进行注释[Mayhew等。2024]。
生成式 AI
扩散概率模型 扩散概率模型是一类潜在变量模型，常用于图像生成等各种任务（Ho 等人，2020 年）。正式而言，扩散概率模型通过对数据点在潜在空间中扩散的方式进行建模来捕获图像数据，这是受统计物理学启发的。具体来说，它们通常使用经过变分推理训练的马尔可夫链，然后逆转扩散过程以生成自然图像。一个值得注意的变体是稳定扩散（Rombach 等人，2022 年）。扩散概率模型也用于 DALL-E 和 Midjourney 等商业系统。生成对抗网络 GAN 是一类具有自定义对抗学习目标的神经网络架构（Goodfellow 等人，2014 年）。GAN 由两个以零和博弈形式相互竞争的神经网络组成，从而生成特定分布的样本。正式来说，第一个网络 G 称为生成器，用于生成候选样本。第二个网络 D 称为鉴别器，用于评估候选样本来自期望分布的可能性。得益于对抗性学习目标，生成器学习从潜在空间映射到感兴趣的数据分布，而鉴别器则将生成器生成的候选样本与真实数据分布区分开来（见图 2）。(大型) 语言模型 (大型) 语言模型 (LLM) 是指用于建模和生成文本数据的神经网络，通常结合了三个特征。首先，语言模型使用大规模、顺序神经网络（例如，具有注意力机制的 Transformer）。其次，神经网络通过自我监督进行预训练，其中辅助任务旨在学习自然语言的表示而不存在过度拟合的风险（例如，下一个单词预测）。第三，预训练利用大规模文本数据集（例如，维基百科，甚至多语言数据集）。最终，语言模型可以由从业者使用针对特定任务（例如，问答、自然语言生成）的自定义数据集进行微调。最近，语言模型已经发展成为所谓的 LLM，它结合了数十亿个参数。大规模 LLM 的突出例子是 BERT（Devlin 等人，2018 年）和 GPT-3（Brown 等人，2020 年），分别具有 ∼ 3.4 亿和 ∼ 1750 亿个参数。提示是语言模型的特定输入（例如，“这部电影很精彩。从人类反馈中进行强化学习 RLHF 从人类反馈中学习顺序任务（例如聊天对话）。与传统强化学习不同，RLHF 直接从人类反馈中训练所谓的奖励模型，然后将该模型用作奖励函数来优化策略，该策略通过数据高效且稳健的算法进行优化（Ziegler 等人，2019 年）。RLHF 用于 ChatGPT（OpenAI，2022 年）等对话系统，用于生成聊天消息，以便新答案适应之前的聊天对话并确保答案符合预定义的人类偏好（例如长度、风格、适当性）。提示学习 提示学习是一种 LLM 方法，它使用存储在语言模型中的知识来完成下游任务（Liu 等人，2023 年）。一般而言，提示学习不需要对语言模型进行任何微调，这使其高效且灵活。情绪：“），然后选择最可能的输出 s ∈{“positive”，“negative”} 而不是空间。最近的进展允许更复杂的数据驱动提示工程，例如通过强化学习调整提示（Liu et al.，2023）。seq2seq 术语序列到序列（seq2seq）是指将输入序列映射到输出序列的机器学习方法（Sutskever et al.，2014）。一个例子是基于机器学习的不同语言之间的翻译。此类 seq2seq 方法由两个主要组件组成：编码器将序列中的每个元素（例如，文本中的每个单词）转换为包含元素及其上下文的相应隐藏向量。解码器反转该过程，将向量转换为输出元素（例如，来自新语言的单词），同时考虑先前的输出以对语言中的模型依赖关系进行建模。seq2seq 模型的思想已得到扩展，以允许多模态映射，例如文本到图像或文本到语音的映射。Transformer Transformer 是一种深度学习架构（Vaswani 等，2017），它采用自注意力机制，对输入数据的每个部分的重要性进行不同的加权。与循环神经网络 (RNN) 一样，Transformer 旨在处理顺序输入数据（例如自然语言），可用于翻译和文本摘要等任务。但是，与 RNN 不同，Transformer 会一次性处理整个输入。注意力机制为输入序列中的任何位置提供上下文。最终，Transformer（或一般的 RNN）的输出是文档嵌入，它呈现文本（或其他输入）序列的低维表示，其中相似的文本位于更近的位置，这通常有利于下游任务，因为这允许捕获语义和含义 (Siebers et al., 2022)。变分自动编码器 变分自动编码器 (VAE) 是一种神经网络，它被训练来学习输入数据的低维表示，方法是将输入数据编码到压缩的潜在变量空间中，然后从该压缩表示中重建原始数据。VAE 与传统自动编码器的不同之处在于，它使用概率方法进行编码和解码过程，这使它们能够捕获数据中的底层结构和变化，并从学习到的潜在空间中生成新的数据样本 (Kingma and Welling, 2013)。这使得它们不仅可用于异常检测和数据压缩等任务，还可用于图像和文本生成。零样本学习/小样本学习 零样本学习和小样本学习是指机器学习处理数据稀缺问题的不同范例。零样本学习是指教会机器如何从数据中学习一项任务，而无需访问数据本身，而小样本学习是指只有少数特定示例的情况。零样本学习和小样本学习在实践中通常是可取的，因为它们降低了建立 AI 系统的成本。LLM 是小样本或零样本学习器（Brown 等人，2020 年），因为它们只需要一些样本即可学习一项任务（例如，预测评论的情绪），这使得 LLM 作为通用工具具有高度灵活性。