XiaoMi-AI文件搜索系统
World File Search SystemGoodfellow
深度学习与人工智能
不受位置变化的影响。生物控制论，36（4），193-202。 https://doi.org/10.1007/BF 00344251 Goodfellow, I.、Bengio, Y. 和 Courville, A. (2016)。深度学习。麻省理工学院出版社。 （Schmidt、I. Schiffman、Y. Schaefer、A. 化学工程师和仪器仪表（2018）Graves、A.、Wayne、G. 和 Danihelka、I.（2014）。神经图灵机。 arXiv。 Ha, D. 和 Schmidhuber, J. (2018)。世界模特。 arXiv。 https://arxiv.org/abs/1803.10122 Han, K., Wang, Y., Chen, H., Chen, X., Guo, J., Liu, Z., Tang, Y., Xiao, A., Xu, C., Xu, Y., Yang, Z., Zhang, Y., & Tao, D. (2020 年)。关于视觉变压器的调查。 arXiv。 https://arxiv.org/abs/2012.12556 Higgins, I., Amos, D., Pfau, D., Racaniere, S., Matthey, L., Rezende, D., 和 Lerchner, A. (2018)。迈向解开表征的定义。 arXiv。 https://archiv. org/abs/1812.02230 美国国立卫生研究院（AI）（2020 年）。 2020 年人工智能市场：5 年历史的人工智能创新和 5 年历史的临床试验 LeCun, Y., Bengio, Y., & Hinton, G. (2015 年)。深度学习。自然，521，436-444。 http://dx.doi.org/10.1038/nature 14539 Mansimov, E., Parisotto, E., Ba, JL 和 Salakhutdinov, R. (2015)。利用注意力机制根据标题生成图像。 arXiv。 https://archiv.org/abs/1511.02793 纽约（2015 年）。 我的一位朋友是角川家族的成员（2016年）（2016年）。 http://dx.doi.org/10.1037/0033-295X.101.1.13 McCulloch, WS 和 Pitts, W. (1943)。神经活动中蕴含的观念的逻辑演算。数学生物物理公报，5（4），115-133。 https://doi.org/10.1007/BF02478259 Nakkiran, P.、Kaplun, G.、Bansal, Y.、Yang, T.、Barak, B. 和 Sutskever, I. (2019)。深度双重下降：更大的模型和更多的数据会带来危害。 arXiv。 https://arxiv.org/abs/ 1912.02292 Perez, J.、Marinkovic, J. 和 Barcelo, P.（2019 年 5 月 6-9 日）。论现代神经网络架构的图灵完备性。 ICLR 2019：第七届学习表征国际会议。路易斯安那州新奥尔良。美国。 Radford , A.、Kim , JW、Hallacy , C.、Ramesh , A.、Goh , G.、Agarwal , S.、Sastry , G.、Askell , A.、Mishkin , P.、Clark , J.、Krueger , G. 和 Sutskever , I. (2021)。从自然语言监督中学习可转移的视觉模型。 arXiv。 https://arxiv.org/abs/2103.00020 Ramachandran, P., Zoph, B., 和 Le, QV (2017)。寻找激活函数。 arXiv。 https://arxiv.org/abs/ 1710.05941 Razavi, A., van the Word, A. 和 Vinyals, O. (2019)。使用 VQ-VAE-2 生成各种高保真图像arXiv。 https://arxiv.org/abs/1906.00446 Reed, S.、Akata, Z.、Yan, X.、Logeswaran, L.、Schiele, B. 和。
人工智能时代的社会分类危机
本文探讨了我们计算社会的方式的最新转变（Cardon 等人，2018 年）。使用计算技术来辅助决策并不是什么新鲜事。长期以来，计算方法一直被用于对个人进行排名和选择，例如，借助计算机脚本来验证表单是否符合确定性决策规则。随着机器学习 (ML) 工具的出现，这些方法为决策者在处理结合了越来越多的实体和事件列表的文件时的不确定性时产生的困惑提供了技术解决方案。面对文件提供的用于围绕不同原则进行定位的多种参考点，决策者可能会感到无助。他们的决策质量更容易受到批评（Hahn & Tetlock，2005），理由多种多样：他们优先考虑某些标准；他们的社会同质性掩盖了结构性偏见；他们没有注意到可能导致其他结果的变量的多样性；等等。面对分散而庞大的文件，引入基于机器学习模型的自动化工具来辅助决策，建议用统计概率取代不稳定的决策依据。当候选比较空间变得难以理解时，这些工具会对变量进行排序。如今，统计分数的引入方式截然不同，具体取决于领域。它有时采用的只是文件中的一条附加信息，例如在美国法官批准保释的决定中预测重复犯罪的可能性；或者它可以具有更大的自动化程度，例如将警察引导到犯罪更频繁的地方（Brayne & Christin，2020 年）。正如关于人工智能使用的立法草案所表明的那样，结果的自动化问题是监管机构寻求“让人类参与其中”的主要干预点之一（Jobin 等人，2019 年）。本文建议将计算方法的这种转变与社会对统计类别日益增长的批评联系起来，我们称之为社会类别危机。我们认为，决策向机器学习的转变得益于基于类别的方法（使用标准的规则等）无法涵盖世界事件的多样性和多样性1。最后，我们认为这种转变延续了数据空间更普遍的时空扩展。机器学习技术的出现带来了统计文化的变化，值得关注（Breiman，2001）。这些方法的特殊性之一是它们事先并不知道决策规则；它们从数据中学习。要建立这种类型的模型，必须使用由输入数据（文件）和先前决策的输出结果组成的数据集（训练数据库）来训练算法。然后通过反复试验调整模型，使基于训练的预测误差尽可能小（Goodfellow 等，2016）。如果模型是基于输入和输出数据之间的对应关系来学习的，那么决策规则就不能再以先验稳定和自动的基于标准的依据为基础。控制选择的模型是对与给定目标相关的文件变量的最佳比较方法的统计近似。传统的呈现此类模型设计的操作的方式是定义三个独立的空间（Cornuéjols 等，2018；Mitchell，1997）。输入数据构成观察空间，计算结果构成决策空间。在这两者之间，计算的设计者必须想象一个假设空间（有时也称为
![arXiv:2009.05487v3 [cs.AI] 2021 年 8 月 26 日](/simg/3\3c87b68027f137968ab7fa405274c3bf872022b1.png)
arXiv:2009.05487v3 [cs.AI] 2021 年 8 月 26 日
机器学习 (ML) 正在改变着工业、科学和社会。如今，ML 算法可以在理发店预约（Leviathan 和 Matias，2018 年）、根据蛋白质的氨基酸序列确定其 3D 形状（Senior 等人，2020 年），甚至可以撰写新闻文章（Brown 等人，2020 年）。仔细观察这些发展，我们发现模型越来越复杂。不同的 ML 模型以启发式方式堆叠在一起，但理论支持有限（Hutson，2018 年）。在某些应用中，只要算法在大多数情况下表现良好，复杂性可能就不是问题。然而，在社会、认识论或安全关键领域，复杂性可能会排除 ML 解决方案——例如自动驾驶、科学发现或刑事司法。高度复杂算法的两个主要缺点是模糊性问题（Lipton，2018 年）和对抗性攻击（Szegedy 等人，2014 年）。模糊性问题描述了人类对 ML 算法内部运作的有限认知访问，尤其是关于参数的语义解释、学习过程和 ML 决策的人为可预测性（Burrell，2016 年）。这种可解释性的缺乏最近引起了广泛关注，从而催生了可解释人工智能 (XAI) 领域的发展（Doshi-Velez 和 Kim，2017 年；Rudin，2019 年）。人们提出了许多技术来深入了解机器学习系统（Adadi 和 Berrada，2018 年；Doˇsilovi´c 等人，2018 年；Das 和 Rad，2020 年）。与模型无关的方法尤其受到关注，因为与特定于模型的方法不同，它们的应用不限于特定的模型类型（Molnar，2019 年）。全局与模型无关的解释技术（如置换特征重要性（Fisher 等人，2019 年）或部分依赖图（Friedman 等人，1991 年））旨在理解机器学习算法的一般属性。另一方面，局部模型无关解释方法（如 LIME（Ribeiro 等人，2016 年）或 Shapley 值（ˇ Strumbelj 和 Kononenko，2014 年））旨在理解算法在特定区域的行为。解释特定模型预测的一种方法是反事实解释 (CE)（Wachter 等人，2017 年）。CE 通过提供最接近的替代输入来解释预测，该输入将导致不同的（通常是期望的）预测。CE 是我们在本文中研究的第一类对象。对抗性攻击问题描述了这样一个事实：复杂的 ML 算法容易受到欺骗（Papernot 等人，2016a；Goodfellow 等人，2015；Szegedy 等人，2014）。攻击者可以利用此类故障来伤害模特雇主或危及最终用户（Song 等人，2018）。研究对抗性攻击的领域称为对抗性机器学习（Joseph 等人，2018）。如果攻击发生在训练过程中，通过插入错误标记的训练数据，这种攻击称为投毒。如果攻击发生在训练过程之后，通常称为对抗性示例 (AE)（Serban 等人，2020 年）。AE 是类似于真实数据但被训练过的 ML 模型错误分类的输入，例如，乌龟图像被归类为 rière（Athalye 等人，2018 年）。因此，错误分类在这里意味着算法与某些（通常是人类给出的）基本事实相比分配了错误的类别/值（Elsayed 等人，2018 年）。AE 是与我们的研究相关的第二类对象。尽管不透明度问题和对抗性攻击问题乍一看似乎毫无关联，但仍有充分的理由联合研究它们。 AE 显示了 ML 模型失败的地方，检查这些失败可以加深我们对模型的理解（Tomsett 等人，2018 年；Dong 等人，2017 年）。另一方面，解释可以阐明如何改进 ML 算法，使其对 AE 更具鲁棒性（Molnar，2019 年）。缺点是，解释可能包含有关模型的太多信息，从而允许构建 AE 并攻击模型（Ignatiev 等人，2019 年；Sokol 和 Flach，2019 年）。CE 与 AE 的联系比其他解释更强。CE 和 AE 可以通过解决相同的优化问题 1 来获得（Wachter 等人，2017 年；Szegedy 等人，2014 年）：
PFAS 快照 36 14 23
新墨西哥州坎农空军基地：受影响的 3 口基地外私人饮用水井：3 FSI；IRA 旨在缓解 21 年 5 月在东南角和 23 年 9 月在北普拉亚启动的地下水迁移 亚利桑那州戴维斯-蒙森空军基地：没有基地外私人饮用水井受到影响：3 口公共水井受到影响（关闭）；IRA 包括与监管机构签订的环境服务协议，用于对一口受影响的公共水井进行处理 特拉华州多佛空军基地：受影响的 9 口基地外私人饮用水井：9 FSI 阿拉斯加州艾尔森空军基地：空军签署了将居民接入市政供水决定的临时记录。192 处（93%）符合市政供水连接的资格的房产（具有可居住结构和受影响的私人饮用水井的房产）中有 179 处基地内水处理厂安装的 GAC 系统南达科他州埃尔斯沃斯空军基地：23 口基地外私人饮用水井受到影响：3 口为 BWP，20 口住宅和 1 个房车公园为 FSI，1 口水井连接至基地供水系统，3 口水井连接至城市供水系统华盛顿州费尔柴尔德空军基地：10 口 7 口基地外私人饮用水井受到影响：28 口 BWP，90 口 FSI，4 口市政连接，2 口市政水井受到影响（1 口水井停用），与 Airway Heights 市签订了环境服务协议，用于补偿供水井中的 PFAS 对饮用水造成的影响。 NTCRA 包括 FT004 地下水泵和处理系统试点研究。得克萨斯州古德菲洛空军基地：33 口基地外私人饮用水井受到影响：BWP，取样已完成，6 名居民已连接至市政水源，20 口基地外水井的 FSI，4 个 FSI 正在进行中，1 个 FSI 暂停，2 个市政连接正在进行中。佛罗里达州霍姆斯特德空军基地：4 口基地外私人饮用水井受到影响；3 个地点的 FSI；在实施 FSI 期间，第 4 口井的 BWP；在继续监测以评估一次性超标的同时，在另外 1 个地点的 BWP。佛罗里达州赫尔伯特机场：初步取样结果显示有 2 个地点受到影响；但是，确认样本结果对一个地点产生了影响，而另一个地点的居民收到了“无进一步行动”(NFA) 信，因为该物业与公共供水系统相连，但居民选择不使用它。在 3 口私人饮用水井进行季度抽样 JBER-Fort Yukon LRRS，阿拉斯加州：没有基地外影响。1 口基地内水井受到影响：FSI JB McGuire-Dix-Lakehurst，新泽西州：6 口基地外私人饮用水井受到影响：所有 6 口都连接到市政供水。根据新泽西州 MCL，在 1 口市政水井上安装了井口处理装置；2 口基地内公共供水井受到影响，水井退役，并建造了一个新的基地深井和公共供水系统；于 23 年 4 月开始运营 JBSA Randolph，德克萨斯州：4 口基地外私人饮用水井受到影响：3 口井的 FSI，2 口连接到公共供水系统的井（正在进行中，包括 1 口目前在 FSI 上的井）。IRA 包括在基地边界建造泥浆墙和处理系统的试点研究小石城空军基地，阿肯色州：4 口基地外私人饮用水井受到影响：4 口中的 2 口在 FSI 上，2 口在 BWP 上 亚利桑那州卢克空军基地：3 口基地外私人饮用水井受到影响：全部与市政供水相连。3 口公用事业水井受到影响，FSI 受到影响。IRA 包括在 Valley Utilities 安装的离子交换系统和正在进行的可处理性研究，以及对受影响的市政和私人水井的抽水和处理系统升级的可行性研究 堪萨斯州麦康奈尔空军基地：4 口基地外私人饮用水井受到影响；1 口井与市政供水相连；1 口地点使用 BWP，并正在为另外 2 处物业提供瓶装水 爱达荷州山家空军基地：基地外饮用水井没有受到影响。2 口基地内饮用水井受到影响：一口井由未受影响的井替换；第二口井退役，设施与基地饮用水系统相连。基地运营着位于非 PFAS 影响区域的另外 3 口饮用水井。新波士顿 SFS，新罕布什尔州：基地外私人水井清单和取样项目正在进行中，ECD 24 年 5 月。1 栋使用受影响地下水源的建筑物的 FSI。科罗拉多州彼得森 SFB：26 口基地外私人饮用水井受到影响：21 口带有 FSI 的住宅水井、2 口在移动房屋公园带有 FSI 的水井、2 个市政供水连接和一个 1 处地点的 BWP。此外，还有 42 口带有 FSI 的市政水井。IRA 包括对 3 号池地表水和沉积物中的 PFAS 进行处理。伊利诺伊州斯科特空军基地：1 口基地外私人饮用水井受到影响：FSI。南卡罗来纳州肖空军基地：3 个公共供水系统、5 家企业和 42 口住宅水井（共计 59 口井）受到影响：176 个住宅/地点的 BWP，22 个市政连接正在进行中，取样 ECD 25 年 2 月；BWP 合同待定。 IRA 包括在三个前 FTA、ECD 安装泵和处理系统 24 年 12 月 俄克拉荷马州廷克空军基地：7 口基地外私人饮用水井受到影响：到 24 年 6 月，1 口地点的 BWP、2 口 FSI、4 口市政连接和 1 口市政连接 加利福尼亚州特拉维斯空军基地：3 口基地外私人饮用水井受到影响：3 口地点的 FSI；BWP 已停用 21 年 12 月 俄亥俄州赖特-帕特森空军基地：没有私人饮用水井受到影响。2 口基地内水井受到影响，安装了 GAC 系统。在 5 个 AFFF 站点实施 NTCRA，以处理受 PFAS 影响的地下水和地表水一口井被未受影响的井取代；第二口井退役，设施连接至基地饮用水系统。基地还运营着位于非 PFAS 影响区域的另外 3 口饮用水井。新波士顿 SFS，新罕布什尔州：基地外私人水井清单和取样项目正在进行中 ECD 24 年 5 月。1 栋建筑物使用受影响的地下水源的 FSI 科罗拉多州彼得森 SFB：26 口基地外私人饮用水井受到影响：21 口带有 FSI 的住宅水井、2 口位于移动房屋公园的带有 FSI 的水井、2 个城市供水连接以及 1 个地点的 BWP。此外，还有 42 口带有 FSI 的市政水井。 IRA 包括对 3 号池地表水和沉积物中的 PFAS 进行处理 伊利诺伊州斯科特空军基地：1 口基地外私人饮用水井受到影响：FSI 南卡罗来纳州肖空军基地：3 个公共供水系统、5 家企业和 42 口住宅水井（共计 59 口水井）受到影响：BWP 覆盖 176 个住宅/地点，22 个市政连接正在进行中，ECD 于 25 年 2 月取样；BWP 合同待定。IRA 包括在三个前 FTA 安装泵和处理系统，ECD 于 24 年 12 月完成 俄克拉荷马州廷克空军基地：7 口基地外私人饮用水井受到影响：到 24 年 6 月，1 口地点的 BWP、2 个 FSI、4 个市政连接和 1 口市政连接2 口基地水井受到影响，安装了 GAC 系统。在 5 个 AFFF 站点实施 NTCRA，以处理受 PFAS 影响的地下水和地表水一口井被未受影响的井取代；第二口井退役，设施连接至基地饮用水系统。基地还运营着位于非 PFAS 影响区域的另外 3 口饮用水井。新波士顿 SFS，新罕布什尔州：基地外私人水井清单和取样项目正在进行中 ECD 24 年 5 月。1 栋建筑物使用受影响的地下水源的 FSI 科罗拉多州彼得森 SFB：26 口基地外私人饮用水井受到影响：21 口带有 FSI 的住宅水井、2 口位于移动房屋公园的带有 FSI 的水井、2 个城市供水连接以及 1 个地点的 BWP。此外，还有 42 口带有 FSI 的市政水井。 IRA 包括对 3 号池地表水和沉积物中的 PFAS 进行处理 伊利诺伊州斯科特空军基地：1 口基地外私人饮用水井受到影响：FSI 南卡罗来纳州肖空军基地：3 个公共供水系统、5 家企业和 42 口住宅水井（共计 59 口水井）受到影响：BWP 覆盖 176 个住宅/地点，22 个市政连接正在进行中，ECD 于 25 年 2 月取样；BWP 合同待定。IRA 包括在三个前 FTA 安装泵和处理系统，ECD 于 24 年 12 月完成 俄克拉荷马州廷克空军基地：7 口基地外私人饮用水井受到影响：到 24 年 6 月，1 口地点的 BWP、2 个 FSI、4 个市政连接和 1 口市政连接2 口基地水井受到影响，安装了 GAC 系统。在 5 个 AFFF 站点实施 NTCRA，以处理受 PFAS 影响的地下水和地表水
生成式 AI
扩散概率模型 扩散概率模型是一类潜在变量模型，常用于图像生成等各种任务（Ho 等人，2020 年）。正式而言，扩散概率模型通过对数据点在潜在空间中扩散的方式进行建模来捕获图像数据，这是受统计物理学启发的。具体来说，它们通常使用经过变分推理训练的马尔可夫链，然后逆转扩散过程以生成自然图像。一个值得注意的变体是稳定扩散（Rombach 等人，2022 年）。扩散概率模型也用于 DALL-E 和 Midjourney 等商业系统。生成对抗网络 GAN 是一类具有自定义对抗学习目标的神经网络架构（Goodfellow 等人，2014 年）。GAN 由两个以零和博弈形式相互竞争的神经网络组成，从而生成特定分布的样本。正式来说，第一个网络 G 称为生成器，用于生成候选样本。第二个网络 D 称为鉴别器，用于评估候选样本来自期望分布的可能性。得益于对抗性学习目标，生成器学习从潜在空间映射到感兴趣的数据分布，而鉴别器则将生成器生成的候选样本与真实数据分布区分开来（见图 2）。(大型) 语言模型 (大型) 语言模型 (LLM) 是指用于建模和生成文本数据的神经网络，通常结合了三个特征。首先，语言模型使用大规模、顺序神经网络（例如，具有注意力机制的 Transformer）。其次，神经网络通过自我监督进行预训练，其中辅助任务旨在学习自然语言的表示而不存在过度拟合的风险（例如，下一个单词预测）。第三，预训练利用大规模文本数据集（例如，维基百科，甚至多语言数据集）。最终，语言模型可以由从业者使用针对特定任务（例如，问答、自然语言生成）的自定义数据集进行微调。最近，语言模型已经发展成为所谓的 LLM，它结合了数十亿个参数。大规模 LLM 的突出例子是 BERT（Devlin 等人，2018 年）和 GPT-3（Brown 等人，2020 年），分别具有 ∼ 3.4 亿和 ∼ 1750 亿个参数。提示是语言模型的特定输入（例如，“这部电影很精彩。从人类反馈中进行强化学习 RLHF 从人类反馈中学习顺序任务（例如聊天对话）。与传统强化学习不同，RLHF 直接从人类反馈中训练所谓的奖励模型，然后将该模型用作奖励函数来优化策略，该策略通过数据高效且稳健的算法进行优化（Ziegler 等人，2019 年）。RLHF 用于 ChatGPT（OpenAI，2022 年）等对话系统，用于生成聊天消息，以便新答案适应之前的聊天对话并确保答案符合预定义的人类偏好（例如长度、风格、适当性）。提示学习 提示学习是一种 LLM 方法，它使用存储在语言模型中的知识来完成下游任务（Liu 等人，2023 年）。一般而言，提示学习不需要对语言模型进行任何微调，这使其高效且灵活。情绪：“），然后选择最可能的输出 s ∈{“positive”，“negative”} 而不是空间。最近的进展允许更复杂的数据驱动提示工程，例如通过强化学习调整提示（Liu et al.，2023）。seq2seq 术语序列到序列（seq2seq）是指将输入序列映射到输出序列的机器学习方法（Sutskever et al.，2014）。一个例子是基于机器学习的不同语言之间的翻译。此类 seq2seq 方法由两个主要组件组成：编码器将序列中的每个元素（例如，文本中的每个单词）转换为包含元素及其上下文的相应隐藏向量。解码器反转该过程，将向量转换为输出元素（例如，来自新语言的单词），同时考虑先前的输出以对语言中的模型依赖关系进行建模。seq2seq 模型的思想已得到扩展，以允许多模态映射，例如文本到图像或文本到语音的映射。Transformer Transformer 是一种深度学习架构（Vaswani 等，2017），它采用自注意力机制，对输入数据的每个部分的重要性进行不同的加权。与循环神经网络 (RNN) 一样，Transformer 旨在处理顺序输入数据（例如自然语言），可用于翻译和文本摘要等任务。但是，与 RNN 不同，Transformer 会一次性处理整个输入。注意力机制为输入序列中的任何位置提供上下文。最终，Transformer（或一般的 RNN）的输出是文档嵌入，它呈现文本（或其他输入）序列的低维表示，其中相似的文本位于更近的位置，这通常有利于下游任务，因为这允许捕获语义和含义 (Siebers et al., 2022)。变分自动编码器 变分自动编码器 (VAE) 是一种神经网络，它被训练来学习输入数据的低维表示，方法是将输入数据编码到压缩的潜在变量空间中，然后从该压缩表示中重建原始数据。VAE 与传统自动编码器的不同之处在于，它使用概率方法进行编码和解码过程，这使它们能够捕获数据中的底层结构和变化，并从学习到的潜在空间中生成新的数据样本 (Kingma and Welling, 2013)。这使得它们不仅可用于异常检测和数据压缩等任务，还可用于图像和文本生成。零样本学习/小样本学习 零样本学习和小样本学习是指机器学习处理数据稀缺问题的不同范例。零样本学习是指教会机器如何从数据中学习一项任务，而无需访问数据本身，而小样本学习是指只有少数特定示例的情况。零样本学习和小样本学习在实践中通常是可取的，因为它们降低了建立 AI 系统的成本。LLM 是小样本或零样本学习器（Brown 等人，2020 年），因为它们只需要一些样本即可学习一项任务（例如，预测评论的情绪），这使得 LLM 作为通用工具具有高度灵活性。