XiaoMi-AI文件搜索系统
World File Search System杨式
生成式人工智能
摘要 为什么要发布 Rathenau 对生成式 AI 的扫描？ “生成式 AI” (GAI) 一词指的是能够根据用户要求自动创建内容的 AI 系统。例如，您可以要求这样的系统生成摘要，或者以梵高的风格创建图片。自 2022 年 11 月 ChatGPT 推出以来，全球数百万用户一直在尝试这项技术，它已经对社会产生了影响，同时人们对它会带来什么的期望很高。本扫描概述了与 GAI 相关的可能性和风险以及潜在的政策行动。 生成式 AI 是新事物吗？ 生成式 AI 建立在现有 AI 技术的基础上，是学习型 AI 系统的一个子集。同时，生成式 AI 系统具有许多与众不同的特点： • 首先，它们在语言方面明显优于其他 AI 系统； • 其次，它们可以有效地处理不同的“模态”，例如图像、声音、视频和语音，甚至蛋白质结构和化合物等； • 第三，生成式人工智能系统接受一般训练，这为各种特定应用提供了基础。因此，GAI 系统可以执行许多不同的任务，而不像许多其他属于“狭义人工智能”类别的人工智能系统，它们只接受一项特定任务的训练。 生成式人工智能能做什么？ 在目前的扫描中，我们区分了 GAI 系统可以履行的四个角色。GAI 系统可以部署为： 1. 学习工具：例如查找信息或在做作业时充当信息来源； 2. 生产工具：系统根据用户的要求创建某些东西。许多人已经在工作场所尝试这样做了； 3. 复杂问题的解决者：例如在科学领域，GAI 系统帮助折叠蛋白质结构，例如支持开发新型药物； 4. 创造体验：一些用户发现与 GAI 系统互动很有趣或很吸引人，它可以扮演伴侣的角色。例如，有人已经创建了一个模仿已故亲人的聊天机器人。尽管存在这些可能性，但该技术也有其局限性。生成式人工智能系统基于统计数据，因此会计算出最有可能的答案。这可能会导致错误答案或歧视性内容。底层算法也非常复杂，人们只能在有限的范围内理解它们的运作方式——包括那些开发这些算法的人。因此，该技术还不足以应用于医疗诊断等重要流程。
本地生成式 AI
# 步骤 1：初始设置 from onprem import LLM llm = LLM() # 步骤 2：提取 NDAA 各部分 llm.ingest(‘./ndaa2023') # 步骤 3：提交问题 llm.ask(‘ 告诉我有关海岸警卫队人工智能的信息。 ')# AI 生成的答案 指挥官有权评估对 AI 创新的投资，测试和评估 AI 能力，并将 AI 整合到战争游戏、演习和实验中，以便海岸警卫队过渡到 AI 和机器学习的作战使用。此外，指定官员将对 AI 和机器学习政策进行管理和监督，并将召集海岸警卫队的适当官员，整合与数据、AI 和机器学习相关的职能活动。司令官还需要在法案颁布后的两年内审查人工智能和数字技术在平台、流程和操作方面的潜在应用，确定改进人工智能使用的必要资源，并向国会提交调查结果报告。生成答案所用的来源：SEC。11226.人工智能战略。SEC。11227. 人工智能应用审查和绩效确定
什么是生成式人工智能？
推荐平台：由于拉马尔大学已评估 Microsoft 365 系统的合规性，因此 Microsoft Copilot 是目前推荐的基于文本的生成式 AI 平台，供拉马尔大学教职员工使用。导航到 copilot.microsoft.com 并使用您的 LEA 凭据 (user@Lamar.edu) 登录，您将被引导至我们的 Duo 双因素身份验证。登录后，您将在左上角看到拉马尔大学徽标，表明您已通过大学系统正确登录。您会在输入框上方看到一条注释，指出“您的个人和公司数据在此聊天中受到保护”。 此注释并不意味着您可以自由输入任何信息。相反，仍应遵循以下关于允许和禁止使用的指导。要了解有关 Microsoft Copilot 提供的数据、隐私和安全的更多信息，请查看此处的信息：https://learn.microsoft.com/en-us/microsoft-365- copilot/microsoft-365-copilot-privacy。使用前检查生成的内容：生成式 AI 致力于提供“最可能的响应”，而不是最真实的响应。因此，必须严格评估生成的内容。AI 生成的内容可能不准确、具有误导性或完全捏造（有时称为“幻觉”），或可能包含受版权保护的材料。您（而不是 LU）对您发布的任何包含 AI 生成材料的内容负责。现有和更新的政策：查看所有相关手册和政策。遵守现有政策和程序，并在更新时留意。与此同时，教师应向他们所教和指导的学生明确说明他们在课堂和学术工作中允许使用生成式人工智能的政策（如果有的话）。还鼓励学生根据需要向他们的导师询问这些政策。请参阅本文件后面有关教学大纲说明的指导。允许的用途：数据利用：
生成式 AI
扩散概率模型 扩散概率模型是一类潜在变量模型，常用于图像生成等各种任务（Ho 等人，2020 年）。正式而言，扩散概率模型通过对数据点在潜在空间中扩散的方式进行建模来捕获图像数据，这是受统计物理学启发的。具体来说，它们通常使用经过变分推理训练的马尔可夫链，然后逆转扩散过程以生成自然图像。一个值得注意的变体是稳定扩散（Rombach 等人，2022 年）。扩散概率模型也用于 DALL-E 和 Midjourney 等商业系统。生成对抗网络 GAN 是一类具有自定义对抗学习目标的神经网络架构（Goodfellow 等人，2014 年）。GAN 由两个以零和博弈形式相互竞争的神经网络组成，从而生成特定分布的样本。正式来说，第一个网络 G 称为生成器，用于生成候选样本。第二个网络 D 称为鉴别器，用于评估候选样本来自期望分布的可能性。得益于对抗性学习目标，生成器学习从潜在空间映射到感兴趣的数据分布，而鉴别器则将生成器生成的候选样本与真实数据分布区分开来（见图 2）。(大型) 语言模型 (大型) 语言模型 (LLM) 是指用于建模和生成文本数据的神经网络，通常结合了三个特征。首先，语言模型使用大规模、顺序神经网络（例如，具有注意力机制的 Transformer）。其次，神经网络通过自我监督进行预训练，其中辅助任务旨在学习自然语言的表示而不存在过度拟合的风险（例如，下一个单词预测）。第三，预训练利用大规模文本数据集（例如，维基百科，甚至多语言数据集）。最终，语言模型可以由从业者使用针对特定任务（例如，问答、自然语言生成）的自定义数据集进行微调。最近，语言模型已经发展成为所谓的 LLM，它结合了数十亿个参数。大规模 LLM 的突出例子是 BERT（Devlin 等人，2018 年）和 GPT-3（Brown 等人，2020 年），分别具有 ∼ 3.4 亿和 ∼ 1750 亿个参数。提示是语言模型的特定输入（例如，“这部电影很精彩。从人类反馈中进行强化学习 RLHF 从人类反馈中学习顺序任务（例如聊天对话）。与传统强化学习不同，RLHF 直接从人类反馈中训练所谓的奖励模型，然后将该模型用作奖励函数来优化策略，该策略通过数据高效且稳健的算法进行优化（Ziegler 等人，2019 年）。RLHF 用于 ChatGPT（OpenAI，2022 年）等对话系统，用于生成聊天消息，以便新答案适应之前的聊天对话并确保答案符合预定义的人类偏好（例如长度、风格、适当性）。提示学习 提示学习是一种 LLM 方法，它使用存储在语言模型中的知识来完成下游任务（Liu 等人，2023 年）。一般而言，提示学习不需要对语言模型进行任何微调，这使其高效且灵活。情绪：“），然后选择最可能的输出 s ∈{“positive”，“negative”} 而不是空间。最近的进展允许更复杂的数据驱动提示工程，例如通过强化学习调整提示（Liu et al.，2023）。seq2seq 术语序列到序列（seq2seq）是指将输入序列映射到输出序列的机器学习方法（Sutskever et al.，2014）。一个例子是基于机器学习的不同语言之间的翻译。此类 seq2seq 方法由两个主要组件组成：编码器将序列中的每个元素（例如，文本中的每个单词）转换为包含元素及其上下文的相应隐藏向量。解码器反转该过程，将向量转换为输出元素（例如，来自新语言的单词），同时考虑先前的输出以对语言中的模型依赖关系进行建模。seq2seq 模型的思想已得到扩展，以允许多模态映射，例如文本到图像或文本到语音的映射。Transformer Transformer 是一种深度学习架构（Vaswani 等，2017），它采用自注意力机制，对输入数据的每个部分的重要性进行不同的加权。与循环神经网络 (RNN) 一样，Transformer 旨在处理顺序输入数据（例如自然语言），可用于翻译和文本摘要等任务。但是，与 RNN 不同，Transformer 会一次性处理整个输入。注意力机制为输入序列中的任何位置提供上下文。最终，Transformer（或一般的 RNN）的输出是文档嵌入，它呈现文本（或其他输入）序列的低维表示，其中相似的文本位于更近的位置，这通常有利于下游任务，因为这允许捕获语义和含义 (Siebers et al., 2022)。变分自动编码器 变分自动编码器 (VAE) 是一种神经网络，它被训练来学习输入数据的低维表示，方法是将输入数据编码到压缩的潜在变量空间中，然后从该压缩表示中重建原始数据。VAE 与传统自动编码器的不同之处在于，它使用概率方法进行编码和解码过程，这使它们能够捕获数据中的底层结构和变化，并从学习到的潜在空间中生成新的数据样本 (Kingma and Welling, 2013)。这使得它们不仅可用于异常检测和数据压缩等任务，还可用于图像和文本生成。零样本学习/小样本学习 零样本学习和小样本学习是指机器学习处理数据稀缺问题的不同范例。零样本学习是指教会机器如何从数据中学习一项任务，而无需访问数据本身，而小样本学习是指只有少数特定示例的情况。零样本学习和小样本学习在实践中通常是可取的，因为它们降低了建立 AI 系统的成本。LLM 是小样本或零样本学习器（Brown 等人，2020 年），因为它们只需要一些样本即可学习一项任务（例如，预测评论的情绪），这使得 LLM 作为通用工具具有高度灵活性。
生成式人工智能：
1.**生成对抗网络 (GAN)**：由两个相互竞争的神经网络组成——一个生成器和一个鉴别器。生成器试图生成令人信服的数据实例，而鉴别器则评估它们的真实性。随着时间的推移，这种对抗过程有助于生成器创建高度逼真的输出。2.**变分自动编码器 (VAE)**：它们将神经网络与概率方法相结合，以对数据进行编码和解码。VAE 特别适用于生成作为输入数据变体的新数据点。3.**Transformer 模型**：在自然语言处理领域尤为突出。像 OpenAI 的 GPT-3（生成式预训练 Transformer 3）这样的模型可以根据输入提示生成连贯且符合上下文的文本。**生成式 AI 的应用：** 1.**文本生成**：生成文章、诗歌、问题答案甚至计算机代码。2.**图像创建和编辑**：制作逼真的图像或转换现有图像（例如，将草图变成详细的图片）。3.**音乐创作**：创作各种风格的新音乐作品。4.**合成数据生成**：在真实数据稀缺或获取成本高昂时，生成有用的数据集以训练机器学习模型。5.**创意产业**：协助艺术家、作家和设计师集思广益并开发新概念。生成式人工智能不断发展，不断突破机器创造的界限，并对娱乐、医学和研究等各个领域产生广泛影响。
