机构名称：
¥ 1.0
在过去的几十年中，人工智能领域（AI）和机器学习（ML）取得了长足的进步（Jordan和Mitchell，2015年），生态研究从中受益（Borowiec等，2022; Tuia等，2022）。在这些进步中，基础模型（FM）已成为分析大量数据以及生成，理解和操纵类人类文本的强大工具。斯坦福大学的基础模型研究中心（CRFM）于2021年8月推广了“基础模型”一词，暂时指的是“任何经过广泛数据培训的模型（通常是按大规模使用自学的模型），这些模型可以适应（例如，可以将其用于较广泛的下游任务（例如，fine）。使FM与众不同的是两个主要概念的组合：预培训和适应特定任务。这是从更传统的机器学习或仅解决特定任务的建模方法的范式转变。最近的一个例子是OpenAI的大型语言模型（LLM）GPT-4（OpenAI，2023）。GPT-4使用基于神经网络的体系结构，旨在处理数据序列，特别是文本。该模型在来自广泛的公共资源的大规模数据集上的自我监督过程中进行了预训练。然后，使用较小的数据样本对其进行调整以适应不同的特定任务。一些例子是：文本生成，聊天机器人，语言跨性别，摘要，编码和教育材料和艺术生成。如果不需要人类标签，则可以是基于FM使用的自我监督学习（SSL）的预训练克服了监督学习的数据标记的瓶颈（Kolides等，2023）。
塑造生态未来的基础模型
主要关键词
相关文件推荐
