生成技术是一种亚符号无监督的机器学习算法,由于它们令人印象深刻的能力,它们可以通过处理该信息来对其进行分类或解释,还可以生成适合给定任务的新数据,因此最近引起了很多关注。一般概念已经存在了几年,最初是由Google研究人员描述的[1]。最初是为文本机器翻译域而设计的,所谓的变压器模型遵循以源语言学习给定文本序列的上下文的想法,并将其映射到目标语言。由于模型接受了大量培训数据的培训,因此它们被称为大型语言模型或简称LLM。公司的研究人员Openai建立在最初的想法上。他们开发了生成验证的变压器(GPT)[2],最后,通过聊天界面的gpt3模型[3]发布将LLMS带入了广泛的用户社区的意识。从那时起,Evolutions导致了OpenAI的当前版本GPT-4。类似的模型用于其他数据类型,例如图像,视频和声音[4]。同时,几个应用程序将功能作为帮助将功能集成到现有工具中(例如搜索引擎,例如Microsoft Bing或照片编辑软件,例如Adobe Firefly)。该方法的更高级应用已经出现,例如视觉语言 - 动作模型(VLA模型),它们使用聚合的变压器模型来链条提示并模拟复杂机器人的推理[5]。
主要关键词