从描述中创建图像的能力长期以来一直是智力的目标。文本对图像综合,也称为文本对图像生成,旨在创建与描述相匹配的逼真的图像。该技术在许多领域都有许多应用程序,包括数据处理,艺术设计,机器人技术和虚拟现实。生成的对抗网络(GAN)和变异自动编码器(VAE)广泛用于图像处理项目中。但是,创建传达叙事的好图像显然仍然是一个挑战。图像合成模型。这些数据提供了一个独特的机会,可以以这种方式探索基于变压器的架构和生成模型的潜力。我们的模型利用基于变压器的体系结构和生成对抗网络来生成具有交互式描述的高质量图像。本文的其余部分组织如下:第2节评论有关文本对图像匹配的相关作品,第3节描述了我们的模型,第4节介绍了实验结果,第5节总结了本文。
随着从头开始发展深度学习(DL)模型的规模和成本继续上升,工程师越来越多地转向将开源预培训模型(PTMS)作为一种具有成本效益的替代品[30]。PTM注册机构通过提供包括预培训的权重,配置和文档的软件包来促进开源模型的重复使用[28]。拥抱面已成为PROMENT PTM注册表,与NPM和PYPI等传统软件注册机构的普及相当[28]。了解PTM注册表的特征,例如拥抱面孔是支持在这种新兴环境下有效和有效的软件重用的关键。先前的研究在将PTM注册机构与传统软件包注册表进行比较方面取得了长足的进步,并提出了诸如碳排放,模型选择和漏洞之类的问题[14,28,32]。但是,没有系统的文献综述描述了当前知识的状态。此类评论通过提供研究议程来推进该领域。我们的研究以三种方式做出了贡献。首先,我们对PTM注册表的知识进行了首次系统评价。第二,我们提出了现有定性见解的定量指标,从而对现有关于PTM注册表的现有索赔进行了更强大的验证。最后,我们通过定量分析来验证或挑战以前的定性见解。如图1所示,我们的方法有两个部分。首先,我们进行了系统的文献综述(SLR),以提取有关拥抱面孔的现有知识(索赔)。第二,我们确定未量化和量化较低的索赔,并使用现有数据集提供指标和测量。我们的SLR提取了关于拥抱面的12个不同主张,其中4个缺乏大规模的定量证据。定义指标后,我们以大规模的方式支持其中2个;和
随着从头开始发展深度学习(DL)模型的规模和成本继续上升,工程师越来越多地转向将开源预培训模型(PTMS)作为一种具有成本效益的替代品[30]。PTM注册机构通过提供包括预培训的权重,配置和文档的软件包来促进开源模型的重复使用[28]。拥抱面已成为PROMENT PTM注册表,与NPM和PYPI等传统软件注册机构的普及相当[28]。了解PTM注册表的特征,例如拥抱面孔是支持在这种新兴环境下有效和有效的软件重用的关键。先前的研究在将PTM注册机构与传统软件包注册表进行比较方面取得了长足的进步,并提出了诸如碳排放,模型选择和漏洞之类的问题[14,28,32]。但是,没有系统的文献综述描述了当前知识的状态。此类评论通过提供研究议程来推进该领域。我们的研究以三种方式做出了贡献。首先,我们对PTM注册表的知识进行了首次系统评价。第二,我们提出了现有定性见解的定量指标,从而对现有关于PTM注册表的现有索赔进行了更强大的验证。最后,我们通过定量分析来验证或挑战以前的定性见解。如图1所示,我们的方法有两个部分。首先,我们进行了系统的文献综述(SLR),以提取有关拥抱面孔的现有知识(索赔)。第二,我们确定未量化和量化较低的索赔,并使用现有数据集提供指标和测量。我们的SLR提取了关于拥抱面的12个不同主张,其中4个缺乏大规模的定量证据。定义指标后,我们以大规模的方式支持其中2个;和
预训练的机器学习(ML)模型有助于创建ML密集型系统,而无需将显着的资源花在培训新模型上。然而,这种模型缺乏透明度可能会导致偏见,公平性,基础数据的可信赖性,甚至可能产生的法律意义。作为案例研究,本文通过拥抱面孔(一个流行的ML模型枢纽)托管的变压器模型,本文经验研究了预训练的变压器模型的透明度。我们研究模型描述(i)指定用于培训预训练的数据集的程度,(ii)讨论他们可能的培训偏见,(iii)声明其许可证,以及使用此类模型的项目是否考虑了这些许可证。结果表明,预先训练的模型对培训数据集,可观偏见和采用许可证仍然有限。此外,我们发现了一些客户项目可能违反许可的案件。我们的发现进一步研究以提高ML模型的透明度,这可能导致人工智能材料法案的定义,产生和采用。
解决不同领域和模态的复杂 AI 任务是迈向通用人工智能的关键一步。虽然有许多适用于各种领域和模态的 AI 模型,但它们无法自主处理复杂的 AI 任务。考虑到大型语言模型 (LLM) 在语言理解、生成、交互和推理方面表现出卓越的能力,我们主张 LLM 可以充当控制器来管理现有的 AI 模型以解决复杂的 AI 任务,而语言则充当通用接口来支持这一点。基于这一理念,我们提出了 HuggingGPT,这是一个由 LLM 驱动的代理,它利用 LLM(例如 ChatGPT)连接机器学习社区(例如 Hugging Face)中的各种 AI 模型来解决 AI 任务。具体来说,我们使用 ChatGPT 在收到用户请求时进行任务规划,根据 Hugging Face 中可用的功能描述选择模型,使用选定的 AI 模型执行每个子任务,并根据执行结果总结响应。 HuggingGPT借助ChatGPT强大的语言能力和Hugging Face丰富的AI模型,可以解决跨不同模态和领域的各种复杂AI任务,并在语言、视觉、语音等挑战性任务中取得令人瞩目的成果,为实现通用人工智能开辟了一条新途径。