隆重推出 Nova Forge SDK,这是一种为企业 AI 定制 Nova 模型的无缝方式

今天,我们推出 Nova Forge SDK,使 LLM 定制变得容易,使团队能够充分利用语言模型的潜力,而无需面对依赖管理、图像选择和配方配置的挑战,并最终降低进入门槛。

来源:亚马逊云科技 _机器学习

大型语言模型 (LLM) 改变了我们与人工智能交互的方式,但单一尺寸根本不适合。开箱即用的法学硕士接受了广泛的一般知识培训,并针对广泛的用例进行了改进,但在涉及特定领域的任务、专有工作流程或独特的业务需求时,他们往往达不到要求。企业客户越来越需要深入了解其专有数据、业务流程和特定领域术语的专业法学硕士。如果没有定制,您将被迫在接受通用响应或接受过多上下文工程的中间立场之间做出选择。 Nova Customization 提供了一套功能,从 Amazon Bedrock 自定义选项(例如监督微调 (SFT) 和强化微调 (RFT))到 Amazon SageMaker AI 自定义功能(包括 SFT、直接偏好优化 (DPO)、RFT)以及 LoRA 和基于全排名的自定义。

由于模型是在专门的数据集上进行微调的,因此它们经常会失去一些基本功能,包括指令跟踪能力、推理技能和广泛的知识专长,这种现象也称为灾难性遗忘。Amazon Nova Forge 提供了一种工具来克服这种权衡,使您能够使用 Nova 构建自己的前沿模型。 Nova Forge 客户可以从早期模型检查点开始开发,将其数据集与 Amazon Nova 策划的数据集混合,并在 AWS 上安全地托管其自定义模型。有时,这些定制工作流程可能会变得复杂,需要技术、基础设施设置和大量时间投入,这使得它们成为很高的进入壁垒。

Nova Forge SDK:开发人员专门为开发人员构建

SDK可以分三层来理解:

  • 定制器层:这是中间层,它接受这些输入,并在幕后构建正确的配方配置,并使用传入的输入值启动作业。
  • 先决条件:

    IAM 角色

    S3 存储桶