使用 NinjaTech AI 和 AWS Trainium 实现生产力代理的未来

NinjaTech AI 的使命是通过使用快速且经济实惠的人工智能 (AI) 代理来处理耗时的复杂任务,从而提高每个人的工作效率。我们最近推出了 MyNinja.ai,这是世界上第一个多代理个人 AI 助理,以推动我们的使命。MyNinja.ai 是从头开始构建的,使用专门的代理,这些代理能够代表您完成任务,包括安排会议、从网络上进行深入研究、生成代码和帮助编写。这些代理可以将复杂的多步骤任务分解为分支解决方案,并且能够动态评估生成的解决方案,同时不断从过去的经验中学习。所有这些任务都是以完全自主和异步的方式完成的,让您可以继续您的一天,而 Ninja 可以在后台处理这些任务,并在需要您的输入时参与进来。

来源:亚马逊云科技 _机器学习

这是 NinjaTech AI 的 Arash Sadrieh、Tahir Azim 和 Tengfui Xue 撰写的客座文章。

这是 NinjaTech AI 的 Arash Sadrieh、Tahir Azim 和 Tengfui Xue 撰写的客座文章。

NinjaTech AI 的使命是通过使用快速且经济实惠的人工智能 (AI) 代理来处理耗时的复杂任务,从而提高每个人的工作效率。我们最近推出了 MyNinja.ai,这是世界上首批多代理个人 AI 助理之一,以推动我们的使命。MyNinja.ai 从头开始​​构建,使用能够代表您完成任务的专门代理,包括安排会议、从网络上进行深入研究、生成代码和帮助编写。这些代理可以将复杂的多步骤任务分解为分支解决方案,并且能够动态评估生成的解决方案,同时不断从过去的经验中学习。所有这些任务都是以完全自主和异步的方式完成的,让您可以继续您的一天,而 Ninja 可以在后台处理这些任务,并在需要您的输入时参与进来。

MyNinja.ai

因为没有一个大型语言模型 (LLM) 能够完美地完成每一项任务,所以我们知道构建个人 AI 助手需要多个专门针对各种任务优化的 LLM。为了提供让用户满意的准确性和功能,我们还知道我们需要这些多个模型协同工作。最后,我们需要可扩展且经济高效的方法来训练这些不同的模型——对于大多数初创公司来说,这项工作历来成本高昂。在这篇文章中,我们描述了如何使用 AWS Trainium 芯片构建我们的尖端生产力代理 NinjaLLM,即 MyNinja.ai 的骨干。

AWS Trainium

构建数据集

检索增强生成 Lima 方法

在 Trainium 上进行微调

AWS ParallelCluster

下图说明了我们的训练架构。

模型评估

HotPotQA 自然问题 (NQ) 开放 ORPO