Salesforce如何通过Amazon Sagemaker AI

这篇文章是Salesforce和AWS之间的共同合作,并且在Salesforce Engineering Blog和AWS机器学习博客上都在交叉发布。 Salesforce AI模型服务团队正在努力突破自然语言处理的界限和企业应用程序的AI功能。他们的关键重点领域包括优化大型[…]

来源:亚马逊云科技 _机器学习
这篇文章是Salesforce和AWS之间的共同合作,并且在Salesforce Engineering博客和AWS机器学习博客上都在交叉发布。SalesforceAI模型服务团队正在努力推动自然语言处理的界限和企业应用程序的AI功能。他们的关键重点领域包括通过集成最先进的解决方案,与领先的技术提供商合作以及驱动绩效增强功能来优化大型语言模型(LLM),从而影响Salesforce AI驱动的功能。服务团队的AI模型支持传统机器学习(ML)和生成AI的广泛模型,包括LLM,多模式基础模型(FMS),语音识别和基于计算机视觉的模型。通过与领先技术提供商的创新和合作伙伴关系,该团队提高了性能和能力,应对诸如吞吐量和潜伏期优化等挑战,并为实时AI应用程序提供安全模型部署。他们通过评估跨多个环境的ML模型以及广泛的性能测试来实现这一目标,以实现在AW上推断的可伸缩性和可靠性。该团队负责收集需求和绩效目标的端到端过程,托管,优化和扩展AI模型,包括LLM,包括由Salesforce的数据科学和研究团队构建的LLMS。这包括优化模型,以实现高吞吐量和低潜伏期,并通过多个AWS区域的自动,自助服务流程快速部署它们。在这篇文章中,我们分享了AI模型服务团队如何使用Amazon Sagemaker AI.Key挑战团队实现高性能模型部署,以在销售中为销售模型中的几个挑战。一个例子是平衡潜伏期和吞吐量,同时在根据需求扩展这些模型时达到成本效益。保持性能和可伸缩性,同时最小化服务co