详细内容或原文请订阅后点击阅览
使用 Amazon SageMaker 上的 NVIDIA NIM 微服务加速生成式 AI 推理
在本文中，我们将演示客户如何通过 NVIDIA NIM 与 SageMaker 的集成来使用生成人工智能 (AI) 模型和 LLM。我们演示了这种集成的工作原理，以及如何在 SageMaker 上部署这些最先进的模型，以优化其性能和成本。
来源:亚马逊云科技 _机器学习这篇文章与Eliuth Triana，Abhishek Sawarkar，Jiahong Liu，Kshitiz Gupta，Jr Morgan和Deepika Padmanabhan共同撰写。
在2024年NVIDIA GTC会议上，我们宣布支持NVIDIA NIM推断微服务在Amazon Sagemaker推论中。这种集成使您可以在萨吉式制造商上部署行业领先的大语言模型（LLM），并优化其性能和成本。优化的预制容器可以在几分钟而不是几天内部署最先进的LLMS，从而促进其无缝集成到企业级AI应用程序中。
nvidia nim推理微服务 Amazon Sagemaker推断nim建立在诸如Nvidia tensorrt，nvidia tensorrt-llm和vllm之类的技术上。 NIM经过精心设计，可以使Sagemaker托管的NVIDIA GPU加速实例中的NVIDIA GPU加速实例中的直接，安全和性能。这使开发人员可以使用SageMaker API和几行代码来利用这些高级模型的功能，从而加速其应用程序中尖端AI功能的部署。
nvidia tensorrt nvidia tensorrt-llm vllmnim是AWS Marketplace上列出的NVIDIA AI Enterprise软件平台的一部分，是一系列推理微服务，将最新的LLMS的功能带到您的应用程序中，提供自然语言处理（NLP）并了解功能，无论您是您是否正在开发Chatbots，开发Chatbots，开发Chatbots，开发Chatbizing文档，总结或实现其他nlp Power persed其他应用程序。您可以使用预先构建的NVIDIA容器来托管受欢迎的LLM，这些LLM可针对特定的NVIDIA GPU进行优化，以快速部署。 Amgen，A-Alpha Bio，Agilent和Hippocratic AI等公司都在AWS上使用NVIDIA AI来加速计算生物学，基因组学分析和对话式AI。
nvidia ai企业 AWS市场 Amgen a-alpha bio 敏捷 Hippocratic AI