详细内容或原文请订阅后点击阅览

rufus如何使用AWS AI芯片和平行解码

2025年5月28日 13:00 33 Comments
X Twitter Instagram Mail

AI驱动的购物助理 Rufus依靠许多组件来提供其客户体验，包括Foundation LLM（响应生成）和查询计划者（QP）模型，以进行查询分类和检索增强。这篇文章的重点是QP模型如何使用以平行解码为中心的投机解码（SD）（SD）以及AWS AI芯片来满足Prime Day的需求。通过将平行解码与AWS Trainium和推理芯片相结合，Rufus的响应时间更快，推理成本降低了50％，并且在高峰流量期间无缝可扩展性。 在这篇文章中，我们向您展示了如何实施和评估三种强大的技术，以根据您的业务需求来量身定制FMS：抹布，微调和混合方法，结合了这两种方法。我们提供现成的代码，以帮助您尝试这些方法，并根据您的特定用例和数据集做出明智的决定。 在这篇文章中，我们介绍了如何使用亚马逊基岩的多代理协作能力来建立多代理投资研究助理。我们的解决方案展示了专业人工智能代理团队如何共同努力，分析财务新闻，评估股票绩效，优化投资组合分配并提供全面的投资见解 - 所有这些都通过统一的自然语言界面进行了精心策划。

来源:亚马逊云科技 _机器学习
大型语言模型（LLM）彻底改变了我们与技术互动的方式，但是它们的广泛采用已被高推断潜伏期，有限的吞吐量和与文本生成相关的高成本所阻止。这些效率低下的效率尤其明显，例如Amazon Prime Day，Rufus（像Amazon AI驱动的购物助理）这样的系统必须处理大量规模，同时遵守严格的延迟和吞吐量要求。 Rufus是AI驱动的购物助理，旨在帮助客户做出明智的购买决策。 Rufus由LLMS提供支持，回答客户有关各种购物需求和产品的问题，并简化了购物体验，如下图所示。Rufus依靠许多组件来提供其客户体验，包括基础LLM（用于响应生成）和查询计划者（QP）模型进行查询分类和检索。该模型解析了客户问题，以了解其意图，无论是基于关键字还是基于对话的自然语言。 QP是RUFUS的关键路径，因为Rufus在QP提供了完整的输出之前无法启动令牌生成。因此，减少QP的端到端文本生成延迟是减少RUFUS中第一个块延迟的关键要求，Rufus是指生成并将第一个响应发送给用户请求所花费的时间。降低这种潜伏期可以提高感知的响应能力和整体用户体验。这篇文章的重点是QP模型如何使用以平行解码为中心的投机解码（SD）（SD）以及AWS AI芯片来满足Prime Day的需求。 By combining parallel decoding with AWS Trainium and Inferentia chips, Rufus achieved two times faster response times, a 50% reduction in inference costs, and seamless scalability during peak traffic.Scaling LLMs for Prime DayPrime Day is one of the most demanding events for the Amazon infrastructure, pushing systems to their limits
Prime 购物 驱动的 Rufus 花费的 潜伏期 客户 完整的 相关的 效率 高成本 体验 端到端 延迟的 Amazon 计划者 中心的 Day 生成 AI 用户 互动的 量规 QP 严格的 模型 关键路径 吞吐量 对话的 响应 有限的 关键要求 提高 提供