详细内容或原文请订阅后点击阅览

使用拟人化的Claude Sonnet 4.5

2025年10月3日 21:37 33 Comments
X Twitter Instagram Mail

组织越来越多地将生成式人工智能功能集成到其应用程序中，以增强客户体验、简化运营并推动创新。随着生成式人工智能工作负载的规模和重要性不断增长，组织在保持人工智能驱动的应用程序的一致性能、可靠性和可用性方面面临着新的挑战。客户希望跨 [...] 扩展他们的人工智能推理工作负载

来源:亚马逊云科技 _机器学习
组织越来越多地将生成的AI功能整合到其应用程序中，以增强客户体验，简化操作和推动创新。随着生成AI的工作量的规模和重要性的不断增长，组织在保持其AI驱动应用程序的一致性，可靠性和可用性方面面临着新的挑战。客户希望在多个AWS区域扩展其AI推理工作负载，以支持一致的性能和可靠性。为了满足这一需求，我们为亚马逊基岩引入了跨区域推理（CRIS）。该托管能力会自动路由多个区域的推理请求，从而使应用程序无缝处理流量爆发并实现更高的吞吐量，而无需开发人员预测需求波动或实施复杂的负载平衡机制。 CRIS通过推理配置文件进行工作，该推理概况定义了基础模型（FM）以及可以路由请求的区域。我们很高兴地宣布在亚马逊底石上使用Antharpic的Claude Sonnet 4.5宣布全球跨区域推断的可用性。现在，使用跨区域推理，您可以选择特定地理的推理配置文件或全局推理配置文件。从地理特定路由中的这种演变为组织提供了更大的灵活性，因为亚马逊基岩自动选择该地理位置内的最佳商业区域来处理您的推理请求。 Global CRIS进一步增强了跨区域的推论，可以使推理请求与全球支持的商业区域，优化可用的资源并实现更高的模型吞吐量。这有助于支持一致的性能和更高的吞吐量，尤其是在计划外的峰值使用时间期间。此外，全球CRIS还支持关键的亚马逊基岩功能，包括及时的缓存，批处理推理，亚马逊基石护栏，亚马逊基岩知识库等等。
知识库 可靠性 计划外的 可用性 地理的 关键的 亚马逊 工作量 基岩 支持 可用的 复杂的 配置文件 推理 CRIS 一致性 应用程序 请求 支持的 负载平衡 一致的 开发人员 吞吐量 区域 AI 路由 灵活性 平衡机 地理位置 及时的 区域的 处理 工作负载 重要性 使用时间