Announcing OpenAI-compatible API support for Amazon SageMaker AI endpoints
今天,Amazon SageMaker AI 推出了针对实时推理终端节点的 OpenAI 兼容 API 支持。如果您使用 OpenAI SDK、LangChain 或 Strands Agents,您现在可以通过仅更改端点 URL 来调用 SageMaker AI 上的模型。您不需要自定义客户端、SigV4 包装器或代码重写。概述 通过此次发布,SageMaker AI 端点 [...]
本文演示了使用 Amazon Managed Grafana 仪表板的综合可观测性解决方案,该仪表板通过推理组件为 Amazon SageMaker AI 终端节点上提供的 LLM 提供质量和数量的整体视图。
Capacity-aware inference: Automatic instance fallback for SageMaker AI endpoints
今天,Amazon SageMaker AI 为新的和现有的推理终端节点引入了容量感知实例池。您定义实例类型的优先级列表,只要在创建、横向扩展和横向收缩期间容量受到限制,SageMaker AI 就会自动处理您的列表。您的端点无需人工干预即可配置可用的人工智能基础设施。此功能适用于单模型端点、基于推理组件的端点和异步推理端点。
Configuring Amazon Bedrock AgentCore Gateway for secure access to private resources
在本文中,您将配置 Amazon Bedrock AgentCore Gateway 以使用资源网关访问私有终端节点,资源网关是一种托管结构,可直接在 Amazon VPC 内配置弹性网络接口 (ENI),每个子网一个。您将探索两种实施模式(托管和自我管理)并演练三个实际场景:连接到私有 Amazon API Gateway 终端节点、与 Amazon Elastic Kubernetes Service (Amazon EKS) 上的 MCP 服务器集成以及访问私有 REST API。