Deploying quantized models on Amazon SageMaker AI with Unsloth
在本文中，您将学习四种部署模式，用于采用已使用 Unsloth 量化的模型并将其部署在 AWS 基础设施上。这些模式使用 Amazon Elastic Compute Cloud (Amazon EC2) 进行直接实例访问，使用 Amazon SageMaker AI 推理终端节点进行托管服务，并在推理需要适应现有容器框架时使用 Amazon Elastic Kubernetes Service (Amazon EKS) 或 Amazon Elastic Container Service (Amazon ECS)。您还可以学习生产部署的操作实践。
Securing Amazon Bedrock AgentCore Runtime with AWS WAF
这篇文章向您展示了解决此问题的两种架构模式。两者都使用面向互联网的 ALB 和 AWS WAF，并通过 VPC 接口终端节点将流量路由到 AgentCore 运行时。模式 1 在 ALB 和 VPC 终端节点之间放置一个 AWS Lambda 代理，让您可以完全控制请求转换。模式 2 直接从 ALB 定位 VPC 终端节点 ENI IP 地址，完全删除 Lambda 跃点。您还将了解如何使用资源策略关闭直接访问后门，以便流量仅流经 AWS WAF。这两种模式均已通过 SigV4 和 OAuth (Amazon Cognito JWT) 身份验证进行了端到端测试。
