Deploying quantized models on Amazon SageMaker AI with Unsloth
在本文中，您将学习四种部署模式，用于采用已使用 Unsloth 量化的模型并将其部署在 AWS 基础设施上。这些模式使用 Amazon Elastic Compute Cloud (Amazon EC2) 进行直接实例访问，使用 Amazon SageMaker AI 推理终端节点进行托管服务，并在推理需要适应现有容器框架时使用 Amazon Elastic Kubernetes Service (Amazon EKS) 或 Amazon Elastic Container Service (Amazon ECS)。您还可以学习生产部署的操作实践。
