详细内容或原文请订阅后点击阅览
使用 Unsloth 在 Amazon SageMaker AI 上部署量化模型
在本文中，您将学习四种部署模式，用于采用已使用 Unsloth 量化的模型并将其部署在 AWS 基础设施上。这些模式使用 Amazon Elastic Compute Cloud (Amazon EC2) 进行直接实例访问，使用 Amazon SageMaker AI 推理终端节点进行托管服务，并在推理需要适应现有容器框架时使用 Amazon Elastic Kubernetes Service (Amazon EKS) 或 Amazon Elastic Container Service (Amazon ECS)。您还可以学习生产部署的操作实践。
来源:亚马逊云科技 _机器学习这篇文章是与 Unsloth 的 Daniel Han 和 Michael Han 共同撰写的。
部署以原始 16 位浮点精度（BF16 或 FP16）存储的大型基础模型 (FM) 成本高昂。他们需要大型 GPU 实例，这会增加服务成本并减慢迭代周期。量化通过降低模型权重的数值精度（例如从 16 位到 4 位）来解决这个问题，从而显着减少内存使用量。量化的缺点是它会降低模型的准确性，这正是动态量化变得引人注目的地方。如果正确完成，动态量化可以减少内存使用，同时保持准确性。实例成本、存储和启动时间的节省可以快速大规模地增加。
在本文中，您将学习四种部署模式，用于采用已使用 Unsloth 量化的模型并将其部署在 AWS 基础设施上。这些模式使用 Amazon Elastic Compute Cloud (Amazon EC2) 进行直接实例访问，使用 Amazon SageMaker AI 推理终端节点进行托管服务，并在推理需要适应现有容器框架时使用 Amazon Elastic Kubernetes Service (Amazon EKS) 或 Amazon Elastic Container Service (Amazon ECS)。您还可以学习生产部署的操作实践。
什么是 Unsloth 动态量化？
Unsloth 联合创始人 Daniel Han 解释道：
“强大的模型最大的问题是它非常大，你需要 1.5TB 来运行这个模型。通过使用一些技巧，你可以使模型大小达到 217GB。你可能会认为因为它小了 86%，精度会降低 86%，但事实并非如此，它只降低了 14% 的精度。这种方法我们称之为动态量化，我们展示了许多基准测试，你可以在其中减少模型的磁盘空间，通过不将所有权重量化为 4 位等，但某些层仍保持较高的 8 位。”
服务路径为：