LiteLLM in the crosshairs: Supply Chain Attack on AI Infrastructure
LiteLLM 的用户可能已成为攻击者组织的目标。早在 3 月份，人们就知道“TeamPCP”组织已经成功获取了各个平台的机密信息，包括 Kubernetes 秘密、SSH 密钥、存储库凭证、AWS 等云平台以及 AI 环境的代币。有关谁受到影响以及攻击者能够窃取哪些数据的信息可以在在线数据库中查看。
Deploying Kimi K3 on Amazon SageMaker HyperPod and Amazon EKS
本文将介绍如何使用两种方法在 AWS 上部署 Kimi K3：Amazon SageMaker HyperPod 和 Amazon Elastic Kubernetes Service (Amazon EKS) 集群。
Deploying quantized models on Amazon SageMaker AI with Unsloth
在本文中，您将学习四种部署模式，用于采用已使用 Unsloth 量化的模型并将其部署在 AWS 基础设施上。这些模式使用 Amazon Elastic Compute Cloud (Amazon EC2) 进行直接实例访问，使用 Amazon SageMaker AI 推理终端节点进行托管服务，并在推理需要适应现有容器框架时使用 Amazon Elastic Kubernetes Service (Amazon EKS) 或 Amazon Elastic Container Service (Amazon ECS)。您还可以学习生产部署的操作实践。
