Introducing container caching in Amazon SageMaker AI for faster model scaling
今天,我们很高兴地宣布用于 Amazon SageMaker AI 推理的容器映像缓存,这是我们更快的扩展优化之旅的下一个重大进展。这使得生成式 AI 模型在横向扩展事件期间的端到端延迟速度提高了 2 倍。
PySpark for Beginners: Building Intermediate-Level Skills
分区、洗牌、连接、缓存和执行计划的实用下一步。面向初学者的 PySpark 帖子:构建中级技能首先出现在 Towards Data Science 上。
Weblica: Scalable and Reproducible Training Environments for Visual Web Agents
网络复杂、开放且不断变化,这使得扩展可视网络代理的训练数据变得具有挑战性。现有的数据收集尝试仍然仅限于用于监督微调的离线轨迹或用于 RL 训练的少数模拟环境,因此无法捕获网络多样性。我们提出了Weblica(Web Replica),一个用于构建可复制和可扩展的Web环境的框架。我们的框架利用 1) HTTP 级缓存来捕获和重播稳定的视觉状态,同时保留交互行为,以及 2) 基于 LLM 的环境合成......
Accelerate protein design with BoltzGen on Amazon SageMaker AI
在这篇文章中,我们演示了如何在 SageMaker AI 上部署 BoltzGen 并运行端到端蛋白质设计实验。在演练结束时,您将拥有一个可从快速验证运行扩展到生产批处理的工作设置。该设置为不同的研究阶段提供了两种执行模式,并使用步骤级缓存来减少迭代工作流程期间的计算费用。
Production-grade AI agents for financial compliance: Lessons from Stripe
在这篇文章中,您将了解 Stripe 如何构建生产级 AI 代理系统以实现财务合规性。我们介绍了 Stripe 的 ReAct 代理框架的技术架构以及专用代理服务背后的基础设施决策。我们还讨论了人类监督在维持责任方面的作用,以及有关任务分解、编排模式和通过即时缓存优化成本的重要经验教训。最后,您将了解如何设计在不影响质量或可审计性的情况下扩展合规性操作的代理系统。