Optimizing Inference in the Age of Open-Source Innovation
探索十个多模态数据集和基准的主要特征，以评估多模态模型的性能。
Create a SageMaker inference endpoint with custom model & extended container
这篇文章将引导您完成使用 NASA 的 Prithvi 模型在 SageMaker 上部署单个自定义模型的端到端过程。Prithvi 模型是 IBM 和 NASA 团队在连续的美国协调 Landsat Sentinel 2 (HLS) 数据上预先训练的首创时间 Vision 转换器。可以使用 mmsegmentation 库对其进行微调以进行图像分割，用于烧伤疤痕检测、洪水测绘和多时间作物分类等用例。
Hazards of Reasoning by Anecdotes: LA Fires Version
布鲁斯·霍尔先生推测洛杉矶火灾严重的原因：我记得 1968 年在加利福尼亚州洛姆波克进行一个月的军事训练。由于基地没有足够的临时住房，我在附近租了一间小公寓。一天早上，我起床时，公寓大楼附近的小山 […]
Amazon Bedrock 是一项完全托管的服务，它通过单一 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI 和 Amazon 等领先 AI 公司的高性能基础模型 (FM)，以及一系列广泛的功能，用于构建具有安全性、隐私性和负责任 AI 的生成式 AI 应用程序。在这篇文章中，我将向您展示如何将 Amazon Bedrock（及其完全托管的按需 API）与您的 Amazon SageMaker 训练或微调模型结合使用。
OpenAI's o3 Just Beat Humans at Reasoning: Here's What That Means for Your Career
OpenAI 刚刚宣布了一种全新的模型，该模型可能刚刚跨越了 AI 能力的一个重要门槛 - 它引起了所有人的讨论。
From o1 to o3: How OpenAI is Redefining Complex Reasoning in AI
生成式人工智能重新定义了我们认为人工智能可以做什么。它最初只是一种用于执行简单重复任务的工具，现在正在解决我们面临的一些最具挑战性的问题。OpenAI 在这一转变中发挥了重要作用，并以其 ChatGPT 系统引领潮流。ChatGPT 的早期版本展示了人工智能如何能够 […]文章从 o1 到 o3：OpenAI 如何重新定义人工智能中的复杂推理首先出现在 Unite.AI 上。
OpenAI's o3 model aced a test of AI reasoning – but it's still not AGI
OpenAI 的最新 AI 模型实现了“令人印象深刻的性能飞跃”，但它仍未展示出专家所称的人类水平的智能
OpenAI Enhances AI Model’s Reasoning Abilities
为什么重要：OpenAI 增强了 AI 模型的推理能力，超越了谷歌 Gemini 等竞争对手并重新定义了创新。
Google Unveils AI Reasoning and Chatbot
为什么重要：谷歌推出人工智能推理和聊天机器人，通过更智能、对话式的用户交互彻底改变搜索。
OpenAI Unveils o3 System That Reasons Through Math, Science Problems
这家人工智能初创公司表示，新系统 OpenAI o3 在评估数学、科学、编码和逻辑技能的测试中表现优于领先的人工智能技术。
Design multi-agent orchestration with reasoning using Amazon Bedrock and open source frameworks
这篇文章提供了创建具有推理功能的协作多代理框架的分步说明，以将业务应用程序与 FM 分离。它演示了如何将 Amazon Bedrock 代理与开源多代理框架相结合，从而实现代理之间的协作和推理，以动态执行各种任务。该练习将指导您完成使用 Amazon Bedrock、Amazon Bedrock 知识库、Amazon Bedrock 代理和 FM 构建推理编排系统的过程。我们还探讨了 Amazon Bedrock 代理与开源编排框架 LangGraph 和 CrewAI 的集成，以进行调度和推理。
Accelerating LLM Inference on NVIDIA GPUs with ReDrafter
加速 LLM 推理是一个重要的 ML 研究问题，因为自回归 token 生成计算成本高且相对较慢，而提高推理效率可以减少用户的延迟。除了持续努力加速 Apple 芯片上的推理之外，我们最近在加速 NVIDIA GPU 的 LLM 推理方面取得了重大进展，该 GPU 广泛用于整个行业的生产应用程序。今年早些时候，我们发布并开源了 Recurrent Drafter (ReDrafter)，这是一种新颖的推测解码方法，达到了最先进的水平……
String figures shed light on cultural connections and the roots of mathematical reasoning
赫尔辛基大学、奥胡斯大学、丹麦国家博物馆和西雅图大学联合开展了一项研究，探讨了传统弦状人物的认知、文化和历史意义。该研究探讨了某些弦状人物是在世界不同地区独立进化还是拥有共同的祖先。
The Best Inference APIs for Open LLMs to Enhance Your AI App
想象一下：您已经构建了一个具有绝妙想法的 AI 应用程序，但它很难实现，因为运行大型语言模型 (LLM) 感觉就像试图用卡带播放器举办音乐会。潜力是有的，但性能呢？缺乏。这就是开放式 LLM 推理 API 的用武之地。这些服务是 […] 文章《用于增强您的 AI 应用程序的开放式 LLM 最佳推理 API》首先出现在 Unite.AI 上。
How Single Tokens Can Make or Break AI Reasoning
想象一下，要求 AI 解决一个关于偿还贷款的简单数学问题。当 AI 遇到“欠”这个词时，它会结结巴巴，产生错误的计算和错误的逻辑。但是将这个词改为“已付”，AI 的推理突然发生了变化——变得清晰、准确和精确。这不是怪癖或 […]The post How Single Tokens Can Make or Break AI Reasoning 首先出现在 Unite.AI 上。
Amazon SageMaker launches the updated inference optimization toolkit for generative AI
今天，Amazon SageMaker 很高兴宣布对推理优化工具包进行更新，提供新功能和增强功能，以帮助您更快地优化生成式 AI 模型。在这篇文章中，我们将更详细地讨论该工具包的这些新功能。
Speed up your AI inference workloads with new NVIDIA-powered capabilities in Amazon SageMaker
在 re:Invent 2024 上，我们很高兴地宣布了新功能，利用 Amazon SageMaker 上的 NVIDIA 加速计算和软件产品来加速您的 AI 推理工作负载。在这篇文章中，我们将探讨如何使用这些新功能来增强您在 Amazon SageMaker 上的 AI 推理。我们将介绍从 AWS Marketplace 为 SageMaker Inference 部署 NVIDIA NIM 微服务的过程。然后，我们将深入介绍 NVIDIA 在 SageMaker JumpStart 上提供的模型，展示如何直接在 JumpStart 界面中访问和部署 Nemotron-4 模型。这将包括分步
今天，在 AWS re:Invent 2024 大会上，我们很高兴地宣布 Amazon SageMaker 中推出了新的容器缓存功能，该功能可显著缩短扩展生成式 AI 模型进行推理所需的时间。这项创新让您能够更快地扩展模型，在扩展新模型副本时，延迟可降低高达 56%，在新实例上添加模型副本时，延迟可降低高达 30%。在本文中，我们将探讨 SageMaker 推理的新容器缓存功能，以应对部署和扩展大型语言模型 (LLM) 的挑战。
