Новые чипы Intel должны повысить эффективность и экономичность дата-центров для ИИ
自 Lip-Bu Tan 上任以来英特尔首次发布重要数据中心产品 - Xeon 6+、Crescent Island GPU 和以太网控制器。
如果您正在 AWS GPU 实例上迭代部署大型语言模型 (LLM)，您可能已经注意到要加载到 GPU 高带宽内存 (HBM) 中的模型越大，GPU 准备好进行推理之前的痛苦等待时间就越长。随着模型增长到数千亿个参数，GPU 环境不断增长 [...]
Industry-standard LLM benchmarks in DataRobot
每个 LLM 部署都有上限、延迟曲线和单位成本。大多数团队盲目操作，只有在过度配置耗尽 GPU 预算或峰值流量导致灾难性故障时才发现部署限制。三个数字很重要：GPU 饱和之前的最大持续并发性、该并发性下的端到端延迟以及每百万代币的成本……DataRobot 中的后行业标准 LLM 基准首先出现在 DataRobot 上。
本文演示了使用 Amazon Managed Grafana 仪表板的综合可观测性解决方案，该仪表板通过推理组件为 Amazon SageMaker AI 终端节点上提供的 LLM 提供质量和数量的整体视图。
How Many GPUs Does the Pope Have?
第一位来自对人工智能发展最为认同的国家的美国教皇，他将自己的教皇任期押在了这样一个主张上：我们正在经历类似于利奥十三世的经济转型。但这更接近人类的含义。教皇有多少 GPU？首先出现在美国企业研究所 - AEI 上。
在这篇文章中，您将学习如何构建一个多代理活动审核系统，该系统使用集成架构（结合了 NVIDIA NIM 进行 GPU 加速推理）来演示并行推理、上下文持久性和可追踪执行路径。 Amazon Bedrock AgentCore 提供托管运行时、共享内存和内置可观察性，Strands Agents 提供无服务器多代理编排。此方法支持生产环境中的性能、可扩展性和操作洞察力。虽然该示例侧重于营销内容审核，但相同的模式也适用于数字助理、审核自动化和检索增强生成管道。
A practical guide for platform teams managing shared AI deployments
速率限制与配额预留：何时使用每个 您有一个 gpt-oss-20b 部署。有六支球队想要使用它。 Marketing 正在凌晨 3 点运行批量汇总作业。欺诈团队需要 24/7 的亚秒级响应。一名实习生的 Jupyter 笔记本不小心敲击了紧密循环的端点。您的 GPU 账单已经...这篇文章《平台团队管理共享 AI 部署实用指南》首先出现在 DataRobot 上。
Smart Engines обучил кадрового ИИ-агента оформлять 100 кандидатов в минуту
Smart Engines 科学家加速了 AI 代理的速度，用于将人事文档中的数据输入 KEDO 系统。现在它可以在没有GPU的服务器上1分钟内识别100套就业所需的文档。即使在峰值负载下，响应也只有几秒钟。该解决方案适用于快速增长的企业和招聘人员需求量大的行业，例如零售贸易、酒店业务、旅游、物流和运输。
«РОББО» и Герценовский университет бесплатно научат преподавать робототехнику в онлайн-формате
国家技术倡议循环运动的参与者 - RGPU 命名。 A. I. Herzen 和俄罗斯教育机器人制造商“ROBBO”正在为技术、计算机科学和机器人技术教师推出高级培训课程。经验丰富的方法学家将教老师如何与孩子一起进行在线课程。
Роботы, собранные младшими школьниками, сразились в ЮУрГГПУ
11月9日，第七届车里雅宾斯克州普通教育机构1-5年级教育机器人区域竞赛在南乌拉尔国立人道主义师范大学举行。
The Counterintuitive Networking Decisions Behind OpenAI’s 131,000-GPU Training Fabric
对 MRC 的三个反直觉设计决策、使它们发挥作用的网络数学以及它们对 AI 基础设施社区其他成员的意义进行了批判性分析。OpenAI 131,000-GPU 训练结构背后的反直觉网络决策一文首先出现在《走向数据科学》上。
在本文中，您将了解如何使用适用于 ML 的 Amazon Elastic Compute Cloud (Amazon EC2) 容量块和 Amazon SageMaker 训练计划来确保短期工作负载的预留 GPU 容量。当您需要短期容量进行负载测试、模型验证、有时限的研讨会或在发布前准备推理能力时，这些解决方案可以解决 GPU 可用性挑战。
Apropos of My Morning Chart of the Day: "Well, I Can Hammer...
AM 我发布了：“好吧，我毕竟可以锤击 M4Max MacStudio 的 CPU、GPU 和 NPU！：每日图表”。现在...
Well, I Can Hammer the CPUs & the GPUs & the NPUs of an M4Max MacStudio After All!: Chart of the Day
一个充满暗计算的世界，从 ENIAC 到 Nvidia 的旅程构建了一个闲置晶体管的世界；或者，您的 MacStudio 与地球的数据中心：硅和电源的思想实验......
This New Chip Could Make GPUs Far More Efficient
加州大学圣地亚哥分校的工程师设计了一款新芯片，可以通过改进向 GPU 供电的方式来提高数据中心的能源效率。随着数据中心继续消耗更多的电力，加州大学圣地亚哥分校的工程师创建了一种新的芯片设计，旨在改善图形处理 [...]
