Optimizing LLMs: Comparing vLLM, LMDeploy, and SGLang
了解 vLLM、LMDeploy 和 SGLang 如何优化 LLM 推理效率。了解 KV 缓存管理、内存分配和 CUDA 优化。
Orchestrate seamless business systems integrations using Amazon Bedrock Agents
这篇文章展示了如何使用生成 AI 来逻辑化、推理和协调使用虚构业务流程的集成。它展示了协调 Amazon Bedrock 代理和行动组的策略和技术，以将生成 AI 与现有业务系统无缝集成，实现高效的数据访问并释放生成 AI 的全部潜力。
OpenAI’s new agent can compile detailed reports on practically any topic
OpenAI 推出了一款新代理，能够对从科学研究到个性化自行车推荐等所有领域进行复杂、多步骤的在线研究，其水平与人类分析师相同。这款名为 Deep Research 的工具由 OpenAI 的 o3 推理模型的一个版本提供支持，该模型已针对网页浏览进行了优化……
OpenAI lanserar en ny o3-mini resonansmodell med en gratis version av ChatGPT
OpenAI 推出了 o3-mini，这是一种新的经济高效的 AI 模型，可在科学、数学和编码方面提供卓越的 STEM 功能。该模型比其前代产品具有更快的响应时间，同时保持了较低的成本。它引入了新的开发人员功能，例如函数调用、结构化输出和开发人员通知，并提供了三个不同的推理级别以优化特定需求的使用。新模型代表了 […]OpenAI 推出了一种新的 o3-mini 共振模型，其中包含 ChatGPT 的免费版本，该文章首次出现在 AI 新闻中。
DeepSeek-R1 model now available in Amazon Bedrock Marketplace and Amazon SageMaker JumpStart
DeepSeek-R1 是一种先进的大型语言模型，它结合了强化学习、思维链推理和混合专家架构，通过 Amazon Bedrock Guardrails 集成提供高效、可解释的响应，同时保持安全性。
1 月份，AI 领域的重要公告数量引人注目。对我来说，有两项公告尤为突出：美国政府支持星际之门项目，这是一个耗资 5000 亿美元的巨型数据中心，投资方包括 Oracle、Softbank 和 OpenAI；DeepSeek 发布了其 R1 推理模型，该模型的训练成本估计约为 […]
IEEE Transactions on Artificial Intelligence, Volume 6, Issue 1, January 2025
1) 基于行业的配对交易策略与新颖的配对选择技术作者：Pranjala G. Kolapwar、Uday V. Kulkarni、Jaishri M. Waghmare页数：3 - 132) 虚假新闻云中的一线希望：大型语言模型能否帮助检测错误信息？作者：Raghvendra Kumar、Bhargav Goddu、Sriparna Saha、Adam Jatowt页数：14 - 243) 强化学习的混合环境中的多智能体协作导航与关系图学习作者：Wen Ou、Biao Luo、Xiaodong Xu、Yu Feng、Yuqian Zhao页数：25 - 364) 使用深度循环的工业物联网流
How a top Chinese AI model overcame US sanctions
AI 社区对新的开源推理模型 DeepSeek R1 议论纷纷。该模型由中国 AI 初创公司 DeepSeek 开发，该公司声称 R1 在多个关键基准上与 OpenAI 的 ChatGPT o1 匹敌甚至超越，但运行成本仅为其一小部分。“这可能是一个真正均衡的突破，......
Optimizing LLM test-time compute involves solving a meta-RL problem
TL;DR：训练模型以优化测试时间计算并学习“如何发现”正确答案，而不是学习“输出什么答案”的传统学习范式，这可以使模型更好地利用数据。迄今为止，改进大型语言模型 (LLM) 的主要策略是使用越来越多的高质量数据进行监督微调 (SFT) 或强化学习 (RL)。不幸的是，这种扩展形式似乎很快就会遇到障碍，预训练的扩展定律会趋于稳定，并且有报告称，用于训练的高质量文本数据可能在 2028 年耗尽，特别是对于更困难的任务，例如解决推理问题，这似乎需要将当前数据扩展约 100 倍才能看到任何显着的改进。LLM 在这些困难任务中的问题上的当前表现仍然令人失望（见示例）。因此，迫切需要数据高效的方法来训练
本文介绍了一种使用大型语言模型 (LLM) 进行端到端自动语音识别 (E2E-ASR) 的有效解码方法。虽然浅层融合是将语言模型纳入 E2E-ASR 解码的最常见方法，但我们在 LLM 方面面临两个实际问题。 (1) LLM 推理在计算上成本高昂。 (2) ASR 模型和 LLM 之间可能存在词汇不匹配。为了解决这种不匹配，我们需要重新训练 ASR 模型和/或 LLM，这在最好的情况下很耗时，而且在许多情况下是不可行的。我们提出了“延迟融合”，它应用 LLM 分数……
On the Modeling Capabilities of Large Language Models for Sequential Decision Making
大型预训练模型在不同模式下的推理和规划任务中表现出越来越好的性能，为利用它们解决复杂的顺序决策问题提供了可能性。在本文中，我们研究了大型语言模型 (LLM) 在各种交互领域中进行强化学习 (RL) 的能力。我们评估了它们制定决策策略的能力，无论是直接通过生成动作，还是间接通过首先生成奖励模型来训练具有 RL 的代理。我们的结果表明，即使没有……
AGI Is Not Here: LLMs Lack True Intelligence
为什么重要：通用人工智能尚未出现：法学硕士缺乏真正的智能。了解法学硕士为何缺乏真正的类人认知和推理能力。
AGI Is Not Here: LLMs Lack True Intelligence
它很重要：AGI不在这里：LLMS缺乏真正的智能。了解为什么LLM缺乏真正的人类认知和推理。
Joe Romm’s the Climate Ate My Homework! (re Southern California fires)
最糟糕的情况发生在加州，气候之州？绿色之州？DEI 之州，这仅仅是巧合吗？乔，主流并不相信你的“气候吞噬了我的家庭作业”推理。
我们可能放假了，但 AI 世界却没有！在这个快节奏的快速剧集中，Paul 和 Mike 回来了，为您介绍您错过的一切。从 OpenAI 的 o3 模型打破人类推理障碍到 Sam Altman 暗示超级智能，我们提供了所有更新。此外，了解 Google 的新“AI 模式”，以及微软为何押注 800 亿美元建设下一代数据中心。收听或观看以下内容 - 并参阅下面的节目笔记和文字记录。
-PRIME-1 是一个 AI 基础模型，使用最先进的大型模型架构进行 3D 推理。 PRIME-1 接受了来自该公司在美国各地真实仓库中运行的机器人队伍超过 15 万小时的 2000 万张真实图像的训练（相当于一个机器人全天候运行 17 年）。PRIME-1 通过提供更快的机器人解决方案部署和增强的 3D 感知、包裹挑选和质量控制系统可靠性来提高性能。
Does IQ Really Measure Your Intelligence?
智商 (IQ) 测试长期以来一直是衡量人类智力的标准。这些评估于 20 世纪初开发，通过测试逻辑、推理和解决问题能力的任务来评估认知能力。高智商分数通常等同于超强的智力、学术能力和职业成功。但这个数字真的能概括 […]
Optimizing costs of generative AI applications on AWS
优化 AWS 上生成式 AI 应用程序的成本对于充分发挥这项变革性技术的潜力至关重要。本文概述了关键的成本优化支柱，包括模型选择和定制、代币使用、推理定价计划和矢量数据库注意事项。
