将基于 Transformer 的模型扩展到超过 1000 亿个参数已在自然语言处理中取得突破性成果。这些大型语言模型在各种应用中都表现出色，但由于生成推理的顺序性，有效部署它们带来了挑战，其中每个标记的计算都依赖于前面的标记。这需要细致的并行布局和内存帖子《大规模 Transformer 模型的有效部署：可扩展和低延迟推理策略》首先出现在 AI Quantum Intelligence 上。
AI model performance: Is it reasoning or simply reciting?
当 ChatGPT 为您的提示提供正确答案时，它是通过请求进行推理还是仅仅记住训练数据中的答案？麻省理工学院计算机科学与人工智能实验室 (CSAIL) 的研究人员设计了一系列测试，以查看 AI 模型是“思考”还是只是记忆力好。当您提示 AI 模型解决“27+62 等于多少？”之类的数学问题时，它会很快给出正确答案：89。我们如何判断它是理解底层算法还是只是在训练数据中看到了问题？在他们的论文中，研究人员测试了 GPT-4，文章 AI 模型性能：是推理还是简单地背诵？首次出现在 DailyAI 上。
Optimizing Large Language Models (LLMs) on CPUs: Techniques for Enhanced Inference and Efficiency
基于 Transformer 架构构建的大型语言模型 (LLM) 最近取得了重要的技术里程碑。这些模型在理解和生成类似于人类的写作方面的卓越技能对各种人工智能 (AI) 应用产生了重大影响。尽管这些模型运行良好，但文章《在 CPU 上优化大型语言模型 (LLM)：增强推理和效率的技术》首先出现在 AI Quantum Intelligence 上。
Reasoning skills of large language models are often overestimated
CSAIL 的新研究强调了 LLM 在熟悉的场景中表现出色，但在新场景中却举步维艰，这让人质疑其真正的推理能力与对记忆的依赖。
随着生成式人工智能 (AI) 推理对企业越来越重要，客户正在寻求扩展其生成式 AI 操作或将生成式 AI 模型集成到现有工作流程中的方法。模型优化已成为一个关键步骤，使组织能够平衡成本效益和响应能力，从而提高生产力。但是，性价比要求在不同用例之间差异很大。对于 [...]
今天，Amazon SageMaker 宣布了一款新的推理优化工具包，可帮助您将优化生成式人工智能 (AI) 模型所需的时间从数月缩短到数小时，从而为您的用例实现一流的性能。借助这项新功能，您可以从优化技术菜单中进行选择，将它们应用于您的生成式 AI [...]
Accelerated PyTorch inference with torch.compile on AWS Graviton processors
最初，PyTorch 使用了一种 Eager 模式，即构成模型的每个 PyTorch 操作在达到该模式后都会独立运行。PyTorch 2.0 引入了 torch.compile 来加速 PyTorch 代码，而不是默认的 Eager 模式。与 Eager 模式相比，torch.compile 以最适合的方式将整个模型预编译为单个图形 [...]
How Far Can Transformers Reason? The Locality Barrier and Inductive Scratchpad
Transformers 能否通过组合已建立的三段论来预测新的三段论？更一般地说，这些模型可以从头开始学习什么类型的目标？最近的研究表明，Transformers 在表达能力方面可以是图灵完备的，但这并没有解决可学习性目标。本文提出了分布局部性的概念，以捕捉常规 Transformers 何时可以有效实现弱学习，其中局部性除了标记直方图之外还测量与目标非平凡相关的所需最少标记数。如实验所示……
Technique improves the reasoning capabilities of large language models
该方法结合了自然语言和编程，使法学硕士能够透明地解决数值、分析和基于语言的任务。
Learning programs with numerical reasoning
药物设计是识别负责药物活性的分子的过程。假设我们想用机器学习来自动化药物设计。为此，我们希望自动学习解释分子为何活跃或不活跃的程序。例如，如上图所示，程序可能会确定 […]
Video: GPT-enhanced humanoid speaks and reasons as it works
Figure 展示了其与 OpenAI 合作的第一个成果，旨在增强人形机器人的能力。在今天发布的视频中，可以看到 Figure 01 机器人正在实时交谈。继续阅读类别：机器人技术、技术标签：Figure、Open AI、人形机器人、通信、人工智能
CREATE: Context Reasoning for Autonomous Teaming
项目负责人：Aaron Kofford 先生 赞助组织：DARPA网站：https://www.darpa.mil/program/context-reasoning-for-autonomous-teaming 项目概要：CREATE 将探索人工智能 (AI) 在自主组建可扩展的机器对机器团队中的实用性，这些团队能够对
KAIROS: Knowledge-directed Artificial Intelligence Reasoning Over Schemas
项目负责人：William Corvey 博士 赞助组织：DARPA网站：https://www.darpa.mil/program/knowledge-directed-artificial-intelligence-reasoning-over-schemas 项目概要：KAIROS 旨在开发一种基于模式的 AI 系统，可以识别复杂事件并引起用户的注意。
Nobel prize for causal inference: why it matters
今年的诺贝尔经济学奖颁给了三位杰出的经济学家，大卫·卡德、约书亚·安格里斯特和吉多·伊姆本斯，以表彰他们彻底改变了经济学家（和社会科学家）进行实证研究的方式。具体来说，卡德因其对劳动经济学的贡献而获奖，安格里斯特和伊姆本斯则因因果推理而获奖，但这三位经济学家都为将科学方法应用于经济学做出了突破性贡献。在这个领域，我们称之为“可信度革命”。我对这三位经济学家的工作非常熟悉，因为我在学习因果推理、教授因果推理以及在自己的实证研究中引用因果推理时经常使用他们的论文。在我共同组织的一次会议上，我也很荣幸地收到了约书亚·安格里斯特对我的一篇论文（最近发表的《救助政治学》）的评论。我希望向他们三人致敬的方
#221 – Douglas Lenat: Cyc and the Quest to Solve Common Sense Reasoning in AI
道格拉斯·莱纳特 (Douglas Lenat) 是 Cyc 的创始人，Cyc 是一个为期 37 年的项目，旨在解决人工智能中的常识知识和推理问题。请查看我们的赞助商来支持此播客：- Squarespace：https://lexfridman.com/squarespace 并使用代码 LEX 获得 10% 的折扣- BiOptimizers：http://www.magbreakthrough.com/lex 获得 10% 的折扣- Stamps.com：https://stamps.com 并使用代码 LEX 获得免费邮资和秤- LMNT：https://drinkLMNT.com/le
Judea Pearl: Causal Reasoning, Counterfactuals, Bayesian Networks, and the Path to AGI
Judea Pearl 是加州大学洛杉矶分校的教授，也是图灵奖的获得者，该奖被公认为计算机界的诺贝尔奖。他是人工智能、计算机科学和统计学领域的开创性人物之一。他开发并倡导了人工智能的概率方法，包括贝叶斯网络和因果关系方面的深刻思想。这些思想不仅对人工智能很重要，而且对我们理解和实践科学也很重要。但在人工智能领域，对许多人来说，因果关系、因果关系的概念是目前缺失的核心，也是构建真正智能系统必须开发的核心。出于这个原因和其他许多原因，他的作品值得经常回顾。本次对话是人工智能播客的一部分。如果您想了解有关此播客的更多信息，请访问 https://lexfridman.com/ai 或在 Twitte
