Flash Attention: Revolutionizing Transformer Efficiency
随着 Transformer 模型的规模和复杂性不断增长，它们在计算效率和内存使用方面面临着重大挑战，尤其是在处理长序列时。Flash Attention 是一种优化技术，有望彻底改变我们在 Transformer 模型中实现和扩展注意力机制的方式。在本综合指南中，我们将深入探讨 […]The post Flash Attention：革命性地改变 Transformer 效率首先出现在 Unite.AI 上。
The Math Behind Multi-Head Attention in Transformers
深入探究 Transformer 和 LLM 中的秘密元素多头注意力。让我们探索它的数学原理，并从头开始用 Python 构建它DALL-E 生成的图像1：简介1.1：Transformer 概述Vaswani 等人在其论文“Attention is All You Need”中介绍的 Transformer 架构已经改变了深度学习，尤其是在自然语言处理 (NLP) 领域。Transformer 使用自注意力机制，使它们能够一次性处理所有输入序列。这种并行处理允许更快地计算并更好地管理数据中的长距离依赖关系。这听起来不熟悉？别担心，因为它会在本文的末尾出现。让我们首先简单看一下 Transfo
User Action Sequence Modeling: From Attention to Transformers and Beyond
将推荐系统 LLM 化的探索继续阅读 Towards Data Science »
将基于 Transformer 的模型扩展到超过 1000 亿个参数已在自然语言处理中取得突破性成果。这些大型语言模型在各种应用中都表现出色，但由于生成推理的顺序性，有效部署它们带来了挑战，其中每个标记的计算都依赖于前面的标记。这需要细致的并行布局和内存帖子《大规模 Transformer 模型的有效部署：可扩展和低延迟推理策略》首先出现在 AI Quantum Intelligence 上。
将基于 Transformer 的模型扩展到超过 1000 亿个参数已在自然语言处理领域取得突破性成果。这些大型语言模型在各种应用中都表现出色，但由于生成推理的顺序性，每个 token 的计算都依赖于前面的 token，因此有效部署它们带来了挑战。这需要细致的并行布局和内存。《高效部署大规模 Transformer 模型：可扩展和低延迟推理策略》一文首先出现在 AI Quantum Intelligence 上。
On the Minimal Degree Bias in Generalization on the Unseen for non-Boolean Functions
我们研究了随机特征 (RF) 模型和 Transformer 的域外泛化。我们首先证明，在“在看不见的 (GOTU) 上泛化”设置中，训练数据在域的某些部分完全可见，但在另一部分进行测试，对于小特征范围内的 RF 模型，收敛发生在最小程度的插值器上，就像布尔情况一样 (Abbe 等人，2023)。然后，我们考虑稀疏目标范围，并解释该范围与小特征范围的关系，但使用不同的正则化项，可以改变图片……
自注意力和掩蔽自注意力是 Transformers 取得巨大成功的核心。然而，我们对注意力的数学理解，特别是对其 Lipschitz 属性的理解（这是分析鲁棒性和表达能力的关键）并不完整。我们在几个实际场景中对自注意力的 Lipschitz 常数进行了详细研究，讨论了序列长度和层规范化对未掩蔽和掩蔽自注意力的局部 Lipschitz 常数的影响。特别是，我们表明，对于任何紧凑的 n 的输入...
Optimizing Large Language Models (LLMs) on CPUs: Techniques for Enhanced Inference and Efficiency
基于 Transformer 架构构建的大型语言模型 (LLM) 最近取得了重要的技术里程碑。这些模型在理解和生成类似于人类的写作方面的卓越技能对各种人工智能 (AI) 应用产生了重大影响。尽管这些模型运行良好，但文章《在 CPU 上优化大型语言模型 (LLM)：增强推理和效率的技术》首先出现在 AI Quantum Intelligence 上。
计算机视觉使机器能够解释和理解来自世界的视觉信息。这包括各种任务，例如图像分类、对象检测和语义分割。通过开发先进的神经网络架构，特别是卷积神经网络 (CNN) 和最近的 Transformers，推动了该领域的创新。这些模型已经展示了显著的效果。NVIDIA 研究人员推出 MambaVision：专为视觉应用量身定制的新型混合 Mamba-Transformer 主干首次出现在 AI Quantum Intelligence 上。
Enhancing CTC-based Speech Recognition with Diverse Modeling Units
近年来，端到端 (E2E) 自动语音识别 (ASR) 模型的发展令人瞩目，这在很大程度上要归功于 Transformer 等深度学习架构的进步。在 E2E 系统的基础上，研究人员通过使用基于音素的模型重新评分 E2E 模型的 N 个最佳假设，实现了显着的准确性提升。这提出了一个有趣的问题，即除了系统组合效应之外，改进还来自哪里。我们研究了推动这些收益的潜在机制，并提出了一种有效的联合训练方法，其中 E2E 模型进行联合训练……
Improve RAG accuracy with fine-tuned embedding models on Amazon SageMaker
这篇文章演示了如何使用 Amazon SageMaker 微调 Sentence Transformer 嵌入模型并将其部署到 Amazon SageMaker Endpoint。本文中的代码和更多示例可在 GitHub 存储库中找到。
How Far Can Transformers Reason? The Locality Barrier and Inductive Scratchpad
Transformers 能否通过组合已建立的三段论来预测新的三段论？更一般地说，这些模型可以从头开始学习什么类型的目标？最近的研究表明，Transformers 在表达能力方面可以是图灵完备的，但这并没有解决可学习性目标。本文提出了分布局部性的概念，以捕捉常规 Transformers 何时可以有效实现弱学习，其中局部性除了标记直方图之外还测量与目标非平凡相关的所需最少标记数。如实验所示……
Transformer-based Model for ASR N-Best Rescoring and Rewriting
语音助手越来越多地使用设备上的自动语音识别 (ASR) 来确保速度和隐私。然而，由于设备的资源限制，涉及复杂信息域的查询通常需要搜索引擎进一步处理。对于这样的应用，我们提出了一种基于 Transformer 的新型模型，该模型能够通过并行探索 N 个最佳假设的完整上下文来重新评分和重写。我们还提出了一种新的判别序列训练目标，它可以很好地用于重新评分和重写任务。我们表明我们的 Rescore+Rewrite 模型优于……
状态空间模型 (SSM) 是 Transformers 的替代品吗？Mamba-2。Chimera SSM 时间序列。Audio Mamba。Sonic SSM Gen Voice。mamba.np。OSS Qwen-2 SOTA ML。OSS LeRobot SOTA 机器人。思想缓冲区。
AI-RAG 和图表的新趋势。GRAG。GNN-RAG。属性图。统一 RAG+LangGraph。GenAI 思维模式。Transformer Agents 2.0。Falcon 2.0 11B LLMS/VLMS。ToonCrafter。MusePose。ColdFusion。SymbCoT。
GUEST POST: The Benefits and Risks of ChatGPT for Education
21 世纪的快速技术进步影响了许多领域，包括教育。新的人工智能工具 ChatGPT（生成式预训练 Transformer）拥有超过 1 亿用户，自 2022 年 11 月发布以来，在学生、教师和研究人员中获得了极大的欢迎……
Before you use ChatGPT for Math Homework Help Know this
在当今数字化驱动的世界中，GPT（生成式预训练 Transformer）等语言模型的能力让许多人眼花缭乱，因为它们能够生成几乎像人类一样的文本。从写论文到创作诗歌，这些模型展示了非凡的语言能力。然而，重要的是要记住，并非所有任务都在它们的掌控范围内。一个领域 […] 文章“在使用 ChatGPT 进行数学作业帮助之前请了解这一点”首先出现在“紧急作业博客”上。
Нейросеть для диагностики скорости старения усовершенствовали учёные ННГУ
罗巴切夫斯基大学的科学家改进了用于诊断衰老速度的神经网络。新的免疫时钟模型被称为SImAge（小免疫年龄）。它建立在 FT-Transformer 深度神经网络的基础上。
