Speculative Streaming: Fast LLM Inference Without Auxiliary Models
推测解码是一种重要的技术，可基于辅助草稿模型的预测来加速大型目标语言模型的推理。虽然有效，但在特定于应用程序的设置中，它通常涉及对草稿和目标模型进行微调以实现高接受率。随着下游任务数量的增加，这些草稿模型会给推理系统增加相当大的复杂性。我们提出了 Speculative Streaming，这是一种单模型推测解码方法，通过将微调目标从下一个标记预测更改为...，将起草融合到目标模型中。
简介 在讨论大型语言模型 (LLM) 时，一个核心问题是它们记忆训练数据的程度与它们如何推广到新任务和设置。大多数从业者似乎（至少非正式地）认为 LLM 在某种程度上两者都做到了：它们清楚地记住了部分训练数据——例如，它们通常能够逐字重现大量训练数据 [Carlini 等人，2023]——但它们似乎也从这些数据中学习，从而使它们能够推广到新设置。它们做这一件事或另一件事的确切程度对此类模型的实践和法律方面具有重大影响 [Cooper 等人，2023]。LLM 真的会产生新内容吗，还是只是重新混合了训练数据？对受版权保护的数据进行训练的行为应该被视为对数据的不公平使用，还是应该根据模型记忆的某种
Choosing Between LLM Agent Frameworks
构建定制的基于代码的代理和主要代理框架之间的权衡。作者提供的图片感谢 John Gilhuly 对本文的贡献。代理正处于发展阶段。随着多个新框架和该领域的新投资，现代 AI 代理正在克服不稳定的起源，迅速取代 RAG 成为实施优先事项。那么 2024 年最终会成为自主 AI 系统接管编写电子邮件、预订航班、与我们的数据对话或任何其他任务的一年吗？也许，但要达到这一点还有很多工作要做。任何构建代理的开发人员不仅必须选择基础——使用哪种模型、用例和架构——还必须选择要利用哪个框架。您会选择长期存在的 LangGraph 还是新进入的 LlamaIndex Workflows？或者你走传统路线，自己
Build a WhatsApp LLM Bot: a Guide for Lazy Solo Programmers
我如何在 12 小时内使用 Python、AWS 和 OpenAI 构建它，以及学到的经验教训继续阅读 Towards Data Science »
Jailbreaking: The Dark Side of LLMs
越狱大型语言模型 (LLM) 涉及利用复杂 AI 系统中的漏洞的技术。随着 GPT-3 和 GPT-4 等 LLM 越来越融入包括商业和国家安全在内的各个领域，这种做法引起了广泛关注。越狱在生成 AI 领域的意义在于其双重性质：它对于识别安全漏洞至关重要，但滥用也会带来风险。
Applications of Large Language Models (LLMs) in National Security
大型语言模型 (LLM) 是先进的 AI 系统，能够根据庞大的数据集理解和生成类似人类的文本。这些模型增强了数据分析、自动化任务并改进了决策过程，使其在国家安全背景下具有无价的价值。
Through the Uncanny Mirror: Do LLMs Remember Like the Human Mind?
探索人工智能与人类记忆之间怪异的相似之处和深刻的差异继续阅读 Towards Data Science »
Enhancing LLM collaboration for smarter, more efficient solutions
“Co-LLM”算法通过结合两个答案的最佳部分，帮助通用 AI 模型与专家大型语言模型协作，从而得出更真实的响应。
GGUF Quantization with Imatrix and K-Quantization to Run LLMs on Your CPU
为您的 CPU 提供快速准确的 GGUF 模型继续阅读 Towards Data Science »
How the LLM Got Lost in the Network and Discovered Graph Reasoning
增强大型语言模型：通过图形推理和指令调整的旅程继续阅读 Towards Data Science »
Automating Research Workflows with LLMs
通过 AI 的原子使用增强研究人员的能力继续阅读 Towards Data Science »
Deploying Your Llama Model via vLLM using SageMaker Endpoint
利用 AWS 的 MLOps 平台为您的 LLM 模型提供服务继续阅读 Towards Data Science »
Automate Video Chaptering with LLMs and TF-IDF
将原始记录转换为结构良好的文档照片由 Jakob Owens 在 Unsplash 上拍摄视频章节划分是将视频分割成不同章节的任务。除了像 YouTube 章节那样用作导航辅助之外，它还是一系列下游应用的核心，从信息检索（例如 RAG 语义分块）到引用或摘要。在最近的一个项目中，我需要自动执行此任务，但对可用的选项有限感到惊讶，尤其是在开源领域。虽然一些专业工具或付费 API 提供了此类服务，但我找不到任何提供足够强大和准确解决方案的库或教程。如果您知道任何内容，请在评论中分享！如果您想知道为什么不简单地将记录复制并粘贴到大型语言模型 (LLM) 中并要求提供章节标题，那么由于两个原因，这样做
检索增强生成 (RAG) 是一种提高大型语言模型 (LLM) 处理大量文本效率的技术，在自然语言处理中至关重要，特别是在问答等应用中，在这些应用中，保持信息的上下文对于生成准确的响应至关重要。随着语言模型的发展，研究人员努力突破界限 NVIDIA 研究人员引入了保序检索增强生成 (OP-RAG) 以增强大型语言模型 (LLM) 的长上下文问答 首次出现在 AI Quantum Intelligence 上。
Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs
多模态大型语言模型 (MLLM) 的最新进展值得关注，然而，这些通用领域的 MLLM 往往在理解用户界面 (UI) 屏幕和与用户界面 (UI) 屏幕有效交互的能力方面存在不足。在本文中，我们介绍了 Ferret-UI，这是一种专为增强对移动 UI 屏幕的理解而量身定制的新型 MLLM，具有引用、基础和推理功能。鉴于 UI 屏幕通常具有比自然图像更长的纵横比，并且包含较小的感兴趣对象（例如图标、文本），我们在 Ferret 之上加入了“任何分辨率”以……
From Computation to Comprehension: Metacognitive Insights in LLM-based Mathematical Problem Solving
大型语言模型 (LLM) 已在各个领域展现出卓越的推理能力。但它们是否也拥有元认知知识——对其思维过程的理解？一篇新论文探讨了这个有趣的问题，该论文研究了 LLM 的元认知能力，特别是在数学问题解决的背景下。来自 Mila 的研究人员团队，文章《从计算到理解：基于 LLM 的数学问题解决中的元认知见解》首先出现在 AI Quantum Intelligence 上。
Is Reflection 70B the most powerful open-source LLM or a scam?
HyperWrite 创始人兼首席执行官 Matt Shumer 宣布，他的新模型 Reflection 70B 使用一个简单的技巧来解决 LLM 幻觉，并提供了令人印象深刻的基准测试结果，击败了 GPT-4o 等更大甚至封闭的模型。 Shumer 与合成数据提供商 Glaive 合作创建了基于 Meta 的 Llama 3.1-70B Instruct 模型的新模型。在 Hugging Face 的发布公告中，Shumer 表示：“Reflection Llama-3.1 70B 是（目前）全球顶级的开源 LLM，采用名为 Reflection-Tuning 的新技术进行训练，该技术可教导
Best LLM APIs for Document Data Extraction
比较 Gemini、Claude、GPT 等进行数据提取。我们评估了不同文档的功能和性能，以找到最适合您需求的 API。
