Zero-Waste Agentic RAG: Designing Caching Architectures to Minimize Latency and LLM Costs at Scale
通过验证感知的多层缓存将 LLM 成本降低 30% 后零浪费代理 RAG:设计缓存架构以最大限度地减少延迟和大规模 LLM 成本首先出现在《走向数据科学》上。
Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments
大型商业搜索系统优化相关性以推动成功的会话,帮助用户找到他们正在寻找的内容。为了最大化相关性,我们利用两个互补的目标:行为相关性(用户倾向于点击或下载的结果)和文本相关性(结果的语义适合查询)。一个持续存在的挑战是相对于丰富的行为相关性标签而言,专家提供的文本相关性标签的稀缺。我们首先通过系统地评估 LLM 配置来解决这个问题,发现一个专门的、经过微调的模型显着......
Cracking the cellular code with APOLLO
APOLLO 是一种新的人工智能框架,它将跨测量类型的共享生物信号与每种技术特有的信号分开。这可以让我们更清晰地了解细胞状态,预测未测量的特征,更准确地发现疾病生物标志物,并可以加快癌症、阿尔茨海默病等领域的发现。
AtechGov, LLC (Atech) 是马里兰州贝塞斯达的一家小型企业,对授予 Blackwatch International Corporation 的合同提出质疑,Blackwatch International Corporation 是一家小型…
Solutions71, LLC--Reconsideration
Solutions71, LLC 是弗吉尼亚州利斯堡的一家小型企业,要求重新考虑我们于 2025 年 12 月 30 日在 Solutions71, LLC, B-423671.2 中做出的决定。
New method could increase LLM training efficiency
通过利用空闲计算时间,研究人员可以在保持准确性的同时将模型训练速度提高一倍。
Efficiently serve dozens of fine-tuned models with vLLM on Amazon SageMaker AI and Amazon Bedrock
在这篇文章中,我们将解释如何在 vLLM 中为专家混合 (MoE) 模型实现多 LoRA 推理,描述我们执行的内核级优化,并向您展示如何从这项工作中受益。我们在这篇文章中使用 GPT-OSS 20B 作为我们的主要示例。
Google Just Created A New AI Tool That Is Perfect For Teachers Of ELL Newcomers
谷歌一直在设置某种方式来创建最大数量的绝对无用的人工智能工具,我在博客中介绍了他们的许多失败中的一些。公平地说,他们还开发了两个非常有用的——NotebookLM 和 Google Storybook。 (也许谷歌的新“学习你的方式”可能非常有用[...]
八年前,我开始做这个定期专题,分享一些来自网络的与 ESL/EFL 或引起我注意的一般语言相关的帖子和资源。您可能还对我所有关于 ELL 教学的最佳列表感兴趣。另外,请查看我最好的资源集合 [...]
COLLEGE 102 and algorithmic justice in ‘Mercy,’ starring Chris Pratt
在《COLLEGE 102》和 2026 年的电影《Mercy》中,算法承诺公平,但取决于一个决定:在哪里划定界限。无论系统多么先进,总有人会选择这条线。 克里斯·普拉特主演的《天使》中的后《COLLEGE 102》和算法正义首先出现在《斯坦福日报》上。
Beyond a Single Extractor: Re-thinking HTML-to-Text Extraction for LLM Pretraining
构建网络规模的 LLM 预训练数据集的首要预处理步骤之一涉及从 HTML 中提取文本。尽管网络内容多种多样,但现有的开源数据集主要对所有网页应用单个固定提取器。在这项工作中,我们调查这种做法是否会导致互联网数据的覆盖和利用不理想。我们首先表明,虽然不同的提取器可能会在标准语言理解任务上产生相似的模型性能,但在固定过滤管道中幸存的页面可能会有很大差异。这表明一个简单的...
How to Choose the Right Open-Source LLM for Production
根据工作负载类型、基础设施限制、成本和实际性能为生产选择合适的开源 LLM 的实用指南。
NTSB Prelim: N126C LLC CCX-1865
左侧主起落架与机身下侧分离,位于配电线下方附近 2026 年 1 月 27 日,大约山区标准时间 1100 点,一架业余建造的实验性 CCX1865 碳 Cub(N126C)在爱达荷州蒙图尔附近发生事故时严重受损。飞行员和飞行员级别的乘客受重伤。该飞机作为联邦法规第 14 条第 91 部分的个人航班运营。据飞行员的一位朋友和飞行员级乘客称,他观察到飞行员将飞机从机库中拉出。他与飞行员进行了简短交谈,得知飞行员正在 1000 点与飞行员会面,搭乘航班。飞行员在飞机上加满了 20 加仑燃油,并按照交通路线绕了一圈。
Asynchronous Verified Semantic Caching for Tiered LLM Architectures
大型语言模型 (LLM) 现在位于搜索、辅助和代理工作流程的关键路径中,使得语义缓存对于降低推理成本和延迟至关重要。生产部署通常使用分层的静态-动态设计:从日志中挖掘的经过策划、离线审查的响应的静态缓存,由在线填充的动态缓存提供支持。在实践中,这两层通常都由单个嵌入相似性阈值控制,这会导致一个艰难的权衡:保守的阈值会错过安全重用的机会,而激进的阈值则可能会导致语义上不正确的服务......
Personalization features can make LLMs more agreeable
长期对话的背景可能会导致法学硕士开始反映用户的观点,可能会降低准确性或创建虚拟回声室。
DPO vs PPO for LLMs: Key Differences & Use Cases
企业级 AMD MI355X 指南,涵盖 AI 推理、LLM 培训、内存扩展、性能权衡和部署策略。