Learning to Evict from Key-Value Cache
大型语言模型 (LLM) 规模的不断增长给高效推理带来了挑战,这主要是由于自回归键值 (KV) 缓存的内存需求。现有的逐出或压缩方法可以降低成本,但依赖于启发法,例如新近度或过去的注意力分数,它们只能作为代币未来效用的间接代理,并引入计算开销。我们将 KV 缓存驱逐重新定义为强化学习 (RL) 问题:学习根据令牌对未来解码的预测有用性对令牌进行排名。为此,我们引入了 KV 策略(KVP),这是一个......的框架
Asynchronous Verified Semantic Caching for Tiered LLM Architectures
大型语言模型 (LLM) 现在位于搜索、辅助和代理工作流程的关键路径中,使得语义缓存对于降低推理成本和延迟至关重要。生产部署通常使用分层的静态-动态设计:从日志中挖掘的经过策划、离线审查的响应的静态缓存,由在线填充的动态缓存提供支持。在实践中,这两层通常都由单个嵌入相似性阈值控制,这会导致一个艰难的权衡:保守的阈值会错过安全重用的机会,而激进的阈值则可能会导致语义上不正确的服务......
Personalization features can make LLMs more agreeable
长期对话的背景可能会导致法学硕士开始反映用户的观点,可能会降低准确性或创建虚拟回声室。
New Report: Expanding the AI Evaluation Toolbox with Statistical Models
NIST AI 800-3 认为,LLM 评估的统计有效性得益于评估者明确采用模型来分析评估结果并披露相关假设。广义线性混合建模是一种有前途的方法,可以为更有原则的人工智能评估统计奠定基础。未来的 CAISI 和 NIST 出版物将进一步探讨统计模型在人工智能评估中的应用。
Oil and Gas: Actions Needed to Improve Data Sharing at Interior
GAO 的发现内政部的目标是改善数据共享,这对于其监管联邦和部落土地上的石油和天然气开发至关重要。内政部的三个局分担监督责任:印第安事务局 (BIA)、土地管理局 (BLM) 和自然资源收入办公室。内政部和各局报告自 2021 年以来已花费约 2.06 亿美元用于数据系统现代化。然而,政府问责局发现了三个选定业务流程中的挑战——租赁土地进行石油和天然气勘探、核实产量报告是否准确,以及审查债券以确保其足以支付清理费用。例如:手动数据共享。为了更新石油和天然气租赁数据,BIA 从公司接收纸质文档中的租赁数据,然后手动将其输入到数据系统中。然后,BIA 将这些数据通过电子邮件或邮寄给其他内政局,这些
Multi-GPU vs Single-GPU Scaling economics
企业级 AMD MI355X 指南,涵盖 AI 推理、LLM 培训、内存扩展、性能权衡和部署策略。
DPO vs PPO for LLMs: Key Differences & Use Cases
企业级 AMD MI355X 指南,涵盖 AI 推理、LLM 培训、内存扩展、性能权衡和部署策略。
AI Cost Controls: Budgets, Throttling & Model Tiering
企业级 AMD MI355X 指南,涵盖 AI 推理、LLM 培训、内存扩展、性能权衡和部署策略。
Best Private Cloud Hosting Platforms in 2026
企业级 AMD MI355X 指南,涵盖 AI 推理、LLM 培训、内存扩展、性能权衡和部署策略。
LLM Model Architecture Explained: Transformers to MoE
企业级 AMD MI355X 指南,涵盖 AI 推理、LLM 培训、内存扩展、性能权衡和部署策略。
Deploying MCP Across SaaS, VPC & On-Prem | 2026 Guide
企业级 AMD MI355X 指南,涵盖 AI 推理、LLM 培训、内存扩展、性能权衡和部署策略。
IEEE Transactions on Artificial Intelligence, Volume 7, Issue 2, February 2026
1) 通过双空间一致性信息测量的缺失特征在线多标签流特征选择作者:J. Dai, J. Wang页数:610 - 6242) CoT-Drive: Efficient Motion Forecasting for Autonomous Driving With LLMs and Chain-of-Thought Prompting作者:H. Liao, H. Kong, B. Wang, C. Wang, K. Y. Wang, Z. He, C. Xu, Z. Li 页数:625 - 6413) ProLLaMA:用于多任务蛋白质语言处理的蛋白质大语言模型 作者:L. Lv, Z. Lin,
What is the future for student accommodation?
HEPI 总监 Nick Hillman 最近在碎片大厦举行的 QX 学生住宿洞察晚会上发表了以下讲话。我想从积极的方面开始,因为 18 岁年轻人对高等教育的需求同比略有上升,至少根据 2026/27 学年早期的 UCAS 数据来看是这样。需求的小幅上升让那些[…]帖子“学生住宿的未来是什么?”感到困惑。首先出现在 HEPI 上。
UT San Antonio Folds Race and Gender Studies Department
UT San Antonio 折叠种族和性别研究系 kathryn.palmer…Mon, 02/23/2026 - 03:00 AMByline(s)Kathryn Palmer
The Future of Math Education in the Age of AI with Ted Dintersmith, Author of Aftermath
如果我们所知道的有关数学教育的一切都是倒退的怎么办?在这一集中的“教育趋势”中,迈克·帕尔默 (Mike Palmer) 与风险投资家、电影制作人、即将出版的《后果:学校不会教你的改变生活的数学》一书的作者特德·丁特史密斯 (Ted Dintersmith) 一起讨论了为什么我们的学校仍在教授低级数学力学,而手机和人工智能已经可以完美地做到这一点。您可以在《学校的未来》中了解更多关于 Ted 的工作。Ted 分享了他从高科技创新世界到成为“红色代码”的公民倡导者激进学校变革的历程。我们深入探讨了高风险考试如何无意中训练学生在计算机无与伦比的领域与人工智能竞争,而忽略了真正影响生活的创造性和概念
以下是本周引起我注意的一些资源、帖子和文章。我希望你觉得它们有用。本周我将从引起我注意或激励我成长的推文开始。第一条是 @Wes_Kieschnick 分享的拉尔夫·沃尔多·爱默生 (Ralph Waldo Emerson) 的一句话。韦斯是《大胆学校》的作者,我最近在拿起他的书后开始关注他。“除非你尝试做一些超出你已经掌握的事情,否则你永远不会成长。” - Ralph Waldo Emerson #BoldSchool #edchat #MondayMotivation #MondayMorning #MondayThoughts pic.twitter.com/EmoGvYiLVM — W
药物不良反应的发生率:半乳糖-α-1,3-半乳糖 (α-gal) 流行区中响尾蛇免疫多价抗蛇毒血清 F(ab’)2 和 F(ab) 的比较研究目标北美响尾蛇抗蛇毒血清 CroFab® 和 ANAVIP® 含有半乳糖--1,3-半乳糖 (α-GAL) 寡糖。我们比较了服用这些抗蛇毒血清后的药物不良反应,包括推测的过敏反应,并研究了这些抗蛇毒血清导致 α-GAL-免疫球蛋白 (Ig) E 致敏个体过敏反应的生物学合理性。方法我们进行了 2 项研究。阿肯色州毒物中心(2021 年 5 月至 2023 年 7 月)的回顾性图表审查确定了接受巴豆碱抗蛇毒血清治疗的患者的不良药物反应和推测的过敏反应。两名
2024 年的 Starliner 任务导致宇航员布奇·威尔莫尔 (Butch Wilmore) 和苏尼·威廉姆斯 (Suni Williams) 在太空中滞留了九个月,美国宇航局 (NASA) 在一份严厉的报告中将其列为最严重的事故分类。