How to run an LLM on your laptop
可能包含数百万张护照，信用卡，出生证明和包含个人身份信息的文件的图像。在DataComp Commonpool的一小部分中发现了数千个图像 - 包括可识别的面孔，这是一个主要的AI训练集，用于图像生成，从…麻省理工学院技术评论的系列方式可帮助您完成工作。西蒙·威利森（Simon Willison）有一个世界末日的计划。这是一个USB棍子，他在它上装了几个他最喜欢的开放式LLMS-由其创作者公开共享的模型，原则上可以下载和运行…
Self-reflective Uncertainties: Do LLMs Know Their Internal Answer Distribution?
本文在ICML 2025的可靠和负责任的基础模型（RRFMS）研讨会上接受了本文。不确定量化在将大语言模型（LLMS）带到最终用户时起着关键作用。它的主要目标是LLM应该指出何时不确定其给出答案。尽管过去已经以数值确定性得分来揭示，但我们建议使用LLM的丰富输出空间，LLM的所有可能字符串的空间，以提供描述不确定性的字符串。特别是，我们寻求一个描述LLM答案分布的字符串……
QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache
大型语言模型（LLMS）越来越多地被部署在边缘设备上，以进行长篇文章设置，从而越来越需要快速有效的长篇小说推断。在这些情况下，就GPU内存和延迟而言，键值（KV）缓存是主要的瓶颈，因为必须为每个解码步骤加载完整的KV缓存。虽然投机解码是一种广泛接受的技术来加速自回归解码，但由于KV缓存优化策略效率低下，现有方法通常难以实现大幅加速，并导致较低的接受率。到…
Adoption of generative AI will have different effects across jobs in the U.S. logistics workforce
概述生成的人工智能有望深刻地重塑劳动力市场，就像以前的自动化浪潮一样，但存在明显的差异。与早期的技术（例如计算机化）不同，这些技术主要是自动化的常规管理任务或机器人技术，它影响了制造环境中的手动任务，生成的AI针对认知任务。以市售的大语言模型或LLMS为例，[…]在美国物流员工中，生成型AI的采用将对公平增长产生不同的影响。
CommVQ: Commutative Vector Quantization for KV Cache Compression
大语言模型（LLMS）越来越多地用于需要长上下文长度的应用中，但是随着连接长度的增长，键值（KV）缓存通常会成为GPU上的内存瓶颈。为了解决这个问题，我们提出了交换矢量量化（COMMVQ），以显着减少长篇小说LLM推理的内存使用情况。首先，我们通过引入轻量级编码器和代码本来压缩KV缓存来利用加法量化，然后可以用简单的矩阵乘法来解码。其次，要解决解码过程中的高计算成本，我们设计了…
Chasing Shadows: Elon Musk’s Quest for Truth and the Limits of Large Language Models
埃隆·马斯克（Elon Musk）雄心勃勃，Xai的大型语言模式，一个无所不能的真理的灯塔是西西弗（Sisyphean）的任务，是贵族（是吗？），但最终是徒劳的。通过AI追求绝对真理就像在柏拉图的洞穴中追逐阴影：这是一个诱人的目标，但是它们所反映的工具和人类状况固有地不适合它。像Grok这样的大型语言模型（LLMS）并非构成辨别真相。它们的建造是为了反映他们经过训练的庞大而杂乱无章的人物。作为人类，我们并不是特别擅长的真理，因此，我们也没有培训过LLM的许多材料。我们不应该为无法实现的理想而努力，而是应该接受LLM的含义：研究，创造力和结构化知识策划的强大工具，能够指导我们朝着更清晰的理解框架
From the Community | How we use LLMs matter
MD-PHD学生Humza Khan撰写了有关适应LLM并保持批判性思维的重要性。社区的帖子|我们如何使用LLMS Matter首先出现在Stanford Daily。
今天，我们很高兴地宣布，Qwen3是QWEN家族中最新一代的大型语言模型（LLMS），可通过亚马逊基岩市场和Amazon Sagemaker Jumpstart获得。通过此启动，您可以在0.6B，4B，8B和32B参数尺寸中部署QWEN3模型，以构建，实验和负责任地扩展您的生成AI应用程序。在这篇文章中，我们演示了如何在Amazon Bedrock Marketplace和Sagemaker Jumpstart上使用Qwen3开始。
The Geometries of Truth Are Orthogonal Across Tasks
本文在ICML 2025.LARGE语言模型（LLMS）的有关可靠和负责任的基础模型的研讨会上介绍了各种任务的令人印象深刻的概括能力，但是他们对实际相关性的主张仍然存在于其可靠性的担忧。最近的工作提出了研究LLM在推理时间上产生的激活，以评估其对问题的答案是否正确。一些作品声称可以从示例中学到“真理的几何”，从某种意义上说，可以区分产生正确答案的激活……
Massive study detects AI fingerprints in millions of scientific papers
的机会是，您在不知不觉中遇到了通过某种版本的大型语言模型（LLM）创建的引人注目的在线内容。随着这些AI资源（如Chatgpt和Google Gemini）变得更加精通近乎人类的质量写作，因此将纯粹的人写作与LLMS修改或完全产生的内容区分开来变得更加困难。
AI Chatbots might be helping to write more than 1 in 10 biomedical research papers
CHATGPT和其他基于AI的大型语言模型（LLMS）可能会帮助撰写十分之一以上的生物医学研究论文。研究团队研究了2010年至2024年生物医学研究论文摘要中使用的语言，并发现LLM出现后，某些单词的频率，例如“ delves”，“ showcasing”，“ showcasing”和“下沉”，增加了。由此，团队估计，2024年发表的摘要中有13.5％可能涉及LLM处理。他们还发现，LLM对科学写作变化的影响大于大流行的影响。
Sanborn，2025doi：doi.org/10.11646/megataxa.17.1.2摘要物种Chremistica doiluangensis sp。 11月，Chremistica Kalanessis sp。 11月，poamonia bimaculosalaria sp。 11月，Aetanna Lannnsis sp。十一月，越南欧雷斯比亚Sp。 11月，Metapurana Phuruensis sp。 11月，Minnepomponia dointhanonensis sp。 11月，Megaponia isnensis sp。 11月，Meiimuna chiangm
Is Your Model Fairly Certain? Uncertainty-Aware Fairness Evaluation for LLMs
最近快速采用大语模型（LLMS）强调了基准对其公平性进行基准测试的关键需求。传统的公平度量指标集中在基于离散准确性的评估（即预测正确性）上，无法捕获模型不确定性的隐式影响（例如，尽管精度相似，但还是对一个组的更高模型置信度更高，而另一组的置信度更高）。为了解决这一限制，我们提出了一个不确定性意识的公平度量，ucerf，可以对模型公平进行精细的评估，与…
Fairness Pruning: Precision Surgery to Reduce Bias in LLMs
从不合理的枪击事件到中立的故事：如何通过选择性修剪后的公平修剪来修复有毒叙事：减少LLMS偏见的精确手术首先出现在数据科学方面。
End-to-End model training and deployment with Amazon SageMaker Unified Studio
In this post, we guide you through the stages of customizing large language models (LLMs) with SageMaker Unified Studio and SageMaker AI, covering the end-to-end process starting from data discovery to fine-tuning FMs with SageMaker AI distributed training, tracking metrics using MLflow, and then de
Context extraction from image files in Amazon Q Business using LLMs
在这篇文章中，我们查看了一个分步实现，用于在Amazon Q Business应用程序中使用自定义文档丰富（CDE）功能来处理独立图像文件。我们将带您浏览CDE中配置的AWS lambda功能来处理各种图像文件类型，并展示该集成如何增强Amazon Q业务提供全面见解的能力的示例场景。
Evaluating Long Range Dependency Handling in Code Generation LLMs
随着语言模型支持越来越大的上下文大小，评估其使其有效使用该上下文的能力变得越来越重要。我们分析了Several Code生成模型在上下文Windows中使用多个STEPKEY检索任务处理远距离依赖性的能力，最高为8K令牌。与喜欢流行的海景测试的测试相比，这些任务在难度方面逐渐降低，并允许对模型功能进行更多细微的评估。我们发现，当功能…
Advancing Egocentric Video Question Answering with Multimodal Large Language Models
以当前的视频问答（QA）需要模型来处理长途时间推理，第一人称视角以及诸如频繁的摄像机运动之类的专业挑战。本文系统地评估了QAEGO4DV2上的专有和开源多模型模型（MLLMS） - 源自Qaego4d的EgeCentric视频的精制数据集。使用零摄像机和CloseQA设置的零摄像和微调方法评估了四个流行的MLLM（GPT-4O，GEMINI-1.5-PRO，VIDEO-LALAVA-7B和QWEN2-VL-7B-INSTRUCT）。我们将QAEGO4DV2介绍给MitigateAnnotation Noise…
