Anthropic’s ‘Dangerous’ Fable Is Back! How Does It Do?
Anthropic 的“危险”神话类模型《神鬼寓言 5》又回来了,Artificial Lawyer 也尝试了一下。首先,这个网站要求它制作一些...
Appliance Glue Dispensing Robot Cell: Control Bead, Datum, And Press Window
器具点胶自动化实用指南,涵盖胶珠路径、点胶量、零件基准、按压计时、固化窗口和检查。器具点胶机器人单元:控制珠子、基准和按压窗口首次出现在 EVST。
Learning Structured Reasoning via Tractable Trajectory Control
大型语言模型可以表现出紧急推理行为,通常表现为重复出现的词汇模式(例如,“等待”,表示验证)。然而,在无约束采样中,复杂的推理轨迹仍然稀疏,并且标准强化学习通常无法保证获取多样化的推理行为。我们提出通过结构化推理来系统地发现和强化不同的推理模式,这种范式需要在强化学习过程中有针对性地探索特定的推理模式。为此,我们提出了 Ctrl-R,一个学习框架......
Amortizing Maximum Inner Product Search with Learned Support Functions
最大内积搜索 (MIPS) 是机器学习中的一个重要子例程,需要识别数据库中获取的与给定查询最匹配的向量(键)。我们提出摊销 MIPS:一种基于回归的方法,训练神经网络直接预测 MIPS 解决方案,摊销重复解决来自固定密钥数据库上已知分布的查询的 MIPS 的成本。我们的主要见解是,MIPS 值函数是密钥集的支持函数,这是一个经过充分研究的凸函数,其梯度产生最佳密钥。这……
On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs
强化学习 (RL) 微调已成为增强推理密集型任务的大型语言模型 (LLM) 的关键技术,并推动其扩展到视觉语言模型 (VLM)。虽然经过 RL 调整的 VLM 改进了视觉推理基准,但它们仍然容易受到视觉基础薄弱、幻觉和过度依赖文本提示的影响。我们证明,简单的、受控的文本扰动——误导性的标题或不正确的思维链 (CoT) 痕迹——会导致鲁棒性和置信度大幅下降,并且当 CoT 一致性为……时,这些影响会更加明显。
MemoryLLM: Plug-n-Play Interpretable Feed-Forward Memory for Transformers
了解变压器组件在法学硕士中的工作原理非常重要,因为它是人工智能最新技术进步的核心。在这项工作中,我们重新审视了与前馈模块(FFN)的可解释性相关的挑战,并提出了 MemoryLLM,其旨在将 FFN 与自注意力解耦,并使我们能够将解耦的 FFN 作为上下文无关的 token-wise 神经检索记忆来研究。详细地,我们研究了输入标记如何访问 FFN 参数内的内存位置以及 FFN 内存在不同下游任务中的重要性。 MemoryLLM 实现...
Conformal Thinking: Risk Control for Reasoning on a Compute Budget
推理大型语言模型 (LLM) 可实现测试时间扩展,随着令牌预算的增加,数据集级别的准确性也会提高,从而激励自适应推理——在可靠性提高时使用令牌,并在额外计算不太可能有帮助时提前停止。然而,设置代币预算以及自适应推理的阈值是一项实际挑战,需要进行基本的风险与准确性权衡。我们将预算设置问题重新定义为风险控制,限制错误率,同时最大限度地减少计算量。我们的框架引入了一个上限,可以阻止......
Learning Unmasking Policies for Diffusion Language Models
扩散(大型)语言模型 (dLLM) 现在在许多任务上与自回归模型的下游性能相匹配,同时有望在推理过程中提高效率。 dLLM 的一个关键设计方面是采样程序,该程序选择在每个扩散步骤中揭开哪些标记。事实上,最近的工作发现,与随机揭露相比,置信度阈值等启发式策略可以提高样本质量和令牌吞吐量。然而,这种启发式方法也有缺点:它们需要手动调整,而且我们观察到它们的性能......
Anti-Causal Domain Generalization: Leveraging Unlabeled Data
领域泛化问题涉及学习预测模型,这些模型在部署到以前未见过的新环境中时对分布变化具有鲁棒性。现有方法通常需要来自多个训练环境的标记数据,当标记数据稀缺时限制了它们的适用性。在这项工作中,我们研究反因果环境中的领域泛化,其中结果导致观察到的协变量。在这种结构下,影响协变量的环境扰动不会传播到结果,这会促使模型对……的敏感性进行正则化。
Residual Context Diffusion Language Models
扩散大型语言模型 (dLLM) 已成为纯自回归语言模型的有前途的替代方案,因为它们可以并行解码多个标记。然而,最先进的分块 dLLM 依赖于“重新屏蔽”机制,该机制仅解码最有信心的令牌并丢弃其余令牌,从而有效地浪费了计算。我们证明,从丢弃的令牌中回收计算是有益的,因为这些令牌保留了对后续解码迭代有用的上下文信息。有鉴于此,我们提出了残余上下文扩散(RCD),该模块......
Multi-Agent Teams Hold Experts Back
多代理 LLM 系统越来越多地部署为自主协作者,其中代理可以自由交互,而不是执行固定的、预先指定的工作流程。在这种情况下,有效的协调无法提前完全设计,而必须通过互动来实现。然而,大多数先前的工作都是通过固定的角色、工作流程或聚合规则来强制协调,从而留下了一个问题:当协调不受限制时,自组织团队的表现如何。借鉴组织心理学,我们研究自组织法学硕士团队是否能实现强大的协同作用,其中......
VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization
视觉分词器将高维原始像素映射为下游建模的压缩表示。除了压缩之外,标记器还决定保留哪些信息以及如何组织信息。视频标记化事实上的标准方法是将视频表示为标记的时空 3D 网格,每个标记捕获原始信号中相应的局部信息。这需要使用令牌的下游模型(例如文本到视频模型)学习“逐像素”预测所有低级细节,而不考虑视频固有的复杂性,从而导致......
I've tested many portable Linux distros, but PorteuX is the one I keep on my USB drive
是否曾经渴望有一个 Linux 发行版随时陪伴在您身边?考虑一下基于 Slackware 的超快速、模块化和不可变的 PorteuX。
A decade of open source at DataRobot: from predictive AI to the agent lifecycle
DataRobot 的开源十年:从预测性 AI 到代理生命周期 DataRobot 的每个时代都推出了开源。 DataRobot 的最新开源贡献直接映射到代理在生产中实际出现故障的位置。建立代理从未如此简单。选择一个框架,连接一个模型和一个检索器,添加...DataRobot 的开源十年:从预测人工智能到代理生命周期一文首先出现在 DataRobot 上。
Run NVIDIA Nemotron and OpenAI GPT OSS models on Amazon Bedrock in AWS GovCloud (US)
我们很高兴在 AWS GovCloud(美国)中引入基于美国的前沿开放权重模型。通过此版本,Amazon Bedrock 现在支持 OpenAI 的开放权重 GPT OSS 模型(120B 和 20B)和 NVIDIA Nemotron(Nano 9B v2、Nano 12B v2、Nano 30B、Super 120B)模型。在这篇文章中,我们将介绍这些模型及其功能、数据驻留的推理选项、可用的服务层以及如何开始。
Structured memory filtering with metadata in AgentCore Memory
在本文中,您将了解元数据如何跨配置、摄取和检索工作,探索包括多代理和多租户架构在内的企业用例,并发现实施的最佳实践。