Governance-Aware Agent Telemetry for Closed-Loop Enforcement in Multi-Agent AI Systems
企业多代理人工智能系统每小时产生数千次代理间交互，但现有的可观察性工具捕获这些依赖关系而不强制执行任何操作。 OpenTelemetry 和 Langfuse 收集遥测数据，但将治理视为下游分析问题，而不是实时执行目标。其结果是出现“观察但不采取行动”的差距，只有在造成损害后才会发现违反政策的行为。我们提出了治理感知代理遥测（GAAT），这是一种参考架构，可以闭合遥测收集和多代理自动策略执行之间的循环......
SQUIRE: Interactive UI Authoring via Slot QUery Intermediate REpresentations
前端开发人员创建 UI 原型来评估替代方案，这是一个反复迭代和细化的耗时过程。生成式 AI 代码助手只需通过聊天界面提示即可实现快速原型设计，而无需编写代码。然而，虽然这种交互为开发人员提供了灵活性，因为他们可以编写他们想要的任何提示，但它使得控制生成的内容变得具有挑战性。首先，自然语言本身可能含糊不清，使得开发人员很难准确地传达他们的意图。其次，模型可能会做出不可预测的响应……
Personalized Group Relative Policy Optimization for Heterogenous Preference Alignment
尽管大型语言模型 (LLM) 具有复杂的通用功能，但它通常无法满足不同的个人偏好，因为标准的训练后方法（例如带有人类反馈的强化学习 (RLHF)）会针对单一的全局目标进行优化。虽然组相对策略优化（GRPO）是一种广泛采用的同策略强化学习框架，但其基于组的归一化隐式假设所有样本都是可交换的，从而在个性化设置中继承了这一限制。这个假设将不同的用户奖励分布和......
ProText: A Benchmark Dataset for Measuring (Mis)gendering in Long-Form Texts
我们引入了 ProText，这是一个用于测量风格多样的长篇英语文本中的性别和性别错误的数据集。 ProText 跨越三个维度：主题名词（姓名、职业、头衔、亲属称谓）、主题类别（典型男性、典型女性、中性/非性别）和代词类别（男性、女性、中性、无）。该数据集旨在探索文本转换中的（错误）性别，例如使用最先进的大型语言模型进行摘要和重写，超越传统的代词解析基准并超越......
Beyond Real Data: Synthetic Data through the Lens of Regularization
当真实数据稀缺时，合成数据可以提高泛化能力，但过度依赖可能会导致分布不匹配，从而降低性能。在本文中，我们提出了一个学习理论框架来量化合成数据和真实数据之间的权衡。我们的方法利用算法稳定性来推导泛化误差范围，描述最佳合成与真实数据比率，以最小化预期测试误差作为真实分布和合成分布之间 Wasserstein 距离的函数。我们在内核脊的设置中激发我们的框架......
Entropy-Preserving Reinforcement Learning
策略梯度算法推动了语言模型推理的许多最新进展。他们的一个吸引人的特性是他们能够从自己的轨迹探索中学习，这一过程对于培育多样化和创造性的解决方案至关重要。正如我们在本文中所示，作为训练的一部分，许多策略梯度算法自然会减少熵，从而减少探索轨迹的多样性，从而产生越来越限制其探索能力的策略。在本文中，我们认为应该在整个训练过程中积极监测和控制熵。我们正式分析...
Less Gaussians, Texture More: 4K Feed-Forward Textured Splatting
现有的前馈 3D 高斯分布方法可预测像素对齐的图元，从而导致图元数量随着分辨率的增加而呈二次方增长。这从根本上限制了它们的可扩展性，使得 4K 等高分辨率合成变得棘手。我们引入了 LGTM（Less Gaussians，Texture More），这是一个克服分辨率缩放障碍的前馈框架。通过预测与每个基元纹理相结合的紧凑高斯基元，LGTM 将几何复杂性与渲染分辨率分离。这种方法可以实现高保真 4K 新颖视图合成，而无需……
To Infinity and Beyond: Tool-Use Unlocks Length Generalization in State Space Models
状态空间模型 (SSM) 已成为序列建模中 Transformer 的主要替代方案。它们的主要优点是通过固定大小的内存和计算复杂性的线性缩放实现长上下文和长格式生成的效率。我们通过展示一个简单的理论结果来开始这项工作，表明 SSM 无法准确解决任何“真正的长形式”发电问题（在某种意义上我们正式定义），从而削弱了它们的主要竞争优势。然而，我们表明，可以通过允许 SSM 交互式访问外部工具来缓解这一限制。事实上，我们...
Athena: Intermediate Representations for Iterative Scaffolded App Generation with an LLM
使用大型语言模型 (LLM) 生成完整用户界面的代码具有挑战性。用户界面很复杂，它们的实现通常由多个相互关联的文件组成，这些文件共同指定每个屏幕的内容、屏幕之间的导航流以及整个应用程序中使用的数据模型。为 LLM 制作包含足够详细信息以生成完整用户界面的单个提示具有挑战性，即使如此，结果通常是一个大且难以理解的文件，其中包含所有生成的...
Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training
虽然大型语言模型 (LLM) 的缩放法则传统上关注预训练损失等代理指标，但预测下游任务性能被认为是不可靠的。本文提出了一个直接框架来对培训预算中的基准性能扩展进行建模，从而挑战了这一观点。我们发现，对于固定的令牌与参数比，简单的幂律可以准确地描述多个流行下游任务的日志精度的缩放行为。我们的结果表明，直接方法比之前提出的两阶段程序更好地推断......
Drop-In Perceptual Optimization for 3D Gaussian Splatting
尽管 3D 高斯泼溅 (3DGS) 方法的输出最终被人类观看者使用，但它们通常依赖于像素级损失的临时组合，从而导致渲染模糊。为了解决这个问题，我们通过搜索不同的失真损失集来系统地探索 3DGS 的感知优化策略。我们对 3DGS 进行了首次大规模人类主观研究，涉及多个数据集和 3DGS 框架中的 39,320 个成对评分。 Wasserstein Distortion 的常规版本（我们称之为 WD-R）成为明显的赢家，擅长......
Thinking into the Future: Latent Lookahead Training for Transformers
本文被 ICLR 的潜在与内隐思维研讨会 - 超越 CoT 推理 2026 接受。使用下一个标记预测训练的自回归语言模型通过一次采样一个离散标记来生成文本。尽管具有很强的可扩展性，但这个目标迫使模型在每一步都做出承诺，从而阻止它探索或反思多个看似合理的延续。此外，跨代币的计算分配是统一的；每个令牌都是基于单个前向传递形成的，在困难令牌的情况下可能会限制模型的表达能力......
我们引入了专有自注意力（XSA），这是自注意力（SA）的简单修改，可以提高 Transformer 的序列建模性能。关键思想是限制注意力仅捕获与代币自身价值向量正交的信息（从而排除自身位置的信息），从而鼓励更好的上下文建模。在标准语言建模任务上进行评估时，XSA 在模型大小高达 2.7B 参数的情况下始终优于 SA，并且随着序列长度的增长显示出越来越大的增益。
SafetyPairs: Isolating Safety Critical Image Features with Counterfactual Image Generation
本文被 ICLR 2026 的可信人工智能原理设计 — 可解释性、稳健性和跨模态安全性研讨会接受。到底是什么导致特定图像不安全？系统地区分良性图像和有问题的图像是一个具有挑战性的问题，因为图像的细微变化（例如侮辱性手势或符号）可能会极大地改变其安全含义。然而，现有的图像安全数据集粗糙且模糊，仅提供广泛的安全标签，而没有隔离导致这些差异的特定特征。我们介绍...
Trained on Tokens, Calibrated on Concepts: The Emergence of Semantic Calibration in LLMs
大型语言模型 (LLM) 通常缺乏对其输出有意义的置信度估计。虽然众所周知，基础法学硕士会表现出下一个令牌校准，但目前尚不清楚他们是否能够评估其响应超出令牌级别的实际含义的信心。我们发现，当使用某种基于采样的语义校准概念时，基础法学硕士的校准效果非常好：它们可以有意义地评估开放域问答任务的置信度，尽管没有经过明确的培训。我们的主要理论贡献建立了一种机制，解释为什么语义......
Scaling Synthetic Task Generation for Agents via Exploration
用于构建交互式代理的训练后多模式大型语言模型 (MLLM) 在计算机使用、网络导航和机器人等领域具有广阔的前景。扩展此类后期训练的一个关键挑战是缺乏高质量的下游代理任务数据集，这些数据集的任务是多样化的、可行的和可验证的。现有的任务生成方法严重依赖人工注释或用有限的下游环境信息提示 MLLM，这种方法要么成本高昂，要么可扩展性差，因为它生成的任务覆盖范围有限。为了解决这个问题，我们推出了自动播放，一个可扩展的......
Optimal Splitting of Language Models from Mixtures to Specialized Domains
本文在 ICLR 2026 基础模型导航和解决数据问题研讨会上被接受。由于可用预训练数据的规模和多样性，语言模型在各种知识、语言和推理任务上取得了令人印象深刻的性能。标准训练方法是一个两阶段范例：首先对完整的数据语料库进行预训练，然后对完整语料库中的高质量、专业数据的子集进行专门化。在多领域设置中，这涉及在每个专门领域上持续预训练多个模型，称为……
Prose2Policy（P2P）是一个基于LLM的实用工具，它将自然语言访问控制策略（NLACP）转换为可执行的Rego代码（开放策略代理（OPA）的策略语言）。它提供了一个模块化的端到端管道，可以执行策略检测、组件提取、模式验证、linting、编译、自动测试生成和执行。 Prose2Policy 旨在弥合人类可读访问要求和机器可执行策略即代码 (PaC) 之间的差距，同时强调部署可靠性和可审核性。我们在 ACRE 上评估了 Prose2Policy...
