Residual Context Diffusion Language Models
扩散大型语言模型 (dLLM) 已成为纯自回归语言模型的有前途的替代方案，因为它们可以并行解码多个标记。然而，最先进的分块 dLLM 依赖于“重新屏蔽”机制，该机制仅解码最有信心的令牌并丢弃其余令牌，从而有效地浪费了计算。我们证明，从丢弃的令牌中回收计算是有益的，因为这些令牌保留了对后续解码迭代有用的上下文信息。有鉴于此，我们提出了残余上下文扩散（RCD），该模块......
Learning Unmasking Policies for Diffusion Language Models
扩散（大型）语言模型 (dLLM) 现在在许多任务上与自回归模型的下游性能相匹配，同时有望在推理过程中提高效率。 dLLM 的一个关键设计方面是采样程序，该程序选择在每个扩散步骤中揭开哪些标记。事实上，最近的工作发现，与随机揭露相比，置信度阈值等启发式策略可以提高样本质量和令牌吞吐量。然而，这种启发式方法也有缺点：它们需要手动调整，而且我们观察到它们的性能......
Leveraging ESSA Funding for Pre-K Family Engagement to Support Dual Language Learners
积极的家庭参与对于确保儿童充分受益于幼儿教育和保育计划至关重要。然而，语言障碍和文化误解有时会阻碍教育工作者和双语学习者 (DLL) 的家庭建立这种重要的伙伴关系。本政策简报探讨了更好地利用联邦资金与 DLL 儿童和家庭互动的策略。
华盛顿特区——在美国，三分之一的 6 岁以下儿童是双语学习者 (DLL)，即在至少一位父母在家中说英语以外的语言的家庭中长大的幼儿。研究一致表明，家庭（而不仅仅是儿童）的参与对于提高幼儿教育和保育（ECEC）在加强入学准备、语言发展和长期学业成功方面的有效性至关重要。
