顺序推荐是推荐系统的核心任务,最近的研究越来越多地转向利用顺序模式和语义项目信息的生成推荐器。然而,这些方法通常是在一小组广泛使用的基准上进行评估的。这就提出了一个自然的问题:这些基准测试实际上需要现代生成推荐器的高级建模功能吗?我们使用有意简单的图启发式进行基准审核:仅从最后一个或两个交互的项目开始,它从几跳项目转换图中检索候选者,并根据项目特征相似性对它们进行排名。令人惊讶的是,尽管它很简单,但这种启发式方法在各种流行的顺序推荐基准上匹配或优于一组广泛的现代基线。例如,与广泛使用的 Amazon Review Sports 和 CD 数据集上的最佳竞争基线相比,它的 NDCG@10 相对改
The dangers of using ungrounded idealisations
使用简化的易处理性或启发式假设(理性预期、常识、代表性主体、线性、可加性、遍历性等)并不能免除经济学家必须证明其模型选择的合理性,即使这些假设对于他们“操纵”模型或产生“严格”和“精确”的预测和解释是必要的。能够“操纵”[...]
The dangers of using ungrounded idealisations
来自 Lars Syll 使用简化的易处理性或启发式假设(理性预期、常识、代表性主体、线性、可加性、遍历性等)并不能免除经济学家必须证明其模型选择的合理性,即使这些假设对于他们“操纵”模型或产生“严格”和“精确”的预测和解释是必要的。是 [...]
DynaMiCS: Fine-Tuning LLMs with Performance Constraints Using Dynamic Mixtures
大型语言模型的多域微调需要提高目标域的性能,同时保留受限域的性能,例如常识、指令遵循或安全评估。现有的数据混合策略依赖于固定的启发式或自适应规则,无法明确强制保留此类功能。我们提出了 DynaMiCS,一种动态混合优化器,它将多域微调作为约束优化问题。每次更新时,DynaMiCS 都会执行短的特定域探测运行,以估计局部的斜率矩阵...
Learning Unmasking Policies for Diffusion Language Models
扩散(大型)语言模型 (dLLM) 现在在许多任务上与自回归模型的下游性能相匹配,同时有望在推理过程中提高效率。 dLLM 的一个关键设计方面是采样程序,该程序选择在每个扩散步骤中揭开哪些标记。事实上,最近的工作发现,与随机揭露相比,置信度阈值等启发式策略可以提高样本质量和令牌吞吐量。然而,这种启发式方法也有缺点:它们需要手动调整,而且我们观察到它们的性能......