XiaoMi-AI文件搜索系统
World File Search System过因
根本原因通过因果发现而通过加固学习
本文通过将因果发现与增强学习整合到供应链中的产生供应风险的新颖方法是导致供应链中交付风险的归因。随着供应链的越来越复杂，根本原因分析的传统方法难以捕获各种因素之间的复杂相互关系，通常会导致虚假的相关性和次优决策。我们的方法通过利用因果发现来确定操作变量之间的真正因果关系，并加强学习来迭代地完善因果图。此方法可以准确识别后期交付的关键驱动因素，例如运输模式和交货状态，并提供可行的见解以优化供应链性能。我们将方法应用于现实世界中的供应链数据集，证明了其在揭示交付延迟的根本原因方面的有效性，并提供了缓解这些风险的策略。这些发现对提高运营效率，客户满意度和供应链中的整体盈利能力具有重大意义。
通过因果关系解决RLHF中的奖励黑客
奖励黑客[Skalse等，2022]是AI对齐的关键问题，尤其是在增强学习（RL）中。AI系统旨在优化特定的奖励，通常会发现意想不到的方式来最大化这种奖励，这与人类意图不同。真正的目标与模型所学的行为之间的这种错位可能会导致不安全或不良结果。解决奖励黑客攻击对于构建可靠与人类价值观相吻合的AI系统至关重要。通过人类反馈（RLHF）进行加强学习的主要奖励黑客攻击是因果错误识别[Tien等，2022]。当模型错误地学习动作与奖励之间的因果关系，导致其优化代理或虚假相关性而不是真实目标时，就会发生这种情况。例如，该模型可能会在其环境中操纵指标或利用快捷方式。这创建了一个方案，其中AI根据奖励功能看起来很成功，但无法实现预期的目标。该项目旨在探索是否准确识别奖励模型中的因果机制是否可以帮助减轻奖励黑客攻击。通过对推动理想行为的因果关系进行建模，我们希望将AI引导到更加一致的学习中。具体来说，该项目将调查将因果推断整合到奖励建模中以提高RLHF鲁棒性的方法，从而降低AI利用意外漏洞的风险。目标是了解因果推理如何有助于更好地对齐具有人为价值的AI系统。