获取独家产品信息，尽享促销优惠！立即订阅，不容错过
* 限···时··优惠
Unmasking On-Policy Distillation: Where It Helps, Where It Hurts, and Why
在策略蒸馏为训练推理模型提供密集的、按令牌的监督；然而，目前尚不清楚该信号在哪些条件下有益，在哪些条件下有害。应该采用哪种教师模式，在自我蒸馏的情况下，应该以哪种具体情境作为监督信号？不同代币的最佳选择是否有所不同？目前，解决这些问题通常需要昂贵的训练运行，其总体性能指标掩盖了单个代币级别的动态。我们推出了免培训...
