将大语言模型（LLM）与人类偏好保持一致，在建立现代生成模型中起着关键作用，可以通过从人类反馈（RLHF）学习来实现。尽管表现出色，但当前的RLHF方法通常需要大量的人类标记的偏好数据，这很昂贵。在本文中，受主动学习成功的启发，我们通过提出查询有效的RLHF方法来解决此问题。We first formalize the alignment problem as a contextual dueling bandit problem and design an active-query-based proximal policy optimization ( APPO ) algorithm with an e O ( d 2 / ∆) instance-dependent regret bound and an e O ( d 2 / ∆ 2 ) query complexity, where d is the dimension of feature space and ∆ is the sub-optimality gap over all the contexts.然后，我们提出了基于直接偏好优化（DPO）的算法的实用版本ADPO，并将其应用于微调LLMS。我们的实验表明，ADPO仅对人类偏好的查询进行了大约一半的查询，与最先进的DPO方法的性能相匹配。