Can External Validation Tools Can Improve Annotation Quality for LLM-as-a-Judge
对模型响应的成对偏好被广泛收集，以评估和提供大型语言模型（LLMS）的反馈。给定两个对同一输入的替代模型响应，人类或AI注释者选择``更好''响应。这样的数据可以在很难获得传统硬编码指标的域中提供反馈信号（例如，聊天互动的质量），从而帮助衡量模型进度或模型微调（例如，通过从人类反馈中的增强型RLHF学习，RLHF）。但是，对于某些域而言，在…
