SelfReflect: Can LLMs Communicate Their Internal Answer Distribution?
传达大型语言模型 (LLM) 不确定性的常见方法是在其响应中添加百分比数字或保护语。但这就是我们能做的一切吗？对用户完全透明的法学硕士需要能够反映其内部信念分布并输出其认为可能的所有选项及其可能性的摘要，而不是生成单个答案然后对其进行对冲。为了测试法学硕士是否具备这种能力，我们开发了 SelfReflect 指标，即给定摘要与答案分布之间的信息论距离。在...
