Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels
法学硕士评委小组汇总来自多个模型的投票，期望不同的模型能产生更可靠的评估。我们开发了一个框架来衡量此类小组的真实信息价值，并量化其可靠性与独立投票理想的差距有多大。在三个自然语言推理数据集（每个项目有 100 个人类注释）上测试来自 7 个模型系列的 9 名前沿法学硕士小组，我们发现 9 名评委实际上只提供了大约 2 个独立投票的信息。大约四分之三的专家组名义上的独立性......
我早上上班的火车 WFH 上写着： • 价值 1 亿美元的住宅背后的数学原理？剧透：它并不总是加起来。：Mansion Global 的比较、持有成本和折扣解释了为什么大多数九位数的挂牌房产都被搁置。战利品资产市场主要是战利品，而不是资产。当销售数据太少而无法进行传统评估时，经纪人...阅读更多 周一上午 10 点的帖子首先出现在 The Big Picture 上。
