Why Swallowing a Fish Bone Can Become a Life-Threatening Medical Emergency
吞下的鱼刺比短暂的窒息恐慌要危险得多。对于雪莉·巴拉斯（Shirley Ballas）来说，当一根鱼刺卡在喉咙里并导致她呼吸困难时，一顿饭变得令人恐惧。这位《舞动奇迹》的评委后来说，在这 20 分钟的磨难中，她的头发和 [...]
Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels
法学硕士评委小组汇总来自多个模型的投票，期望不同的模型能产生更可靠的评估。我们开发了一个框架来衡量此类小组的真实信息价值，并量化其可靠性与独立投票理想的差距有多大。在三个自然语言推理数据集（每个项目有 100 个人类注释）上测试来自 7 个模型系列的 9 名前沿法学硕士小组，我们发现 9 名评委实际上只提供了大约 2 个独立投票的信息。大约四分之三的专家组名义上的独立性......
