详细内容或原文请订阅后点击阅览
表格法学硕士：预测电子表格的基础模型简介
表格基础模型可以预测任何电子表格零样本中缺失的列，就像法学硕士完成文本的方式一样 - 在 TabArena 基准测试中，它们现在位于完全调整的梯度增强树之上。介绍了它们的工作原理、最强开放模型的独立复制，以及 XGBoost 仍然获胜的地图。后表格式法学硕士：预测电子表格的基础模型简介首先出现在《走向数据科学》上。
来源:走向数据科学模型可以零样本地预测任何表中缺失的列，这是语言模型完成文本的方式。在主要社区基准上，最佳调整梯度提升树上方的每个单模型条目现在都是其中之一。这篇文章解释了它们是什么，在我自己的硬件上验证了最强的无限制开放权重，并绘制了树木仍然获胜的地图。
有一种相当新的表格模型：预训练的转换器，可以在任何电子表格零样本上进行预测，宽松地称为“表格 LLM”。在 TabArena 排行榜上，位于最佳调整、集成 GBDT 配置之上的每个单一模型条目都是其中之一；其上方唯一不存在的条目是 AutoGluon 的 4 小时合奏管道。这颠覆了过去十年的默认答案，即适应调整的梯度增强树。排行榜以前就曾出现过错误，只有当局外人重新运行它们时才会显现出来（这是我对时间序列模型的经验），所以在相信这一点之前，我对其进行了审核。我根据已发布的工件重新计算了该委员会的评分，采用了 TabICLv2（具有不受限制的开放权重的最强模型），并在我控制的硬件上从头开始重新运行它。
我的独立运行涵盖了单个 AWS A10G 上基准测试官方 Lite 协议的所有 51 个数据集（每个数据集一个训练/测试分割，与排行榜使用的分割索引相同）。在这些相同的分割上，我的 TabICLv2 与官方工件行的得分相比，我的 TabICLv2 与官方 1575 相比，落在 Elo 1559，相邻排名，并且远在 ±60-86 自举区间内。每个任务的 51 个指标值中有 16 个返回的值与小数点后四位相同，中位相对差异为 0.08%，最差的数据集差异为 3.5%，这是您期望从 GPU 不确定性而不是方法差异中得出的差距大小。整个扫描（包括环境设置）需要 2.1 小时的 GPU 会话，成本略高于 2 美元。