机构名称：
¥ 3.0
当前用于评估视觉模型（VLM）的基准通常集中在其感知或解决问题的能力上，并忽略了其他关键方面，例如公平，多语言或毒性。此外，他们的评估程序和评估范围有所不同，因此很难比较模型。为了解决这些问题，我们将Helm框架扩展到VLM，以介绍视觉语言模型（VHELM）的整体评估。vhelm汇总了各种数据集，以涵盖9个方面的一个或多个：视觉感知，知识，推理，偏见，公平，多语言，稳健性，毒性和安全性。这样做，我们对这些重要因素中VLM的功能产生了全面的多维视图。此外，我们将标准推理参数，提示方法和评估指标标准化，以实现跨模型的公平比较。我们的框架设计为轻巧且自动，因此评估运行既便宜又快。我们的初始运行评估了21个现有数据集上的22个VLM，以提供模型的整体快照。我们发现了新的关键发现，例如，以效率为中心的模型（例如Claude 3 Haiku或Gemini 1.5 Flash）的表现要比其完整模型（例如Claude 3 Opus或Gemini 1.5 Pro）的差异明显差，但在其他方面进行了评估时没有在偏置基准上进行差异。对于透明度，我们发布了原始模型世代，并在网站上的https://crfm.stanford.edu/helm/vhelm/vhelm/v2.0.1上完成了完整的结果。vhelm旨在成为活的基准，我们希望随着时间的推移继续添加新的数据集和模型。
vhelm：视觉语言模型的整体评估
主要关键词
相关文件推荐
