Loading...
机构名称:
¥ 3.0

当前用于评估视觉模型(VLM)的基准通常集中在其感知或解决问题的能力上,并忽略了其他关键方面,例如公平,多语言或毒性。此外,他们的评估程序和评估范围有所不同,因此很难比较模型。为了解决这些问题,我们将Helm框架扩展到VLM,以介绍视觉语言模型(VHELM)的整体评估。vhelm汇总了各种数据集,以涵盖9个方面的一个或多个:视觉感知,知识,推理,偏见,公平,多语言,稳健性,毒性和安全性。这样做,我们对这些重要因素中VLM的功能产生了全面的多维视图。此外,我们将标准推理参数,提示方法和评估指标标准化,以实现跨模型的公平比较。我们的框架设计为轻巧且自动,因此评估运行既便宜又快。我们的初始运行评估了21个现有数据集上的22个VLM,以提供模型的整体快照。我们发现了新的关键发现,例如,以效率为中心的模型(例如Claude 3 Haiku或Gemini 1.5 Flash)的表现要比其完整模型(例如Claude 3 Opus或Gemini 1.5 Pro)的差异明显差,但在其他方面进行了评估时没有在偏置基准上进行差异。对于透明度,我们发布了原始模型世代,并在网站上的https://crfm.stanford.edu/helm/vhelm/vhelm/v2.0.1上完成了完整的结果。vhelm旨在成为活的基准,我们希望随着时间的推移继续添加新的数据集和模型。

vhelm:视觉语言模型的整体评估

vhelm:视觉语言模型的整体评估PDF文件第1页

vhelm:视觉语言模型的整体评估PDF文件第2页

vhelm:视觉语言模型的整体评估PDF文件第3页

vhelm:视觉语言模型的整体评估PDF文件第4页

vhelm:视觉语言模型的整体评估PDF文件第5页

相关文件推荐

2025 年
¥23.0
1900 年
¥4.0
2024 年
¥13.0
1900 年
¥12.0