VSAS-Bench: Real-Time Evaluation of Visual Streaming Assistant Models
流式视觉语言模型 (VLM) 在给定指令提示和在线输入帧流的情况下不断生成响应。这是实时视觉助手的核心机制。现有的 VLM 框架主要评估离线环境中的模型。相比之下，流式 VLM 的性能取决于纯视频理解之外的其他指标，包括主动性（反映模型响应的及时性）和一致性（反映模型响应随时间的稳健性）。为了解决这个限制，我们提出了 VSAS-Bench，一个新的......
Introducing ARFBench: A time series question-answering benchmark based on real incidents
每年由于系统故障造成的损失超过一万亿美元。为了解决这些问题，工程师必须快速排除故障。事件响应中的一项重要任务涉及分析可观测性指标或反映软件系统运行状况的时间序列数据。例如，服务工程师可能会使用 Datadog 来回答诸如“延迟何时开始增加？”之类的问题。以及“延迟之外的哪些指标也表现异常？”定位异常行为的根本原因。这些时间序列问答 (TSQA) 任务对于工程师来说至关重要，并且为 SRE 模型和代理提供了具有挑战性且必要的任务。在这项工作中，我们探讨了 AI 模型执行 TSQA 任务的程度。为此，我们很高兴推出异常推理框架基准 (ARFBench)，这是一个 TSQA 基准，源自 Datado
多模式代理的真正空间智能超越了低级几何感知，从了解事物的位置发展到理解它们的用途。虽然 VSI-Bench 等现有基准可以有效评估这一基础几何阶段，但它们未能探索基础智能所必需的高阶认知能力。为了弥补这一差距，我们引入了空间功能智能基准 (SFI-Bench)，这是一个基于视频的基准，包含来自多样化、以自我为中心的室内视频扫描的 1700 多个问题。 SFI-Bench 旨在...
