Gower

Jenness, T.、Bosch, JF、Salnikov, A.、Lust, NB、Pease, NP、Gower, M.、Kowalik, M.、Dubois-Felsmann, GP、Mueller, F. 和 Schellart, P.，2022 年，“T

维拉·C·鲁宾天文台的遗留空间与时间调查 (LSST) 1 将每三天对整个南部天空进行一次成像，包含数十 PB 的原始图像数据和相关校准数据。必须跟踪所有这些文件以及管道处理的中间数据集和输出产品，并且根据处理发生的位置，文件将存储在 POSIX 文件系统或对象存储中。LSST 数据管理系统 (DMS) 2 负责将原始文件从山上传输下来并将其存储在美国数据设施 (USDF) 中。然后，数据集由可以在不同数据中心运行的管道 3、4 处理，并将结果集成到统一的数据发布中。本文将讨论 DMS 的一部分，它从管道算法中抽象出数据访问，构建执行工作流图，并允许在大型批处理系统中运行处理作业。