Luigi

使用 Luigi 分析工作流对分布式资源进行分析自动化的设计模式

摘要。在粒子物理学中，工作流管理系统主要用作蒙特卡罗事件生成等专用领域的定制解决方案。然而，执行数据分析的物理学家通常需要手动控制各自的工作流程，这很耗时，而且经常导致特定工作负载之间没有记录的关系。我们介绍了 Luigi Analysis Workflows (Law) Python 包，它基于最初由 Spotify 开发的开源流水线工具 Luigi。它为任意规模和复杂性的分析建立了通用的设计模式，并将重点从执行转移到定义分析逻辑。Law 提供了构建块来无缝集成可互换的远程资源，但并不局限于特定的基础设施选择。特别是，它鼓励并实现了分析算法与运行位置、存储位置和软件环境的分离。为了满足端到端 HEP 分析的复杂需求，Law 支持在 WLCG 基础设施（ARC、gLite）以及本地计算集群（HTCondor、LSF）上执行作业，通过 GFAL2 库通过最常用协议进行远程文件访问，以及支持 Docker 和 Singularity 容器的环境沙盒机制。此外，这种新颖的方法最终旨在实现开箱即用的分析保存。Law 完全独立于实验，并且是开源开发的。它已成功用于 t¯ tH 截面测量，并使用 CMS 实验寻找双希格斯玻色子的产生。