详细内容或原文请订阅后点击阅览
完整的 Apache Airflow 教程：使用 Python 构建数据管道
了解 Apache Airflow 以及如何使用它来开发、编排和维护机器学习和数据管道
来源:AI夏令营Apache Airflow 已成为 Python 生态系统中事实上的管道编排库。与类似的解决方案相比，它因其简单性和可扩展性而广受欢迎。在本文中，我将尝试概述其主要概念，并让您清楚地了解何时以及如何使用它。
为什么以及何时应该考虑 Airflow？
假设您想要构建一个机器学习管道，它由几个步骤组成，例如：
- 从基于云的存储读取图像数据集处理图像使用下载的图像训练深度学习模型在云中上传训练好的模型部署模型
从基于云的存储读取图像数据集
处理图像
使用下载的图像训练深度学习模型
在云中上传训练好的模型
部署模型
您将如何安排和自动化此工作流程？ Cron 作业是一个简单的解决方案，但它们带来了许多问题。最重要的是，它们不允许您有效地扩展。另一方面，Airflow 提供了轻松安排和扩展复杂管道的能力。它还使您能够在故障后自动重新运行它们，管理它们的依赖关系并使用日志和仪表板监视它们。
Cron 作业在构建上述管道之前，让我们了解 Apache Airflow 的基本概念。
什么是 Airflow？
Apache Airflow 是一种用于编写、调度和监控管道的工具。因此，它是 ETL 和 MLOps 用例的理想解决方案。示例用例包括：
- 从许多来源提取数据，聚合它们，转换它们，并存储在数据仓库中。从数据中提取见解并将其显示在分析仪表板中训练、验证和部署机器学习模型
点子