详细内容或原文请订阅后点击阅览
使用Python和Docker构建自己的简单数据管道
了解如何开发简单的数据管道并轻松执行它。
来源:KDnuggets数据是推动我们作为数据专业人员工作的资产。没有适当的数据，我们将无法执行我们的任务，我们的业务将无法获得竞争优势。因此，确保合适的数据对于任何数据专业人员至关重要，数据管道是为此目的而设计的系统。
数据管道是旨在将数据从一个源移动和将数据转换为另一个源的系统。这些系统是任何依赖数据的业务的总体基础架构的一部分，因为它们保证我们的数据是可靠的，并且随时可以使用。
构建数据管道可能听起来很复杂，但是一些简单的工具足以创建仅使用几行代码来创建可靠的数据管道。在本文中，我们将探讨如何使用Python和Docker构建可以在日常数据工作中应用的直接数据管道。
让我们参与其中。
构建数据管道
在构建数据管道之前，让我们了解ETL的概念，该概念代表提取，转换和加载。 ETL是数据管道执行以下操作的过程：
- 从各种来源提取数据。 将数据转换为有效格式。 将数据加载到可访问的存储位置。
etl是数据管道的标准模式，因此我们构建的内容将遵循此结构。
使用Python和Docker，我们可以使用简单的设置围绕ETL过程构建数据管道。 Python是精心编排任何数据流活动的宝贵工具，而Docker对于使用容器管理数据管道应用程序的环境很有用。
让我们使用Python和Docker设置数据管道。
步骤1：准备
首先，我们必须在系统上安装Python和Docker（我们不会在此处介绍）。
以我们的示例，我们将使用Kaggle的心脏病攻击数据集作为数据源来开发我们的ETL过程。
App
pipeline.py
数据