详细内容或原文请订阅后点击阅览
创建数据管道来监控当地犯罪趋势
创建 ETL 管道以提取本地犯罪数据并在 Metabase 中可视化的演练。创建数据管道以监控本地犯罪趋势一文首先出现在 Towards Data Science 上。
来源:走向数据科学关于检查您所在地区的犯罪趋势。您知道存在相关数据，并且您具有一些可用于分析这些数据的基本分析技能。然而，这些数据经常变化，您希望根据最新的犯罪事件来更新您的分析，而不需要重复分析。我们如何才能自动化这个过程？
好吧，如果您偶然发现了这篇文章，那么您很幸运！我们将一起介绍如何创建数据管道来提取当地警察日志数据，并将其连接到可视化平台以检查当地犯罪随时间变化的趋势。在本文中，我们将提取向剑桥（马萨诸塞州）警察局 (CPD) 报告的事件的数据，然后将该数据可视化为 Metabase 中的仪表板。
此外，本文可以作为任何想要编写在 Prefect 中编排的 ETL 管道的人和/或任何想要将 Metabase 连接到其数据存储以创建富有洞察力的分析/报告的人的通用模板。
注意：我与 Metabase 没有任何关系 - 我们将仅使用 Metabase 作为示例平台来创建最终的仪表板。还有许多其他可行的替代方案，本节将对此进行描述。
内容：
背景知识
在我们深入研究管道之前，回顾以下概念会很有帮助，或者在阅读时保留这些链接作为参考。
感兴趣的数据
我们将使用的数据包含警察日志条目的集合，其中每个条目都是 CPD 报告/由 CPD 报告的单个事件。每个条目都包含描述事件的全面信息，包括但不限于：
查看门户以获取有关数据的更多信息。
现在我们已经找到了合适的数据集，让我们逐步完成实现。
ETL 管道
要将原始 CPD 日志数据转换为 Metabase 仪表板，我们的项目将包含以下主要步骤：