为什么每个分析工程师都需要了解数据架构

获得正确的数据架构,其他一切都会变得更容易。我知道这听起来很简单,但实际上,设计数据架构时的细微差别可能会产生代价高昂的影响。本文提供了关于影响您日常决策的架构的速成课程 - 从关系数据库到事件驱动系统。文章《为什么每个分析工程师都需要了解数据架构》首先出现在《走向数据科学》上。

来源:走向数据科学

,但实际上,设计数据架构时的细微差别可能会产生代价高昂的影响。因此,在本文中,我想提供一个关于影响您日常决策的架构的速成课程 - 从关系数据库到事件驱动系统。

数据架构是一个蓝图,它决定了数据所在的位置、数据如何在系统之间移动、转换过程中会发生什么以及谁可以访问什么。可以将其视为城市的布局:住宅区、商业区、工业区以及将一切连接在一起的交通网络。

在开始之前,我希望您记住这一点:您的架构决定了您的组织是像一座拥有高效高速公路和清晰分区的精心规划的城市,还是像一座在没有任何规划的情况下发展而现在到处都是交通拥堵的大都市。

我亲眼目睹了这一点。一家通过收购迅速发展的公司继承了他们收购的每家公司的数据系统,但没有人花时间考虑如何将所有这些系统整合在一起。客户数据存在于五个不同的 CRM 系统中,财务数据分布在三个不同的 ERP 之间,每个系统对客户和收入等基本概念都有自己的定义。他们的“每周”业务审查花了两周时间准备。六个月后,在实施经过深思熟虑的数据架构后,他们可以在两小时内生成相同的评论。

区别不在于最新的技术或庞大的预算。它只是对如何组织和管理数据采取深思熟虑的方法。

在本文中,我将带您了解核心数据架构类型、它们的优点、缺点以及每种架构的真正亮点。系好安全带!

1. 关系型数据库——陈年佳酿

2. 关系数据仓库 — 分析师的游乐场

两种思想流派:Inmon 与 Kimball

3. 数据湖 — 承诺与沼泽

4. Data Lakehouse — 两全其美

备忘单