详细内容或原文请订阅后点击阅览
重塑数据管道：数据工程师在转变业务运营中的作用
在快速发展的数据工程领域，重组数据管道已成为推动业务增长和运营效率的基础。Workday 软件开发工程师 Manohar Sai Jasti 分享了他实施创新解决方案和确保数据管道可扩展性的历程。在这次采访中，我们探讨了他重塑数据管道的经验和见解 [...]
来源:AI Time Journal在快速发展的数据工程领域，重构数据管道已成为推动业务增长和运营效率的基础。Workday 软件开发工程师 Manohar Sai Jasti 分享了他实施创新解决方案和确保数据管道可扩展性的历程。在这次采访中，我们探讨了他重塑数据管道以赋能企业进行数据驱动决策的经验和见解。
涉及数据管道重构的一些关键项目是什么？您取得了哪些成果？
涉及数据管道重构的一些关键项目是什么？您取得了哪些成果？当我在领先的云供应链和履行平台 Stord 工作时，我是那里唯一的数据工程师。我的职责是领导几个重塑我们数据基础设施的关键项目。其中最重要的一项计划是基于日志的复制 (LBR) 迁移项目，我与我们的站点可靠性工程 (SRE) 团队合作牵头开展了该项目。
在这个项目之前，我们面临着源系统和 BigQuery 之间存在大量数据差异的问题。它们导致效率低下和数据更新速度变慢，因此迁移产生了显著的效果。
确切地说，我们每年节省了 72,000 美元，相当于每月 6,000 美元。数据差异几乎被消除，减少了近 100%。数据刷新率也提高了至少 30%。
这个项目是一项巨大的工程，影响了 Stord One Commerce 和 Stord One Warehouse 的所有主要数据集，它们是基于云的订单管理和仓库管理产品。由于取得了显著的成果，我获得了“效率驱动”的认可和奖励。
可扩展性和灵活性是任何强大数据基础设施的基石。您如何确保您的系统能够无缝扩展，同时支持业务增长？
机器学习技术