• 数据管道开发:协助设计并使用 Azure 数据工厂和其他 Azure 服务执行数据管道的开发、测试和部署,以从各种来源提取、转换和加载 (ETL) 数据。 • 数据集成:在数据工程主管的指导下,将来自各种来源(数据库、API、平面文件)的数据集成到集中式数据平台(如 Azure Data Lake 和 Azure SQL 数据库)中。 • 数据仓库:支持基于云的数据仓库的开发和管理,确保它们针对性能、可扩展性和安全性进行了优化。 • 自动化和监控:协助设计并实施自动重复任务。实施数据管道的监控解决方案,确保平稳运行并及时发现问题。 • 数据质量和治理:与团队合作执行数据质量标准和治理实践,以确保数据准确、一致并满足业务要求。 • 协作:与数据分析师和业务利益相关者密切合作,了解数据需求并通过数据工程解决方案提供可行的见解。 • 文档:帮助维护数据流程、配置和工作流程的正确文档,确保团队能够有效地管理和排除系统故障。
主要关键词