详细内容或原文请订阅后点击阅览
如何“烹调”数据质量
数据质量正在成为俄罗斯公司的热门话题。 KORUS Consulting 的数据治理专家 Maria Rusina 谈论如何实现高质量数据。
来源:OSP网站大数据新闻当然,对于正确实施适合任何公司的数据质量管理流程,并没有通用的指导或秘诀。尽管如此,必须完成一些基本阶段才能“准备”非常理想的验证数据质量 (DQ)。
我想分享一下我在这些阶段的经验。但我必须立即警告您,我故意省略了一些明显的步骤(例如,识别数据消费者或选择 IT 工具)或其他步骤,例如实施清理或纠正数据的规则。我的目标是展示一组最低限度必要的操作。
设定目标
谈论正确设定目标的重要性已经是老生常谈,但这是第 0 步。目标可以不同,具体取决于公司的需求。例如:减少在公司整体或特定部门的运营流程中使用劣质数据可能带来的风险。另一种选择:在外部提供数据时避免声誉风险或其他成本。
示例:一家公司计划在三年内将数据质量提高 95%。从可测量性的角度来看——非常好。但该公司到底拥有哪些数据呢?而95%的增幅相对于什么?唉,这个目标还没有经过充分考虑。
示例提示:设定一个目标,该目标是您考虑实施数据质量流程的数字化真正原因。
提示确定数据量
提高公司所有数据质量的雄心勃勃的目标是伟大的。但我们不要忘记帕累托 20/80 定律。
DAMA(数据管理)框架建议重点关注确定组织最关键的数据,并专门针对此卷实施数据质量管理流程。我要补充一点,之前确定的实施DQ的范围必须与目标完全一致。
示例 建议确定数据质量要求
这里很难给出一个例子,因为每个数据集的质量要求都是独特的。