阿里做了十年数仓也才打通整个数据质量管理,不是一个两个数仓的人说要管质量就能管的了的。。。。方方面面都得考虑
数据质量控制环节
1 数据生产环节
业务开发数仓说不上话,现有业务后有数仓,起初可能考虑不到,业务变化了等
2 采集同步阶段
尽量统一标准,控制好边界
3 数据模型设计
维度退化可能造成数据不一致
=>存好历史状态,保证元数据字典完整,尽早计算下面就不会各算各的了
4 ETL开发 & 指标体系
监控机制才能保证数据的及时性
统一口径定义,这个事也不是一个小技术人员就能搞定的,嗨,但是也努力吧。
指标管理系统,就类似于标签系统吧,可以检索,有业务口径有it口径的这种。
5 事后管理:周期性质量监控
这一步是自己搞得定的,比如四点任务都跑完了,对于一些核心的指标,五点跑一下这种校验任务,早上来了就能最先发现问题了。
交叉校验需要业务敏感性,类似于浏览下降,但是成交猛增,这就可能不太对。
元数据管理
案例
用源库的元数据(schema_info)和hive的元数据进行对比,数据类型,字段等,就能知道源库数据变化情况了。
依赖关系,这个atlas现在可以搞定了,甚至是字段级别的。
数据质量监控