数据质量评估维度及方法

  从某种程度上来说“数据=金钱”，
，，，数据质量的好坏直接决定着数据价值高低，
，，直接或简介影响一个企业的决策方向。。。。数据质量管理是指在数据创建、
、、加工
、
、
、使用和迁移等过程中
，，通过开展数据质量定义、、过程控制、
、监测、
、、问题分析和整改、、评估与考核等一系列管理活动，，提高数据质量以满足业务要求。。。。

  一、、、、数据质量关注点

  一致性
：值数内容在系统内，，，系统间是否保持一致
。。如指标是否同名同义，，存储
，，精确度，，，加工逻辑等是否一致。。

  完整性：指数据的完整
，，，完备性与及时性，，
，是否存在数据遗漏，，，缺失及补充等
。。。
。每日提供的数据应该是完整的，
，，，无论在量上还是在特定的数据上，，
，高质量的数据是通过完整的数据统计出来的。
。。。

  可靠性
：指数据的稳定性和准确性等
，
，，数据提供过程中，，，数据产生依赖于系统间的性能，，，生产数据和加工数据的过程，，，都会影响数据的可靠性。。
。

  准确性：数据域源头的精确性，，以及数据处理过程中是否存在算法和数据冲突等。。
。。数据的准确性可能存在于个别记录，，也可能存在于整个数据集，，，，只有准确更高的数据才能提供高效、
、、高优的决策。。

  可理解性：数据的可读性和可分析性，
，
，，是否满足业务需求，，，以及数据间是否存在相互关系，，，，用户拿到数据是可理解，，可用，，
，，可决策的。。。

  有效性：指数据是否有效可用，，以及数据数据的访问域安全性等。。。数据安全是数据质量的一项重点管理方面，，，
，数据安全对于数据人来说是一条不可触摸的红线。。

  二
、、、数据质量评估维度

  数据完整性：考量数据项信息是否全面、、完整、、无缺失。。考核指标表完整性和字段完整性。。
。。

  监控覆盖率：确保数据遵循统一的数据标准或规范要求，
，，，考核指标
：监控覆盖率
，，监控覆盖率=监控的高价值任务个数/高价值任务总个数。。。。其中统计的范围只涉及有价值的任务。。。

  任务准确性：考量数据是否符合预设的质量要求，，，，如唯一性约束、
、记录量校验等，，考核指标
：任务监控告警率，，监控任务告警率=告警任务个数(本周)/监控任务总个数
。。。注：这里的告警任务，
，，都是数据质量监控任务。。。

  告警响应度：通过日常管理、
、应急响应，，，降低或消除问题影响，
，
，避免数据损毁
、、、丢失。。。。指标公式
：统一的时间中期内，
，已处理告警个数/告警总个数
。
。

  任务性能
：考量任务的执行效率和健康度
，，，诊断任务是否倾斜等性能问题。。。指标公式：问题任务个数(统计周期内)/任务总个数。。

  任务稳定性：考量任务的运行稳定性
，，是否经常报错，
，，导致数据事故
。。。指标公式：失败任务个数(统计周期内)/总任务总个数。。

  任务时效性
：考量数据项信息可被获取和使用的时间是否满足预期要求，，，考核指标。。任务延迟率，，，任务延迟率=延迟的高价值任务个数(统计周期内)/高价值任务总个数，，
，，其中，，基准时间为任务近30天平均完成时间加30分钟，，任务晚于基准即延迟。。。。

  三、
、数据质量校验方法

  （一）完整性

  1
、、可以从数据量上进行校验。。一般情况下，，成熟的业务场景，，每日生成的数据基本恒定，，如果莫一天数据地域日常数据的波动阈值，，可以预测数据基本是不完整的
。
。。

  2、、、完整性的另一部分是字段的数据缺失
，，，，可以通过统计字段的空值率进行校验
。
。。。比如默写字段在表中理论上是必然存在的，，数据中如果出现了空值，，
，则说明该字段的数据缺失。。
。

  （二）准确性

  1、、、、常见的数量级的记录错误，，，这种错误很容易发现，，，
，通过对比表数据量级的波动
，，
，判断当日的数据是否准确。。。。

  2、
、
、、可以通过异常值进行判断。
。
。。表中字段字符，，，或者数值出现了非法情况，，可以判断数据不准确。。。
。

  3、、、、准确性也可以通过数据类型
，
，以及数据的长度进行校验。。

  4、、、、对于数据也可以通过数据的分部情况进行验证。。。字符乱码的问题或者字符被截断的问题，，，可以使用分布来发现这类问题，
，，一般的数据记录基本符合正态分布或者类正态分布，，，，那么那些占比异常小的数据项很可能存在问题，，，比如某个字符记录占总体的占比只有0.1%，，，而其他的占比都在3%以上，
，，，那么很有可能这个字符记录有异常
。。
。
。

  （三）一致性：

  1、、、如果数据记录格式有标准的编码规则，，那么对数据记录的一致性检验比较简单，，只要验证所有的记录是否满足这个编码规则就可以
。
。比如身份证号都是18位，，前面17位均是数字等。
。

  2、、对于可数的枚举，
，，可以通过映射校验。。。比如省份等，，可以把这些唯一值映射到有效的32个省市的列表，，，，如果无法映射，，，那么字段通不过一致性检验。
。。
。如“浙江”而不是“浙江省”。。
。。

  3、
、一致性中逻辑规则的验证相对比较复杂，，，指标的统计逻辑的一致性需要底层数据质量的保证，，同时也要有非常规范和标准的统计逻辑的定义，，，所有指标的计算规则必须保证一致。。。常见的问题就是汇总数据和细分数据加起来的结果对不上。。如果需要审核这些数据逻辑的一致性，，
，，我们可以建立一些“有效性规则”，，，
，比如A>=B，，，，如果C=B/A，，那么C的值应该在[0,1]的范围内等，
，，数据无法满足这些规则时，，就无法通过一致性检验。。

  四、、常见可配置的监控规则

  表级非空记录：历史全量表(无分区):表里没有记录条数时告警；分区表：分区等于T-1时，，，，无数据记录条数告警。。。。

  表环比监控：根据历史周期计算数据量波动的范围，，
，，设置上下阈值
，，
，环比超出阈值，，，，进行告警
。。。。

  目标表原表校验：如果目标表的数据量同原表的数据量对比，
，，超出环比的上下阈值，，，，进行告警。。

  表主键唯一：如果统计出的主键的记录条数和表的记录条数不一致，
，
，，进行告警。。。

  非空校验：表中有些字段不会出现空值的况，，
，，对该字段惊醒空值监控，
，如果出现空值，，进行告警
。。

  字符长度
：如果数据中数据的长度超过预定长度的上下阈值进行告警

  枚举值校验：如果数据中出现枚举范围外的数据，，，
，进行告警，，此种情况适用于枚举值量小的情况。。

  字段环比监控：如果表中某字段的值域超出波动范围的上下阈值，，
，进行告警，
，，比如增长率，，，，交易额等。。

  数据类型校验：如果数字型字段，，，数据中出现字符
，，，进行告警。。。。

  字段数字极值监控：如果字段的数值超过该数据设置的上下的极值，，进行告警。。。。

  字段字符非法校验：如果字段的数据中出现了非法字符，，，进行告警。
。。

  字段空置占比告警;如果字段中的空置率查出设定的上下阈值
，，，
，进行告警。。。

  产出时间监控：基于任务链路设置任务的SLA，
，任务超如设定时间未完成
，，
，进行告警。。

转载自公众号数据工程师