数据质量评估维度及方法

从某种程度上来说“数据=金钱”，数据质量的好坏直接决定着数据价值高低，直接或简介影响一个企业的决策方向。数据质量管理是指在数据创建、加工、使用和迁移等过程中，通过开展数据质量定义、过程控制、监测、问题分析和整改、评估与考核等一系列管理活动，提高数据质量以满足业务要求。

一、数据质量关注点

一致性：值数内容在系统内，系统间是否保持一致。如指标是否同名同义，存储，精确度，加工逻辑等是否一致。

完整性：指数据的完整，完备性与及时性，是否存在数据遗漏，缺失及补充等。每日提供的数据应该是完整的，无论在量上还是在特定的数据上，高质量的数据是通过完整的数据统计出来的。

可靠性：指数据的稳定性和准确性等，数据提供过程中，数据产生依赖于系统间的性能，生产数据和加工数据的过程，都会影响数据的可靠性。

准确性：数据域源头的精确性，以及数据处理过程中是否存在算法和数据冲突等。数据的准确性可能存在于个别记录，也可能存在于整个数据集，只有准确更高的数据才能提供高效、高优的决策。

可理解性：数据的可读性和可分析性，是否满足业务需求，以及数据间是否存在相互关系，用户拿到数据是可理解，可用，可决策的。

有效性：指数据是否有效可用，以及数据数据的访问域安全性等。数据安全是数据质量的一项重点管理方面，数据安全对于数据人来说是一条不可触摸的红线。

二、数据质量评估维度

数据完整性：考量数据项信息是否全面、完整、无缺失。考核指标表完整性和字段完整性。

监控覆盖率：确保数据遵循统一的数据标准或规范要求，考核指标：监控覆盖率，监控覆盖率=监控的高价值任务个数/高价值任务总个数。其中统计的范围只涉及有价值的任务。

任务准确性：考量数据是否符合预设的质量要求，如唯一性约束、记录量校验等，考核指标：任务监控告警率，监控任务告警率=告警任务个数(本周)/监控任务总个数。注：这里的告警任务，都是数据质量监控任务。

告警响应度：通过日常管理、应急响应，降低或消除问题影响，避免数据损毁、丢失。指标公式：统一的时间中期内，已处理告警个数/告警总个数。

任务性能：考量任务的执行效率和健康度，诊断任务是否倾斜等性能问题。指标公式：问题任务个数(统计周期内)/任务总个数。

任务稳定性：考量任务的运行稳定性，是否经常报错，导致数据事故。指标公式：失败任务个数(统计周期内)/总任务总个数。

任务时效性：考量数据项信息可被获取和使用的时间是否满足预期要求，考核指标。任务延迟率，任务延迟率=延迟的高价值任务个数(统计周期内)/高价值任务总个数，其中，基准时间为任务近30天平均完成时间加30分钟，任务晚于基准即延迟。

三、数据质量校验方法

（一）完整性

1、可以从数据量上进行校验。一般情况下，成熟的业务场景，每日生成的数据基本恒定，如果莫一天数据地域日常数据的波动阈值，可以预测数据基本是不完整的。

2、完整性的另一部分是字段的数据缺失，可以通过统计字段的空值率进行校验。比如默写字段在表中理论上是必然存在的，数据中如果出现了空值，则说明该字段的数据缺失。

（二）准确性

1、常见的数量级的记录错误，这种错误很容易发现，通过对比表数据量级的波动，判断当日的数据是否准确。

2、可以通过异常值进行判断。表中字段字符，或者数值出现了非法情况，可以判断数据不准确。

3、准确性也可以通过数据类型，以及数据的长度进行校验。

4、对于数据也可以通过数据的分部情况进行验证。字符乱码的问题或者字符被截断的问题，可以使用分布来发现这类问题，一般的数据记录基本符合正态分布或者类正态分布，那么那些占比异常小的数据项很可能存在问题，比如某个字符记录占总体的占比只有0.1%，而其他的占比都在3%以上，那么很有可能这个字符记录有异常。

（三）一致性：

1、如果数据记录格式有标准的编码规则，那么对数据记录的一致性检验比较简单，只要验证所有的记录是否满足这个编码规则就可以。比如身份证号都是18位，前面17位均是数字等。

2、对于可数的枚举，可以通过映射校验。比如省份等，可以把这些唯一值映射到有效的32个省市的列表，如果无法映射，那么字段通不过一致性检验。如“浙江”而不是“浙江省”。

3、一致性中逻辑规则的验证相对比较复杂，指标的统计逻辑的一致性需要底层数据质量的保证，同时也要有非常规范和标准的统计逻辑的定义，所有指标的计算规则必须保证一致。常见的问题就是汇总数据和细分数据加起来的结果对不上。如果需要审核这些数据逻辑的一致性，我们可以建立一些“有效性规则”，比如A>=B，如果C=B/A，那么C的值应该在[0,1]的范围内等，数据无法满足这些规则时，就无法通过一致性检验。

四、常见可配置的监控规则

表级非空记录：历史全量表(无分区):表里没有记录条数时告警；分区表：分区等于T-1时，无数据记录条数告警。

表环比监控：根据历史周期计算数据量波动的范围，设置上下阈值，环比超出阈值，进行告警。

目标表原表校验：如果目标表的数据量同原表的数据量对比，超出环比的上下阈值，进行告警。

表主键唯一：如果统计出的主键的记录条数和表的记录条数不一致，进行告警。

非空校验：表中有些字段不会出现空值的况，对该字段惊醒空值监控，如果出现空值，进行告警。

字符长度：如果数据中数据的长度超过预定长度的上下阈值进行告警

枚举值校验：如果数据中出现枚举范围外的数据，进行告警，此种情况适用于枚举值量小的情况。

字段环比监控：如果表中某字段的值域超出波动范围的上下阈值，进行告警，比如增长率，交易额等。

数据类型校验：如果数字型字段，数据中出现字符，进行告警。

字段数字极值监控：如果字段的数值超过该数据设置的上下的极值，进行告警。

字段字符非法校验：如果字段的数据中出现了非法字符，进行告警。

字段空置占比告警：如果字段中的空置率查出设定的上下阈值，进行告警。

产出时间监控：基于任务链路设置任务的SLA，任务超如设定时间未完成，进行告警。