如何实施数据质量管理

数据质量是数据治理的主要目标之一，也是数据治理效果的重要校验标准。同时，质量管理（QM）有自身的方法论和基本策略，包括业界著名的6西格玛管理、精益管理等，都把质量的管理和提升上升到了“质量工程”的角度来看待。从数据质量的管理和持续提升来看，一方面是要注意质量管理的基本要求和原则，即成熟的方法和框架；一方面，要注意数据的特点，将质量工程和数据治理有机结合起来，形成一套有效、持续的工作机制。

01数据质量管理理论的研究情况

要研究数据质量管理，首先研究质量工程的基本思路和框架。以6西格玛为例，质量管理的特征首先是“可度量”，其次是“闭环管理”，然后是“质量前置”。可度量，就是质量问题一定要可以量化检测，即“无法量化度量就无法管理”，因此任何质量管理方案，落脚点一定是对质量问题的数字化度量。闭环管理，就是对质量问题的定、测、析、改、控要形成一个可持续、可迭代的闭环，不断改进，循环往复，持续提升。质量前置，就是将质量问题从事后发现、整改向工作流程的上游推进，在产生、设计、需求、规划节点就开始进行质量评估，从而最大限度地提升系统性质量。

就数据质量管理而言，作为质量管理的一个重要细分领域，在政策定义、理论指引等方面，有如下的基本情况：

02 建立与标准体系相适配的商业银行质量管理体系

在推进数据治理的当下，商业银行的数据质量管理，既要从质量工程的整体思维出发，还要结合商业银行数据治理的基本情况和管理机制。商业银行的数据质量问题，往往最终呈现在监管报送、业务分析、管理内审等场景，这些场景所呈现的数据质量问题，一部分是加工、传输过程中产生的，但更深层次的问题在于源头业务系统的数据项，并且和业务流程、产品设计、系统设计等因素密切相关。因此，按照“可度量、闭环管理、质量前置”的工作思路，商业银行应建立与企业级数据标准相匹配的数据质量管理体系，持续提升和不断完善数据质量。

标准的数据质量体系一般由八大性组成，但在实践中我们发现面对银行几百套系统几十万张物理表，质量体系无法直接落实到每张表甚至每个字段上。因此，回顾一下典型商业银行的“两套标准、一套规范”数据标准，其本身就对数据质量提出了相应的管理要求。按照这个思路，我们总结出了基于基础标准、指标标准、字典规范的数据质量体系。

1.基础数据标准的质量管理目标和要求

基础数据标准覆盖企业主数据和重要代码，其质量应该按照质量管理的“完整性，有效性，唯一性，一致性，时效性，真实性，精确性，连续性”来进行管理。

(1)完整性：按照业务活动或流程需要，应采集和存储必要的数据项，不存在缺失缺漏；

(2)有效性：数据定义符合业务规则且数据值在业务规定范围内；

(3)唯一性：对于可识别的业务主键进行唯一判断；

(4)一致性：反映同一业务实体的数据及其属性具有一致的定义和含义，且在不同系统或同一系统内多次记录时保持相同；

(5)时效性：能够在数据需求的期限内获得最新的数据，或按要求的更新频率更新数据值；

(6)真实性：数据符合业务实际情况；

(7)精确性：数据精确程度满足业务运行、管理决策和监管报送的要求；

(8)连续性：能够在数据需求的期限内保持数据的不间断。

基础数据的质量检核，是企业级数据质量管理的重点，其质量问题的产生主要在源系统，因此应该按照质量要求在数据源头进行数据质量的量化监控、反馈；同时，基础数据标准作为业务需求和系统设计的重要评审点，应该进行前置管理，更进一步的加强需求和设计层面的基础数据质量。

2.指标数据标准的质量管理目标和要求

指标数据标准是经营管理中基本抓手，指标数据质量的产生主要是几个方面，其一，是口径和加工需求层面的问题，业务理解和沟通不足，造成需求和设计层面的质量缺陷；其二，是指标加工的开发实施过程，因为程序性的错误而产生的质量问题；其三，是指标在应用层面的误用或歧义，造成业务应用层面的理解不一致等情况。

针对上述三个方面的质量问题，应该有不同的管理策略。对于沟通和理解层面的问题，应该通过更好的数据溯源和口径分析来解决；而在加工过程的问题，应该通过数据验证和测试环节来把关。同时，指标类数据质量还存在一个应用层面的波动监控问题，在初始投产阶段验证正确的指标，可能在后续因为各种扰动因素而产生质量缺陷，包括数据的异常波动等，这时候，需要针对指标数据进行波动区间的监控和预警，对于重要的经营管理报表所涉及的指标，应该加入指标波动预警的响应机制，快速介入和应急处理。

3.字典规范的质量管理目标和要求

这里的字典指数据字典，是对基础标准、指标标准在数据库层面上的描述和补充，是数据模型设计人员在实际开发过程中直接使用的信息。字典规范定义了物理字段英文名词、中文名称、字段类型、长度、精度等重要信息，针对这些内容的质量检查通常围绕着有效性、唯一性、精确性进行。例如，客户表中的客户编号是否唯一，且字段类型和长度符合基础标准对客户编号要求等。

03 如何建立数据质量管理制度

数据质量管理是一个涉及到跨部门的长期工作，因此需要有长效机制来保障其管理的有效性和持续性。通过建立《数据质量管理办法》定义质量衡量标准、明确各部门的职责、提出数据质量管理要求，提供制度层面的能力保障，提升行内各部门对数据质量工作的重视程度，加强数据质量意识。

《数据质量管理办法》明确了衡量数据质量的标准，并且从组织上确定了与数据质量相关的各部门所应该承担的职责。对质量问题整改的各个环节的管理要求以及实施路径进行了详细阐述，数据质量的管理不再盲目零散，而是有体系、有支撑地进行数据质量管控。

由高级管理层下设数据治理领导小组负责对数据质量管理工作的开展进行指导、协调、决策和监督。具体数据质量责任部门包括数据管理部门、业务部门、技术实施部门、人力资源部门等。

数据管理部门负责制定数据质量相关制度规范，推动数据质量发现、分析、提升、监测、考核等各项具体工作，根据业务部门需求组织制定数据质量规则，制定全行数据质量考核方案，提出数据质量管理工具的建设需求。

业务部门分析所辖业务与管理领域相关数据质量问题，从业务层面制定数据质量问题的解决方案，提出所负责业务系统数据质量整改需求，提出本业务领域重点监控的数据质量的规则需求。

技术实施部门从技术层面参与数据质量管理工作，配合业务分析数据质量问题产生的原因，负责问题涉及系统的开发、测试、上线工作，负责开发数据质量管理工具的开发和运维，保障数据质量管理工作所需的相关软硬件资源。

人力资源部门负责将数据质量考核纳入全行考核体系。

数据质量管理主要由数据问题发现、问题提出、问题解决、质量监测、规则管理、质量考核、质量工具管理这几个环节组成。在质量管理办法中明确了问题发现和提出的路径，要求业务部门在经营管理过程中需要关注数据质量问题，在发现问题后由分行向总行业务部门汇报，经总行业务部门汇总后向数据管理部门提出质量问题单，由数据管理部门负责牵头业务部门和技术部门针对问题进行分析，制定并实施解决方案。解决方案包括但不限于业务流程优化、业务操作规范、源系统改造等。

在数据质量提升过程中遇到的最大困难是确认数据问题产生的源头以及责任部门。以EAST为例，最终报送接口往往由多个系统加工而成，这就导致一旦最终结果出现质量问题，需要先定位错误数据到底是来源于哪个系统。如果是有经验的开发人员，往往会在结果表中增加字段标识数据源，这就大大加快了问题定位的速度。因此从制度层面要求开发部门参与到数据质量管理工作中，增加数据开发人员的质量意识，提高代码质量。

业务人员作为数据需求的提出方以及数据使用方，是对数据质量有直接影响的人。例如，客户信息中的出生年月，以前这类信息是由客户在柜面填写后柜员直接录入，由于最初业务提需求的时候对录入数据没有要求进行校验，导致系统中存在很多日期非法或不真实的数据，这个字段根本无法使用。因此在管理制度中明确要求责任部门针对问题进行分析，制定并推进提升计划，提升计划包括但不限于优化业务流程、规范业务操作和源系统改造等。