数据指标体系建设思考

数据指标体系建设思考

--从数据治理到分析治理，搭建高可信、高质量的数据指标体系

关于指标，大多数对它都不会陌生，不仅仅是与数据相关的人员熟悉它，几乎所有人都多少与它有所关系，与我们工作考核的相关的KPI指标、与国家监管报送要求的数据指标、与财务工作相关的统计指标、与销售或营销相关的销售指标及营销指标等等。都与我们日常生活、工作相关，与数据分析工作相关的人员更有深刻体会。

我们在这里来思考的主要是数据指标，而且是指与企业数据资产相关较强的数据指标，我们专注于此类数据指标及它的体系的建设思考。这件工作是数据管理、数据治理、数据分析（或数据科学）相关工作的人员关注的内容之一。关于以上类型工作的度量指标是另一层面的内容，将作为衡量企业数据指标及数据指标体系建设工作的评价指标。

作为数据治理从业人员，我们会深刻体会在现如今的大数据时代，数据驱动甚至是知识驱动的时代，我们除了通过传统的数据管理理论来管理数据，并保障数据的质量，我们也必须关注于数据价值的输出及数据资产的变现。对于一个组织来说，高可信、高质量的数据指标正是作为数据资产评估、数据驱动依据的强有力数据支撑。

首先，我们明确概念。

由于数据科学的发展及数据量的激增，数据分析工作不再是仅仅是统计分析数据的工作，也必须考虑与数据分析相关的治理工作。这一类的工作我们可以称为数据分析治理。

关于数据管理成熟度模型，国内外都不少可以参考的成熟模型，有老牌的DMM、Gartner 的EIM、EDM委员会的DCAM、国内的DCMM等。其中DCAM从2.0升级到2.2版本时，根据现如今数据分析的重要性，增加了第8职能域：数据分析。

从上图，我们可以清晰地了解到，数据治理及分析治理都属于数据管理的范围内，数据治理可以为分析治理提供如指标数据标准、数据质量保障、元数据管理等支撑，而分析治理关注于数据指标体系、数据分析模型、数据分析生命周期等内容。

与数据治理和数据管理相似，分析治理也有对应的分析管理。

数据量的激增、数据科学分析和数据驱动的需求、分析模型和分析领域的复杂性是分析治理的内在驱动力。

分析治理注重体系建设、治理组织及角色分配、分析模型素养、评估及监控信任模型等内容。

在分析管理中，分析生命周期管理与一般我们了解到数据生命周期管理是有所侧重的，它们分别会有以下一些内容：

请求接收： 定义如何管理分析需求，使用系统或其他管理管道的请求方式。

用例： 请求必须经过分析师，该分析师可以详细了解请求的最低要求，并且可以评估解决方案是否可行。这些请求应得到及时和公正的处理。

模型优先级： 这个过程最好由分析治理委员会来处理，而不是把优先级委托给一个人。 当决策由一个群体做出时，他们更有可能被认为是公平的。不要设置诸如无休止的表格之类的障碍或允许请求累积，因为它们必须等到下一次会议。保持一致很重要，但也要足够灵活。

第三方模型获取： 内部构建模型并不总是最佳选择，分析治理委员会应考虑聘请第三方提供模型。在这种情况下，应仔细审查第三方合同的条款和条件，因为有些条款和条件技术性很强。

开发模型：应确定模型所需的最小可行数据：“这是分析、治理和数据治理的交汇点。”还有待确定的是最小可行模型——实际解决用例所需的最小值。

数据发现： 应启动开发方法以确定是否有可用的数据可以满足质量需求或是否需要外部数据。

模型验证： 验证过程确定模型是否能够充分泛化，或者它是否过于特定于它所训练的数据集。业务方可以对结果提供“健全性检查”，并帮助将假设输入模型。他们还可以帮助获取数据。

模型存储： 模型在建模请求时添加到存储清单中，并在其整个生命周期的重要时间点进行更新，例如验证、创建新版本时等。模型存储清单是分析治理的战略要求。

维护：随着模型被插入到业务流程中，角色和职责必须是明确的。随着业务的变更确实需要一些流程重新设计以及模型维护。

模型操作： 使用信息的一线工作人员如果从业务角度认为出了问题，他们需要一种方法来进行报告。由于模型会随着时间的推移而漂移并失去准确性，因此还应建立监控过程。

我们可以通过已发行的银行行业标准《JR/T0137-2017银行经营管理指标数据元》来理解数据指标的定义。在银行业，数据指标可以定义为反映银行经营管理在一定时间和条件下的规模、程度、比例、结构等的概念和数值。针对其它行业，我们可根据行业特点来参考定义数据指标。

一般情况下，我们会将数据指标分为原子指标及派生指标。

也有将数据指标会分为原子指标、复合指标、派生指标，在这里复合指标一般是指由多个原子指标综合得到的数据指标。

当然还有基础数据指标的概念说法，一般情况下基础数据指标是指上面提到过的原子指标和复合指标。

从上图我们可以了解到原子指标与派生指标的关系。

派生指标=时间周期+修饰词+原子指标，派生指标可以理解为对原子指标业务统计范围的圈定。

左边的部分是对于图中的一些概念的说明，这些说明是参考阿里的文档得到的。

数据指标可以根据数据指标来业务流程中的位置来分为结果性指标和过程性指标两大类。下面的这张图是对这两类的指标的说明，并且对于原子指标和派生指标用实例展示。

指标数据标准是数据标准体系中的一部分，同样我们以银行业为例，在银行业中，会将数据标准分为三大类或者两大类，两大类就是基础数据标准和指标数据标准，三大类的分法是基础数据标准、参考数据标准和指标数据标准。实际上框架没什么区别，无非就是基础数据标准的范围不同而已。

指标数据标准通过基础属性、业务属性、技术属性和管理属性来描述指标数据规范化要求。

指标数据标准，可以说是企业内数据分析应用的基石。我们在数据分析应用的实际工作中，最头痛问题就是指标口径不同、指标体系不完整及指标追溯难这几类问题。所以规范的指标数据标准，才能保障我们数据分析应用工作。

有了标准的数据指标，我们还需要数据指标体系来规范数据指标的定位、应用并承接组织的业务策略及业务目标。

一般我们会通过横向及纵向分析这两种方式，最终形成数据指标体系。

横向上可以采用OSM模型的思想，有可能会不少人感觉OSM模型不太落地，有点虚，所以我们是理解它的作用，利用它的思想，来充分分析组织中的业务目标与数据指标的关系，通过这样的思考方式，我们明确各数据指标的相互关系，提取或制定出符合组织策略的关键指标。

纵向划分可以形成我们一般指标体系的三层框架，一级指标、二级指标、三级指标。指标框架一般为三层框架，不建议层级太深，不利于通过数据指标来有效反馈业务目标。在纵向划分时也有可以参考的模型，如AARRRR模型。它教会我们在分析时，可以通过某种核心业务数据的生命周期来制定数据指标体系的框架。

我们都知道，数据指标体系的落地及应用一般都会通过如数仓这类的数据中心的应用输出来实现，所以如数仓的建设同时也会充分考虑数据指标体系的内容。

下面是一些数据指标体系的示例。

数据指标体系搭建原则

我们在搭建数据指标体系时不能只是简单地堆积指标，也不仅仅会罗列指标。这可能以往有很大一部分人都会犯的通病。

那么我们在搭建数据指标体系时需要考虑的因素有哪些，或者从常规的方法论来说，我们需要注意的搭建原则有哪些。下面我们分为三个方面来说明这个内容。

高可信，说明我们的数据指标是统一规范、标准化的指标，指标的结果是基于有效数据资产且可以准确、精确、科学反映或监控业务活动行为。

高价值是指我们的数据指标体系可以体现企业的业务策略、指导并监视业务策略落地、符合企业价值导向并全面覆盖企业当前发展阶段的业务活动的体系化内容。

建设高可信、高价值的数据指标体系，从数据指标框架设计及数据指标选取我们需要考虑下列原则：

就如上图表达的，我们需要做有效的工作，清晰定位问题而不是忙乱地解决问题。从框架设计上，需要考虑的设计原则有系统性、全面性、结构性、差异性和重要性（参照《数据治理工业企业数字化转型之道》）：

系统性	•    充分承接整个企业的战略目标
全面性	•    全面覆盖企业管理相关因素
结构性	•    将指标划分为战略层、管理层相互支撑的结构
差异性	•    建立有针对性可落地的指标体系
重要性	•    核心业务优先，关注管理瓶颈与重点

关于数据指标的选取，我们需要考虑正确性、唯一性、完整性这三项原则。下面总结的3点原则从另一方式来说明如何选取数据指标：

1、选择简单、准确、精确、标准化的指标。

2、选择能直接度量数据驱动过程的指标。

3、清晰、可度量、有目标、可见的KPI（关键指标）

我们还可以参照传统的评价评估体系来考虑数据指标体系的构建原则：

①系统性原则

•各指标之间要有一定的逻辑关系，它们不但要从不同的侧面反映出业务系统的主要特征和状态，而且还要反映业务系统之间的内在联系

②典型性原则

•确保数据指标具有一定的典型代表性，尽可能准确反映出特定业务领域的综合特征

③动态性原则

•指标的选择要充分考虑动态的变化特点，制定充分的评价维度

④简明科学性原则

•各指标体系的设计及评价指标的选择必须以科学性为原则，能客观、真实地反映企业发展的特点和状况，能客观全面反映出各指标之间的真实关系

⑤可比、可操作、可量化原则

•指标体系的构建是为业务领域政策制定和科学管理服务的，指标选取的计算量度和计算方法必须一致且统一，各指标应该尽量简单明了、微观性强、便于收集，还应该具有很强的可操作性和可比性

⑥综合性原则

•各业务领域的互动、双赢是企业生态建设的最终目标，也是综合评价的重点。要在相应的评价层次上，全面考虑影响业务领域各系统的诸多因素，并进行综合分析和评价

从设计及构建原则中，我们发现，我们在谈论数据指标体系的时候，总是会谈到业务相关的内容，说明数据指标体系是服务于企业业务活动需求，所以我们从业务活动需求这一点来进一步说明我们如何建设数据指标体系。

数据指标必须与业务结合，才能转化为信息，要不就只是数据，不会产生价值，也失去数据指标的指导、监视、评价的意义。

所以数据指标体系最终的输出结果会是一份体系化的指标数据标准或者是指标字典，而且也可以实现将可视化地展示到Dashboard上。

右上角的小三角说明了我们数据指标需要有价值，要适合当前业务并且可以统计的。

以BPP模型来指导建立数据指标体系，说明我们在建设数据指标体系时需要充分考虑企业的商业模式、产品服务和业务流程任务这三层级内容，分别解决不同阶层的业务需求。

分析获取关键指标，通过关键指标分解及衍生出下级指标及指标分类层次，形成数据指标体系是一个典型的数据指标体系建设方法。在这个过程中，我们需要充分考虑当前业务策略及企业的发展阶段。我们需要意识到关键指标也会随着企业发展阶段的不同、商业模式的不同等情况而发生变化，甚至有可能是一个大的变化。下图就举例说明了这个问题：

前面我们还提到了关于高价值，那么在建设数据指标体系时，需要贴合业务，从体现企业价值贡献的角度来考虑数据指标体系的建设：

可以利用EVC模型，按照客户价值、企业价值、生态价值分别形成三级数据指标。

有各种各式的典型分析模型来指导我们更好地建设数据指标体系，但是我们需要学以致用，所以我们在实际工作上，落地上关键的一点是“与业务运营方的需求沟通”。只有充分沟通，才能保障我们的工作成果有最终价值体现。

前面聊到的这些内容，并不是让大家在建设数据指标体系上既考虑这个，也考虑另外一个。在这里更多地想表达我们建设数据指标体系时需要根据我们所在企业的实现业务策略及业务需求来进行，各种分析模型只有指导意义，并不建议生搬硬套，所以我们引入下一个话题。

前面反复强调过，数据指标体系要根据企业业务形态来设计及落地。所以我们可以总结一点就是，没有通用的指标体系，只有合适的指标体系。我们不能直接地抄各种成功的数据指标体系，或者因为我们企业与他们类似就直接套用。成功的数据指标体系可以帮助我们解决体系化建设的框架及考虑问题的参考方式，一个能落地的数据指标体系需要分析清楚企业的商业模式、监管要求、业务流程等内容。“从业务中来，回业务中去”这句话同样也符合数据指标体系的建设原则。

数据指标体系搭建流程

Ø  “德勤”的数据指标体系方法论

首先，我们先来学习一下优秀的数据指标体系搭建方法论。数据指标体系搭建方法论有不少优秀的方案，大部分都大同小异，在这里我们来聊一下“德勤”推荐的搭建方法论，搭建一个高质量、高可信的指标体系。

“德勤”基于全球实践，提出了覆盖全行业的企业价值地图（Value MapTM）。围绕企业如何实现价值提升，将企业创造价值的来源从开源（增加收入）、节流（减少成本）、资产管理和预期管理四大方面，逐层细化为675个具体举措，形成企业发展的“价值驱动力”（Value Drives），有效指引企业高质量发展。企业可借鉴企业价值地图框架，进一步展开指标分解及归因分析，搭建高质量的指标体系。

为了保障数据指标体系的高可信，“德勤”构建了一套兼具高效性、体系性和落地性的指标体系梳理方法，涵盖了从“指标梳理-指标设计-指标落地”的全流程指标体系规范。

从指标体系设计框架图，我们可以发现，在数据指标设计到落地的过程中，为了保障数据指标的高质量及高可信，需要遵守几个基本原则：准入原则、合并原则、认责原则、命名原则、属性规范化原则、落地原则、分类原则、管理原则，当然还包括总体设计原则。在这样的有效设计框架下，从组织、制度、流程、技术、工具等方面充分保障数据指标体系设计活动。

“德勤”还提到在构建数据指标体系时，需要注意四个重点内容：识别关键绩效指标、聚焦核心业务领域、响应国资委“两利四率”考核要求、构建高可信的指标体系并分别说明这四个重点的操作路径。

Ø  数据指标体系搭建方法论

在这里，我们尝试将大多数的数据指标体系搭建方法论进行总结，可以形成以下所示的数据指标体系搭建方法论。

A.     从数据指标体系的搭建领域可以分为指标定义、指标开发、指标管理、指标应用这四个领域。

B.     从搭建过程我们可以分为“找指标”、“理指标”、“建指标”、“管指标”、“用指标”这五个过程。

C.     最佳实践方法包括：

•定标准、设计原则、指标体系框架及要素：关键指标，以关键指标展开；定分类体系框架，充分考虑指标间关系；形成指标数据标准规范

•引入业内成功指标体系，借鉴已有的指标成果：保障指标符合行业特点及公司业务需求，客户化指标

•限范围，以点带面建设：如以监管指标或管驾仓指标为入口，先企业级关键指标，落地到各主题下的指标

Ø  数据指标体系设计流程

在数据指标设计完成后，指导数据埋点、数据采集及数据应用的数据指标落地具体工作，在数据指标落地过程发现问题向上反馈，进一步完善数据指标体系。通过这样的循环过程保障我们的数据指标体系既符合企业的战略驱动、业务驱动、数据驱动等目标，又能与企业明细业务数据紧密配合，推动数据指标体系在全企业的应用。

Ø  数据指标体系开发流程

我们都知道，想应用数据指标，需要按照数据指标体系的要求进行数据指标的开发，下面这张图就能明确我们在数据指标体系开发过程中，它的流程及流程节点上的负责角色及可能用到相关工具。

通过这样的流程框架设计，为我们在进行指标体系中管理办法及制度提供明晰的组织架构及角色职责要求。

承接上面的开发流程框架设计，我们可以设计数据指标模型设计架构。

在这个架构中，我们明确数据指标的分类及指标不同类别的关系，以及说明数据指标的不同属性是如何指导如数据仓库中的事实表和维度表的设计。

Ø  分搭建流程明细说明

1、指标梳理

梳理方法：

•指标梳理的工作主要采用“自上而下”和“自下而上”相结合的梳理方式。

•指标分类应从企业战略、业务管理需求出发，自上而下基于业务条线逐层展开设计；

•具体指标以业务系统为导向，则自下而上逐层筛选、合并、整合、抽象并归类。

我们用一个示例来说明梳理方法：

“自上而下”：从业务域我们一般可以分为财务、人力资源、销售等等，然后在进行二级业务域划分，如销售可以分为市场营销、客户管理、订单管理等等（是否需要三级分类视业务复杂程度决定），这样我们就得到了一个指标分类的初步框架。

“自下而上”：我们从业务系统出发，从系统中识别其功能模块，例如ERP、CRM、SRM等，CRM系统中又有客户管理、订单管理等功能模块，我们从这些模块中包含的业务单据中就可以找到相应的数值字段，然后挑选出可以作为指标展示的。如果这些系统中有单独的统计报表功能，那么我们的工作相对简单，只需要从报表中找到相应的指标即可。

梳理思路：

整体梳理思路需要自上而下，从企业级到业务域到业务运营，上层衍生或者拆分到下层，下层指标值可以汇总到上层指标或者对相关指标的监控。

细化示例：

细化业务域的业务流程中的管控目标，和指标一起形成功能矩阵，标注出指标的产生、引用关系，处理发现指标字典中有重复、不同口径统计等情况，将形成含有分类和业务目标的指标字典。

指标数据标准制定:

数据指标体系除于分类框架外，最大量的工作就是我们需要制定一个个具体的数据指标。在银行业，一般这一类工作称为指标数据标准制定工作。在银行业也有相关标准来规范如何制定指标数据标准，在行业标准中也明确了指标数据标准应包括的属性有哪些（业务属性、技术属性、管理属性、扩展属性等）。

指标数据标准制定原则:

为了更好制定指标数据标准，我们需要在指标数据标准设计过程中，遵守相关制定原则。可以按下面四点来说明：

2、指标管理

指标管理与其他数据管理模块相似，而且指标管理从理论上来说不应单独管理，需要嵌入企业的整体数据治理体系中。

管指标数据的工作也是属于数据管理的工作，所以数据指标的管理需要嵌入到数据治理体系建设中，也需要数据治理体系促进企业内的主数据、业务数据、统计数据的标准和规范，保障并提高数据的数据质量。

管理指标需要建立指标管控制度和流程，明确指标认责人、指标用户、指标管控团队在各项管控活动中应遵循的管理要求和工作流程。

除了我们需要通过组织、制定和流程来保障数据指标体系，我们的数据指标体系也要全链路、全生命周期管控数据指标。来保障数据指标的高质量，体现数据价值。

下面的示意图中，我们观察数据指标的全生命周期管控可能会有哪些方面内容。

那如果从指标数据标准制定来考虑，指标管理会指定谁来负责指标数据标准的制定。

类似基础数据标准的管理，在指标数据标准管理工作中，同样需要数据治理归口管理部门来牵头指标数据标准的制定工作，并建立业务归口部门与技术主管部门的协作机制。

3、指标应用

最后，我们来思考一下，数据指标应用会有哪些方面，总结来说，会有下面展示的6个方面的应用。

表：数据指标应用场景

序号	指标应用场景	场景说明
1	数据分析	指标目录、管理驾驶舱、自助分析及报告、血缘及影响分析
2	数据管理	指标管理、数据质量管理、元数据管理.
3	报表和提数	自主提数、统一报表平台、监管报送平台
4	数据服务	指标共享、数据中台、智能推荐、指标解析
5	战略和绩效	目标计划、指标ROI、机构及员工绩效、营销活动
6	数据开发	可视化数据开发、数据挖掘、数据科学研究

Ø  指标落地方法

为了保障数据指标的可得性和可用性，我们在设计数据指标时应充分考虑数据指标的可落地性。并通过指标验证来验证我们制定的数据指标的落地性。

上图明确保障落地性，数据指标体系中不同指标及数据指标维度的制定要求。并通过如指标探源、维度探源、指标实际数据源与预算数据源这些验证指标的落地情况。

Ø  指标埋点流程

数据指标在采集数据前，除了直接采集业务系统数据外，可能还需要设计数据埋点来采集数据指标所需信息。从指标埋点流程中我们来观察指标落地方法。

‍