数据资产入表解决方案

高效数据资产入表规划,专业数据合规,精确成本分摊,释放数据价值,助力国央企和上市公司一站式数据资产入表。

数据资产入表解决方案

高效数据资产入表规划,专业数据合规,精确成本分摊,释放数据价值,助力国央企和上市公司一站式数据资产入表。

数据资产治理入表开发:数据价值分析,指标数据产品开发,指标平台建设方案!

时间:2024-09-08来源:一朵有毒的花浏览数:184

随着BI的普及与深度使用,企业在数据分析“深水区”普遍面临着指标分散定义,导致口径不统一、依赖 ETL 作业开发报表、问题排查耗时耗力,且复用率低等。指标平台建设的目标在于统一指标管理,规范数据流程,保障指标数据准确性,实现数据要素价值化,促进业务高质量发展。


1.指标平台的概念

指标平台是供组织集中管理、存储关键指标的平台,提供统一业务模型、指标管理、指标加工、数据服务于一体的完整的解决方案。它是一种集中组织数据的方式,以可重复的方式访问关键指标,用户可以使用多种应用在下游消费这些指标。指标平台即连接后台与前台的“中间层",根据前台的需求去后端找数据,并加工成"数据服务 API”,供前端所有系统来使用。指标平台作为数据中台的特性有:一致性、访问性和复用性。作为数据架构的一部分,指标平台作为一个标准化的单一可信源,开始受到重视。


2.为什么需要数据指标平台

2.1 指标开发交付周期长,无法及时响应需求

随着 BI 的普及,企业内报表数量越来越多,业务的迅速发展要求数据需求的响应速度更快,然而,传统的“数仓 + BI” 的模式中,依赖人工开发宽表和汇总表来加工指标,要经历漫长的口径沟通、排期、开发、测试、上线流程,每个需求开发都需要经历复杂和漫长的 ETL 作业流程,导致业务部门的需求响应缓慢。

2.2 指标口径不统一,业务协作效率低

指标作为一种通用、量化的管理语言,能够拉通各个层级、不同部门,共同开展业务分析和讨论,从而发现问题、解决问题,这一切的前提是指标口径的对齐。然而,企业在使用指标的过程中往往忽视了指标数据的治理,导致指标口径不统一,相应的分析结果不可信,难以支撑决策。涉及不同业务部门协作时,需要花费大量精力在口径对齐上。

2.3“数仓 + BI” 模式在指标问题排查方面,效率也不甚理想

由于指标定义分散且不统一,一旦数据出现问题,需要花费大量时间去不同报表和数据集中排查、对比数据,进而找到问题所在。这不仅耗费了大量的时间资源,同时也降低了业务人员对数据的信任度。同时人工变更还难以保障变更质量,进一步增加了数据不一致的风险。

2.4 指标体系不好用

在实际业务经营中,企业在指标体系方面经常面临指标体系不好用的问题,业务人员会有诸多疑问,例如:

上级部门的 KPI 如何拆解到我们团队的 KPI指标? 新上线的业务,应该用一套什么样的指标体系和看板去分析监控? 什么样的指标可以衡量新上产品功能的好坏?     导致企业指标体系不好用的原因可能是多方面的,尤其是在企业管理本身。例如,企业的业务目标不清晰、业务管理体系缺乏标准、对业务理解不足等。此外,指标体系设计需要结合专业的方法论和行业经验,如果缺乏专业的指标设计方法,也会导致指标体系存在缺陷。

2.5 指标分析灵活性与查询性能不足

业务人员在指标应用中同时存在分析灵活性与查询性能两方面的需求。一方面,需要指标分析工具支持各种分析操作,可以灵活探索数据,以更深入地进行业务分析;另一方面,需要指标分析工具能支持亿级以上大数据量、高并发场景下查询的秒级响应。

实际使用中,业务人员往往会发现数据分析工作无法很好地满足上述需求。例如,提出一个业务逻辑较复杂的指标分析需求后,系统进入卡顿状态,需要几分钟甚至几个小时的时间才有响应,或者无法响应。这会导致指标分析的用户体验差以及部分分析场景无法实现。

2.6 指标缺乏统一的语义沉淀,使用范围受限

指标在数仓中开发,在BI中消费,但是企业的指标消费场景并不限于 BI,比如 DMP 和 CDP 平台、商家后台、营销平台等各种应用要承接数据分析的结果,触发运营管理动作。

综上所述,我们亟需一个能够有效解决指标统一管理、指标统一开发和指标开放服务问题的指标平台,既要快速满足业务灵活分析的需求,还能够切实保障指标口径的一致性与数据的准确性


3.数据指标平台的建设

3.1指标平台建设目标

指标体系设计是指标平台落地的第一步,企业需要建设一个强大的一站式指标平台,核心目标是实现指标全生命周期管理的落地,以及支撑指标应用。具体而言,指标平台建设的重点目标可以分为四个部分。

第一,实现指标资产的统一管理。指标平台要成为企业所有业务部门指标数据的唯一出入口,帮助企业有效沉淀指标数据资产,并从平台工具层面保证指标数据的一致性,解决指标孤岛、指标口径不一致问题。

第二,实现灵活高效的指标开发。指标平台需要能提供低门槛、易用、高效的指标开发功能,提升指标开发效率,从而满足持续增长的业务用数需求

第三,支撑高性能的指标查询。指标平台需要满足应用场景对于指标查询性能的要求,保证良好的用户体验。

第四,支撑丰富的指标应用。指标平台需要为用户提供统一的指标服务,支撑 BI、可视化指标异常预警和归因分析等丰富的指标应用场景。同时,指标平台需要提供低门槛的指标应用服务,便于业务人员开展自助分析


3.2数据指标平台建设的能力要求

数据指标平台,需要满足以下能力要求:

1)实现指标与报表解耦

数据指标平台需要将指标定义与管理抽象出来,确保其与报表设计分离,从而实现业务含义和计算逻辑的集中化管理

2)统一指标定义,规范管理

数据指标平台能够提供一个中间位置,用于定义所有关键业务指标。这样不仅实现了指标定义的统一性,还能确保在整个组织内的不同系统和应用之间实现指标一致,避免了各个团队间的口径不统一

3)提升指标生产效率

数据指标平台要实现指标的自动化生产,减少对工程师资源的依赖,实现高效的指标交付。

4)支持指标的灵活使用和分析

业务用户可以自助实现任意维度灵活分析,摆脱对专业技术团队的依赖。指标平台要能够支持灵活且多样化的指标应用,使得业务人员可以根据各自需求,自主进行数据探索和深入分析

5)提供开放化的服务

指标语义沉淀在统一的语义层,并通过各种标准接口对接包含 BI 工具在内的各种指标消费应用,实现一处定义,处处使用


3.3数据指标平台建设的流程

指标平台建设项目的具体实施一般包含方案设计、平台开发及部署、功能验证、场景落地等主要环节。

1)方案设计:基于需求调研,设计指标平台项目方案,完整内容主要包含指标体系设计ETL 方案、数据建模方案、指标平台功能模块设计以及系统集成方案。其中,指标平台功能模块设计是重点,需要根据企业的指标管理与应用需求进行综合考量。

2)平台开发及部署:根据方案设计,完成各功能模块开发、部署、集成和测试工作。在该环节,企业可以在采购市场上成熟指标平台产品的基础上,结合自身个性化需求进行平台开发,减少开发成本,避免“重复造轮子”,加速项目落地。

3)功能验证:完成平台开发部署后,需要接入指标数据,对数据接入、指标定义、指标开发、指标管理、指标服务等关键功能以及相关性能进行测试验证。

4)场景落地:在平台建设后期,为了让平台更好地投入运营,需要面向数据部门、业务部门等用户开展一系列培训工作,支撑场景落地。


3.4数据指标平台建设的方法论

为了达成指标平台建设目标,企业在进行平台建设或产品选型时,需要重点关注指标平台功能模块的完整性、指标引擎性能、指标平台易用性。

1)指标平台功能模块完整性

从功能模块设计上,指标平台需要围绕指标全生命周期,提供从指标定义、指标开发、指标管理到指标应用的完整功能。典型的指标平台功能模块规划如下图所示,需要具备的核心功能模块包括数据集成、指标引擎、指标定义、指标开发、指标管理、指标市场、指标应用、指标服务及平台运维。

其中,为了能满足多种数据应用的需求,指标服务模块需要能以指标 API、指标模型接口SQL、MDX等多种形式提供统一的指标服务。

2)指标引擎能力

指标引擎承载着平台的指标计算与查询任务,是满足指标查询性能要求、保证良好用户体验的核心。指标引擎主要通过高性能的 OLAP 引擎和计算加速引擎来提升整体指标查询性能。

OLAP 引擎需要具备较强的计算查询性能,支持 PB 级数据的秒级低延迟、高并发数据处理,此外还需要考虑其稳定性、易用性、生态兼容性、弹性伸缩、成本、安全性等因素。常用的 OLAP 引擎包括ClickHouse、Doris、Kylin、Greenplum、Druid、TiDB等。

在 OLAP 引擎基础之上,还可以进一步采用等智能建模、预聚合计算、查询优化等智能化技术构建计算加速引擎,进一步优化性能

3)指标平台的易用性

指标平台需要具备流畅的可视化操作界面,支持低代码、零代码、拖拉拽方式进行指标加工,支持业务用户自助使用。针对业务复杂度高的指标,需要去重聚合,使用 case when、开窗函数、分组排名、同环比等复杂处理逻辑实现时,需要支持通过工具进行快速配置。

此外,部分指标平台产品正在探索与大语言模型技术结合,提供自然语言交互、分析报告生成等能力,进一步提升指标平台的易用性、降低使用门槛。


3.5数据指标平台的功能

接下来,我们一起看一下指标平台包含哪些模块:

1)指标定义

功能:用于定义业务指标,包括指标的名称、描述、计算公式、数据来源、维度和度量等

核心能力:

• 指标标准化:确保所有定义的指标具有统一的格式和标准。• 计算公式管理:支持复杂计算公式的定义和管理。• 数据源配置:支持多种数据源的配置和集成。

2) 指标开发

功能:用于定义和开发业务指标,包括指标的名称、描述、计算公式、数据来源、维度和度量等,同时提供开发工具和环境,支持开发人员编写和测试指标计算逻辑。

核心能力:

• 指标标准化:确保所有定义的指标具有统一的格式和标准。

• 计算公式管理:支持复杂计算公式的定义和管理。

• 数据源配置:支持多种数据源的配置和集成。

• 可视化开发工具:提供拖拽式界面,简化指标开发过程。

• 版本管理:支持指标计算逻辑的版本控制和管理。

• 自动化测试:提供自动化测试工具,确保指标计算的准确性和稳定性。


3) 指标管理

功能:管理已定义和开发的指标,包括发布、维护和更新等。

核心能力:

• 指标地图:指标地图做法可参考数据地图,指标地图能够提升用户搜索全局指标效率,这里功能包括搜索跳转,平台热度指标top、用户收藏指标、指标域板块、指标个数

• 指标目录:指标目录通常展示指标信息情况以及指标新建情况,以及指标分类筛选(原子、派生、复合),通常是让用户通过规模化进行指标查看

• 权限管理:控制不同用户对指标的访问和操作权限。• 生命周期管理:管理指标从定义到废弃的整个生命周期。• 日志和审计:记录指标操作日志,支持审计和追踪。• 指标审批:难点在于数据表繁多,业务方并频繁修改指标口径,且变动中无版本记录,同时人工粗略审批再手动开通影响整体效率,甚至部分公司还没强管控规范。

无论是数仓还是指标平台都可用的指标审核链路如下:业务(运营等)发起->数据分析/数据产品(校验业务口径是否合理)->数据仓库(校验之前有没有做过这个指标,如做过则审批驳回,如没做过需要评估是否有数据源实现可能)->数据仓库/数据分析leader收口

• 指标监控:其实指标监控也能做成弱dqc,并且弱dqc也可以告警到飞书群里,所以这里的指标监控你加到dqc也行,单独做一个指标监控板块也行,现在报表也具备指标监控功能,主要还是把指标中心功能补齐(有则更好,没有的话也有替代品)。


4)指标分析

功能:提供数据分析工具,帮助用户深入了解指标数据。

核心能力:

• 可视化分析:支持多种图表和可视化工具,帮助用户直观地理解数据。• 数据挖掘:提供数据挖掘和分析模型,挖掘隐藏的业务洞察。• 自助分析:支持用户自助进行数据分析和报表生成。

5)指标服务

功能:用于构建和管理统一的业务指标语义层,确保所有业务指标具有一致的定义和解释。

核心能力:

• 统一语义层:提供一个统一的指标语义层,确保所有业务指标的定义和解释一致。• 模型管理:支持业务模型的定义、管理和维护,确保模型的正确性和一致性。• 模型共享:支持在不同业务部门之间共享统一的指标模型,确保数据一致性和可比性。• 模型优化:提供模型优化工具,支持对指标模型的持续优化和改进。• 数据整合:支持将多个数据源的数据整合到统一的指标模型中,提供全面的数据视图。


4.数据指标平台的运营

指标平台完成初期建设后,进入持续运营阶段。指标平台运营是让指标平台真正“用起来”,持续产生价值的关键。

4.1指标平台运营的目标

指标平台运营的目标主要有两方面:

第一,在企业内部推广更多的指标应用和用户,让指标平台用起来,持续产生业务价值;

第二,根据指标应用需求不断选代指标体系,同时制定和执行指标管理制度与流程,保证指标数据质量


4.2 指标平台运营流程

企业系统性初始化指标体系后,需要不断拓展指标应用并迭代指标体系,这个过程就是指标平台运营,核心流程包括应用场景采集、指标体系设计、指标口径确认、数据开发和指标应用运营,其中前两项工作在前文中有详细说明,下文主要是介绍后面三项工作。

4.3指标平台运营方法

企业需要建立一套组织、流程、技术相结合的运营体系。组织方面,需要明确为运营目标负责的组织、相应的组织架构以及各岗位角色的职责,并建立配套的沟通机制。流程方面,围绕指标需求评审、指标开发管理等核心运营流程,制定规范化的操作流程。此外,要借助技术手段为运营工作提供支持,依托OA、指标平台等系统工具,实现流程数字化和部分环节的自动化执行,提升运营效率。

1)指标口径确认:以指标委员会为核心领导组织,规范指标口径

为了统一管理指标需求,规范指标口径,企业通常可以设立专门的“指标委员会”,作为指标管理的核心领导组织。指标委员会一般隶属于数据治理委员会

围绕指标新增、变更、下线等需求的指标需求评审机制,是指标口径确认的关键机制。

2)指标开发管理

指标开发管理是按照指标评审结果,对原始指标进行指标要素拆解,通过在指标平台创建修改、上下线指标,实现指标从提需、评审到开发上线的强管控,从而使指标的开发与更改符合统一的指标体系的规范。该流程主要涉及到指标平台产品经理与数据开发团队的协作,同时可以通过指标平台中实现高效的指标配置和流程管理。

3)指标应用运营:从核心场景切入打造标杆案例,进行复制推广

指标平台运营的目标是让指标平台真正“用起来”,持续产生价值,需要通过一系列运营手段持续推广指标应用。

首先,需要树立起指标体系在企业内部经营体系中的权威性,让业务部门在同一套指标体系的牵引下开展运营和协作,避免“各自为政”。

其次,让业务部门感知和认可指标应用的价值,是指标应用运营成功的关键

在此过程中,组织方面可以建立数据 BP 机制,由数据部门向各业务部门分派数据分析人员担任数据 BP 角色。数据 BP的核心职责是作为深度参与业务运营,弥补技术与业务之间的鸿沟。


5.总结

指标平台在分析工具逐渐丰富的今天,弥补了数据仓库和前端应用中缺失的一环。有统计表明,超过 70% 的 BI项目都失败了,最终究其原因是用户用不起来、不会用数据分析工具把业务和数据进行转换。在这样的大环境下很多公司根据痛点,自己开发了指标平台。有了数据指标平台,规范了用户使用数据,又给用户创建多样的指标提供了便利,同时也可以用量化管理的方法来反映公司发展的关键性策略,这些从侧面说明了指标平台市场火热的原因所在。

(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用
产品功能
丰富的数据资产类型

该平台支持多种资源的定义和规划,包括数据库和文件等结构化和非结构化资源,并封装逻辑资源为数据产品,以全面盘点企业数据生产要素。

智能的目录活化管理

可配置的资产目录详细描述数据资源的各类信息,与元数据集成,实现批量盘点和自动更新,以应对资源变更。

多样的数据服务方式

平台管理的数据资源可快速开发多种服务,包括数据查询、下载、API、分析产品授权等高附加值服务。

全流程数据安全管控

平台内置自定义数据资产服务工作流,可根据权责划定服务审批对象,同时支持数据权限控制。数据消费者获取的数据会按照分级分类要求进行脱敏和加密处理。

可视化数据资产服务门户

平台盘点的数据资产以数据商品形式在门户中对用户开放,用户可通过分类、标签、评级和关键字检索查找资产并发起服务申请。

customer

在线咨询

在线咨询

点击进入在线咨询