轻工制造企业搭建一站式数据应用平台解决方案

朦胧的青春

2022-12-08

亿信华辰一站式数据应用平台的总体架构如下：以数据仓库建设为基础，以应用报表平台和数据补录平台为支撑，进行报表分析、领导驾驶舱、数据补录等应用，为领导人员、业务人员、系统管理人员等提供统一的访问门户。

汇聚全局业务数据后关联打通，业务架构基于人、财、物、场景方法论，构建人才、项目、财务、客户等指标及KPI体系，从而完成数据采集、数据治理、数据分析到数据应用的企业数据服务全流程管理。

为了构建满足企业精细化管理要求的完整、集约、一致、多维、高效、易用、良好的数据基础，挖掘数据价值，促进数据管理及应用能力提升，亿信华辰按照三步走方法论进行平台建设：

第一步，数据仓库建设，构建统一的数据视图，实现数据统一共享，同时对数据仓库进行全生命周期管理；
第二步，数据采集补录，按照数据标准和采集规范进行明细数据补录与统一存储；
第三步，提供多种数据分析应用，提供多效一致的数据应用和构想，满足多种灵活便捷的数据获取方式，支持数据挖掘和多维度综合分析，促进业务能力提升。

第一步：数据仓库建设
数据仓库分成4层进行建设：
第一层：数据源层。汇聚业务系统数据，包括人力、项目、财务共享、财务单据、安全生产平台、设备共享、OA、党建系统的数据源，通过GDBC、API接口、文件等形式对数据源进行连接。
第二层：ODS层。数据连接后进行抽取，形成ODS层，进行ODS层建模。
第三层：整合层。经过对数据的整合、处理、清洗等，形成整合层数据主题域，一级主题域包括生产管理、财务管理、商务管理、劳务人员管理、设备管理等。
第四层：集市层。构建人才、项目、安全、知识库等主题集市，为数据分析提供基础。

整个数据仓库模型建设秉承以下四大原则：
第一，模型中性原则。整合层模型原则上不为任何特定的应用进行针对性的设计，模型不会由于现有应用的变动或者对新应用的支持而在结构上重构；整合层模型对重要业务元素及业务规则进行规范化处理，例如所有个人客户、团体客户、代理人等都统称为当事人，它是一个中性的概念，可以包含所有的个体以及各种可能的组合。
第二，模型一致性原则。作为数据仓库设计的基础，逻辑数据模型必须在设计过程中保持统一的业务定义，比如当事人的分类等应该在整个企业保持一致，将来各种分析应用都使用同样的数据；统一业务定义，使将来不同应用系统的开发人员在进行应用设计和展现时都使用同样的语言。
第三，模型灵活性原则。基础明细区模型是一个基本上满足第三范式要求的关系模型，这种建模方式可以最大程度上减少数据冗余；同时保证模型的灵活性和可扩展性，在模型设计过程中可以“想大做小”——在有一个全局规划的同时，选定某些部分入手，然后再逐步完善。
第四，模型粒度性原则。为了满足将来不同的应用分析对数据的需要，基础明细区模型能够提供最小粒度的详细数据，以支持各种可能的分析查询。

数据仓库模型建设的步骤分为：调研与分析、逻辑模型设计、物理模型设计、数据映射和ETL开发测试。

其中，ETL开发建立映射文档中源表与目标表的映射关系，通过ETL开发工具进行落地开发。亿信华辰平台内置ETL开发工具、封装相关组件，通过组件拖拽的方式，就可以完成ETL过程流，完成数据的整合、处理和清洗。

业务数据每天产生，需要同步到对应的层，通过ETL工具控制ETL作业的执行时间、执行频次，进行数据的调度处理，调度结果可以通过邮件或短信的方式发送给负责人做出处理。

第二步：数据采集补录
数据补录是通过批量采集、实时采集、接口采集、填报采集、互联网采集等一系列手段完善数据仓库，搭建数据中心，通过数据中心作为统一入口，实现要素融合、数据共享及决策支撑。

数据补录平台可以方便业务人员录入数据，实现经营概要表、设计填报表、工程填报表、成本填报表、销售&财务填报表、现金流表、损益表、增值税计算表的录入查询标准化、便捷化、准确化。

第三步：数据分析应用
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，加以汇总和理解并消化，以求最大化地开发数据功能，发挥数据价值。

数据分析的步骤分为以下6步：明确目标、收集需求、梳理指标、取数和建模、制作报表、展现结果。数据分析常见的应用模式分为数据模板、固定报表、即席分析、PC报表和大屏端分析。

模式1：数据模板
数据模板主要针对相对确定、指标相对固化的主题，例如财务主题、人力主题等，通过定制化数据模板，提供自助查询模式的多维查询、高级查询、结果编辑、信息展示功能。

模式2：固定报表
固定报表是对日常生产经营表格的呈现，通过选择简单的查询参数（如机构、日期等），作为生成固定报表的参数输入，根据选择的报表参数，按照既定的报表模板，自动统计并展示固定格式的报表内容。

模式3：即席分析
在即席分析下，需要做到第一统一标准，统一定义管理信息的业务含义、统计口径、加工规则等，消除口径不一致；第二灵活用数，在满足信息安全的前提条件下，支持用户灵活自主用数，迅速响应外部监管和内部管理的统计需求，提高数据报送效率，降低数据统计成本，改善用户体验；第三功能拓展，支持管理信息的下钻与关联分析，提高数据质量，促进业务能力与数据管理能力提升，支持经营管理决策；第四效率提升，通过指标去重算法，实现全行指标的去重整合，释放系统性能，提升管理效率，节约管理资源。

模式4：PC报表
PC端报表可以设计复杂的综合表格，通过图表形式展现经营分析数据。

模式5：大屏端分析
通过大屏端可视化展现，可以实现管理层决策驾驶舱/仪表盘，直观展现经营管理和风险动态，支持管理层经营管理决策。

在数据分析应用方面，A企业的第一个项目成果是实现数据分析可视化，根据不同的应用场景拆分为大屏端分析、PC端报表平台、PC端即席分析以及系统管理。

其中，大屏端分析主要应用于实时监控预警或在展厅汇报等场景；PC端报表平台主要是针对日常生产经营的报表进行统计分析，例如收入类、费用类、销售类等；PC端即席分析是在报表分析的基础上，将数据分析能力赋予企业中层或基层人员，可以快速查看数据存在的问题，进行数据上报；系统管理提供基础的管理功能，包括用户管理、权限管理、门户配置等。

第二个项目成果是数据融合数据挖掘，通过多维度、多类型、深层钻取各种综合图表，形象展示A企业运行的关键指标，直观监测A企业总部及分子公司的运营情况，并可以对关键指标实现预警和下钻挖掘，为集团及业务、分子公司分管主管领导和各部门领导提供智能决策支持。