一、数据管理的定义
“数据管理”指的是要对进入管理决策框架的数据源进行完整性、原始性、不可抵赖性的实现管理;要对基础数据口径和后续加工规则、算法等进行标准化、规范化、可追溯的描述管理;要对数据空间涉及的所有数据,进行合理组织、物理分区、数据结构的定义,实现全面科学、统分结合、访问高效的控制管理;要对内容、变化、历史、状态等涉及的所有数据增值过程,进行全面质量管理和全过程的生命周期管理。
二、数据管理职能
数据管理职能和实施规模范围因组织的规模、理念和经验的不同而有很大的区别。但即便实施细则有很大的差异,各个组织的数据管理本质仍然是一样的。广阔的范围总体来说,数据管理包括以下十大职能:
1、数据治理——在数据管理和使用层面之上进行规划、监督和控制;
2、数据架构管理——定义数据资产管理蓝图;
3、数据开发——数据的分析、设计、实施、测试、部署维护等工作;
4、数据操作管理——提供从数据获取到清除的技术支持;
5、数据安全管理——确保隐私、保密性和适当的访问权限等;
6、数据质量管理——定义、监控和提高数据质量;
7、参考数据和主数据管理——管理数据的黄金版本和副本;
8、数据仓库和商务智能管理——实现报告和分析文档和内容管理,并管理数据库以外的数据;
9、元数据管理——元数据的整合、控制以及提供元数据。
三、数据管理内容
数据管理如果以周期而论,管理的其实是数据资产的整个生命周期。如同任何其他资产一样,数据资产也具有生命周期,企业管理数据资产,就是管理数据的生命周期。数据先被创建或获得,然后存储、维护和使用,最终被销毁。在其生命过程中,数据可能被提取、导入、导出、迁移、验证、编辑、更新、清洗、转型、转换、整合、隔离、汇总、引用、评审、报告、分析、挖掘、备份、恢复、归档和检索,然后最终被删除。有效的数据管理是指数据的生命周期开始于数据获取之前,企业先期制定数据规划、定义数据规范,以期获得实现数据采集、交付、存储和控制所需的技术能力。
数据管理除了常规的结构化数据外,也存在诸多非结构化数据。结构化的格式存储在数据库、平面文件、有标记的电子文件中,数据也存在于许多不甚严谨的格式中,例如:电子邮件,其他格式的电子文件、纸质文件、电子表格、报表、图形、电子图像文件,以及音频和视频录音等。通常情况下,80%企业的数据资产以非结构化格式存储。数据在其存储空间流进和流出,并被包装在信息产品中交付使用。
四、为何要做数据管理
1、节省时间和成本
数据可以为企业带来重大价值,通过数据管理工作,企业的数据将得到简化,因此企业可以使用更少的空间来存储它,并且用户可以花费更少的时间来寻找它。
2、增强的合规性和安全性
企业使用数据管理平台对数据进行处理和收集,就会优先考虑数据的合规性和安全性。不管企业所在的行业对数据处理有没有严格的监管准则,一旦使用数据管理平台进行自动化管理,企业都会让数据处于安全且合规的环境下。
3、数据分享
数据管理工作致力于通过数据可视化和支持分析将原始数据和非结构化数据转换为更易于访问的格式。
4、更可靠和准确的数据集
无论企业的数据来自何处,都有可能出现错误和不准确之处。数据管理通过添加自动化、保护措施和流程来识别和根除不可靠的数据为企业提供帮助。
5、高效的数据访问
数据管理支持标记、搜索和通知,因此用户可以在正确的时间找到重要数据。
五、数据管理的三个阶段及特点
1、人工管理阶段
特点:数据不保存、系统没有专用的软件对数据进行管理,每个应用程序都要包括数据的存储结构、存取方法和输入方法等、数据不共享、数据不具有独立性。
2、文件系统阶段
特点:数据可以长期保存在计算机外存上,可以对数据进行反复处理,并支持文件的查询、修改、插入和删除等操作、文件系统实现了记录内的结构化,但从文件的整体来看却是无结构的、其数据面向特定的应用程序,因此数据共享性、独立性差,且冗余度大,管理和维护的代价也很大。
3、数据库系统阶段
特点:数据结构化、数据共享性高、冗余少且易扩充、数据独立性高、数据由DBMS统一管理和控制。