导读 在 2025 年面向 Data+AI 的数据治理峰会的数据治理总论坛中，国际数据管理协会大中华区副主席代国辉老师，以“企业级非结构化数据管理实践及思考”为题，深入探讨了企业中的非结构化数据管理的历史实践案例、参考框架以及未来趋势,并结合了华为、阿里蚂蚁等大型企业的 ECM 实践。
本期内容会围绕下面几点展开：
1. 非结构化数据发展历史及现状
2. 非结构化数据管理实践案例
3. 非结构化数据管理参考框架
4. 对非结构化数据管理的未来思考
01
非结构化数据发展历史及现状
人类数据发展历程大致可以划分为以下阶段：
非结构化数据的萌芽与主导时期（公元前 3000 年-20 世纪中期）
公元前 3000 年左右，古苏美尔人发明楔形文字，并首次通过文字记录财务与货物信息，开启了人类历史的数据之路。
纸张发明（公元 105 年）后，非结构化数据载体进一步普及，其应用延续至今。
19 世纪末至 20 世纪初，照相机、收音机、电视机等技术的出现，使图像、音频、视频等非结构化数据形式逐渐丰富。
计算机时代的技术融合（1946 年后）
1946 年首台计算机诞生后，非结构化数据开始与新技术结合。
1998 年谷歌推出搜索引擎，首次实现对大规模非结构化数据的检索应用。
大数据与智能化时代（21 世纪以来）
2005 年"大数据"概念提出，其核心特征即包含大量非结构化数据。
2007 年社交媒体普及和智能手机面世，极大推动了非结构化数据的生产与交互效率。
2020 年后 AI 技术突破（如 GPT 的推出），标志着非结构化数据处理进入智能化新阶段。
从楔形文字到现代 AI，人类数据发展始终以非结构化数据为主导形态。它的载体从泥板、纸张演进到数字存储，处理方式从人工记录发展为智能计算，非结构化数据的核心地位贯穿整个 5000 年历史进程。技术革新始终围绕如何更高效地存储、检索和利用这类数据展开。
随着技术发展与时代进步，非结构化数据的应用范围正迅速扩大。这种数据形式与社会生活、日常消费及休闲活动的关联日益紧密，已渗透到人们生活的方方面面。
例如每个人日常接触到的短视频、音乐、微信文章，以及工作中通过百度、谷歌等搜索引擎获取信息或借助大模型生成内容等场景，均属于非结构化数据的典型应用。
这些案例充分表明，非结构化数据已深度融入现代社会的各个领域，其使用场景正变得愈发普遍和多样化。
非结构化数据是指无法通过传统关系型数据库进行整齐存储且缺乏固定内部结构的数据类型。
主要特征表现为数据格式不规则、难以通过预定义模式进行组织。
这类数据主要包括文本、图像、音频、视频等各类文件档案，既涵盖电子形式的文档（如电子邮件、网页等），也包含实体形式的纸质档案。在日常生活、工作及学习中，人们接触到的各类文件资料普遍属于非结构化数据范畴。
从整体来看，非结构化数据在企业数据中占据主导地位，占比超过 80%，且年增速达 60% 以上，远高于结构化数据的增长速度。其类型多样，不同数据类型需采用差异化的处理技术和管理流程，导致统一管理难度较大。
当前，企业虽已广泛应用数据仓库或大数据平台等工具，但针对非结构化数据的整合性管理仍较为缺乏，多数情况下呈现分散存储和管理的状态，且缺乏统一的治理框架与平台支持。随着生成式 AI 技术的快速发展，非结构化数据在应用场景中的重要性日益凸显，其价值在当下技术趋势下已显著超越结构化数据。
根据 IDC 和华为的预测数据显示，未来数据增量中非结构化数据占比将持续占据主导地位。IDC 的预测显示该比例将长期保持在 80% 以上，而华为的预测进一步指出这一比例将随时间推移持续攀升。两大机构的预测共同印证了非结构化数据在数据总量中的核心地位，这也意味着非结构化数据管理的重要性将随着数据规模的扩张而日益凸显。
（1）以结构化数据为中心
当前主流的数据管理方法论体系主要围绕结构化数据展开，而非结构化数据管理尚未形成统一规范。无论是国际实践（如 DAMA 和 EDMC，DAMA 数据管理框架虽提及文档和内容管理，但整体逻辑仍以结构化数据为核心），还是国内标准（包括 DCMM、GB/T 34960.5-2018 数据治理国标、银行业/制造业/通信行业等行业的数据治理指南等），其方法论设计均以结构化数据为中心。
尽管部分框架涉及非结构化数据的管理要素，但整体方法论架构、治理流程及技术路径均未突破结构化数据主导的范式，尚未建立针对非结构化数据的系统性理论框架和实践指南。
（2）非结构化数据的治理
在信息化和数字化进程中，结构化数据与非结构化数据之间存在天然的协同互助关系，二者相互依存并共同支撑业务流程的数字化运行。
从数据分布来看，业务活动中的数据可分为两类：一部分是符合固定格式、便于分析的结构化数据，另一部分则是与文档内容相关的非结构化数据。这种数据类型的区分反映了二者在业务场景中的不同表现形式，同时也体现了其协作支撑业务流程的整体作用。
从数据管理来看，传统结构化数据管理主要涵盖数据集成、主数据管理、数据仓库建设以及数据分析等环节。而以 ECM（企业内容管理）为代表的非结构化数据管理则涉及文档、音视频、图片、网页、档案等多媒体及非结构化文件的管理。尽管两类数据管理在对象和方法上存在差异，但其底层平台系统并非完全割裂，如工作流、搜索引擎等技术可被双方共用。
在实际应用中，许多单位在制定后续的数据规划时，已将数据治理作为核心内容。通常路径是先完成结构化数据治理领域的建设，随后逐步向非结构化数据管理领域扩展。但相较于结构化数据拥有成熟的参考框架和方法论，非结构化数据管理目前仍缺乏系统性的理论支撑与标准化实践方案。这一现状导致非结构化数据治理的推进面临更多技术与方法上的挑战。
在人工智能时代，主要互联网企业的AI产品（如百度、腾讯、阿里、字节等）展现出共同的技术特征：其核心构成均围绕文本处理、大模型应用以及音视频与影像处理等非结构化数据的处理展开。这表明非结构化数据已成为当前 AI 技术发展的主战场，因此如何有效管理和利用这类数据，成为推动人工智能应用深化的关键所在。
02
非结构化数据管理实践案例
非结构化数据管理的实践案例，进一步阐述在非结构化数据管理工作的实践过程。
该案例源于知识管理热潮及萨班斯法案推动企业重视信息治理的背景。
作为传统型企业，我们借鉴业界经验，从广义知识管理体系出发，重点解决非结构化数据管理问题。通过实践发现，企业显性知识虽仅占 20%，但其价值贡献超过 80%。
（1）显性知识拆解
我们将非结构化数据中的显性知识进行拆解，并利用非结构化与结构化数据可相互转换的特性，构建了两方面的应用：一是为员工提供知识文档以提升工作效率，二是为管理者提供决策参考信息以改善企业绩效。这一策略将显性知识的高价值转化为实际管理效能，实现了知识管理与企业运营的深度结合。
（2）以 ECM 为实现路径
在过去知识管理实践探索过程中，我们与多家国外厂商进行了深入交流，包括 EMC、IBM、Interwoven、Open Text 等企业。通过这些交流发现，要有效实施知识管理，必须以企业内容管理（ECM）为实现路径。因此，我们决定将原有的文档管理进行升级扩展，将其纳入更系统化的文档与内容管理体系中，作为推进知识管理战略的核心方向。
（3）整体分阶段构建体系
企业内容管理（ECM）体系的构建遵循整体规划分步实施的策略，尤其在第三阶段知识管理阶段，重点通过聚合非结构化数据形成统一管理体系。其核心举措是将 ECM 确立为企业 IT 架构的重要组成部分，旨在整合分散的非结构化数据资源。在此过程中，企业 IT 部门积极承担实施责任，推动该体系与企业整体架构的深度融合，从而实现非结构化数据管理的系统化与规范化。
IT 部门将 ECM（企业内容管理）纳入企业级架构规划后，通过架构管控机制确保后续非结构化数据平台只能统一集成，从而从架构层面保障了平台的统一性。这一举措通过顶层设计实现了非结构化数据管理的集中化，避免了多平台并存的情况，确保了非结构化数据系统的一致性和规范性。
随后，平台经过逐步建设，该平台以内容平台为底层架构，主要包含文件管理、档案管理和多媒体三大应用模块。在系统集成方面，与 E-Learnig 系统、门户系统及统一搜索平台实现了功能联动。社区管理部分采用了 IBM Connection 工具。通过整合上述平台架构，逐步构建起一套完整的体系，最终目标是实现对非结构化数据的统一化管理。
（4）ECM 总平台建设方案
在选择过程中，采用 EMC² Documentum 作为 ECM 平台，分三期逐步建设：
第一期：电子文档管理（DM 管理）以电子文档管理为核心，实现基础文档存储与管理功能。
第二期：多媒体管理拓展至多媒体内容管理，即数字资产管理，提升对多媒体文件的管理能力。
第三期：业务流程与档案管理整合将前端业务流程与后端档案管理系统打通，上线档案管理功能，实现全生命周期管理。同时，为增强非结构化数据的服务能力，部署了内容集成中间件 ECI，用于将 ECM 平台数据同步至其他业务系统，实现跨系统内容服务。
这三期建设，依次聚焦文档基础管理、数字资产管理、业务档案一体化，并通过中间件实现内容服务在多个系统间的扩展。ECI 便是作为 ECM 对其他系统提供统一的内容服务时的非常重要的集成中间件。例如，通过 ECI 中间件，ECM 系统中的大量内容能够同步至相应的门户系统。该中间件通过实现各模块间的数据映射，使不同功能模块可以高效对接，从而确保门户系统在保持功能完整性的同时实现轻量化运行。
此外，非结构化数据管理的系统落地实施需要结合战略项目推进与日常运营，内容如下：
核心要义
非结构化数据管理的实效性关键在于：必须依托明确的实体责任部门（如文档知识管理中心）和具体的业务场景条件，通过制度化、常态化的管理体系实现深度融入，而非仅停留在项目化运作层面。这种"战略-执行-考核"的闭环设计，确保了管理工作的持续性和落地效果。
项目与日常管理的衔接
非结构化数据管理虽常以项目形式启动（如分阶段推进的一期、二期、三期工程），但最终需转化为常态化工作。集团明确将数据管理职能纳入文档管理部门（即文档知识管理中心），通过实体部门实现持续化运行，避免仅依赖短期项目模式。
战略规划与执行机制
通过制定文件、档案、知识一体化管理的战略地图，系统化推进工作；
战略地图每年更新迭代，确保管理策略与业务发展同步；
将文档知识管理纳入集团绩效考核体系，强化执行力度；
在部分年度将其列为集团级战略重点，保障资源投入与优先级。
2020 年的《华为数据之道》一书由华为数据管理部主导编写，其内容以结构化数据管理方法论为核心，非结构化数据管理并非重点论述内容。书中在涉及非结构化数据管理时，延续了整体以结构化数据为主的框架体系，相关描述未作为核心内容展开。
其中，华为提出的非结构化数据管理模型主要涵盖三方面内容：元数据管理、数据内容以及分析算法。该模型通过数据技术实现对非结构化数据分块的处理与数据湖入湖应用，并明确了数据入湖过程中元数据采集的具体要求。由于数据部门以都柏林核心元数据集为主导进行元数据采集，因此元数据采集的内容和规模相对精简。整个体系围绕核心数据要素展开，确保数据管理流程的高效性和针对性。
在华为，数据管理部是以管理结构化数据为主的。在非结构化数据管理领域中则主要以文档管理为核心实践，其体系构建经历了系统化规划与资源整合。最终，华为通过多期文档管理项目实践，成立了专门的"档案和公文管理中心"，进一步强化了文档管理在非结构化数据治理中的核心地位。这一实践路径印证了非结构化数据管理需依托现有管理基础逐步落地，并通过体系化组织架构保障企业级数据管理的有序执行。
蚂蚁集团在档案管理工作中，通过对比行业优秀实践，梳理出从 ECM（企业内容管理）到 CSP（云存储提供商），再到智能信息管理(IIM)和以内容为中心的智能体（CCA）的发展路径。
2019 年前后，由于作为快速发展的互联网公司，其档案管理基础工作存在不足，与行业标准相比处于滞后状态。当时，内部工具语雀仅能支撑文档管理（DM）层面的需求，缺乏系统性档案管理能力。
为此，团队提出体系化规划，分阶段推进档案管理建设，并向 CEO 汇报了按此路径实施的项目方案，通过体系化分步建设逐步完善档案管理体系。
ECM（企业内容管理）的发展进程通常经历三个阶段：从基础的档案管理起步，逐步过渡到文档一体化管理，最终向企业级内容管理演进。在向 CEO 汇报的一期档案管理项目中，提出了以数智化转型为核心的整体框架。该框架的核心方向是从传统线下服务模式转向以线上服务为主导，其实施路径以平台建设作为主线推进。同时配套建立了机制保障体系和组织保障措施，确保数智化转型目标的顺利实现。
整个方案围绕服务模式转型、平台建设、保障机制三大维度展开，形成完整的实施逻辑。
平台建设初期借鉴了行业现有实践，制定了整体架构设计，以基座为基础，逐步构建包含文件档案管理及知识管理体系的完整 ECM 框架。
在实施阶段，优先将档案管理作为一期核心内容，因其具备相对较低的实施难度和明确的切入点；后续阶段则计划逐步扩展其他功能模块，以分步推进的方式完善平台能力。
经过一期架构规划后，蚂蚁集团作为科技驱动型公司，在架构规划中充分利用自身技术能力构建了中台系统，中台能力主要基于其自有技术实现。上层档案应用层功能（包括档案生命周期管理及处理流程等）则由外部厂商负责开发。经过一段时间的建设后，该平台已成功上线运行。
03
非结构化数据管理参考框架
显然非结构数据管理如果有一个统一的参考框架或者方法论，将对开展非结构数据管理工作有很大的帮助。
（1）ECM 为主导的管理体系
非结构化数据与结构化数据在管理方式上存在显著差异，传统结构化数据管理方法并不适用。基于长期实践经验（20 年），企业级非结构化数据的统一管理应遵循以 ECM（企业内容管理）为核心的方法论。这一方法论的形成既源于两类数据本质特性的差异分析，也通过持续实践验证了 ECM 在非结构化数据管理场景中的适用性，形成了当前以 ECM 为主导的管理体系。
（2）ECM 系统的核心特点
ECM 基本模块
在传统 IT 信息化时代，ECM（企业内容管理）和 ERP（企业资源计划）是两个规模庞大的系统。
当前许多单位在实施 ECM 时仅覆盖了部分功能模块，普遍存在不完整的情况。例如，部分单位仅实现了影像管理或文档管理，少数涉及档案管理（如中国核电的实践），而更多单位仅完成了其中某一环节。
完整的 ECM 系统应包含至少十个模块，包括但不限于文档管理、数字资产管理（处理多媒体、图片、影像）、档案管理、数字权限管理、网页内容管理、门户（Portal），以及与知识管理和 BPM（业务流程管理）的整合。这些模块需共同覆盖文本、图像、音频、视频等非结构化数据的统一管理，同时整合权限控制、内容展示及应用场景。只有通过这种全局性的整合，ECM 才能真正承担起企业非结构化数据的集中化管理职能。
非结构化数据以文件档案为管理对象，可分为内存文件和外来文件两类。在数据管理过程中，除常规外部数据管理外，针对文件档案或非结构化数据的外来文件管理同样需要系统规划。
从生命周期的角度，其生命周期可通过统筹串联各阶段进行整体规划和管控，但需根据责任分工由不同部门在不同阶段分别承担相应职责，实现全流程协作管理。
ECM 价值链服务
选择 ECM，除了管理模块众多以外，还有一个核心特点 ECM 能跟整个企业的价值链进行全面对接，实现企业级非结构数据的统一管理和内外部的协同。
确认 ECM 是非结构化数据管理的主流方法的实践案例：医药行业非结构化数据量大且具有周期关联性，其数据贯穿从药物发现、研发、生产到市场推广的全价值链，并与质量管理、人力资源、财务管理等环节的业务过程紧密相关。通过结合非结构化数据的类型、生命周期特征以及与业务价值链的对接逻辑，可以明确 ECM（企业内容管理）作为非结构化数据管理的主流方法，能够有效整合医药行业全链条中分散的非结构化数据，形成系统化的数据管理解决方案。
ECM 并非固定不变的技术体系，Opentext、AllM 等机构认为传统 ECM 会向 IIM 智能信息管理方向演进。Opentext 将内容管理划分为不同阶段，并延伸至机器人流程自动化及机器间交互（类似当前的智能体技术）。其核心理念是让系统不仅能进行事实性分析，更要能指导用户采取最优行动。AIIM 则提出了智能信息管理的概念，强调技术工具与流程的结合。
当前非结构化数据管理的发展路径，印证了早期技术方向的前瞻性判断，表明其演变始终遵循着从基础管理向智能化决策支持逐步深化的轨迹。
（3）标准文件数字化成熟度
非结构化数据及文件档案管理中的标准化工作遵循数字化成熟度的不同阶段发展。
当前主流方法以文档为中心（L1 阶段），随后逐步细化至段落、句子层级，再深入到词或数据等细颗粒度单位，最终阶段则以智能化为中心。这一演进路径表明，传统的以企业内容管理（ECM）为核心的处理方式需与新技术融合，以适应从粗粒度到智能化的标准化需求发展。
（1）非结构化数据管理的逻辑框架
非结构化数据的管理体系的逻辑框架分为七个核心环节：
战略与治理：从非结构化数据战略规划出发，明确治理机制，确保数据管理的顶层方向；
基础设施与资源构建：搭建支撑非结构化数据存储与处理的基础设施，实施数据资源规划、盘点、分类编码，并形成数据资源的应用场景；
数据架构与数据标准：形成标准化的非结构化数据架构、模板与流向关系，建立非结构化数据的命名标准、格式标准、内容标准以及元数据标准；
全生命周期管理：既要有不同类型非结构化数据生命周期的设计，也要对非结构化数据覆盖数据采集、存储、使用到销毁的完整周期，确保各环节的有序衔接；
质量与安全控制：在非结构化数据管理全流程中强化质量监控，同步落实安全防护措施，保障数据可用性与合规性；
数据运营：通过前序环节形成持续稳定的非结构化数据资源和供给能力，支撑业务场景的数据应用与价值挖掘；
AI 融合应用：双轨推进数据与 AI 的协同——一方面向 AI 提供非结构化数据作为训练与分析的原料，另一方面借助 AI 技术优化数据治理流程（如自动化标注、智能分类等），形成数据管理与 AI 技术的双向赋能。
（2）结构化与非结构化数据治理框架差异
结构化与非结构化数据治理框架虽整体相似，但存在显著差异，这些差异贯穿治理框架的多个环节：
数据架构层面：非结构化数据治理涉及分类及与结构化数据模型类似的逻辑划分，但其模板设计与结构化数据存在明显不同；
标准体系：非结构化数据的标准分为命名标准、格式标准、内容标准和元数据标准，与结构化数据的标准体系不同；
质量构成：非结构化数据质量不仅包含数据对象本身，还需考虑模板、流程、元数据及内容等多维度因素；
AI 技术应用：非结构化数据治理可结合图像生成、文本生成等技术（如部分企业已采用的技术），实现与应用场景的深度融合。
（3）非结构化数据的标准
元数据标准
以该 PDF 文件为例，阐述了数据标准中内容与元数据的区分。文件本身包含具体信息，而元数据则指的是描述该文件的辅助信息，具体包括编号、名称、日期、单位等要素。
所以我们来看数据标准在非结构化数据里面，既要有通用性的元数据，又要有专业性的元数据。
非结构化数据的元数据标准因文件类型不同而具有显著的专业性差异。以合同为例，其元数据包含对方信息、我方信息、价款等专业字段，这些内容在普通文档中通常不存在。而公文类文件则需记录紧急程度、拟稿人、会签流程等特定信息。
由于不同文件类型的元数据属性具有独特性，其标准无法统一为单一模式，需根据具体场景制定多套标准。部分咨询公司因缺乏经验，仅按文件大类提供元数据方案，导致分类方式不够精准完整，未能覆盖专业场景下的元数据需求。
相应著录规则
在非结构化数据标准的构建中，完整的数据标准需包含元数据标准与相应的著录规则。
元数据标准不仅需通过数据字典等工具定义基础属性，还需进一步明确数据录入规则，例如日期字段的计算逻辑、适用场景及格式规范。以日期为例，需规定具体日期值的计算方式（如时间差、周期计算等），并制定统一的格式标准（如 YYYY-MM-DD），确保数据处理的规范性和一致性。因此，数据标准的完整性依赖于元数据定义与规则制定的双重保障，二者缺一不可。
结构化数据因其采用二维表格形式，呈现出直观且规范的特点。在文本或文档领域同样存在类似的规范性要求，但许多单位尚未充分注意到格式标准化的重要性。两者的核心差异体现在结构化数据已通过固定框架实现了规范化表达，而文本类信息的标准化管理则尚未得到普遍重视。
格式标准要求
内容标准是数据质量管理的重要组成部分，其核心涉及数据完整性、一致性等要求。对于非结构化数据而言，同样存在特定的内容标准规范。不同类型的文件因其特性差异，所需遵循的内容标准也呈现显著区别，例如仅以某一类文件为例，各类文件在内容标准的具体要求上可能存在较大差异。
质量管理要求
质量管理除了有清单来保证完整性，还有模板或者文控流程来把控等。这样就可以在流程设计上保证非结构化数据的质量，所以当流程设计本身有问题的话，就会导致一些非结构化数据或者是文本质量无法保证。
响应 AI 应用需求
AI 应用通过 OCR 技术将图像中的文本转化为结构化数据，并结合企业制度文本作为训练数据，用于训练制度领域的自动生成模型（或大模型）。具体流程为：利用 OCR 识别图像中的文本内容，将其结构化后，与企业现有的制度文本共同构成训练集，最终实现制度文本的自动生成。
04
对非结构化数据管理的未来思考
当前结构化数据与非结构化数据之间存在必然联系与依存关系，二者相互支撑、相互依赖而非完全割裂。
然而，现有管理模式中，许多单位将结构化数据管理集中于数据管理部门，而非结构化数据管理则高度分散：技术文档由技术文档部门负责，公文归公文部门管理，制度文件（SOP）另设专门部门，项目文档由其他部门分管，影像、图片及视频等又交由文化相关部门处理。这种多部门分散管理的模式，导致非结构化数据的管理职能碎片化。
战略与治理机制构建顶层战略治理机制，统筹管理数据整合的规划、决策及规范制定，确保结构化与非结构化数据管理的协同性。
基础设施与中台能力搭建统一的基础设施，整合结构化与非结构化数据的存储、计算资源，并通过数据中台能力实现数据的统一接入、处理及服务化输出，同时融入AI技术支撑智能化处理。
数据治理与内容治理
数据治理：涵盖数据结构化处理、标准化转换及质量管控，确保数据规范性。
内容治理：针对非结构化数据的内容特性进行专项治理，包括分类、标签化及语义分析等。
数据归集与标准化通过平台将多源数据（结构化与非结构化）归集，按标准化规则进行清洗、转换，形成统一的数据资产。
主题化与应用服务将标准化后的数据按业务主题组织，构建主题库/专题库、数据集、指标库、模型库及知识库等资产，并基于此面向不同业务场景提供定制化服务与应用支持。
运营机制保障建立配套的运营机制，包括数据生命周期管理、权限控制及持续优化策略，确保数据管理框架的有效运行与价值实现。
框架以整合为核心目标，通过分层设计实现数据从采集、治理到应用的全链路管理，最终通过标准化资产与智能化能力支撑前端业务需求。
拥有一体化数据管理框架后，还可以进一步整合管理体系成为流程-数据-知识一体化管理体系。该管理体系通过流程、数据与知识的有机整合，构建了一个闭环的协同机制。
核心逻辑为：向前端业务流程提供协同支持，向后端通过知识沉淀形成训练 AI 的数据基础，同时打通流程与知识的交互通道。
具体表现为：业务流程化将操作规范转化为标准流程，流程数据化实现执行过程的数字化记录，数据知识化则通过沉淀经验形成知识资产，最终将知识反哺至业务流程，通过 AI 代理（Agent）、RPA 技术或员工培训等方式完成应用闭环。
在数字时代背景下，员工需要具备双重数据能力以适应职场需求。
具体而言，除了掌握结构化数据及基于此类数据的 BI（商业智能）分析能力外，还需深入理解非结构化数据的应用，并结合 AI 技术开展相关实践。这种综合能力将有助于企业在数字化转型中更好地应对时代挑战，实现职场竞争力的提升。
（部分内容来源网络，如有侵权请联系删除）
