高质量数据集怎么建、怎么评？

本文基于中国信通院《高质量数据集建设和标准化情况介绍》，拆解高质量数据集的定义、建设难点、核心能力与落地路径，梳理行业标准化进展与质量评估体系，为数据集建设从业者提供参考。

这段时间接触了不少做数据相关工作的人，大家都在提高质量数据集，但具体怎么算高质量、怎么建设、怎么评估，很少有人能说完整。中国信通院发布的这份报告里，对这些内容有系统的梳理，下面把核心内容拆解开。

下图梳理了从建设到评估再到优化的完整链路，可快速建立整体认知：

先聊大家最关心的问题：怎么判断一个数据集的质量高低。根据中国信通院《高质量数据集建设和标准化情况介绍》，行业内已形成一套数据集质量评估体系（ADAQ），包含评估方法、工具平台、测试流程和配套服务四个部分。这套体系的评估指标包含12类一级指标和36类二级指标，覆盖数据是否可用、是否好用两个方向。

检测分三层推进：第一层用规则或自动分类工具检测，覆盖完整性、规范性、一致性等可直接量化的指标；第二层人工抽样核验，检查数据真实性、行业专业性等难以自动判断的内容；第三层通过实际模型训练效果验证，确认数据集对模型能力的实际提升作用。配套的工具平台包含项目管理、指标计算、问题分析、报告生成等功能，目前已开发60个数据质量检验工具，指标自动检测比例达75%。

回到建设端，目前行业内做高质量数据集，普遍遇到三个问题。

第一个是目标不清晰。很多建设工作脱离实际使用场景，没有和具体的业务效果绑定，最终数据没法转化为实际的模型能力提升。

第二个是建设过程零散。从数据收集到最终用于模型训练，全流程没有统一规划，不同来源、不同格式的数据难以统一标准，不同团队之间协作不畅，导致数据清洗、标注的成本很高。

第三个是技术工具不足。现有工具处理复杂场景的能力有限，尤其是处理图片、音视频等不同类型数据的能力不足，同时缺少适配不同行业特点的工具，很多环节依赖人工，整体效率不高。

要做好高质量数据集建设，需要五个方向的能力支撑，主要包括：

体系建设。主要解决项目管理、团队协作、技术标准化的问题，保障项目按时交付、成本可控。

开发维护。覆盖数据设计、收集、预处理、标注、质检等全流程的技术环节，既要有通用的技术工具，也要有适配不同使用场景的定制化方案。

质量控制。从评估标准、技术工具、流程管控三个方面入手，建立多维度的量化标准，用自动化和智能化工具辅助，对数据全生命周期进行质量监控。

资源运营。建立资源管理、开放共享、流通交易的机制，覆盖数据全生命周期的管理框架，结合数据集和实际应用场景推进共享，探索数据流通的合作模式。

合规可信。保障数据收集和使用的合法性，同时围绕数据来源、治理过程、应用效果建立质量闭环，确保数据质量可靠、效果可追溯。

具体到企业落地，可以分三个阶段推进，不用追求一步到位。

1、体系规划阶段。核心是三件事：一是围绕智能化需求搭建知识分类框架，梳理核心知识节点，实现数据的知识化归类；二是拆解具体的业务场景，明确每个场景需要的数据类型和质量要求，盘点现有数据资源，形成数据资源清单；三是搭建内部标准体系，制定数据标注、合成数据的质量规范，统一数据清洗、标注、存储的工具标准。

2、工程建设阶段。从三个方向发力：一是建立规模化的数据生产模式，给采集、清洗、标注、质检等环节制定细化规范，用自动化工具提升效率，搭建标准化的标注平台减少人工操作；二是应用新技术拓展数据边界，比如用合成数据生成稀缺场景的数据，用智能算法辅助人工标注，采集推理过程的相关信息提升模型逻辑能力；三是通过外部协作补充能力，引入专业的第三方服务机构，建立供应商评价体系，和高校、科研机构合作探索新技术。

3、质量监测阶段。一是建立量化的评估模型和工具，针对生产各环节设计细化指标，搭建集成式的质量检测平台；二是建立全流程的动态评估机制，生产前明确质量标准和流程，生产中实时监控进度和效果，生产后对比目标复盘偏差；三是建立持续优化的闭环，把模型训练和应用的结果反向反馈给数据生产环节，不断优化数据生产流程。

目前整个行业的标准化工作还在推进中，主要面临四个共性问题：一是定义不清晰，对“高质量”没有统一的判定标准，相关概念的边界不明确；二是格式不统一，标注文件的存储格式、元数据格式、数据集的组织方式都没有统一规范；三是建设路径不统一，不同机构的建设流程差异大，整体工程体系不完整；四是质量评估方法不匹配，现有评估指标多沿用传统数据质量的标准，缺少针对性的指标。

行业标准体系的设计遵循六项原则：系统性、科学性、实用性、开放性、兼容性、前瞻性。完整的标准体系包含八个部分：基础共性、关键技术、工具平台、质量控制、工程开发、产品服务、行业应用、合规可信。

目前已在推进的标准覆盖分类分级、格式规范、质量要求、质量评估、标注服务能力、合成数据管理、开发管理能力等多个方向。