主数据的建设过程

强颜欢笑

2022-12-22

MDM项目计划将受到需求、优先级、资源可用性、时间框架和问题规模的影响。大多数MDM项目至少包括以下阶段：
（1）确定主数据的来源。这一步通常是一个很有启发性的过程。一些公司发现他们有几十个数据库，其中包含IT部门不知道存在的客户数据。
（2）确定主数据的生产者和消费者。哪些应用程序生成在第一步中标识的主数据，并且通常更难确定哪些应用程序使用主数据。根据用于维护主数据的方法，可能不需要执行此步骤。例如，如果所有更改都是在数据库级别检测和处理的，则更改来自何处可能无关紧要。
（3）收集和分析主数据的元数据。对于步骤1中标识的所有源，数据的实体和属性是什么，它们是什么意思？这应该包括属性名称、数据类型、允许值、约束、默认值、依赖项以及谁拥有数据的定义和维护。所有者是最重要的，通常也是最难确定的。如果您有一个包含所有元数据的存储库，则此步骤非常简单。如果必须从数据库表和源代码开始，这可能是一项重大的工作。
（4）指定数据管理员。这些人应该了解当前的源数据，并且能够确定如何将源转换为主数据格式。一般来说，管理人员应从每个主数据源的所有者、负责MDM系统的架构师和主数据的核心用户的中任命。
（5）实施数据治理计划和数据治理委员会。该组必须具备知识和权限，以便就如何维护主数据、主数据包含的内容、主数据保存的时间以及如何授权和审核更改作出决定。在一个主数据项目的过程中，必须做出数百个决策，如果没有一个明确的决策机构和过程，项目可能会失败，因为政治阻碍了有效的决策。
（6）构建主数据模型。确定主数据的描述：包括哪些属性、它们的大小和数据类型、允许的值等等。此步骤还应包括主数据模型和当前数据源之间的映射。通常这个过程也是最重要和最困难的一步。如果您试图通过在主实体中包含所有源属性来使每个人都满意，那么您通常会得到过于复杂和繁琐而不实用的主数据。例如，如果您不能决定重量是以磅还是以公斤为单位，一种方法是同时包括两种（重量磅和重量公斤）。虽然这可能会让人们感到高兴，但您正在浪费兆字节的存储空间来存储可以在微秒内计算的数字，并冒着创建不一致数据（WeightLb=5和weightlg=5）的风险。虽然这是一个很小的例子，但更大的问题是为同一个零件维护多个零件号。与委员会的任何努力一样，会因为有分歧导致次优决策。重要的是要事先制定出决策过程、优先级和最终决策者，以确保事情顺利进行。
（7）选择主数据管理工具。您需要购买或构建工具，通过清理、转换和合并源数据来创建主列表。您还需要一个基础设施来使用和维护主列表。
对于所有这些功能，您可以使用单个供应商提供的单个工具集，或者您可能希望采用同类最佳的方法。一般来说，对于不同类型的数据，清理和合并数据的技术是不同的，因此没有很多工具可以跨越整个主数据范围。
工具还应该支持查找和修复数据质量问题以及维护版本和层次结构。版本控制是一个关键的特性，因为了解主数据记录的历史对于保持其质量和准确性至关重要。例如，如果合并工具为波士顿的John Smith合并了两个记录，并且您确定波士顿确实有两个不同的John Smiths，则需要在合并记录之前了解它们的属性，以便“取消合并”。
（8）设计基础设施。一旦有了干净、一致的主数据，就需要将其公开给应用程序，并提供管理和维护它的过程。当这个基础设施被实现时，您将拥有许多依赖于它可用的应用程序，因此可靠性和可伸缩性是设计中要考虑的重要因素。在大多数情况下，您必须自己实现基础设施的重要部分，因为它的设计必须适合您当前的基础设施、平台和应用程序。
（9）生成并测试主数据。在这一步中，您可以使用已开发或购买的工具将源数据合并到主数据列表中。这通常是一个迭代过程，需要修改规则和设置以获得正确的匹配。这一过程还需要大量的人工检查，以确保结果正确，并满足为项目建立的要求。没有任何工具可以在100%的时间内正确完成匹配，因此您必须权衡错误匹配与未匹配的结果，以确定如何配置匹配工具。如果账单不准确，虚假的匹配可能会导致客户不满。错误的匹配太多会使主数据变得不那么有用，因为您没有得到您在MDM中投资所获得的好处。
（10）修改生产和消费系统。根据MDM实现的设计方式，您可能必须更改生成、维护或使用主数据的系统，才能使用新的主数据源。如果主数据在与源系统（例如数据仓库）分离的系统中使用，则源系统可能不必更改。但是，如果源系统要使用主数据，则可能需要进行更改。要么源系统必须访问新的主数据，要么主数据必须与源系统同步，以便源系统具有要使用的已清理主数据的副本。如果无法更改一个或多个源系统，则源系统可能无法使用主数据，或者主数据必须通过外部进程（如触发器和SQL命令）与源系统的数据库集成。
生成新记录的源系统应更改为在创建新记录或更新现有主记录之前查找现有主记录集。这确保了上游生成的数据质量良好，这样MDM可以更有效地运行，应用程序本身可以管理数据质量。MDM不仅应作为一个记录系统加以利用，还应作为一个应用程序来促进企业中所有应用程序之间更干净、更高效的数据处理。作为MDM策略的一部分，数据管理的所有三个支柱都需要考虑：数据源、数据管理和数据使用。如果忽略其中任何一个方面，就不可能有一个健壮的企业级MDM策略。
（11）实施维护流程。如前所述，任何MDM实现都必须包含工具、流程和人员，以保持数据的质量。所有数据必须有一名数据管理员，负责确保主数据的质量。数据管理员通常是一个业务人员，他对数据有一定的了解，能够识别出不正确的数据，并具有纠正问题的知识和权限。MDM基础设施应该包括帮助数据管理员识别问题和简化更正的工具。一个好的数据管理工具应该指出可疑的匹配，例如，不同的名字和客户号码的客户住在同一个地址。管理员可能还希望查看作为新添加的项，因为匹配条件很接近，但低于阈值。对于数据管理员来说，查看MDM系统对数据所做更改的历史记录、隔离错误源并撤消不正确的更改非常重要。维护还包括将更改和添加内容拉入MDM系统，并将清理后的数据分发到所需位置的过程。
MDM是一个复杂的过程，可能持续很长时间。与软件实施项目中的大多数一样，成功的关键是逐步实现MDM，这样企业就可以实现一系列短期的效益，而整个项目就是一个长期的过程。没有业务用户的支持和参与，任何MDM项目都不可能成功。IT专业人员不具备创建和维护高质量主数据的领域知识，任何不包括对创建、维护和验证主数据的过程的更改的MDM项目都可能失败。