传统的元数据管理是不够的，Gartner 元数据管理魔力象限被废弃

元数据管理正处于转型飞跃的风口浪尖。
2021年，Gartner 朝着这一目标迈出了一大步，取消了元数据管理解决方案魔力象限，取而代之的是活动元数据市场指南。这一变化预示着一种在当今现代数据堆栈中处理元数据的新方法。

无论您每天处理千字节还是兆字节的数据，您都可能想知道这究竟意味着什么。
· 为什么传统的元数据管理会失败？
· 传统元数据与活动元数据有何不同？
· 为什么这份报告标志着元数据管理的范式转变？
· 这对当今的数据领导者意味着什么？

在本文中，我们尝试解开这些问题（不使用任何营销术语）并分享对元数据管理发展方向的预测。

元数据管理的前世今生
元数据作为一种组织信息的思想，自古就有，但元数据的现代思想可以追溯到 1990 年代后期。
元数据管理始于 IT 学科。随着我们拥抱互联网，随着数据类型和格式的爆炸式增长，IT 团队负责创建“数据清单”。
然后，随着数据传播到 IT 团队之外并变得更加主流，数据治理的想法生根发芽。这是围绕数据管理人员和流程以确保企业的可用性、完整性和安全性的学科。
随着数据治理的理念开始流行，许多公司开始全力以赴。他们创建了整个数据治理部门，为称为“数据管理员”的人员建立了新角色，投资了数据治理委员会等等。

这些团队开始意识到他们需要软件来管理所有这些元数据。这开启了元数据管理的黄金时代。
与任何新技术一样，事情很快就爆发了。
新公司成立，现有公司创建新的元数据产品。人们需要一种方法来整理所有这些新的元数据软件选项，因此 Gartner 开始发布他们的元数据管理魔力象限报告。Informatica、Collibra 和 Alation 等公司（Gartner 报告中的所有领导者）利用这种市场炒作迅速增长。
创建了数十亿美元的公司，并在元数据管理软件上花费了数亿美元。

那么，毕竟，为什么 Gartner 取消了他们的报告？为什么取代它的市场指南以不祥的注释开头，“传统的元数据实践是不够的……”？
传统元数据管理为何失败的一个字答案：被动
“如果你形容某人是被动的，你的意思是他们不采取行动，而是让事情发生在他们身上。”
–柯林斯词典

如果你用谷歌搜索“被动”这个词，这是第一个结果。老实说，没有更好的方法来解释早期被动元数据系统的根本故障。
· 传统的元数据管理工具没有采取行动。通过简单地对元数据进行编目或存储，传统的元数据系统无法从元数据信号中驱动任何“行动”。这减少了元数据可能对数据平台和数据消费者产生的影响。
· 传统的元数据管理系统让事情发生在他们身上。传统的元数据系统基本上是静态工具，依赖于人力来整理和记录数据。这意味着元数据程序的成功取决于实施它的人。
这些根本性的缺陷导致了传统元数据管理工具的最终垮台。

因此，尽管对元数据管理软件进行了大量投资，但大多数公司都在努力使他们的元数据项目取得成功。几周前，一家大公司的一位高级数据负责人对这些工具发表了评论，“每个人都知道我们购买的工具是昂贵的货架。”
一家实施元数据管理解决方案的著名专业服务公司的顾问证实了这一观点：“我们约 50% 的业务是公司中有人花费数百万美元购买昂贵的工具，而 2 到 3 年后才意识到'不工作或被使用，并让我们尝试并拼命地解决这种情况。”
范式转变：从被动元数据到主动元数据

今天，我们正处于元数据管理的一个转折点——一个新时代的开始，其标志是以全新的方式来思考元数据及其在数据堆栈中所扮演的角色。这就是Gartner 新市场指南的主题主动元数据的用武之地。

快速搜索“主动”一词会引发与被动相反的短语：
· “参与行动；以精力充沛的工作、参与等为特征。”
· “处于存在、进步或运动的状态”
· “具有快速运动的力量；敏捷”

花点时间在元数据的背景下思考这些短语，它们描绘了一幅活跃的元数据可以是什么的图景。
主动元数据：一个永远在线、智能驱动、以行动为导向的系统，是其被动、静态前身的对立面。

主动元数据平台的 3 个关键特征
根据Gartner的说法，主动元数据是“一组能够持续访问和处理并支持持续分析的元数据的功能……”
这实际上意味着什么，主动元数据平台与传统元数据管理平台有何不同？以下是您应该注意的四个基本特征。
主动元数据平台通过全文检索智能化展现。
主动元数据平台不会只是通过关键字进行简单的过滤元数据。相反，他们在现代数据堆栈的每个阶段不断地收集元数据——日志、查询历史、使用统计……几乎任何类型的元数据，从任何地方，每一秒，并通过全文检索方式智能化展现数据。

Google式智能检索数据，而不是过滤数据
主动元数据平台不只是收集元数据，它们从数据中创建智能。
与传统的元数据平台不同，主动元数据平台不断处理元数据以连接各个点并创造智能。
主动元数据平台的真正突出之处在于它们是真正的学习系统，这意味着平台的智能只会随着时间的推移而增长。随着人们更多地使用平台，平台在数据堆栈中观察到更多元数据，通过数据API的使用推动元数据的自治和穿透，最终用户体验会变得更好。

元数据通过数据创建更好的用户体验和分析
主动元数据平台不仅仅停留在智能上，他们可以与第三方集成。

这可能是主动元数据平台从其传统元数据管理那里取得的最重要的飞跃。他们不仅仅是被动的观察者，而是在实时数据系统中提出建议、生成警报和操作智能，打通元数据与数据之前的通道。

一个例子是使用活动元数据来提高数据质量。当在源表中检测到数据质量问题时，系统可以自动报告数据的信息，并能通过三方集成起到自动化和智能化的效果。或者更好的是，该系统可以使用过去关于数据质量故障的记录来准确预测问题所在，并在没有任何人工干预的情况下进行修复或预警。

将元数据用API的方式发布给三方使用
元数据的下一步是什么？
多年来，元数据管理远远落后于现代数据堆栈的其余部分。但在 2021 年，元数据似乎终于开始迎头赶上，2022年会开启新发展的元年。

创新正处于超速状态。在过去的 12 个月里，与过去十年相比，在这个领域推出的初创公司更多。
Gartner 放弃其元数据管理魔力象限并将主动元数据作为一个新类别引入的重大决定是向前迈出的一大步。
这最终摒弃了传统的、被动的元数据管理方法，为元数据的新时代铺平了道路。

与 Gartner 的任何主要公告一样，该公告可能会在市场上引发一些短期混乱。传统的元数据产品将争先恐后地将自己重新命名为“主动的元数据平台”。有些人实际上会开始在他们的产品中添加一些主动的元数据功能，这进一步增加了混乱。当然，还会有更多的初创公司成立。

但最终，在接下来的 12 到 18 个月内，一个或多个真正基于正确设计原则从头开始构建的活跃元数据平台将成为该类别的最终赢家。
对于现代数据堆栈中的元数据来说，这是一个令人难以置信的时刻。希望这一次我们最终能做对。