睿治

智能数据治理平台

睿治作为国内功能最全的数据治理产品之一,入选IDC企业数据治理实施部署指南。同时,在IDC发布的《中国数据治理市场份额,2022》报告中,蝉联数据治理解决方案市场份额第一。

为什么数据分析计划仍然失败

时间:2019-01-02来源:亿信华辰浏览数:618

高管谈数据的泛泛的价值,但米歇尔科赫,在Navient解决方案的企业的数据情报总监,可以计算出她的公司的数据的实际价值。

事实上,科赫可以用实际美元计算公司各种数据元素带来的收入增加和成本降低。因此,她清楚地意识到Navient数据中的问题可能会损害其底线。例如,客户资料中关键数据字段中的错误可能意味着公司无法以最低成本处理贷款。

“这里有资金,所以我们有一个数据质量仪表板,我们跟踪所有这些。我们追踪实际和潜在的价值,“她说。


内Navient,总部设在特拉华州威尔明顿资产管理和业务处理服务公司的早期数据相关的举措,说明危在旦夕什么是芭芭拉Deemer,首席数据管家和财务副总裁说。2006年的举措专注于提高营销的数据质量,并取得了一个$ 7.2万的投资回报率,与增加的贷款量来回报和降低运营费用。

从那时起,Navient高管承诺支持强大的数据治理计划,作为成功分析工作的关键部分,Koch说。Navient的治理计划包括长期认可的最佳实践,例如标准化数据字段的定义和确保干净的数据。

它为其大约2,600个企业数据元素分配所有权; 所有权既可以是数据字段首次出现的业务领域,也可以是特定数据字段与其进程不可分割的业务领域。

该公司还有一个数据质量计划,积极监控领域的质量,以确保不断满足高标准。该公司还启动了数据治理委员会(2006年)和分析数据治理委员会(2017年),以解决持续存在的问题或疑虑,在整个企业内制定决策,并不断改进数据运营以及数据如何为公司的分析工作提供支持。

“数据对我们的业务计划和新业务机会非常重要,我们希望专注于始终改进支持我们分析计划的数据,”Koch说。

大多数高管认为,数据治理是至关重要的,理由是合规性,客户满意度和更好的决策的关键驱动因素,根据2018年国家数据治理从数据管理解决方案公司欧文和UBM。但是,该报告发现,近40%的响应组织没有单独的数据治理预算,而且有46%的组织没有正式的策略。

调查结果基于118位受访者的回复,包括首席信息官,首席技术官,数据中心经理,IT人员和顾问。

鉴于这些数据,专家表示,许多企业数据计划中存在弱点并不奇怪。以下是七种有问题的数据实践。

将数据集中在一起,但不是真正集成它

数据治理专业组织的通信副总裁Anne Buff表示,集成是当今数据和分析领域的挑战之首。

确实,许多组织将所有数据收集在一个地方。但实际上,他们没有整合来自多个数据源的各个部分,Buff解释说。因此,来自一个系统的Bill Smith与其他系统生成的Bill Smith(及其名称的变体)数据无关。这为企业提供了多个不完整的图片,说明了他是谁。

“共存数据与集成数据不同,”Buff说。“你必须有办法匹配来自不同来源的记录。你需要这样做,当这一切都汇集在一起时,它会创造出比尔史密斯是谁的更大视图。你必须有一些东西来连接点。“

Buff说,各种数据集成技术使得选择,实施和执行正确的工具对于避免过多的手工工作或反复重复相同的工作至关重要。

此外,集成变得越来越重要,因为数据科学家正在寻找数据中的模式,以获得可以产生突破,竞争优势等的洞察力。

“但如果你不能将以前从未合并过的数据汇集在一起,就无法找到这些模式,”Buff说,他也是北卡罗来纳州卡里SAS的咨询业务解决方案经理。

没有意识到业务部门有独特的需求

是的,整合的集成数据对于成功的分析计划至关重要。但Buff表示,一些商业用户可能需要不同版本的数据。

“一种形式的数据不能满足整个组织的每个人的需求,”她补充道。

相反,IT需要考虑数据供应,即提供业务用户或业务部门确定的业务案例所需的数据。

她以金融机构的不同需求为例。虽然有些部门可能需要集成数据,但欺诈检测部门可能希望其数据科学家使用不干净的不受限制的数据,以便他们可以搜索红旗。他们可能希望使用其个人识别信息的轻微变化来搜索同一地址的某人,以申请多笔贷款。

“你会看到类似的数据元素,但有一些变量,所以你不想过多地消除这些差异并将其清理得太多,”Buff解释道。

另一方面,她说,该金融机构的营销部门希望拥有正确版本的客户姓名,地址等,以正确定位通信。

只招募数据科学家,而不是数据工程师

随着公司寻求超越基本商业智能,预测性和规范性分析以及机器学习和人工智能,他们需要在数据团队中提高专业水平。

这反过来又震撼了数据科学家的地位。但同样重要的是数据工程师,他们争论所有需要聚集在一起的数据集,以便数据科学家完成他们的工作但是(到目前为止)在许多组织中受到的关注较少。

Bain&Co。旧金山办事处的合伙人,该公司高级分析和数字实践的领导者Lori Sherer说,这种情况一直在变化。

“我们已经看到,对数据工程师的需求增长约为数据科学家需求增长的2倍,”Sherer说。

联邦劳工统计局预测,未来十年对数据工程师的需求将继续快速增长,美国经济在2016年至2026年间增加了4400个职位,平均年薪为135,800美元。

然而,与IT领域的许多关键职位一样,专家表示,没有足够的数据工程师来满足需求 - 使得现在刚开始雇用或培训职位的IT部门赶上了。

保持数据超过其主要部分,而不是管理其生命周期

在过去十年中,存储成本急剧下降,使IT部门能够更加轻松地存储大量数据,比以往任何时候都更长。考虑到现在创建数据的数量和速度以及将其用于分析的需求不断增加,这似乎是个好消息。

但是,虽然许多人都赞扬拥有数据和数据的价值,但它常常是一件好事,Penny Garbus是佛罗里达州阿波罗海滩Soaring Eagle Consulting的联合创始人,也是Mining New Gold的合着者。:管理您的业务数据。

Garbus表示,太多企业持有太长时间的数据。

“你不仅需要付钱,而且如果它超过10年,那么这些信息很可能远非当前,”她说。“我们鼓励人们在其上加上一些时间表。”

Garbus表示,数据的到期日期不仅因组织而异,因部门而异。零售公司内的库存部门可能只需要相对较新的数据,而营销部门可能希望数年前的数据来跟踪趋势。

如果是这种情况,IT需要实施架构,将正确的数据时间框架提供到正确的位置,以确保满足每个人的需求,旧数据不会破坏及时的分析程序。

正如Garbus所说:“仅仅因为您必须保留[旧数据],并不意味着您必须将其保留在核心环境中。你必须拥有它。“

专注于数量,而不是针对相关性

IT咨询公司Booz Allen Hamilton的高级副总裁Steve Escaravage表示:“我们仍在使用最可用的数据构建模型和运行分析,而不是使用最相关的数据。”

他说组织经常抱错,他们应该捕获并添加越来越多的数据集。他说他们认为“也许那里有一些我们没有找到的东西而不是问:我们有正确的数据吗?”

他说,考虑一下,许多机构通过分析大量数据寻找异常来寻找欺诈行为。虽然这是一项重要活动,但领先机构也会分析更有针对性的数据集,从而产生更好的结 在这种情况下,他们可能会查看产生某些类型的交易的个人或机构,这些交易可能表明存在问题。或者,在分析患者结果时,医疗保健机构可能会考虑医生在提供患者护理时轮班时间长短的数据。

Escaravage说组织可以从创建数据愿望清单开始。虽然这项工作始于业务方面,“捕获它并使其可用的机制,这是CIO,CTO或首席数据官的领域。”

提供数据,但忽略它的来源

今天的一个重要主题是分析偏见,这种情况可能会扭曲结果,甚至会产生错误的结论,从而导致糟糕的业务决策或结果。Escaravage表示,产生偏见的问题存在于企业分析程序的许多不同领域 - 包括IT如何处理数据本身。

他说,很多时候,IT部门在跟踪数据的来源方面做得不够好。

Escaravage说:“如果你不知道这一点,它会影响你模型的性能。”他指出,缺乏对数据产生方式和位置的可见性使得控制偏差变得更加困难。

“IT部门有责任了解数据的来源以及发生的情况。在数据管理方面投入了大量资金,但也应该有一个元数据管理解决方案,“他说。

提供数据,但无法帮助用户理解上下文

IT不仅应该有一个强大的元数据管理程序,它可以跟踪数据的来源以及数据在系统中的移动方式,它应该为用户提供对某些历史记录的洞察,并为通过分析产生的一些结果提供上下文, Escaravage说。

“我们对可以创造的东西感到非常兴奋。我们认为我们有非常好的数据,特别是未经过分析的数据,我们可以建立一个关于这些数据如何有用的心理模型,“他说。“但是,虽然过去五年的分析方法令人惊讶,但这些技术的结果比过去更难以解释,因为在进行数据挖掘后应用业务规则并且很容易解释数据。”

Escaravage解释说,较新的深度学习模型提供了见解和可操作的建议。但是这些系统通常不提供对最佳决策有帮助甚至关键的背景。例如,它没有提供关于基于数据将发生某事的概率与确定性的信息。

Escaravage说,需要更好的用户界面来帮助提供上下文。

“技术问题是人们将如何与这些模型接口。这是从透明度角度关注UI / UX非常重要的地方。因此,如果有人看到人工智能平台的推荐,那么他们可以在何种程度上深入查看基础可能,数据源等等?“他说。“首席信息官们将不得不问如何在他们的系统中建立透明度。”


(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用
customer

在线咨询