据质量问题#01：缺乏记录唯一性

白衣俊郎

2024-09-29

一个拥有200-500名员工的普通组织使用大约123个SaaS应用程序。用于捕获、管理、存储和使用数据的应用程序数量庞大且种类繁多，是导致数据质量差的主要原因。在这种情况下最常见的问题是为同一实体存储多个记录。

例如，客户在购买过程中与品牌进行的所有互动都记录在数据库中的某个位置。这些记录可能来自网站、登陆页面表格、社交媒体广告、销售记录、账单记录、营销记录、购买点记录等领域。如果没有系统的方法来识别客户身份并将新信息与现有信息合并，最终可能会在整个数据集中出现重复信息。要修复重复，必须运行高级数据匹配算法来比较两个或多个记录并计算它们属于同一实体的可能性。