数据质量和数据管理市场正在经历范式转变，焦点转向业务用户。从历史上看，业务用户一直受制于资源有限且负担过重的 IT 部门，但 IT 不应受到责备。即使是最简单的查询，过去的答案也是“我们还需要六周时间才能给你”。但是，在自助服务数据的新世界中，企业现在就需要它。工具正在出现，可以使用户与他们公司的数据建立不同的关系，尽管在新的环境中数据质量成为一个更复杂的问题。

“三十年前，系统都处于不同的孤岛中，”Kevin McCarthy 在接受 DATAVERSITY® 采访时说：


“包含客户储蓄和支票账户信息的九轨磁带将被加载到大型机上，然后使用一系列工具进行处理，以标准化信息并识别姓名和地址的组成部分。”

他说，然后将在这些记录中建立个人关系和家庭关系。现在可以标准化个人数据、建立关系并在没有完整或相同记录的情况下进行匹配：“能够对模糊匹配、换位、双字符等进行分类。”

尽管在那段时间方法发生了重大变化，但被麦卡锡称为“企业参与者”的公司——IBM 和 SAP 等财富 2000 强公司——仍然严重依赖 IT。这些较大的组织专注于“一站式”概念，以便他们可以提供复杂且非常技术性的功能。他说，另一方面，新兴的客户数据平台 (CDP) 更针对特定市场或服务需求。

此外，还有MDM提供与 CDP 播放器细微差别的播放器，以及提供不同活动管理和营销选项的各种公司。“那里仍然有很多工具，每个人都在努力开拓自己的利基市场。”

麦卡锡用保险箱的概念来说明所有权和数据控制正在转变。“你把东西放在保险箱里，银行有责任保证它的安全，他们提供保险箱，但银行并不真正关心保险箱里有什么。” 从历史上看，IT 一直是银行：他们拥有保存数据的硬件和系统，但业务用户关心内容并希望确保他们在需要时能够访问这些内容。“这就是开关。现在企业正在寻求这种程度的控制。”

自助数据缩短实现价值的时间
通过提供可以访问数据的沙盒环境，业务用户可以试验、运行查询和询问数据，而无需等待 IT。使用拖放界面，业务用户可以自行设置这些规则、过滤器和流程，他说，“这意味着您不必成为 SQL 程序员就可以运行类似 SQL脚步。”

数据丰富的潜力
Experian 拥有丰富的数据资产，并提供有助于数据质量管理的工具。麦卡锡谈到了潜在的价值丰富优质客户信息。他认为姓名、地址、电子邮件和电话号码是“最难处理的数据集之一”。例如，从数据的角度来看，纽约美洲大道的一位名叫 Peg Smith 的客户和纽约第六大道的一位 Margaret Smith 彼此没有任何关系。但是“佩格”是“玛格丽特”的昵称，而美洲大道如果通过邮政认证，就真的是第六大道——所以实际上是同一条街，佩格和玛格丽特可能是同一个人。

上下文中的单一客户视图
McCarthy 谈到了“单一客户视图”一词如何随着时间的推移而演变为每个客户信息的更具上下文的视图。

“从营销的角度来看，我认为的‘客户’可能有点松散，因为我想覆盖每个人，所以我可能会把他们放在一起，因为我不想发送多个目录。”

而在会计中，目的是确保将账单发送到一个地址的特定人员，“所以我必须更加严格地匹配这些记录以找到那个客户。这种‘单一客户观点’是旁观者的单一观点，”而且这种观点不仅在不同的行业中有所不同，而且在同一家公司内也因部门而异。

“而且我们仍然拥有 IT 的遗产。当他们已经走这条路并定义了一个单一的客户视图时，他们希望它能够覆盖整个公司。” 实际上，McCarthy 看到的是部门有不同的需求，并且可能希望能够以不同的方式对数据进行情境化。“这是关于提供他们可以用于沙盒的工具，并尝试不同的关系方法和匹配技术，以根据他们的需求来定义‘客户’——这就是我们在 Experian 所做的事情。”

客户信息的挑战
尽管 30 多年来客户信息一直是企业关注的重点，但管理该信息的复杂性已经成倍增加. 除了训练有素的数据输入人员输入的数据外，来自接听电话的客户服务代表的数据现在也是其中的一部分。除此之外，客户从网络表单中添加信息所创建的数据的复杂性，其输入方式差异很大。

在物联网世界中，这不是一个问题，例如，冰箱会报告其温度。“我的冰箱没有糟糕的一天，不小心以摄氏度而不是华氏度发送温度。” 然而，在网络表单上输入他们的名字的人可能会拼写为“McCarthy”、“MaCarthy”或“MacCarthy”，这取决于他们当时的关注程度，以及现有记录是否与某些情况下的拼写不同方式，可以创建重复记录。

无论有什么控制措施来标准化数据，识别独特客户的基本问题仍然存在。“查理的记录在这里有六次不同，因为他是通过三种不同的方法进入的，但他真的只是同一个人。”数据质量问题他说，只要还有人输入信息，这一挑战就会持续存在。“尽管你试图阻止人们将不良数据输入系统，但你无法阻止所有人，当你有数百万人输入信息时，他们会搞砸的。”

相关帖子DA内容精选 2022年300个以上最佳免费数据科学课 大厂数据分析面试指南！来自亚马逊、谷歌、微软、头条、美团的面试问题！ 机器学习模型方法总结 历史最全机器学习/深度学习/人工智能专业术语表中英对照表 机器学习如何应用于商业场景？三个真实的商业项目 数据工作者的自我修养 | 哪些技能是必不可少的？ 《汗牛充栋：数据分析书籍分享》CDA网校新课上线 文本挖掘常用的107个语料库 一图读懂“东数西算”工程 零基础转行数据分析，看这篇文章就够了