许多 BI 经理、CEO 和 CIO 无法承受增加更多员工的费用，因此他们正在寻求能够帮助现有团队更准确、更高效地运营的技术。他们“需要改变我们所说的物理学。他们不能只是为团队增加更多的人，”Amnon Drori 在最近的一次 DATAVERSITY® 采访中说。

使用专业服务结合各种不同的系统在本地完成手动工作，对数据执行多种不同的处理，包括ETL, 数据库,数据仓库、分析和报告工具，均来自众多不同的供应商。“隧道的尽头是这个业务用户，在数据经历了这个过程之后，他会查看一份报告，并希望它是准确的，”他评论道。

Drori 说他是“数据的忠实粉丝”。在他 20 年的科技工作中，他的决策方法一直是收集数据，了解数据的含义，得出结论，然后将结论付诸实践。然而在过去的 15 年中，数据量及其不同类型、系统和来源“变得如此庞大，以至于试图理解这些数据变得非常非常困难”。Amnon Drori，首席执行官兼创始人八爪鱼，最近讨论了随着现代数据存储的规模和复杂性不断增加，组织面临的挑战。

相同的报告，不同的结果
Drori 的经历在他的同事中相当普遍。他在一次会议上带来了一份报告，显示他在上一季度获得了 33 个新客户。首席财务官带着一份据称相同的报告到达同一次会议，称 Drori 只获得了 22 个客户——相差 250 万美元。首席执行官要求他们找到正确的数字，但 BI 团队花了两个多星期才发现业务流程影响了一份报告，但没有影响另一份报告。

随着海量数据超出现有报告系统的处理能力，这种情况已经在公司中上演。他说，微小的差异会成倍放大，及时为企业用户提供准确的信息变得越来越困难。

越来越关注元数据
元数据管理已成为风险更大的领域。“事实证明，元数据可以赢得或输掉诉讼，将政客送进监狱，甚至决定医疗事故案件，”Drori 在糟糕的元数据会让你陷入法律困境。不同数据库中可能无意的不一致可能会导致在法庭情况下对欺诈或数据篡改的严重指控。然而，他说，要发现分布在多个系统中的数据差异，每个系统都有不同的内部规则，是非常困难的。一些公司正试图通过雇佣更多员工来处理他们的元数据，而另一些公司则在寻找一种自动化的解决方案。

不断变化的需求
企业对 IT 投资的期望比以往任何时候都高——仅仅在报告中提供数字已经不够了。Drori 的客户告诉他，他们投资自动化是因为他们想要：

了解数据如何进入他们使用的报告中
在从本地迁移到云端时管理或利用自动化
依靠自动化来更新业务流程
提前了解上游变更可能产生的影响，以防止未来出现问题
整合不同的系统
他说，直到大约五年前，人们都对自动化着迷，对新发展的反应常常是“我不知道自动化可以做到所有这些！” 从那时起，自动化已经从一个惊人的新概念演变为一种需求。现在的公司假设自动化能够提供解决方案，即使他们还没有看到它。

推向云端
Drori 说，亚马逊、谷歌和微软正在努力说服组织将其不断扩展的本地数据迁移到云端。如果这种趋势继续下去，帮助组织管理和信任在云中生成和管理的数据的工具将至关重要。越来越多的组织希望从他们的数据中找到意义并使用它来做出更好的决策，但获得这些洞察力通常需要大量的资源投资。

复杂性造成痛点
随着时间的推移，公司已经为遗留系统添加了多种解决方案，以试图管理数据存储的大小和类型的快速增长。

“随着不断扩大的、不断变化的数据环境中的用例数量不断增加，BI 团队无法再处理这个问题了， ”他说。“即使人员成本不是问题，雇用更多员工也不是唯一的答案。不管你雇用多少人，这份工作都太大了。”

数据治理和数据质量面临的挑战
大卫·洛辛，总裁知识诚信公司.，表示投资于数据治理政策的公司可能会发现自己在没有足够工具来追踪数据沿袭的情况下难以实施这些政策。数据管理员通常被赋予关键的数据质量管理职责，而没有得到适当的培训或技术。

洛欣写道数据沿袭工具如何促进数据治理策略如果无法确定将数据错误引入环境的位置，数据管理员和质量分析师将难以识别和修复它们。

“这会产生后果：如果数据缺陷继续在系统中传播，组织可能会受到不一致或不准确的分析和报告的困扰，从而导致业务运营中的错误决策。”

Octopai 的自动化 BI 智能平台
的想法八爪鱼出于“对市场运作方式产生巨大影响”的愿望而产生的。因此，提供的许多功能与当前环境中的解决方案形成鲜明对比。Octopai 依靠非常深入的技术来彻底分析不同类型的元数据，提供基于云的 SaaS 开箱即用产品，涵盖 BI 范围内的所有供应商。“我们的重点是查看有关数据的信息。我们将其视为洞察力的金矿，”Drori 说。

该平台包括自动化数据沿袭、数据发现和业务词汇表，使 BI 和分析团队能够全面了解和控制他们的数据，了解数据背后的完整故事，以便他们能够更快、更准确地向业务交付。公司可以创建一个目录或业务词汇表，其中包含其报告系统中的所有元数据，并且跨平台访问提供了整个 BI 环境中元数据的 360 度视图。

“有一种深入的血统分析。用户可以使用类似于搜索引擎的工具进行发现并找到答案。”

他说，实施它不需要特殊的培训或组织流程的改变。“您不必投入大量时间和资金来启动和运行它。您可以投入 30 分钟的时间来提取有关数据的信息，从而启动并运行 Octopai。” 在 24 到 48 小时内，他的用户能够访问其 BI 环境中存在的所有数据元素。搜索报告或参考提供了完整数据流的视图。

众包智慧
他说，Octopai 为其客户分析的行业级信息很有价值，客户有兴趣在同行群体中分享最佳实践。

“在您在组织中做任何事情之前，您希望有一个参考点，而您的参考点将是其他人正在做的事情。我们可以帮助您理解这一点。”

一位金融业客户最近联系了 Drori 关于数据质量由于数据不匹配，他们收到了超过 70 起来自业务用户的事件，从而影响了他们的报告。他们想知道他们所在行业的其他人是否正在处理类似的问题，以及他们应该为数据质量分配多少时间和金钱。由于 Octopai 在多个市场部门工作，Drori 能够提供有关该地区金融部门的一流企业如何优先考虑数据质量问题的信息，而无需讨论特定客户。“我们有信息可以帮助组织将他们的投资集中到可以让他们变得更好的领域。”

扩大覆盖范围
Drori 表示他们要添加对更多第三方工具的支持。最近的扩展包括 Azure 分析服务上的表格、IBM 的 Netezza、Vertica，以及对 OLAP 多维数据集的扩展支持。他说，更多的选择正在开发中，因为“如果我喜欢一件事，那就是利用最新技术帮助人们更好地完成工作。”

相关帖子DA内容精选 2022年300个以上最佳免费数据科学课 大厂数据分析面试指南！来自亚马逊、谷歌、微软、头条、美团的面试问题！ 机器学习模型方法总结 历史最全机器学习/深度学习/人工智能专业术语表中英对照表 机器学习如何应用于商业场景？三个真实的商业项目 数据工作者的自我修养 | 哪些技能是必不可少的？ 《汗牛充栋：数据分析书籍分享》CDA网校新课上线 文本挖掘常用的107个语料库 一图读懂“东数西算”工程 零基础转行数据分析，看这篇文章就够了