全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 数据分析与数据挖掘
667 0
2022-06-07
据量持续增长,因此流分析的使用变得更加广泛,因此许多公司开始意识到现有的数据治理实践也必须发展以保持相关性。

“对于组织的治理平台的要求比以往任何时候都多,”业内人士 Robert Chernesky 在谈到过渡到数据治理 3.0:

“数据治理的演变跨越一个连续体,每一步都建立在上一步的基础上,以便朝着专注于业务流程自动化的自动化数据治理计划前进……尽管技术血统非常有价值和必要,但除非它可以将数据治理发展到渴望从业务环境中理解数据治理的业务受众。”

数据治理:数据管理的监管框架
这些日子,数据治理通常侧重于法规遵从性,包括多种数据功能,例如数据质量、主数据管理(MDM)、元数据管理和数据安全。组织的数据治理战略列出了数据命名、共享、存储和处理的规则和规定,并定义了为处理组织内的治理任务分配的不同角色和职责。

当组织选择迁移到纯云或混合云模型。在这种情况下,治理在通过受治理的策略和程序制定安全的数据迁移流程方面发挥着重要作用。A的最终目标健全的数据治理策略是确保整个企业的数据顺畅高效地共享和管理。

在数据治理的演变, Olivia Hinkle 预测,随着未来几年数据的激增,数据治理对企业将变得更加重要:

“数据隐私、数据安全和数据治理都紧密相连,必须正确执行每一项才能实现业务成功……尤其是随着技术的新进步、隐私方面的新要求以及消费者行为的新趋势的出现。”

流分析:处理物联网数据的技术
数据治理在与数据相关的分析中也发挥着重要作用物联网 (IoT)设备数据,广义上是指由传感器、智能仪表、标签、实时社交数据和其他连接设备生成的数据。此类数据的意义在于它是实时可用的,并且许多不同的技术(如大数据、Hadoop、NoSQL 和内存处理)汇聚在一起,为实时和后续分析准备流数据。持续的高额投资流式分析企业表示“传感器数据”分析在企业预算中的相对重要性。这种趋势很可能在高度互联的商业生态系统中继续存在。

大多数业务功能,包括销售、客户服务、运营和制造,都使用物联网设备来收集和执行实时或接近实时的分析。由于物联网数据与传统业务数据(例如,历史数据或描述性数据)有很大不同,因此必须在收集、存储、清理和解析方面进行不同的处理。在大多数情况下,物联网数据是非结构化的,包含混合的文本、图像甚至视频片段。

数据治理和流分析:必要的二重奏
在企业分析趋势,埃文·特里指出:

“由于机器学习、人工智能和流分析,企业分析技术越来越复杂,但如果没有坚实的基础,你就无法从这些进步中受益。”

这包括“出色的基础知识”,例如数据质量和数据治理。

在当前的商业环境中,越来越多的企业主和运营商无法想到没有流式分析就可以运作。数据治理和流分析密切相关,因为治理良好的分析意味着更多的业务用户可以信任结果。

无论是制造单位的预防性维护、危重患者的及时监测、零售商的基于位置的营销、准确的天气预报还是自动驾驶汽车,所有现代分析用例都与流式分析. 流式分析可以从传感器收集数据并进行实时分析,以便立即采取行动。建立数据驱动的文化在确保数据治理有利于企业分析工作方面大有帮助。

通过数据治理转变流分析
借助流式分析,传入的数据通过智能数据模型和算法处理得如此之快,以至于在许多情况下,流式数据没有机会被存储。这是与传统分析流程相比的一个重要变化。流分析的另一个重要特征是,在数据处理阶段,立即确定行动的相关性和紧迫性以生成警报。

管理大数据量这不是一件容易的事,尤其是在数据量爆炸式增长的情况下。一方面,您正在见证处理流数据的高级分析平台的发展;另一方面,您的企业可能正在应对大量数据访问和共享的挑战,同时遵守 GDPR 或 CCPA 等数据隐私法规。事实上,最近的增长隐私条例已经放慢了企业分析和机器学习项目,这通常有利于流分析。企业正在寻找端到端的数据治理解决方案来处理和处理大量数据,而不会违反严格的规定。

在数据流中:今天采取的七条意想不到的路径,奥里·拉斐尔强调数据治理的作用:

“今天,随着人们对数据科学和高级分析的兴趣不断增长,以及 SaaS 和 Web 和移动应用程序继续蓬勃发展,使用数据流的公司的数量和范围都在扩大……流数据的复杂性意味着需要更加重视在元数据管理、数据治理和 ETL 测试方面,与传统的关系数据库相比。”

在这种情况下,了解数据来源、访问控制和数据使用细节变得至关重要。这就是典型流分析用例中数据治理的功能。集中式数据库通常用于缓解数据治理的挑战——即分析师的数据流和数据关联任务。数据仓库也可以方便地在大型企业中实施完善的数据治理策略。

随着数据湖的扩展和流数据的增加,数据治理政策必须不断适应和发展,说托马斯·布伦斯通过数据治理转变分析:

“通过帮助建立一种专注于协作而不是控制的数据驱动文化,并为您的数据湖选择正确的治理级别,您的分析项目可以以受信任、受治理的数据为核心取得成功。这种信任水平将有助于确保您的分析可以在整个组织中得到信赖,以做出重大业务决策并推动战略计划。”

      相关帖子DA内容精选
  • 大厂数据分析面试指南!来自亚马逊、谷歌、微软、头条、美团的面试问题!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群