数据科学角色的背景

几年前人们认为，2018 年将出现巨大的供需缺口。数据科学市场，因为供应将无法跟上对专家数据科学家不断增长的需求。然而，来自 Gartner 的嗡嗡声，它说的不仅仅是40% 的数据科学到 2020 年，任务将实现自动化，这改变了这一切。经验丰富的数据科学家 Boris Gorelik 对该领域的未来表达了相同的看法，并告诫不要选择数据科学作为职业。但似乎还没有实现，该领域仍在增长。

业界普遍认为，随着越来越多的先进自动化工具的开发，对纯数据科学家的需求将会减少。未来，对领域专家和数据研究人员的需求将超过数据科学家. 市场上的另一个嗡嗡声表明，随着数据科学越来越倾向于自动化，数据分析的后端人工任务现在以数据工程师. 但随着对机器学习、人工智能和其他先进技术的需求激增，数据科学家的工作仍在增加。

那么谁是街区的新技术高手？
这数据工程师可能会在不久的将来负责，指导用户完成数据探索和分析的基础阶段。这个新的数据书呆子不仅会清理和准备数据，还会编译数据库系统、开发适当的查询、跨平台工作并负责灾难恢复——所有任务都集中在一个角色中。数据工程师也有望拥有扎实的大数据技能，以及使用 Python、Scala 和 Java 等多种编程语言的实践经验。

与数据工程师的角色形成鲜明对比的是，数据科学家正在走向自动化——利用先进的工具来应对日常业务挑战。未来的数据科学家将成为对工具更加友好的数据分析师，利用专有和打包模型的组合以及高级工具从大量业务数据中提取洞察力。

随着人工智能和机器学习在数据分析平台中的日益集成，未来的数据科学家可能不再需要拥有定量领域的学位或从头开始开发算法。数据科学家仍将扮演顾问或推荐人的角色，但具有不同的技能。

如果您渴望深入了解这些互补角色，请查看DATAVERSITY ®网络研讨会 数据治理和数据科学以提高数据质量。该网络研讨会专为希望通过利用数据科学和数据质量以及数据治理的力量来构建洞察驱动的业务模型的企业而设计。本次网络研讨会的目的是教授从业务数据中获取暴利。

数据科学和数据工程的角色：形成鲜明对比
一种数据请求博客解释说，数据工程师通常为数据科学家“分析和可视化数据”奠定基础。数据工程师执行的一些初始任务可能包括管理数据源、管理数据库和启动工具以简化数据科学家的工作。因此，严格来说，数据工程师处理隐藏在公众视线之外的所有数据分析后端任务。

数据工程师将比数据科学家更重要表明现代企业的数据主管正在意识到仅靠先进的自动化工具无法提供结果，而这些结果预计将是超快的和大规模的。在这些业务中，数据工程师将帮助机器大规模提供快速解决方案。在这种情况下，企业很可能会考虑将洞察力作为一种服务提供。注重费用的业务运营商现在质疑，当数据工程师和高级工具可以更快地提供更好的结果时，投资数据科学家是否明智。

今天的洞察驱动型企业更愿意将责任归属于“数据架构”——蓝图数据管理和数据治理——数据工程师被认为是所有这些领域的经验丰富的专家。数据工程师比数据科学家的需求更大 提供了由于数据团队中缺乏数据工程师而失败的大数据项目的内部视图。文章认为，每个数据团队的每个数据科学家都需要至少五名数据工程师。

大多数可用的行业文献都指出，数据工程师不仅比数据科学家更有价值，而且对于大数据项目的成功几乎是必不可少的。根据 Forrester 研究的 Michelle Goetz 的说法，“空缺的数据工程工作可能是数据科学工作的 12 倍。”

数据工程师的特殊贡献是什么？
简而言之，数据科学家只有在以适当的格式接收数据后才能解释数据。数据工程师的工作是将数据提供给数据科学家。因此，截至目前，数据工程师比数据科学家更受欢迎，因为工具无法执行数据工程师的任务。

数据科学家与数据工程师：一些已发布的数据
一种数据营帖子 再次确认，除非数据工程师开发用于建模、挖掘和收集数据的流程，否则今天的大部分数据科学任务将仍未完成。尽管传统上存在重叠数据科学和数据工程师的角色，差异现在很明显。

数据工程师已经远离昨天的数据科学家，而在今天的背景下，数据工程师更多地参与管理数据库和设置数据建模环境。最后，数据科学家使用定量科学知识来构建预测模型。近年来，数据工程师从数据科学家的阴影中走出来，走上前台，获得了更多的关注。

为了促进对数据工程几乎是企业数据治理使命的一部分的理解，网络研讨会数据架构师 vs. 数据工程师 vs. 数据建模师展示了数据质量工程与整体业务战略之间的相关性。本次网络研讨会的主持人唐娜·伯班克坚信，如果企业探索数据问题，他们可以非常快速地发现业务问题。

根据奥莱利，数据工程师具有出色的编程知识，而数据科学家则具有更高级的数据分析知识。然后是机器学习工程师，他位于数据科学和数据工程的交叉点。本出版物中隐含的信息是，虽然数据工程师负责数据准备的更具体细节，但数据科学家现在可以专注于某些其他（更崇高的）任务。

结论
数据科学家和数据工程师都会留下来，但数据科学家可能会逐渐淡出后台，而数据工程师将在前台获得更多的地位，处理数据分析的所有手动过程。

相关帖子DA内容精选 2022年300个以上最佳免费数据科学课 大厂数据分析面试指南！来自亚马逊、谷歌、微软、头条、美团的面试问题！ 机器学习模型方法总结 历史最全机器学习/深度学习/人工智能专业术语表中英对照表 机器学习如何应用于商业场景？三个真实的商业项目 数据工作者的自我修养 | 哪些技能是必不可少的？ 《汗牛充栋：数据分析书籍分享》CDA网校新课上线 文本挖掘常用的107个语料库 一图读懂“东数西算”工程 零基础转行数据分析，看这篇文章就够了