当预测模型的用户数量增加时，预计（尽管经常是错误的）机器学习驱动的系统将自动扩展以跟上这种增长。如果系统无法扩展，处理要求可能会超过性能。使用 LinkedIn 中的示例文章，样本推荐系统未能及时推荐所需的产品或服务列表，这意味着客户在购买时没有收到产品或服务推荐。

尽管开发可扩展的系统可能会带来严峻的挑战，但回避构建可扩展的系统可能会成为一个更大的问题，并可能导致客户流失或未实现收入。在扩展过程中，许多技术问题（如工作负载问题、内存表示、框架限制、资源使用与性能等）可能会浮出水面并导致生产停滞。

ML 模型的缩放可能意味着从“卑微的开始”到将它们部署到“世界统治”之间训练 ML 模型之间的任何事情。回顾这个走向数据科学文章感受从零到一百万用户训练机器学习模型的过程。

IT 行业文献表明，目前有太多机器学习大规模构建的 (ML) 系统正在研究实验室的围墙内消亡。根据 Venture Beat 的作者文章，Gartner 预测，80% 的 AI 项目将在研究实验室中消亡。以下是构建可扩展 ML 系统的一些已知挑战：

在设计系统时缺乏适当的规划
夸大和不切实际的目标和期望
无法操作 ML 模型
扩展过程中面临的技术问题：工作负载、资源使用与性能或内存处理
利益相关者之间缺乏共识
开发团队成员注意力不集中
可扩展性最佳实践尚待探索
熟悉在此扩展中的意外挑战Researchgate出版物。

在里面文章 当代数据科学家：大规模工作机器学习，作者 Jennifer Zaino 在 Gartner 的数据科学和机器学习平台魔力象限中提到，“数据科学和机器学习平台市场将在未来几年处于不断变化的状态。” 两年后，这个市场正在经历预言中的变化，机器学习技术和工具仍在等待批准，无数机器学习系统在生产过程中出现大规模故障。本文重点介绍 Anaconda Enterprise 5.2 平台及其开源发行版，该发行版可满足超过 600 万用户为 Windows、Linux 和 Mac OS X 平台构建 ML 的需求。AI 和 ML 社区越来越多地选择低成本研发平台来构建可扩展的 ML 应用程序。

大规模机器学习
Codementor 博客的作者邮政解释说，不断上升的网络人口和平均网络速度，极大地促进了数据的突然爆炸性增长。这转化为用于训练 ML 模型的数据的大量增长。作者进一步使用了 Facebook 的一个例子，其中 25% 的工程师使用训练模型最终每月训练 600,000 个模型。这个数字表明自动化在中国的日益普及数据管理平台声称“以类似人类（或在某些情况下甚至更好）的效率执行现实世界的任务。”

如果可扩展系统必须正常运行，那么这一统计数据足以证明扩展 ML 系统的重要性。如果没有计划的扩展，即使是最好的 ML 系统也将无法在用户量增长时交付结果。根据这篇文章的作者的说法，扩展最棘手的部分是在特定框架内实现学习算法，例如TensorFlow或者PyTorch. 在缩放期间，与迭代数据馈送相关的内存表示特别具有挑战性。此外，资源使用与性能是一个额外的挑战。

未来的可扩展机器学习 (ML) 应用
当您想到下一代机器学习应用程序时，未来可扩展的机器学习系统的成功率将确保“大规模机器学习”作为技术概念的未来可持续性。未来 ML 应用程序的一个关键组成部分可能是增加工作负载，并且随着用户的增长扩展工作负载将至关重要。当前的重点是找到扩展 ML 系统的更好方法。机器学习研发投资预计将飙升至600亿美元到 2021 年。另一方面，从 2017 年到 2020 年，ML 系统实现增长了四倍。ML 的未来采用率很大程度上取决于可扩展性因素的成功。当前的 ML 架构既不是“弹性的，也不是大规模高效的”。阅读此西部数据邮政了解更多关于使用 GPU 来满足 ML 处理需求的信息。

大规模机器学习 (ML) 用例：用于 Cloudera、计算机视觉和大数据的 Apache Spot
大规模网络威胁检测
若干年前，该新闻稿 开源创新加速了 Cloudera 的大规模机器学习，该公司宣布 Cloudera 是一个创新的机器学习平台，已经在其平台上提供了 Apache Spot 1.0，以实现“快速、简单和更具可扩展性的网络安全机器学习”。阿帕奇现货是一个开源网络安全项目，旨在为所有人提供高级分析。该平台的显着特点是其可扩展性。迄今为止，该解决方案平台已大规模提供网络威胁检测。Apache Spot 的社区驱动方法使组织能够在 ML 支持的分析技术的帮助下协作并检测超连接世界中的网络攻击。

大规模计算机视觉识别
在 ScaledML 期间出现的另一个突出的可扩展 ML 应用程序播客，其中斯坦福大学兼职教授、ScaledML 的联合组织者 Reza Zadeh 谈到了“扩展 ML 的现实世界策略”。对话自然而然地多样化为机器学习的硬件和软件接口、深度学习的发展和计算机视觉识别。

大规模使用机器学习 (ML) 处理大数据
最后一个用例是从大数据世界借来的。出于说明的目的，Spark、Scalable ML 和 MLF 可用于演示机器学习在大数据上的应用。需要强调的是，大多数可扩展的 ML 模型在生产阶段要么存活要么死亡；生产测试是可扩展 ML 的试金石。

清盘
这里有一个介绍致力于解决机器学习模型中出现的问题，“当数据量在样本数、特征数和模型参数数方面增长时”。该演示文稿为该主题提供了足够的技术深度，并可作为可扩展 ML 系统的有用概述，以供进一步研究。

相关帖子DA内容精选 2022年300个以上最佳免费数据科学课 大厂数据分析面试指南！来自亚马逊、谷歌、微软、头条、美团的面试问题！ 机器学习模型方法总结 历史最全机器学习/深度学习/人工智能专业术语表中英对照表 机器学习如何应用于商业场景？三个真实的商业项目 数据工作者的自我修养 | 哪些技能是必不可少的？ 《汗牛充栋：数据分析书籍分享》CDA网校新课上线 文本挖掘常用的107个语料库 一图读懂“东数西算”工程 零基础转行数据分析，看这篇文章就够了