在大型数据集上进行机器学习颇具挑战性，这主要是因为常见的机器学习算法并非为并行架构而设计。多数情况下，设计这样的算法并不容易。机器学习模型一般具有迭代式的特性，而这与 Spark 的设计目标一致。并行计算的框架有很多，但很少能在兼顾速度、可扩展性、内存处理和容错性的同时，还提供灵活、表达力丰富的 API。 Spark 是其中为数不多的一个。