分布式交替方向乘子法研究
随着数据信息的爆炸式增长,传统的运行在单机上的机器学习方法不能有效地处理现实应用中的大规模数据,而且分布式数据的集中化处理会造成数据采集的额外开销,这些情况都给大数据分析带来了新的挑战。分布式机器学习是随着"大数据"概念兴起的,而且分布式技术被用来解决大规模机器学习等问题。
在众多的分布式算法中,交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)是因其高分解性和收敛性得到广泛的关注。ADMM通过将原始问题转化为全局一致性问题,能够灵活地采用分布式方式解决许多机器学习问题。
在分布式ADMM中,计算节点通过训练自己局部模型参数来并行地优化子问题,然后将所有的局部变量合并起来对全局变量进行优化,最后迭代得到全局解。而且许多研究学者已经证明了在一定的假设前提下,ADMM算法具有次线性的收敛率。
因此,本文围绕"分布式ADMM研究"这一主线,对分布式ADMM中的关键问题展开了针对性的研究工作,具体而言,本文的主要工作和创新如下:1.分布式机器学习全局一致性框架:为构建分布式机器学习研究框架,本文提出了一个 ...