5种训练神经网络的算法
用于在神经网络中执行学习过程的过程称为优化算法（或优化器）。 有许多不同的优化算法。就内存需求，速度和精度而言，所有这些都具有不同的特性和性能。
问题表述
学习问题是根据损耗指数f的最小化来表述的。此功能可测量数据集上神经网络的性能。
损耗指数通常由错误和正则项组成。误差项评估神经网络如何拟合数据集。通过控制神经网络的有效复杂度，可将正则化项用于防止过度拟合。
损失函数取决于神经网络中的自适应参数（偏倚和突触权重）。我们可以方便地将它们组合到一个n维权重向量w中。
最小化许多变量的连续和可微函数的问题已被广泛研究。解决该问题的许多常规方法可直接应用于训练神经网络。
一维优化
尽管损失函数取决于许多参数，但是一维优化方法在这里非常重要。确实，它们经常在神经网络的训练过程中使用。
当然，许多训练算法首先计算训练方向d，然后计算训练速率  η 。从而使该方向上的损耗f（η ）最小。
在这方面，一维优化方法搜索给定一维函数的最小值。广泛使用的一些算法是黄金分割法和布伦特法。两者都会减小支架的最小值，直到支架中两个外部点之间的距离小于定义的公差为止。
多维优化
神经网络的学习问题被表述为搜索参数向量w ?  ，其中损失函数f取最小值。必要条件表明，如果神经网络的损失函数最小，则梯度为零向量。
损失函数通常是参数的非线性函数。结果，不可能找到针对最小值的封闭训练算法。相反，我们考虑在由一系列步骤组成的参数空间中进行搜索。在每一步，通过调整神经网络参数，损耗将减少。
这样，为了训练神经网络，我们从一些参数向量开始（通常是随机选择）。然后，我们生成一系列参数，以便在算法的每次迭代中都减少损失函数。两步之间的损耗变化称为损耗减量。当满足指定条件或停止标准时，训练算法停止。
这些是神经网络的主要训练算法：
梯度下降
牛顿法
共轭梯度
拟牛顿法
Levenberg-Marquardt算法

关注 CDA人工智能学院 ，回复“录播”获取更多人工智能精选直播视频！