超参数在模型开发中的重要性
机器学习（ML）开发是一个反复的过程，其中通过重复训练和评估阶段，不断提高模型做出的预测的准确性。在每个迭代中，开发人员都会不断调整某些参数。根据从先前实验中学到的信息手动选择的任何参数都可以称为模型超参数。这些参数代表无法根据数据或ML理论估计其价值的直观决策。超参数是您在训练模型的每次迭代过程中都会调整的旋钮，以提高模型做出的预测的准确性。超参数是控制训练过程本身的变量。它们通常由具有机器学习开发经验的从业者指定。
建立ML模型是一个漫长的过程，需要领域知识，经验和直觉。在ML中，超参数优化或调整是为学习算法选择一组最佳超参数的问题。对于给定的问题，我们可能事先不知道超参数值的最佳组合。我们可能会使用经验法则，复制在其他问题上使用的值，或者通过反复试验寻找最佳值。当通过更改更高级别的API进行优化以针对特定问题调整机器学习算法时，我们还需要调整超参数，以发现导致模型具有更高预测精度的参数。超参数调整通常称为在参数空间中搜索最佳值。使用深度学习模型时，搜索空间通常非常大，而单个模型可能需要几天的时间进行训练。常见的超参数是：
纪元-对整个数据集进行全面培训，以使每个示例都只能看到一次。
学习率-用于通过梯度下降训练模型的标量。在每次迭代期间，梯度下降算法将学习率乘以梯度。所得乘积称为梯度步骤。
随机梯度下降的动量-摩擦系数控制下降到底部时下降的速率。
正则化方法-正则化用于防止模型过度拟合。不同种类的正则化包括L1正则化（Lasso）和L2正则化（Ridge）
正则化率-对模型复杂性的惩罚。标量值?指定正则化函数相对于损失函数的重要性。提高value的值可减少过度拟合，但以模型精度为代价。
提前停止-通过提前停止回调函数进行正则化会测试每个时期的训练条件，如果经过一定数量的时期而没有任何改善，则它将自动停止训练。
耐心参数是要检查改进的时期数。
k均值聚类中的K-要发现的聚类数
C和Sigma-用于支持向量机
隐藏层数-用于神经网络
每层的单位数-对于神经网络
max_depth-随机森林方法中树的最大深度
n_estimators-随机森林中的树木数量。树木数量越多，性能越好
使用超参数调整进行模型优化是确定这些参数理想组合的一个搜索问题。使用超参数进行优化的常用方法是：网格搜索，随机搜索和Beyesian优化。在网格搜索中，将构造指定范围内每个超参数的所有可能值的列表，并顺序尝试这些值的所有可能组合。在网格搜索中，要执行的实验数量随着超参数的数量而急剧增加。并非在所有可能的配置上进行训练，而是在随机搜索方法中仅在配置的子集上对网络进行训练。随机选择要训练的配置，并且在每次迭代中仅训练最佳配置。在Beyesian优化中，我们正在使用ML技术来找出超参数。它预测了可能提供更好结果的超参数空间区域。高斯过程是一种使用的技术，它可以从先前进行的各种参数配置类型的实验结果中找到最佳的超参数。

关注 CDA人工智能学院 ，回复“录播”获取更多人工智能精选直播视频！