2020/01/06
《百面机器学习-算法工程师带你去面试》读书笔记
《No.6: p45~p47》第二章 模型评估

Q23 模型评估过程中，过拟合和欠拟合具体是指何种现象?

1        过拟合: 在训练集上表现很好，但在测试集和新数据的表现较差。
2        欠拟合: 在训练集及测试集的表现都不好。

Q24 有哪些降低过拟合及欠拟合风险的方法?

1        将低过拟合风险的方法
1.1        获得更多的数据。或用一定的规则扩充训练数据；或生成式对抗网络来合成大量的新训练数据。
1.2        降低模型复杂度，如在网络模型中减少网络层数、神经元数等；在决策树模型降低树的深度、进行剪枝等。
1.3        正则化方法，给模型的参数加上一定的正则约束，如将权值的大小加到损失函数中。
1.4        集成学习方法: 将多个模型集成在一起，来降低单一模型过拟合的风险，如bagging方法。
2        降低欠拟合风险的方法
2.1        添加新特征。深度学习潮流中，有很多模型可以帮助完成特征工程，如”因子分解机”、梯度提升决策树、Deep-crossing等都可以增加特征。
2.2        增加模型复杂度: 如线性模型增加高次项。网络模型增加网络层数、神经元数等。
2.3        减小正则化系数，正则化是来防止过拟合的，若模型出现欠拟合，则需要减小正则化系数。