搭建神经网络过程中的37个易错点和解决建议

有一个网络已经训练了12个小时。一切看起来都很好：梯度是逐渐变化的，损失在减少。但接下来的预测：都是零，所有的图像背景都没有被检测到。
What’s wrong？从哪里开始检查是否你的模型输出了垃圾（例如，预测输出了平均值，或者它的准确性真的很差)？由于许多原因，神经网络可能不会进行训练。

通常从以下简短的清单开始，作为紧急的第一反应：
1. 从一个已知适用于这类数据的简单模型开始（例如，图像的VGG）。如果可能，使用标准损失。
2. 关闭所有的附加功能，例如正则化和数据增强。
3. 如果对一个模型进行微调，要仔细检查预处理，因为它应该与原始模型的训练相同。
4. 验证输入数据是否正确。
5. 从一个非常小的数据集（2-20个样本）开始。对它进行过度拟合，并逐渐添加更多的数据。
6. 开始逐步添加所有被省略的部分：增强/正则化、自定义损失函数、尝试更复杂的模型。

如果上面的步骤没有解决问题，建议从数据集问题、数据规范化或增强的问题、实现问题、训练问题方面进一步检查。Slav Ivanov指出了搭建神经网络过程中的37个易错点并给出了相应的解决建议。

原文传送带：https://blog.slavv.com/37-reasons-why-your-neural-network-is-not-working-4020854bd607