《机器学习导论》2nd Edition ---（土耳其）Ethem Alpaydin 著 范明 昝（zan）红英 牛常勇译 ----机械Press-2014.3

或者存在噪声，则过分复杂的假设可能不仅学习潜在的函数，且也学习数据中的噪声，导致很差的拟合。
如用六次多项式拟合从三次多项式抽样的噪声数据时，这种情况就会发生。称为：过拟合（overfitting）
这时，拥有更多的训练数据是有帮助的，但只能达到一定程度。

三元权衡（triple trade-off）（Dietterich 2003）来总结我们的结论，在所有的由实例数据训练的学习算法中，存在以下三种因素之间的平衡：
1）拟合数据的假设的复杂性，即假设类的能力；
2）训练数据的总量
3）在新的实例上的泛化误差

随着训练数据量的增加，泛化误差降低。

如果我们访问训练集以外的数据，我们就能够度量假设的泛化能力，即归纳偏倚的质量。
通过将训练集划分为两个部分来模拟这一过程。一部分做训练（即找出假设），剩下的部分称作验证集（validation set），并用来检验假设的泛化能力。

假定训练集和验证集都足够大，则在验证集上最精确的假设就是最好的假设（即具有最佳归纳偏倚的假设）。这个过程称为交叉验证（cross-validation）。
如：为了找到多项式回归的正确的阶，给定多个不同阶的候选多项式，其中不同阶的多项式对应于不同的花Hi，我们在训练集上求出它们的系数，在验证集上计算它们的误差，并取具有最小验证误差的多项式作为最佳多项式。