《机器学习导论》2nd Edition ---（土耳其）Ethem Alpaydin 著 范明 昝（zan）红英 牛常勇译 ----机械Press-2014.3


2.7 模型选择与泛化
从实例学习布尔函数作为例子开始。
在布尔函数中，所有的输入和输出均为二元的。d 个二元值有2 d次方种可能的写法。因此对于d个输入，训练集最多能有2的d次方个样本实例。
因此，对于d个输入，将有 2 的 (2 的d次方）次方个可能的布尔函数。
每个不同的训练样本都会去掉一般的假设，即去掉那些猜测出错的假设。

如有x1 =0, x2 =1，而输出为0，这种情况下，就去掉了值为1的布尔函数
这是观察学习的一种途径。随着看到更多的训练样例，逐步去掉那些与训练数据不一致的假设。在布尔函数的情况下，为了最终得到单个假设，我们需要看到所有的2的d次方个训练样本。
如果给定的训练集只包含所有可能实例的一个小子集（通常情况如此），也就是说，如果我们仅对少量情况知道输出应该是什么，则解是不唯一的。
看到N个样本实例后，还有2 的( 2的d次方 - N）次方个可能的函数。这是一个不适定问题（ill-posed problem），其中仅靠数据本身不足以找到唯一解。

在其他的学习应用中，在分类、回归中也存在同样的问题。

随着我们看到更多的训练实例，我们对潜在函数的了解就更多，且我们从假设类去掉更多不一致的假设，但我们还剩下许多一致的假设。

由于学习是一个不适定问题，且单靠数据本身不足以找到解，因此我们应该做一些特别的假设，以便得到已有数据的唯一解。
我们把为了使得学习称为可能所做的假设集称为学习算法的归纳偏倚（inductive bias）。
引入归纳偏倚的一种途径是假定一个假设类。