20.2.12
1.全局最优：经过组合形成的，整体来说分类效果最好的模型，通过执行”贪心策略“，即通过局部的最优来达到我们相信是最接近全局最优的结果。
2.贪心算法：通过实现局部最优来达到接近全局最优结果的算法，所有的树模型都是这样的算法。最典型的决策树算法是Hunt算法，该算法是由Hunt等人提出的最早的决策树算法。现代，Hunt算法是许多决策树算
法的基础，包括ID3、C4.5和CART等。Hunt算法诞生时间较早，且基础理论并非特别完善，此处以应用较广、理论基础较为完善的ID3算法的基本原理开始，讨论如何利用局部最优化方法来创建决策模型。
3.不纯度衡量决策树最佳节点和最佳分支方法的指标
4.误差率、信息熵、基尼指数
5.ID3是通过信息熵来衡量不纯度