2020/02/02
《Python深度学习》读书笔记-(Keras之父弗朗索瓦>肖莱著；张亮译)
《No.02: p11~p15》第1章 什么是深度学习

1.2.        深度学习之前: 机器学习简史
1.2.1.        概率建模
1.2.1.1.        朴素贝叶斯算法
1.2.1.2.        Logistic回归
1.2.2.        早期神经网络
1.2.2.1.        1989年贝尔实验室第一次成功实现了神经网络的实践应用。
1.2.3.        核方法
1.2.3.1.        核方法(kernel method)最有名的就是支持向量机(SVM)，SVM的目标是通过在属于两个不同类别的两组数据之间找到良好的决策边界来解决分类问题。
1.2.3.2.        SVM通过两个步骤来找寻决策边界
1.2.3.2.1.        第一步骤: 将数据映射到一个新的高维表示。这是决策边界可用一个超平面来表示。
1.2.3.2.2.        第二步骤: 尽量让超平面与每个类别最近的数据点之间的距离最大化。
1.2.3.2.3.        SVM不适用于大数据集，对图像分类效果也不好。
1.2.4.        决策树、随机森林与梯度提升机
1.2.5.        回到神经网络
1.2.5.1.        神经网络在2010年左右取得重大突破。
1.2.5.2.        2011年来自IDSIA的Dan Ciresan开始利用GPU训练深度神经网络赢得竞赛。
1.2.5.3.        2012年神经网络赢得ImageNet挑战赛。
1.2.6.        深度学习有何不同?
1.2.6.1.        深度学习将”特征工程”完全自动化
1.2.6.2.        深度学习可以在同一时间共同学习所有表示层，而不是依次连续学习(这被称为贪婪学习)。
1.2.6.3.        深度学习进行学习时的两个基本特征
1.2.6.3.1.        第一个特征: 通过渐进的、逐层的方式形成越来越复杂的表示
1.2.6.3.2.        第二个特征: 对中间这些渐进的表示共同进行学习。
1.2.7.        机器学习现状
1.2.7.1.        看Kaggle上机器学习竞赛，可了解机器学习现状
1.2.7.2.        2016年~2017年最流行的两大方法
1.2.7.2.1.        梯度提升机: 处理结构化数据；使用XGBoost库，支持Python及R语言
1.2.7.2.2.        深度学习: 处理图像分类等感知问题，使用Keras库，且支持Python。