2020/02/04
《Python深度学习》读书笔记-(Keras之父弗朗索瓦>肖莱著；张亮译)
《No.03: p16~p19》第1章 什么是深度学习

1.3.        为什么是深度学习，为什么是现在
三种技术力量在推动着机器学习的进步
1.3.1.        硬件
1.3.1.1.        CPU 的速度的提高
1.3.1.2.        GPU的出现
1.3.2.        数据
1.3.2.1.        互联网的兴起，它使得收集与分发用于机器学习的超大型数据集变得可行。
1.3.2.2.        如果有一个数据集是深度学习兴起的催化剂的话，那么一定是 ImageNet 数据集
1.3.3.        算法
1.3.3.1.        2009—2010 年，当时出现了几个很简单但很重要的算法改进，可以实现更好的梯度传播。
1.3.3.2.        更好的神经层激活函数（activation function）。
1.3.3.3.        更好的权重初始化方案（weight-initialization scheme）
1.3.3.4.        更好的优化方案（optimization scheme），比如 RMSProp 和 Adam。
1.3.4.        新的投资热潮
1.3.4.1.        2013 年，Google 收购了深度学习创业公司 DeepMind，报道称收购价格为 5 亿美元，这是历史上对人工智能公司的最高收购价格。
1.3.4.2.        2014 年，百度在硅谷启动了深度学习研究中心，为该项目投资 3 亿美元。
1.3.4.3.        2016 年，深度学习硬件创业公司 Nervana Systems 被英特尔收购，收购价格逾 4 亿美元。
1.3.5.        深度学习的大众化
1.3.5.1.        具有基本的 Python 脚本技能，就可以从事高级的深度学习研究。
1.3.5.2.        Theano 和 TensorFlow 是两个符号式的张量运算的 Python 框架，都支持自动求微分，这极大地简化了新模型的实现过程。
1.3.5.3.        Keras 等用户友好型库则使深度学习变得像操纵乐高积木一样简单。
1.3.6.        这种趋势会持续吗
1.3.6.1.        深度学习有几个重要的性质，证明了它确实是人工智能的革命，并且能长盛不衰。
1.3.6.2.        性质1: 简单。深度学习不需要特征工程，它将复杂的、不稳定的、工程量很大的流程替换为简单的、端到端的可训练模型。
1.3.6.3.        性质2:可扩展。深度学习适合在 GPU 或 TPU 上并行计算，因此可以充分利用摩尔定律。
1.3.6.4.        性质3:多功能与可复用。深度学习模型无须从头开始就可以在附加数据上进行训练，因此可用于连续在线学习，这对于大型生产模型而言是非常重要的特性。此外，训练好的深度学习模型可用于其他用途，因此是可以重复使用的。例如，可将一个对图像分类进行训练的深度学习模型应用于视频处理流程。