2019/12/16
《No.15: p122-p127》《增强型分析-AI驱动的数据分析、业务决策与案例实践》读书笔记
第5章 应用数据分析做出最优决策

5.4 优化技术介绍
5.4.1 数据挖掘算法中常用的优化技术: 在约束条件或无约束条件下，寻找目标最大值或最小值。
  1.无约束优化
   (1)无导数优化算法: 适用目标函数非光滑、求导比较耗时或比较复杂的情况
     a)模拟退火算法:是一种概率能收敛于全局最优解的全局优化算法。
     b)粒子群算法: 通过初始化为一群随机粒子，然后通过多次迭代，每次迭代都追随最优粒子的方向，直到集中在最优。应用在神经网络、聚类分析、网络社区发现等。
     c)遗传算法:优化过程通过交叉变易产生子代，若子代符合标准则输出子代，否则选择适合度高的个体作为父母，重新产生子代。
   (2)一阶导数优化算法
     a)固定学习率的优化算法: 算法包括，SGD(随机梯度下降)、Momentum、NAG(Nesterov Acceleration Gradient)
     b)自适应学习率的优化算法: 算法包括，AdaGrad、RMSProp、AdaDelta、Adam、Nadam。

   (3)二阶导数优化算法
     a)NewTon，牛顿法，属于二阶优化技术，利用目标函数的一阶导数和二阶导数直接寻找梯度为0的点。
     b)Quasi-Newton，拟牛顿法，也是属于二阶优化技术，其二阶导数是近似值求法。BFGS和L-BFGS是两种常用的方法。
   (4)共轭梯度法: 是指每次的搜索方向与之前每次的方向保持共轭关系，保证了最多经过n次寻幽就可以找到二次函数的最优值点。

  2.有约束优化
   (1)无导数优化算法:
     a)线性规划: 目标函数与约束函数都是线性函数，不用导数求解。
     b)整数规划: 线性规划的变量限制为整数
     c)0-1规划: 整数规划的变量限制为0或1。
   (2)导数优化算法
     a)有效集法
     b)交替方向乘子法
   (3)转换为无约束优化求解
     a)投影法
     b)拉格朗日法
     c)惩罚数法
   (4)多目标优化: 指优化问题包含多个目标，而且目标之间存在冲突。
     a)线性加权法
     b)理想点法
     c)极大极小法
     d)分层序列法