2019/12/19
《No.18: p143-p154》《增强型分析-AI驱动的数据分析、业务决策与案例实践》读书笔记
第5章 应用数据分析做出最优决策

5.6 马尔可夫链及马尔可夫决策过程

5.6.1 马尔可夫过程及法尔可夫链
  1.马尔可夫过程: t+1的系统状态取决于t的系统状态。
  2.马尔可夫链: 未来一系列可能状态的概率仅仅依赖于前一个状态的随机模型。

5.6.2 马尔可夫决策过程及应用工具
  1.马尔可夫决策过程: 马尔可夫链的状态转换依赖于目前的状态和应用在该状态上的干预。
  2.马尔可夫决策过程就是不断计算收益值并通过收益最大化来选择具体动作，作为最终的决策输出的过程。
  3. 马尔可夫具体表达
   MDP=(S,A,P,R,r)
   S: 有限的状态集
   A:有限的干预动作集
   P:转移概率
   R: 发生转移状态所获得的收益
   r: 折扣系数

  4.可用Markov Decision Process(MDP) Toolbox for Python工具求解。

5.6.3 应用马尔可夫决策过程研究营销strategy及客户生命周期价值
  1.在营销领域应用马尔可夫链，首先要”明确客户状态”和”状态间迁移的概率矩阵”。
  2.明确客户状态方式: 如”持有产品的数量”、”资产数量”、”与银行的往来时长”、”过往的贡献”等。
  3.客户生命周期: 客户接触、购买、忠诚、流失的全过程和所有阶段。
  4.客户生命周期价值(Customer Lifetime value): 预测未来客户生命周期的收益。