请问如下随机动态规划问题如何用Excel进行求解

随机状态S={N, D}
状态转换概率为P(NN)=0.9, P(ND)=0.1, P(DN)=0.3, P(DD)=0.7.
进行原油投机. 油价Price(N)=60, Price(D)=90
初始库存为0，最大库存为1000, 单次买入或者卖出数量应为100的倍数
库存单位成本为0.1
折现因子为98%
无限时间

想这东西想到头大Excel就是折腾不出来，请问这种问题要怎样通过Excel进行求解？ 拜托了！