吴军信息论40讲（17）
昨日阅读2小时，累计阅读382小时
第三十六讲 最大熵原理

当我们要对一个随机概率事件的概率分布进行预测时，我们的预测应该满足所有已知条件，而对未知条件不要进行任何主观假设

老子的说法就是过犹不及，就是把信息使用的刚刚好。

最大熵原理的好处：模型最光滑，不会遇到黑天鹅事件，一个光滑的模型可以让预测的风险最小。

最大熵原理的弊端：计算量太大


如果你获得了全部的信息就不用预测了，事件是确定的了

没有得到信息之前不要做任何预测

不要把鸡蛋放到一个篮子里，要让凡事变得平滑


第三十七讲 麦克斯韦的妖

物理学上熵永远是朝着增加的方向变化的，也就是分子的不确定性越来越大

信息的获取本身需要能量

一个地区和组织也一样，只有引入负熵，才可能让系统通过外界交换变得更加有序，也就是朝着越来越好的方向变化。

引入负熵的办法，一是直接与外界进行人的交换，二是接收外界的新思想

人一旦封闭起来离无序的状态就不远了