在机器学习中信息熵、交叉熵、相对熵（KL散度）都是常用的概念，这里mark一下。首先给出信息熵的概念，度量系统不确定性的，本质是香农信息量()的期望：H(p)=。


参考链接：
https://www.zhihu.com/question/41252833
http://blog.sina.com.cn/s/blog_80ce3a550102wko1.html