吴军信息论40讲（4）
昨日阅读2小时，累计阅读354小时
第七讲、最短编码

越常出现的编码采用较短的码长，不常出现的编码采用较长的编码

哈夫曼编码——又称霍夫曼编码，是一种编码方式，哈夫曼编码是可变字长编码(VLC)的一种。Huffman于1952年提出一种编码方法，该方法完全依据字符出现概率来构造异字头的平均长度最短的码字，有时称之为最佳编码，一般就叫做Huffman编码（有时也称为霍夫曼编码）。

霍夫曼编码的基本方法是先对图像数据扫描一遍，计算出各种像素出现的概率，按概率的大小指定不同长度的唯一码字，由此得到一张该图像的霍夫曼码表。编码后的图像数据记录的是每个像素的码字，而码字与实际像素值的对应关系记录在码表中。

哈夫曼编码的3个要点：

1、从数学上可以证明哈夫曼编码是最优的

2、一条信息编码的长度和它出现概率的对数成正比

3、在现实生活中，很多信息的组合比单独一条信息，其概率分布差异更大，因此对他们进行哈夫曼编码效率会更高。

对个人来看，不断尝试新东西，但对于看样子成功不了的东西要及时止损。


第八讲、矢量化

信息论的一个原理——矢量数字化

编码简化的自然过程就是矢量化的过程。

人类象形文字的演化就是一个矢量化的过程。

矢量化让问题变得简单，但也会损失一些信息，而平衡便利性和信息的完整性就成为了艺术。