吴军信息论四十讲(3)
昨日阅读2小时,累计阅读352小时
第五讲、信息编码
信息编码并非只有人类有的技能,很多动物包括植物都有
由于信息在不同编码系统中是等价的,所以在一个编码系统中解决不了的问题,在另一个编码系统中也解决不了
对数字的各种编码其实是等价的,不过是平衡编码复杂性和码长之间的关系
编码长度≥信息熵(信息量)/每一个码的信息量
香农第一定律证明只要编码设计的够精妙,上面公式的等号是成立的
在任何历史阶段谁控制了信息谁就是世界的主人
第六讲、有效编码
如何组合信息,保证它高效传递,还能不违背第一条“易辨识”的原则
有64瓶药,其中63瓶无毒,1瓶有毒,如做实验的小白鼠吃了1瓶有毒,3天后会死亡,吃其余则没有问题,现在只剩下3天的时间,问最少需要多少只老鼠才能实验出哪瓶药有毒。
答案是6只
有效编码其实就是让理论最佳值在实践中落地
学以致用比学习更重要