熵

现在可以采用香农的熵概念。回想一下，比较两个编码的表米来年代显示了第二种编码方案将传输平均5.7个字符米每秒。但是假设，不是…

另一个概念，首先由香农提出噪声源但后来与熵的概念(从物理学中衍生出来的原理)联系在一起，被强加在通信模型上。熵在大多数通信中类似于音频或视觉静态——也就是说，……

一种通信系统，称为熵(类似于熵的热力学概念，它测量物理系统中的无序程度)，是根据信息源的统计特性计算出来的。

一种被称为熵的通信系统，它是根据信息源的统计特性计算出来的(在香农的信息论中，熵类似于热力学中的熵，用来衡量物理系统的无序程度。)Sinai和Kolmogorov在1959年扩展了这个。