概率大，出现机会多，不确定性小，反之就大。
例如，当极限条件下，一个信源只发送一种符号，即发送内容是确定的，即概率为100%，此时接收方无法从接收信号中获得任何信息，即信息的量为零。
而反之发送方和接收方约定，符号1代表二进制数字0，符号2代表二进制数字1，则接收端可以通过接收到的信源符号，获取一定信息。
而信息的大小可以用“信息熵”来表示。
他从数学上证明了，满足单调性、可加性、非负性的信息熵函数，具有一种唯一的形式。
信息熵不仅定量衡量了信息的大小，同时为信息编码提供了理论上的最优值：实用的编码平均码长的理论下界就是信息熵。即，信息熵为数据压缩的极限。
同时，这从理论上证明了，只要通信速率低于信道容量，总可以找到一种编码方式，使得误差概率接近于0。而信道容量，可以用一个简洁而美丽的公式，计算出来。
里面总结出了三个定理，分别是可变长无失真信源编码定理、有噪信道编码定理、保真度准则下的信源编码定理。
这篇论文将会，也必将，开启一个新的，广泛而重要的学科——信息论。
并为这个学科划好了终点。
兰恩最后检查了一遍语法，对照了一下末尾的引用部分，然后将这叠用打字机打出的论文文稿，装进大号牛皮纸信封里。
文稿很厚，沉甸甸的。
他准备明天去投稿，投给有过接触的期刊《应用数学与奥术杂志》。
喜欢新时代导师请大家收藏：(m.zjsw.org)新时代导师爪机书屋更新速度全网最快。