![信息论与编码原理](https://wfqqreader-1252317822.image.myqcloud.com/cover/517/688517/b_688517.jpg)
2.1.3信息熵的性质
1. 非负性
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0024_0005.jpg?sign=1739287252-2YjN97q3Enrr1QMozkHZboYhAcXIAUva-0-a2f46bb2ab576607d349b9ed01d3216c)
其中等号成立的充要条件是当且仅当对某i,p(xi)=1,其余的p(xk)=0(k≠i)。
证明 由H(X)的定义式(2-7)可知,随机变量X的概率分布满足0≤p(x)≤1,log2p(x) ≤0,所以H(X)≥0。
因为每一项非负,所以必须是每一项为零等号才成立。即-p(xi)log2 p(xi)=0,此时只有p(xi)=0或p(xi)=1时上式才成立,而
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0025_0001.jpg?sign=1739287252-3No80WwQdEqdmOi3x4DvViceb8FwtEgg-0-83a6538acf4c522250751e052bd03d97)
所以只能有一个p(xi)=1,而其他p(xk)=0(k≠i)。这个信源是一个确知信源,其熵等于零。
2.对称性
熵的对称性是指H(X)中的p(x1), p(x2), …, p(xi), …, p(xn)的顺序任意互换时,熵的值不变。即
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0025_0002.jpg?sign=1739287252-nx37ljnSe4zZD3shiYwswXIT12ffG567-0-31d05a7d9fb27df7efed02b5afde6056)
由式(2-7)的右边可以看出,当概率的顺序互换时,只是求和顺序不同,并不影响求和结果。这一性质说明熵的总体特性,它只与信源的总体结构有关,而与个别消息的概率无关。
例如,两个信源
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0025_0003.jpg?sign=1739287252-LL5vQS25TrIxTKDZI1ugWMtRDCKYcbNB-0-2bc00f56a3f69d715d0d2a94d36e647b)
的信息熵相等,其中x1,x2,x3分别表示红、黄、蓝3个具体消息,而y1,y2,y3分别表示晴、雾、雨3个消息。因为两个信源的总体统计特性相同,信息熵只抽取了信源输出的统计特征,而没有考虑信息的具体含义和效用。
3. 最大离散熵定理
定理2-1信源X中包含n个不同离散消息时,信源熵有
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0025_0004.jpg?sign=1739287252-ywF8E8FmLNFWMXczSvg2APbqelwEMJbl-0-74edd36921a7e4b18e7bfd6b1609bcb5)
当且仅当X中各个消息出现的概率相等时,等号成立。
证明 自然对数具有性质 lnx≤x-1,x>0,当且仅当 x=1时,该式取等号。这个性质可用图2-1表示。
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0025_0006.jpg?sign=1739287252-n3Elgzx6MnFLKiWk0BOLP7hsD4XTpFfU-0-c8cfa986bab3d0abd43f7d676e8923ec)
图2-1 自然对数的性质
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0025_0005.jpg?sign=1739287252-ejCt0Jf65NT5qPGui2dPero4jZZ7XyjT-0-f84e48655fa271aaa9d0131e9948e0c5)
令
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0025_0007.jpg?sign=1739287252-N9SoexDhmEdyvLaJWHn4DQTWm4LdkdHp-0-e4e6943e2d7d724510014c5c2e3f40e0)
并且
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0025_0008.jpg?sign=1739287252-qVSPr2kqtQpOyzpwvGYQPIxz3CEtN9FA-0-1f215737f9ad92442057a676a67f7722)
得
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0025_0009.jpg?sign=1739287252-DeboStxUqV9XwyboozXldnAHJx1fqNXr-0-675c1539cdd7716a5c6bce079b99884c)
所以
H(x)≤log2n
等式成立的条件为
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0026_0001.jpg?sign=1739287252-7L39Gr2HSzA3s21LEBRLT9Al3XpPX9iE-0-6a968905b5c31030a1068b03c13b87db)
即。上式表明,等概率分布信源的熵为最大,只要信源中某一信源符号出现的概率较大,就会引起整个信源的熵下降。由于对数函数的单调上升性,集合中元素的数目n越多,其熵值就越大。
4. 可加性
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0026_0003.jpg?sign=1739287252-e6GVW9O6lnVtzjRNNXqT2u9taD6D5PwL-0-d2c4f76877e04cbbd713f5afda36e01a)
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0026_0004.jpg?sign=1739287252-Sb4IhiIx7drogJJ2KB4SnmzRJER4fnjX-0-16c755b41be97fe74b94faf3253cb6f5)
可加性是信源熵的一个重要特性,可以推广到多个随机变量构成的概率空间之间的关系。
设有N个概率空间X1, X2, …, XN,其联合熵可表示为
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0026_0005.jpg?sign=1739287252-VDNbQGF5Rl1ce1mwGPQpeM3XIR4GfKjn-0-9a8de1429e39bfa171352cf80f62502a)
如果N个随机变量相互独立,则有
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0026_0006.jpg?sign=1739287252-pSmwtxgR0CT76sevuZoKe0IZytRQzcBC-0-b7a4adb207563e2668cdbd3ac7659179)
5. 香农辅助定理和极值性
定理2-2对于任意两个消息数相同的信源X和Y,i=1, 2, …, n,有
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0026_0007.jpg?sign=1739287252-xN02rBYLC8DKQ659Nyj62hKTo3o8syoo-0-75172ae346e40a3ed568c1f71f0dd915)
其中,
其含义是任一概率分布对其他概率分布的自信息量取数学期望,必大于等于本身的熵。
由上式可证明条件熵小于等于无条件熵,即
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0026_0009.jpg?sign=1739287252-wVDTxpL2s9JxHntotxPtrV7VwEFrLo8A-0-5c5ff5f8494d3f634c70a2d1c215781a)
证明
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0026_0010.jpg?sign=1739287252-jxPrx0huYe7Jonr36ltwjd7ExmFIy5vk-0-e9ed343dfd09bf0a0d583840b49c73fa)
其中
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0026_0011.jpg?sign=1739287252-wMdT8Qn8nIlFt2YnukFlXuLpfzttAaaz-0-30345838e401aa8181954c3b27aab23b)
当X与Y互相独立时,即p(xi/yj)=p(xi),上面两式等号成立。
同理
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0027_0001.jpg?sign=1739287252-OOi1jWuEtOYAsERC0aYwoglXYfIBgxqc-0-f7757b028286dec0134da398efa7e008)
6. 确定性
![](https://epubservercos.yuewen.com/FE81D6/3590511703660201/epubprivate/OEBPS/Images/figure_0027_0002.jpg?sign=1739287252-C6EYF20WMlRTZVEUtRqciBqzG4oIB41i-0-88797bfdcf8eefe79d258a55639ed9df)
只要信源符号中,有一个符号的出现概率为1,信源熵就等于零。从总体来看,信源虽然有不同的输出符号,但它只有一个符号是必然出现的,而其他符号则是不可能出现的,这个信源是确知信源。