設(shè)8個(gè)等概率分布的消息通過傳遞概率為p的BSC進(jìn)行傳送，8個(gè)消息相應(yīng)編成下述碼字：

試問：
（1）接收到第一個(gè)數(shù)字0與M1之間的互信息；
（2）接收到第二個(gè)數(shù)字也是0時(shí)，得到多少關(guān)于M1的附加互信息；
（3）接收到第三個(gè)數(shù)字仍為0時(shí)，又增加了多少關(guān)于M1的互信息；
（4）接收到第四個(gè)數(shù)字還是0時(shí)，再增加了多少關(guān)于M1的互信息。

黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑，白}，設(shè)黑色出現(xiàn)的概率為P（黑）=0.3，白色出現(xiàn)的概率為P（白）=0.7。
（1）假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵H（X）；
（2）假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P（白|白）=0.9，P（黑|白）=0.1，P（白|黑）=0.2，P（黑|黑）=0.8，求此一階馬爾克夫信源的熵H2。
（3）分別求上述兩種信源的冗余度，并比較H（X）和H2的大小，并說明其物理意義。

證明離散信源有，并說明等式成立的條件。

證明離散平穩(wěn)信源有，試說明等式成立的條件。