黑白氣象傳真圖的消息只有黑色和白色兩種,即信源X={黑,白},設(shè)黑色出現(xiàn)的概率P(黑)=0.3,白色出現(xiàn)的概率P(白)=0.7。
(1)設(shè)圖上黑白消息出現(xiàn)前后沒有聯(lián)系,求熵H(X);
(2)假設(shè)消息出現(xiàn)前后有關(guān)聯(lián),其依賴關(guān)系為P(白/白)=0.9,P(黑/白)=0.1,P(白/黑)=0.2,P(黑/黑)=0.8,求此一階馬爾可夫信源的熵H2;
(3)分別求上述兩種信源的剩余度,并比較H(X)和H2的大小,并說明其物理意義。