黑白傳真機的消息元只有黑色和白色兩種，即X={黑，白}，一般氣象圖上，黑色的出現(xiàn)概率p（黑）＝0.3，白色出現(xiàn)的概率p（白）＝0.7。 
（1）假設(shè)黑白消息視為前后無關(guān)，求信源熵H（X），并畫出該信源的香農(nóng)線圖 
（2）實際上各個元素之間是有關(guān)聯(lián)的，其轉(zhuǎn)移概率為：P（白|白）＝0.9143，P（黑|白）＝0.0857，P（白|黑）＝0.2，P（黑|黑）＝0.8，求這個一階馬爾可夫信源的信源熵

有兩個二元隨機變量X和Y，它們的聯(lián)合概率為：

并定義另一隨機變量Z = XY（一般乘積），試計算： 
（1）H（X），H（Y），H（Z）， H（XZ）， H（YZ）和H（XYZ）； 
（2）H（X/Y），H（Y/X），H（X/Z），H（Z/X），H（Y/Z），H（Z/Y），H（X/YZ），H（Y/XZ）和H（Z/XY）； 
（3）I（X；Y），I（X；Z），I（Y；Z）， I（X；Y/Z）， I（Y；Z/X）和I（X；Z/Y）。

兩個實驗X和Y，X={x₁ x₂ x₃}，Y={y₁ y₂ y₃}，l聯(lián)合概率為。
（1）如果有人告訴你X和Y的實驗結(jié)果，你得到的平均信息量是多少？ 
（2）如果有人告訴你Y的實驗結(jié)果，你得到的平均信息量是多少？ 
（3）在已知Y實驗結(jié)果的情況下，告訴你X的實驗結(jié)果，你得到的平均信息量是多少？

有一個可以旋轉(zhuǎn)的圓盤，盤面上被均勻的分成38份，用1，…，38的數(shù)字標(biāo)示，其中有兩份涂綠色，18份涂紅色，18份涂黑色，圓盤停轉(zhuǎn)后，盤面上的指針指向某一數(shù)字和顏色。 
（1）如果僅對顏色感興趣，則計算平均不確定度 
（2）如果僅對顏色和數(shù)字感興趣，則計算平均不確定度 
（3）如果顏色已知時，則計算條件熵

設(shè)有一離散無記憶信源，其概率空間為
（1）求每個符號的自信息量；
（2）信源發(fā)出一消息符號序列為，求該序列的自信息量和平均每個符號攜帶的信息量。