給定語(yǔ)音信號(hào)樣值X的概率密度為，求H_c（X），并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。

黑白傳真機(jī)的消息元只有黑色和白色兩種，即X={黑，白}，一般氣象圖上，黑色的出現(xiàn)概率p（黑）＝0.3，白色出現(xiàn)的概率p（白）＝0.7。 
（1）假設(shè)黑白消息視為前后無(wú)關(guān)，求信源熵H（X），并畫(huà)出該信源的香農(nóng)線(xiàn)圖 
（2）實(shí)際上各個(gè)元素之間是有關(guān)聯(lián)的，其轉(zhuǎn)移概率為：P（白|白）＝0.9143，P（黑|白）＝0.0857，P（白|黑）＝0.2，P（黑|黑）＝0.8，求這個(gè)一階馬爾可夫信源的信源熵

有兩個(gè)二元隨機(jī)變量X和Y，它們的聯(lián)合概率為：

并定義另一隨機(jī)變量Z = XY（一般乘積），試計(jì)算： 
（1）H（X），H（Y），H（Z）， H（XZ）， H（YZ）和H（XYZ）； 
（2）H（X/Y），H（Y/X），H（X/Z），H（Z/X），H（Y/Z），H（Z/Y），H（X/YZ），H（Y/XZ）和H（Z/XY）； 
（3）I（X；Y），I（X；Z），I（Y；Z）， I（X；Y/Z）， I（Y；Z/X）和I（X；Z/Y）。

兩個(gè)實(shí)驗(yàn)X和Y，X={x₁ x₂ x₃}，Y={y₁ y₂ y₃}，l聯(lián)合概率為。
（1）如果有人告訴你X和Y的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？ 
（2）如果有人告訴你Y的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？ 
（3）在已知Y實(shí)驗(yàn)結(jié)果的情況下，告訴你X的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？