信息论课后题答案%28精品%29

时间：2020-08-29 11:44:08 来源：蒲公英阅读网 本文已影响人

相关热词搜索：信息论 课后 答案

　2.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：

　设随机变量 X 代表女孩子学历 X x 1 （是大学生）

　x 2 （不是大学P(X) 0.25 0.75

　设随机变量 Y 代表女孩子身高 Y y 1 （身高>160cm）

　y 2 （身高<160cm）

　P(Y) 0.5 0.5

　已知：在女大学生中有 75%是身高 160 厘米以上的 即：

　bit x y p

　 75 . 0 ) / (1 1

　求：身高 160 厘米以上的某女孩是大学生的信息量 即 ：b i ty px y p x py x p y x I

　 415 . 15 . 075 . 0 25 . 0log) () / ( ) (log ) / ( log ) / (11 1 11 1 1 1      2.4 设离散无记忆信源    8 / 1 4 / 13 24 / 1 8 / 31 0) (4 3 2 1x x x xX PX，其发出的信息为(

　02120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解：

　(1) 此消息总共有 14 个 0、13 个 1、12 个 2、6 个3，因此此消息发出的概率是：

　6 25 14814183   p 此消息的信息量是：bit p I

　 811 . 87 log    (2) 此 消 息 中 平 均 每 符 号 携 带 的 信 息 量 是 ：bit n I

　 951 . 1 45 / 811 . 87 /  

　 2.9 设有一个信源，它产生 0，1 序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6 的概率发出符号。

　(1) 试问这个信源是否是平稳的？ (2) 试计算 H(X2 ) , H(X3 /X 1 X 2 ) 及 H ∞ ；

　(3) 试计算 H(X4 ) 并写出X4 信源中可能有的所有符号。

　解：

　(1)

　这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符号．．．．．．．．．．．……” (2)

　symbol bit X H X X X X H Hsymbol bit x p x p X H X X X Hsymbol bit X H X HN N NNii i/

　 971 . 0 ) ( ) ... / ( lim/

　 971 . 0 ) 6 . 0 log 6 . 0 4 . 0 log 4 . 0 ( ) ( log ) ( ) ( ) / (/

　 942 . 1 ) 6 . 0 log 6 . 0 4 . 0 log 4 . 0 ( 2 ) ( 2 ) (1 2 13 2 1 32                (3)

　1111 1110 1101 11001011 1010 1001 10000111 0110 0101 01000011 0010 0001 0000的所有符号：/

　 884 . 3 ) 6 . 0 log 6 . 0 4 . 0 log 4 . 0 ( 4 ) ( 4 ) (44Xsymbol bit X H X H       2.10 一阶马尔可夫信源的状态图如下图所示。信源 X 的符号集为{0, 1, 2}。

　(1) 求平稳后信源的概率分布； (2) 求信源的熵 H ∞ 。

　20 1PPPPP P 解：

　(1)                3 / 1 ) (3 / 1 ) (3 / 1 ) (1 ) ( ) ( ) () ( ) ( ) () ( ) ( ) () ( ) ( ) () ( ) ( ) () / ( ) ( ) / ( ) ( ) () / ( ) ( ) / ( ) ( ) () / ( ) ( ) / ( ) ( ) (3213 2 13 2 11 3 33 2 22 1 11 3 1 3 3 3 33 2 3 2 2 2 22 1 2 1 1 1 1e pe pe pe p e p e pe p e p e pe p p e p p e pe p p e p p e pe p p e p p e pe e p e p e e p e p e pe e p e p e e p e p e pe e p e p e e p e p e p                         3 / 123 / 113 / 10) (3 / 1 3 / ) ( ) ( ) ( ) / ( ) ( ) / ( ) ( ) (3 / 1 3 / ) ( ) ( ) ( ) / ( ) ( ) / ( ) ( ) (3 / 1 3 / ) ( ) ( ) ( ) / ( ) ( ) / ( ) ( ) (1 3 1 3 1 3 3 3 33 2 3 2 3 2 2 2 22 1 2 1 2 1 1 1 1X PXp p e p p e p p e x p e p e x p e p x pp p e p p e p p e x p e p e x p e p x pp p e p p e p p e x p e p e x p e p x p

　 (2)

　 2.12 同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求：

　(1) “3 和 5 同时出现”这事件的自信息； (2) “两个 1 同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信

　 息

　量； (4) 两个点数之和（即 2, 3, … , 12 构成的子集）

　的熵； (5) 两个点数中至少有一个是 1 的自信息量。

　解：

　(1) bit x p x Ix pi ii

　170 . 4181log ) ( log ) (18161616161) (        

　(2) bit x p x Ix pi ii

　170 . 5361log ) ( log ) (3616161) (       (3) 两个点数的排列如下：

　11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66

　共有 21 种组合：

　其中 11，22，33，44，55，66 的概率是3616161 

　其他 15 个组合的概率是18161612   

　symbol bit x p x p X Hii i/

　 337 . 4181log18115361log3616 ) ( log ) ( ) (         (4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

　symbol bitx p x p X HX PXii i/

　 274 . 3

　61log61365log365291log912121log1212181log1812361log3612

　) ( log ) ( ) (36112181111211091936586173656915121418133612) (             (5) bit x p x Ix pi ii

　710 . 13611log ) ( log ) (3611116161) (       

　 3.1 设信源4 . 0 6 . 0 ) (2 1x xX PX通过一干扰信道，接收符号为 Y = { y1, y2 }，信道转移矩阵为，求：43416165 (1) 信源 X 中事件 x 1 和事件 x 2 分别包含的自信息量； (2) 收到消息 y j (j=1,2) 后，获得的关于 x i

　(i=1,2)的信息量； (3) 信源 X 和信宿 Y 的信息熵； (4) 信道疑义度 H(X/Y) 和噪声熵 H(Y/X) ； (5) 接收到信息 Y 后获得的平均互信息量。

　解：

　1) bit x p x Ibit x p x I

　 322 . 1 4 . 0 log ) ( log ) (

　 737 . 0 6 . 0 log ) ( log ) (2 2 2 22 1 2 1         2) bity px y py x Ibity px y py x Ibity px y py x Ibity px y py x Ix y p x p x y p x p y px y p x p x y p x p y p

　 907 . 04 . 04 / 3log) () / (log ) ; (

　 263 . 16 . 04 / 1log) () / (log ) ; (

　 263 . 14 . 06 / 1log) () / (log ) ; (

　 474 . 06 . 06 / 5log) () / (log ) ; (4 . 0434 . 0616 . 0 ) / ( ) ( ) / ( ) ( ) (6 . 0414 . 0656 . 0 ) / ( ) ( ) / ( ) ( ) (222 22 2 2212 12 1 2221 22 2 1211 12 1 12 2 2 1 2 1 22 1 2 1 1 1 1                       4)

　  symbol bit p p p pp p p p p p p p p p p pe e p e e p e e p e e p e e p e e pe e p e e p e e p e e p e e p e e pe e p e e p e e p e e p e e p e e pe e p e e p e p Hi ji j i j i/

　 log log

　log31log31log31log31log31log31

　 ) / ( log ) / (31) / ( log ) / (31) / ( log ) / (31

　 ) / ( log ) / (31) / ( log ) / (31) / ( log ) / (31

　 ) / ( log ) / (31) / ( log ) / (31) / ( log ) / (31

　 ) / ( log ) / ( ) (3 3 3 3 3 2 3 2 3 1 3 12 3 2 3 2 2 2 2 2 1 2 11 3 1 3 1 2 1 2 1 1 1 13 3                              symbol bit y p y p Y Hsymbol bit x p x p X Hjj jii i/

　971 . 0 10 log ) 4 . 0 log 4 . 0 6 . 0 log 6 . 0 ( ) ( log ) ( ) (/

　971 . 0 10 log ) 4 . 0 log 4 . 0 6 . 0 log 6 . 0 ( ) ( log ) ( ) (22          

　 5) symbol bit Y X H X H Y X I /

　256 . 0 5 . 0 971 . 0 ) / ( ) ( ) ; (      3.2 设二元对称信道的传递矩阵为32313132 (1) 若 P(0)

　= 3/4, P(1) = 1/4，求 H(X), H(X/Y), H(Y/X) 和 I(X;Y) ； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解：

　1) symbol bit Y X H X H Y X Isymbol bit X Y H Y H X H Y X HX Y H Y H Y X H X H Y X Isymbol bit y p Y Hx y p x p x y p x p y x p y x p y px y p x p x y p x p y x p y x p y psymbol bitx y p x y p x p X Y Hsymbol bit x p X Hjji ji j i j iii/

　062 . 0 749 . 0 811 . 0 ) / ( ) ( ) ; (/

　749 . 0 918 . 0 980 . 0 811 . 0 ) / ( ) ( ) ( ) / () / ( ) ( ) / ( ) ( ) ; (/

　980 . 0 ) 4167 . 0 log 4167 . 0 5833 . 0 log 5833 . 0 ( ) ( ) (4167 . 032413143) / ( ) ( ) / ( ) ( ) ( ) ( ) (5833 . 031413243) / ( ) ( ) / ( ) ( ) ( ) ( ) (/

　918 . 0

　 10 log )32lg324131lg314131lg314332lg3243(

　 ) / ( log ) / ( ) ( ) / (/

　811 . 0 )41log4143log43( ) ( ) (2 22 2 2 1 2 1 2 2 2 1 22 1 2 1 1 1 1 2 1 1 122 2                                                     

　2) 21) (/

　082 . 0 10 log )32lg3231lg31( 2 log log ) ; ( max2 2 2       imix psymbol bit H m Y X I C

　3.19 在 图 片 传 输 中 ， 每 帧 约 有2.25106 个像素，为了能很好地重现图像，能分 16 个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为 30dB）。

　解：

　s bittICbit NH Isymbol bit n Ht/

　10 1.56010 910

　 10 9 4 10 25 . 2/

　4 16 log log566 62 2          z

　15049) 1000 1 ( log10 5 . 11 log1 log25HPPCWPPW CNXtNXt  5.1 设信源

　 (1) 求信源熵 H(X) ； (2) 编二进制香农码； (3) 计算平均码长和编码效率。

　解：

　(1) symbol bitx p x p X Hii i/ 609 . 2) 01 . 0 log 01 . 0 1 . 0 log 1 . 0 15 . 0 log 15 . 017 . 0 log 17 . 0 18 . 0 log 18 . 0 19 . 0 log 19 . 0 2 . 0 log 2 . 0 () ( log ) ( ) (2 2 22 2 2 2712                (2) x i

　p(x i ) p a (x i ) k i

　码字 x 1

　0.2 0 3 000 x 2

　0.19 0.2 3 001 x 3

　0.18 0.39 3 011 x 4

　0.17 0.57 3 100 x 5

　0.15 0.74 3 101 x 6

　0.1 0.89 4 1110 x 7

　0.01 0.99 7 1111110 (3) % 1 . 8314 . 3609 . 2 ) ( ) (14 . 301 . 0 7 1 . 0 4 15 . 0 3 17 . 0 3 18 . 0 3 19 . 0 3 2 . 0 3 ) (                  KX HRX Hx p k Kii i 5.2 对 信 源01 . 0 1 . 0 15 . 0 17 . 0 18 . 0 19 . 0 2 . 0 ) (7 6 5 4 3 2 1x x x x x x xX PX编二进制费诺码，计算编码效率。

　解：

　x i

　p(xi编码 码k i

　x 1

　0.2 0 0

　 00 2 x 2

　0.19 1 0

　 013 x 3

　0.18 1

　 01 3 01 . 0 1 . 0 15 . 0 17 . 0 18 . 0 19 . 0 2 . 0 ) (7 6 5 4 3 2 1x x x x x x xX PXsymbol bitY H X Y H X H Y X HY X H Y H X Y H X Hsymbol bitx y p x y p x p X Y Hi ji j i j i/

　715 . 0 971 . 0 715 . 0 971 . 0

　) ( ) / ( ) ( ) / () / ( ) ( ) / ( ) (/

　715 . 0

　10 log )43log434 . 041log414 . 061log616 . 065log656 . 0 (

　) / ( log ) / ( ) ( ) / (2                   

　x 4

　0.17 1 0

　 10 2 x 5

　0.15 1 0

　 113 x 6

　0.1 1 0 114 x 7

　0.01 1 114 % 2 . 9574 . 2609 . 2 ) ( ) (74 . 201 . 0 4 1 . 0 4 15 . 0 3 17 . 0 2 18 . 0 3 19 . 0 3 2 . 0 2 ) (                  KX HRX Hx p k Kii i 5.3 对 信 源01 . 0 1 . 0 15 . 0 17 . 0 18 . 0 19 . 0 2 . 0 ) (7 6 5 4 3 2 1x x x x x x xX PX编 二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。

　解：

　二进制哈夫曼码：

　x i

　p(x i ) 编码 码字 k i

　s 6

　 1

　s 5

　0.61 0

　s 4

　 0.39

　 1

　s 3

　0.35

　 0

　s 2

　 0.26

　 1

　x 1

　0.2

　 0

　10 2 x 2

　0.19

　 1

　11 2 x 3

　0.18

　 0

　 000 3 x 4

　0.17

　 1

　 001 3 x 5

　0.15

　 0

　010 3 s 1

　0.11 1

　 x 6

　0.1 0

　 0110 4 x 7

　0.01 1

　 0111 4 % 9 . 9572 . 2609 . 2 ) ( ) (72 . 201 . 0 4 1 . 0 4 15 . 0 3 17 . 0 3 18 . 0 3 19 . 0 2 2 . 0 2 ) (                  KX HRX Hx p k Kii i

　三进制哈夫曼码：

　x i

　p(x i ) 编码 码字 k i

　s 3

　 1

　s 2

　0.54 0

　s 1

　 0.26

　1

　x 1

　0.2

　 2 2 1 x 2

　0.19

　0

　00 2 x 3

　0.18

　1

　01 2 x 4 0.17

　2

　02 2 x 5

　0.15 0

　 10 2 x 6

　0.1 1

　 11 2 x 7

　0.01 2

　 12 2 % 4 . 913 log 8 . 1609 . 2log) ( ) (8 . 1) 01 . 0 1 . 0 15 . 0 17 . 0 18 . 0 19 . 0 ( 2 2 . 0 1 ) (22            mLKX HRX Hx p k Kii i