信息论考试卷及答案

时间：2021-03-17 12:24:06 来源：蒲公英阅读网 本文已影响人

相关热词搜索：信息论 考试卷 答案

信息论考试卷及答案 本文关键词：信息论，考试卷，答案

信息论考试卷及答案 本文简介：考试科目名称：信息论一.单选（每空2分，共20分）1.信道编码的目的是（C），加密编码的目的是（D）。A．保证无失真传输B．压缩信源的冗余度，提高通信有效性C．提高信息传输的可靠性D．提高通信系统的安全性2.下列各量不一定为正值的是（D）A．信源熵B．自信息量C．信宿熵D．互信息量3.下列各图所示信

信息论考试卷及答案 本文内容：

考试科目名称：信息论

一.

单选（每空2分，共20分）

1.

信道编码的目的是（

C

），加密编码的目的是（

D

）。

A．保证无失真传输

B．压缩信源的冗余度，提高通信有效性

C．提高信息传输的可靠性

D．提高通信系统的安全性

2.

下列各量不一定为正值的是（

D

）

A．信源熵

B．自信息量

C．信宿熵

D．互信息量

3.

下列各图所示信道是有噪无损信道的是（

B

）

A．

B．

C．

D．

4.

下表中符合等长编码的是（

A

）

5.

联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（

A

）

A．H（XY）＝H（X）＋H（Y／X）

B．H（XY）＝H（X）＋H（X／Y）

C．H（XY）＝H（Y）＋H（X）

D．若X和Y相互独立，H（Y）=H（YX）

6.

一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0，1）中任取一个，这个n位的二进制数的自信息量为（

C

）

A．

B．1

bit

C．n

bit

D．

7.

已知发送26个英文字母和空格，其最大信源熵为H0

=

log27

=

4.76比特/符号；在字母发送概率不等时，其信源熵为H1

=

4.03比特/符号；考虑字母之间相关性时，其信源熵为H2

=

3.32比特/符号；以此类推，极限熵

H∞

=1.5比特/符号。问若用一般传送方式，冗余度为（

B

）

A．0.32

B．0.68

C．0.63

D．0.37

8.

某对称离散信道的信道矩阵为

，信道容量为（

B

）

A．

B．

C．

D．

9.

下面不属于最佳变长编码的是（

D

）

A．香农编码和哈夫曼编码

B．费诺编码和哈夫曼编码

C．费诺编码和香农编码

D．算术编码和游程编码

二.

综合（共80分）

1.

（10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。

{

非分组码

分组码

{

奇异码

非奇异码

{

非唯一可译码

唯一可译码

{

非即时码

即时码（非延长码）

码

（5分）

（1分）将信源消息分成若干组，即符号序列xi，

xi＝(xi1xi2…xil…xiL)，

xil?A={a1，a2，…，ai，…，an}

每个符号序列xi依照固定码表映射成一个码字yi，

yi＝(yi1yi2…yil…yiL)，

yil?B={b1，b2，…，bi，…，bm}

这样的码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非分组码中则不存在码表。

（1分）奇异码和非奇异码

若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码。

（1.5分）唯一可译码

任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码

（1.5分）即时码：只要收到符号就表示该码字已完整，可以立即译码。

即时码又称为非延长码，任意一个码字都不是其它码字的前缀部分，有时叫做异前缀码。

2.

（15分）有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率：

p(0|00)

=

1/2

p(1|00)=1/2

p(0|01)

=

1/3

p(1|01)=2/3

p(0|10)

=

1/4

p(1|10)=3/4

p(0|11)

=

1/5

p(1|11)=4/5

求：

（1）.

信源全部状态及状态转移概率；

（2）.

画出完整的二阶马尔可夫信源状态转移图；

（3）.

求平稳分布概率。

解：

（1）.

符号条件概率矩阵

状态转移概率矩阵

（5分）

（2）.

（5分）

（3）.

平稳分布概率

（5分）

3.

（20分）具有符号集的二元信源，信源发生概率为：。Z信道如图

所示，接收符号集，转移概率为：。发出符号与接收符号的失真：。

（1）.

计算平均失真；

（2）.

率失真函数R(D)的最大值是什么？当q为什么值时可达到该最大值？此时平均失真是多大？

（3）.

率失真函数R(D)的最小值是什么？当q为什么值时可达到该最小值？此时平均失真是多大？

（4）.

画出R(D)-D曲线。

解：

（1）.

已知信源符号概率；

转移概率矩阵；

失真矩阵；

联合概率矩阵；

。（5分）

（2）.

maxR(D)=R(Dmin)=H(X)=-plogp-(1-p)log(1-p)；

当q=0时，Dmin=0，即得到maxR(D)；

=0。（5分）

（3）.

minR(D)=R(Dmax)=0；

当q=1时，转移概率矩阵，可使得到minR(D)；

=1-p。（5分）

（4）.

（5分）

4.

（15分）一个平均功率受限制的连续信道，其通频带为1MHz，信道上存在白色高斯噪声。

（1）.

已知信道上的信号与噪声的平均功率比值为20，求该信道的信道容量；

（2）.

信道上的信号与噪声的平均功率比值降至10，要达到相同的信道容量，信道通频带应为多大？

（3）.

若信道的通频带增加至2MHz时，要保持相同的信道容量，信道通频带应为多大？

解：

（1）.

已知SNR=20

（5分）

（2）.

若SNR=10，C=4.392Mbit/s；

W=1.27MHz（5分）

（3）.

若W=2MHz，C=4.392Mbit/s；

SNR=3.582（5分）

5.

（20分）信源符号X有6种字母，概率为0.32，0.22，0.18，0.16，0.08，0.04。

（1）.

求符号熵H（X）；

（2）.

用费诺（Fano）编码法编成二进制变长码，求出平均码长和编码效率；

（3）.

用香农（Shannon）编码法编成二进制变长码，求出平均码长和编码效率；

（4）.

用哈夫曼（Huffma）编码法编成三进制变长码，求出平均码长和编码效率。

解：

（1）.

（5分）

（2）.

费诺编码法编成二进制变长码（5分）

信源符号

符号概率p(ai)

第1分组

第2分组

第3分组

第4分组

平均码长

码字

a1

0.32

0

0

2

00

a2

0.22

1

2

01

a3

0.18

1

0

2

10

a4

0.16

1

0

3

110

a5

0.08

1

0

4

1110

a6

0.04

1

4

1111

00，01，10，110，1110，1111

（3）.

香农编码法编成二进制变长码（5分）

信源符号

符号概率p(ai)

累加概率Pi

平均码长

码字

a1

0.32

0

2

00

a2

0.22

0.32

3

010

a3

0.18

0.54

3

100

a4

0.16

0.72

3

101

a5

0.08

0.88

4

1110

a6

0.04

0.96

5

11110

00，010，100，101，1110，11110

（4）.

哈夫曼编码法编成三进制变长码（5分）

信源符号

符号概率p(ai)

第1分组

0

1

2

第2分组

平均码长

码字

a1

0.32

0.32

0

1

2

0.22

0.56

1

1

a2

0.22

0.28

1

2

a3

0.18

0.18

0.16

0.12

0.22

2

00

a4

0

1

0.16

2

01

a5

0.08

3

020

a6

0.04

3

021

1，2，00，01，020，021

m=3，n=6，令k=2

m+k(m-1)=7，s=7-n=1

所以第一次取m-s=2个符号进行编码

篇2：信息论习题集(陈运)

信息论习题集(陈运) 本文关键词：信息论，习题集，陈运

信息论习题集(陈运) 本文简介：信息论习题集一、名词解释（25道）1、“本体论”的信息（P2）2、“认识论”信息（P2）3、离散信源（P7）4、自信息量（P9）5、离散平稳无记忆信源（P39）6、马尔可夫信源（P46）7、信源冗余度（P51）8、连续信源（P52）9、信道容量（P73）10、强对称信道（P75-76）11、对称信道

信息论习题集(陈运) 本文内容：

信息论习题集

一、名词解释（25道）

1、“本体论”的信息（P2）

2、“认识论”信息（P2）

3、离散信源（P7）

4、自信息量（P9）

5、离散平稳无记忆信源（P39）

6、马尔可夫信源（P46）

7、信源冗余度

（P51）

8、连续信源

（P52）

9、信道容量

（P73）

10、强对称信道

（P75-76）

11、对称信道

（P78）12、多符号离散信道（P83）

13、连续信道

（P95）

14、平均失真度

（P105）

15、实验信道

（P107）

16、率失真函数

（P107）

17、信息价值率

（P127）

18、游程序列

（P143）

19、游程变换

（P143）

20、L-D编码（P146）、

21、冗余变换

（P146）

22、BSC信道

（P171）

23、码的最小距离

（P174）24、线性分组码

（P175）

25、循环码

（P188）

二、填空（100道）

1、

在认识论层次上研究信息的时候，必须同时考虑到

形式、含义和效用

三个方面的因素。

2、

1948年，美国数学家

香农

发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

3、

按照信息的性质，可以把信息分成

语法信息、语义信息和语用信息

。

4、

按照信息的地位，可以把信息分成

客观信息和主观信息

。

5、

人们研究信息论的目的是为了

高效、可靠、安全

地交换和利用各种各样的信息。

6、

信息的

可度量性

是建立信息论的基础。

7、

统计度量

是信息度量最常用的方法。

8、

熵

是香农信息论最基本最重要的概念。

9、

事物的不确定度是用时间统计发生

概率的对数

来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用

随机矢量

描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为

其发生概率对数的负值

。

12、自信息量的单位一般有

比特、奈特和哈特

。

13、必然事件的自信息是

0

。

14、不可能事件的自信息量是

∞

。

15、两个相互独立的随机变量的联合自信息量等于

两个自信息量之和

。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量

趋于变小

。

17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的

N倍

。

18、离散平稳有记忆信源的极限熵，。

19、对于n元m阶马尔可夫信源，其状态空间共有

nm

个不同的状态。

20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为

log2（b-a）

。

21、平均功率为P的高斯分布的连续信源，其信源熵，Hc（X）=。

22、对于限峰值功率的N维连续信源，当概率密度

均匀分布

时连续信源熵具有最大值。

23、对于限平均功率的一维连续信源，当概率密度

高斯分布

时，信源熵有最大值。

24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P和信源的熵功率

之比

。

25、若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为

3

。

26、m元长度为ki，i=1，2，···n的异前置码存在的充要条件是：。

27、若把掷骰子的结果作为一离散信源，则其信源熵为

log26

。

28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是

log218（1+2

log23）。

29、若一维随即变量X的取值区间是[0，∞]，其概率密度函数为，其中：，m是X的数学期望，则X的信源熵。

30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为

。

31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续

信道。

32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为

无记忆

信道。

33、具有一一对应关系的无噪信道的信道容量C=

log2n

。

34、强对称信道的信道容量C=

log2n-Hni

。

35、对称信道的信道容量C=

log2m-Hmi

。

36、对于离散无记忆信道和信源的N次扩展，其信道容量CN=

NC

。

37、对于N个对立并联信道，其信道容量

CN

=

。

38*、多用户信道的信道容量用

多维空间的一个区域的界限

来表示。

39*、多用户信道可以分成几种最基本的类型：

多址接入信道、广播信道

和相关信源信道。

40*、广播信道是只有

一个输入端和多个输出端

的信道。

41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为

加性连续信道

。

42、高斯加性信道的信道容量C=。

43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是

信息率小于信道容量

。

44、信道矩阵代表的信道的信道容量C=

1

。

45、信道矩阵代表的信道的信道容量C=

1

。

46、高斯加性噪声信道中，信道带宽3kHz，信噪比为7，则该信道的最大信息传输速率Ct=

9

kHz

。

47、对于具有归并性能的无燥信道，达到信道容量的条件是

p（yj）=1/m）

。

48、信道矩阵代表的信道，若每分钟可以传递6*105个符号，则该信道的最大信息传输速率Ct=

10kHz

。

49、信息率失真理论是量化、数模转换、频带压缩和

数据压缩

的理论基础。

50、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的

极小值

。

51、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就

越大

，获得的信息量就越小。

52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率

也越小

。

53、单符号的失真度或失真函数d（xi，yj）表示信源发出一个符号xi，信宿再现yj所引起的

误差或失真

。

54、汉明失真函数

d（xi，yj）=

。

55、平方误差失真函数d（xi，yj）=（yj-

xi）2。

56、平均失真度定义为失真函数的数学期望，即d（xi，yj）在X和Y的

联合概率空间P（XY）中

的统计平均值。

57、如果信源和失真度一定，则平均失真度是

信道统计特性

的函数。

58、如果规定平均失真度不能超过某一限定的值D，即：。我们把称为

保真度准则

。

59、离散无记忆N次扩展信源通过离散无记忆N次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的

N

倍。

60、试验信道的集合用PD来表示，则PD=

。

61、信息率失真函数，简称为率失真函数，即：试验信道中的平均互信息量的

最小值

。

62、平均失真度的下限取0的条件是失真矩阵的

每一行至少有一个零元素

。

63、平均失真度的上限Dmax取{Dj：j=1，2，···，m}中的

最小值

。

64、率失真函数对允许的平均失真度是

单调递减和连续的

。

65、对于离散无记忆信源的率失真函数的最大值是

log2n

。

66、当失真度大于平均失真度的上限时Dmax时，率失真函数R（D）=

0

。

67、连续信源X的率失真函数R（D）=

。

68、当时，高斯信源在均方差失真度下的信息率失真函数为

。

69、保真度准则下的信源编码定理的条件是

信源的信息率R大于率失真函数R（D）

。

70、某二元信源其失真矩阵D=，则该信源的Dmax=

a/2

。

71、某二元信源其失真矩阵D=，则该信源的Dmin=

0

。

72、某二元信源其失真矩阵D=，则该信源的R（D）=

1-H（D/a）

。

73、按照不同的编码目的，编码可以分为三类：分别是

信源编码、信道编码和安全编码

。

74、信源编码的目的是：

提高通信的有效性

。

75、一般情况下，信源编码可以分为

离散信源编码、连续信源编码和相关信源编码

。

76、连续信源或模拟信号的信源编码的理论基础是

限失真信源编码定理

。

77、在香农编码中，第i个码字的长度ki和p（xi）之间有

关系。

78、对信源进行二进制费诺编码，其编码效率为

1

。

79、对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时，为使平均码长最短，应增加

2

个概率为0的消息。

80、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是

香农编码

。

81、对于二元序列0011100000011111001111000001111111，其相应的游程序列是

23652457

。

82、设无记忆二元序列中，“0”和“1”的概率分别是p0和p1，则“0”游程长度L（0）的概率为

。

83、游程序列的熵

等于

原二元序列的熵。

84、若“0”游程的哈夫吗编码效率为η0，“1”游程的哈夫吗编码效率为η1，且η0>η1对应的二元序列的编码效率为η，则三者的关系是

η0>η>η1

。

85、在实际的游程编码过程中，对长码一般采取

截断

处理的方法。

86、“0”游程和“1”游程可以分别进行哈夫曼编码，两个码表中的码字可以重复，但

C码

必须不同。

87、在多符号的消息序列中，大量的重复出现的，只起占时作用的符号称为

冗余位

。

88、“冗余变换”即：将一个冗余序列转换成一个二元序列和一个

缩短了的多元序列

。

89、L-D编码是一种

分帧传送冗余位序列

的方法。

90、L-D编码适合于冗余位

较多或较少

的情况。

91、信道编码的最终目的是

提高信号传输的可靠性

。

92、狭义的信道编码即：检、纠错编码

。

93、BSC信道即：无记忆二进制对称信道

。

94、n位重复码的编码效率是

1/n

。

95、等重码可以检验

全部的奇数位错和部分的偶数位错

。

96、任意两个码字之间的最小汉明距离有称为码的最小距dmin，则dmin=。

97、若纠错码的最小距离为dmin，则可以纠正任意小于等于t=

个差错。

98、若检错码的最小距离为dmin，则可以检测出任意小于等于l=

dmin-1

个差错。

99、线性分组码是同时具有

分组特性和线性特性

的纠错码。

100、循环码即是采用

循环移位特性界定

的一类线性分组码。

三、判断（50道）

1、

必然事件和不可能事件的自信息量都是0

。错

2、

自信息量是的单调递减函数。对

3、

单符号离散信源的自信息和信源熵都具有非负性。对

4、

单符号离散信源的自信息和信源熵都是一个确定值。错

5、

单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。对

6、

自信息量、条件自信息量和联合自信息量之间有如下关系：

对

7、

自信息量、条件自信息量和互信息量之间有如下关系：

对

8、

当随即变量X和Y相互独立时，条件熵等于信源熵。对

9、

当随即变量X和Y相互独立时，I（X；Y）=H（X）

。错

10、信源熵具有严格的下凸性。错

11、平均互信息量I（X；Y）对于信源概率分布p（xi）和条件概率分布p（yj/xi）都具有凸函数性。

对

12、m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同。

错

13、利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。

对

14、N维统计独立均匀分布连续信源的熵是N维区域体积的对数。

对

15、一维高斯分布的连续信源，其信源熵只与其均值和方差有关。

错

16、连续信源和离散信源的熵都具有非负性。

错

17、连续信源和离散信源都具有可加性。

对

18、连续信源和离散信源的平均互信息都具有非负性。

对

19、定长编码的效率一般小于不定长编码的效率。

对

20、若对一离散信源（熵为H（X））进行二进制无失真编码，设定长码子长度为K，变长码子平均长度为，一般>K。

错

21、信道容量C是I（X；Y）关于p（xi）的条件极大值。

对

22、离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。

错

23、对于准对称信道，当时，可达到信道容量C。错

24、多用户信道的信道容量不能用一个数来代表。

对

25、多用户信道的信道容量不能用一个数来代表，但信道的信息率可以用一个数来表示。错

26、高斯加性信道的信道容量只与信道的信噪有关。

对

27、信道无失真传递信息的条件是信息率小于信道容量。对

28、最大信息传输速率，即：选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。

错

29、对于具有归并性能的无燥信道，当信源等概率分布时（p（xi）=1/n），达到信道容量。

错

30、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的极小值。对

31、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。

错

32、当p（xi）、p（yj/xi）和d（xi，yj）给定后，平均失真度是一个随即变量。

错

33、率失真函数对允许的平均失真度具有上凸性。对

34、率失真函数没有最大值。

错

35、率失真函数的最小值是0

。对

36、率失真函数的值与信源的输入概率无关。错

37、信源编码是提高通信有效性为目的的编码。

对

38、信源编码通常是通过压缩信源的冗余度来实现的。

对

39、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。

错

40、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。

对

41、在编m（m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。

对

42、游程序列的熵（“0”游程序列的熵与“1”游程序列的熵的和）大于等于原二元序列的熵。

错

43、在游程编码过程中，“0”游程和“1”游程应分别编码，因此，它们的码字不能重复。

错

44、L-D编码适合于冗余位较多和较少的情况，否则，不但不能压缩码率，反而使其扩张。

对

45、狭义的信道编码既是指：信道的检、纠错编码。

对

46、对于BSC信道，信道编码应当是一对一的编码，因此，消息m的长度等于码字c的长度。

错

47、等重码和奇（偶）校验码都可以检出全部的奇数位错。

对

48、汉明码是一种线性分组码。对

49、循环码也是一种线性分组码。

对

50、卷积码是一种特殊的线性分组码。

错

四、简答（20道）

1、

信息的主要特征有哪些？（P3）

2、

信息的重要性质有哪些？（P3）

3、

简述几种信息分类的准则和方法。（P4）

4、

信息论研究的内容主要有哪些？（P6）

5、

简述自信息的性质。（P9-10）

6、

简述信源熵的基本性质。（P17-20）

7、

简述信源熵、条件熵、联合熵和交互熵之间的关系。（P38-39）

8、

信道的分类方法有哪些？（P71）

9、

简述一般离散信道容量的计算步骤。（P82）

10、简述多用户信道的分类。（P88）

11、简述信道编码定理。（P98）

12、简述率失真函数的性质。（P108-111）

13、简述求解一般离散信源率失真函数的步骤。（P112-114）

14、试比较信道容量与信息率失真函数。（P128）

15、简述编码的分类及各种编码的目的。（P131）

16、简述费诺编码的编码步骤。（P135）

17、简述二元哈夫曼编码的编码步骤。（P136-137）

18、简述广义的信道编码的分类及各类编码的作用。（P170）

19、简述线性分组码的主要结构参数。（P181）

20、简述循环码的系统码构造过程。（P195）

五、证明（10道）

1、

最大离散熵定理：信源X中n个不同离散消息时，信源熵H（X）有

当且仅当X中各个消息出现的概率全相等时，上式取等号。

2、

证明平均互信息量的极值性，即：，并说明等式成立的条件。

3、

证明条件熵小于信源熵，即：，并说明等式成立的条件。

4、

设X=X1，X2，···，XN是平稳离散有记忆信源，试证明：

H（X1X2···XN）=H（X1）+H（X2/X1）+···+H（XN/X1X2···XN-1）

5、

若X，Y，Z是三个随即变量，试证明：

I（X；YZ）=I（X；Y）+I（X；Z/Y）=I（X；Z）+X；Y/Z）

6、试证明：当信道每输入一个X值，相应有几个Y值输出，且不同的X值所对应的Y值不相互重合时，有H（Y）-H（X）=H（Y/X）

7、设X是X的N次扩展信源，若信道为无记忆信道时，试证明：

I（X；Y）=N*I（X；Y）

8、试证明对于离散无记忆N次扩展信源，有RN（D）=NR（D）。其中N为任意正整数，D。

9、试证明离散二元无记忆信源的熵等于对应的游程序列的熵。

10、试证明：线性分组码的最小码距为dmin=d，当且仅当其一致效验矩阵H中任意d-1列线性无关，某d列线性相关。

六、计算（20道）

1、设有一个信源，它产生0，1序列的信息。它在任意时刻且不论以前发生过什么符号，均按P（0）=0.4,P(1)=0.6的概率发出符号。试计算：

（1）H（X2）

（2）H（X3/X1X2）

（3）

2、已知信源X和条件概率P（Y/X）如下：

试计算：H（X）、H（Y）、H（XY）、H（X/Y）、H（Y/X）、H（X；Y）

3、同时扔两个正常的骰子，也就是各面呈现的概率都是1/6，求：

(1)“３和５同时出现”这事件的自信息量；

(2)“两个１同时出现”

这事件的自信息量；

(3)两个点数的各种组合（无序对）的熵或平均自信息量；

(4)两个点数之和（即２、３、…１２构成的子集）的熵；

(5)两个点数中至少有一个是１的自信息。

(

LOG23≈1.585

LOG25≈2.3236

LOG211≈3.46

)

４、某校入学考试中有１/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10%来自本市。所有本市的考生都学过英语。而外地落榜考生以及被录取的外地考生中都有40%学过英语。

(1)当已知考生来自本市时，给出多少关于考生是否被录取的信息；

(2)当已知考生学过英语时，给出多少有关考生是否被录取的信息；

(3)以x表示是否落榜，y表示是否为本市学生，z

表示是否学过英语，试求H(X)、H(Y|X)、H(Z|XY)。

5、A

ensemble

X

has

the

non-negative

integers

as

its

sample

space.

Find

the

probability

assignment

PX(n),n=0,1,2,…,that

maximizes

H(X)

subject

to

the

constraint

that

the

mean

value

of

X.（n=0,∞）

is

a

fixed

value

A.

Evaluate

the

resulting

H(X).

6、设有一单符号离散信源

（1）

对该信源编二进制费诺(Fano)码；

（2）

计算其信息熵、平均码长、信息率、编码效率。

7、已知一个信源包含八个符号消息,它们的概率分布如下表,A

B

C

D

E

F

G

H

0.1

0.18

0.4

0.05

0.06

0.1

0.07

0.04

①

该信源每秒钟内发出一个符号,求该信源的熵及信息传输速率。

②

对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码效率。

③

对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码效率。

8、设具有归并性能的无噪信道的信道矩阵P=，求其信道容量及达到信道容量时信源的概率分布p（xi）。

9、设二进制对称无记忆信道，信道矩阵为[P]=，其中：0

试计算：

（1）[P]代表的信道的信道容量C；

（2）[P3]代表的信道的信道容量C3。

10、信道矩阵[P]=，计算[P]代表的信道的信道容量。

提示：利用如下公式

（1）k=1，2，···，s

（2）

11、彩色电视显象管的屏幕上有5×105

个象元，设每个象元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现并且各个组合之间相互独立。

（1）计算每秒传送25帧图象所需要的信道容量；

（2）如果在加性高斯白噪声信道上信号与噪声平均功率的比值为63，为实时传送彩色电视的图象，信道的带宽应为多大？

12、设离散无记忆信源其失真度为汉明失真度。

试计算：（1）Dmin及R（Dmin）；

（2）Dmax及R（Dmax）。

13、若某无记忆信源，失真矩阵D=，求该信源的最大和最小失真度。

14、设信源（p<1/2），其失真度为汉明失真度。

试计算：（1）Dmin及Dmax；

（2）率失真函数R（D）；

（3）当d=时的信息率（即R（D））；

（4）粗略地绘制D与R的关系曲线。

15、若某二元等概率信源的失真矩阵为汉明失真矩阵，试计算：

（1）

Dmin、Dmax和R（D）；

（2）

信道传输矩阵P（Y/X）

即为19题的特例。

16、证明最小错误概率译码与最大似然译码在先验等概的条件下等价。设M＝2且两个消息等概，令，。通过信道转移概率p<1/2的信道传输。若将译码区间分为，

，

。试给出译码错误概率和有错而不能判决的概率。（24个4位0、1序列分为Y1、Y2、Y3）

17、设二元（7,4）线性分组码的生成矩阵为

给出该码的一致校验矩阵并写出所有的伴随式和与之相对应的陪集首。若接收矢量，试计算出其对应的伴随式S并按照最小距离译码准则试着对其译码。

18、有一组码将二位信息位编成五位长的码字，其规则如下：

00

00000

01

01101

10

10111

11

11010

（1）证明此码是系统一致校验码；

（2）找出其生成矩阵和一致校验矩阵；

（3）对于无记忆二元对称信道(p<<)，列出其最大似然译码的译码表；

（4）计算正确译码概率。

19、设一分组码具有一致校验矩阵

H

＝

（1）求这分组码n=？k=？，共有多少个码字？

（2）求此分组码的生成矩阵；

（3）矢量101010是否是码字？

（4）设发送码字C=(001111)，但接收到的序列为R=(000010)，其伴随式S

是什么？这伴随式指出已发生的错误在什么地方？为什么与实际错误不同？

20、Consider

two

parity

check

codes.Code

I

is

generated

by

the

rule

x1=u1

x4=u1⊕u2

x2=u2

x5=u1⊕u3

x3=u3

x6=u2⊕u3

x7=u1⊕u2⊕u3

Code

II

is

the

same

except

that

x6=u2.

(1)Write

down

the

generator

matrix

and

parity

check

matrix

for

code

I.

(2)Write

out

a

decoding

table

for

code

I,assuming

a

BSC

with

crossover

probability

ε<

.

(3)Give

an

exact

expression

for

the

probability

of

decoding

error

for

code

I

and

for

code

II.

Which

is

larger

?

(4)Find

dmin

for

code

I

and

for

code

II.

(5)Give

a

counter

example

to

the

conjecture

that

if

one

(N,k)

parity

check

code

has

a

larger

minimum

distance

than

another

(N,k)

parity

check

code,it

has

a

samaller

error

probability

on

a

BSC.

篇3：信息论编码与基础课后题

信息论编码与基础课后题 本文关键词：信息论，课后，编码，基础

信息论编码与基础课后题 本文简介：第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发出都是等概率的，则：四

信息论编码与基础课后题 本文内容：

第二章习题解答

2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}

八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}

二进制脉冲可以表示2个不同的消息，例如：{0,1}

假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量

八进制脉冲的平均信息量

二进制脉冲的平均信息量

所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2、

设某班学生在一次考试中获优（A）、良（B）、中（C）、及格（D）和不及格（E）的人数相等。当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？

解：根据题意，“没有不及格”或“pass”的概率为

因此当教师通知某甲“没有不及格”后，甲获得信息

在已知“pass”后，成绩为“优”（A），“良”（B），“中”（C）和“及格”（D）

的概率相同：

为确定自己的成绩，甲还需信息

3、中国国家标准局所规定的二级汉字共6763个。设每字使用的频度相等，求一个汉字所含的信息量。设每个汉字用一个的二元点阵显示，试计算显示方阵所能表示的最大信息。显示方阵的利用率是多少？

解：由于每个汉字的使用频度相同，它们有相同的出现概率，即

因此每个汉字所含的信息量为

每个显示方阵能显示种不同的状态，等概分布时信息墒最大，

所以一个显示方阵所能显示的最大信息量是

显示方阵的利用率或显示效率为

4、两个信源和均有两种输出：和，概率分别为，，。试计算和。设发出序列0101，发出0111，如传输过程无误，第一个字符传送结束后，相应的两个信宿分别收到多少信息量？当整个序列传送结束后，收到的总信息量及平均每次发送的信息量又各是多少？（设信源先后发出的数字相互独立。）

解：X和Y的信息熵分别为

因传输无误，信宿收到的信息等于发送信息。因此当第一个字符传送结束后，两信宿收到信息量等于发送的信息量，即

整个序列发送结束后，由于符号间独立，两信宿收到的总信息量是

平均每次（每个符号）发送（携带）的信息为

5、从普通的52张扑克牌中随机地抽出一张

(a)

当告知你抽到的那张牌是：红桃；人头；红桃人头时，你所得的信息各是多少？

(b)

如果已知那张牌是红人头，为确切地知道是哪张牌，还需要多少信息？

解：(a)

根据扑克牌的构成，抽到“红桃”、“人头”、“红桃人头”的概率分别为13/52=1/4、12/52=3/13和3/52，所以当告知抽到的那张牌是：“红桃”、“人头”和“红桃人头”时，由信息量定义式（1-5），所得到的信息各是

(b)

在52张扑克牌中，共有红人头6张（3张红桃，3张方块），因此在已知那张牌是红人头，为确切地知道是哪张牌，还需要

信息。

6、

同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

(1)

“3和5同时出现”这事件的自信息；

(2)

“两个1同时出现”这事件的自信息；

(3)

两个点数的各种组合（无序）对的熵；

(4)

两个点数之和（即2,3,…,12构成的子集）的熵；

(5)

两个点数中至少有一个是1的自信息量。

解：(1)，

(2)

(3)两个点数的排列如下：

11

12

13

14

15

16

21

22

23

24

25

26

31

32

33

34

35

36

41

42

43

44

45

46

51

52

53

54

55

56

61

62

63

64

65

66

共有21种组合：

其中11，22，33，44，55，66的概率是

其他15个组合的概率是

(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

(5)

7、

某一无记忆信源的符号集为{0,1}，已知P(0)

=

1/4，P(1)

=

3/4。

(1)

求信源熵；

(2)

有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100

-

m）个“1”）的自信息量的表达式；

(3)

计算(2)中序列的熵。

解：(1)

(2)

(3)

8、某地区的女孩中有25％是大学生，在女大学生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？

解：设A为女大学生，B为1.6米以上的女孩，则依题意有:，，，，

所以信息量为=1.415比特

9、设离散无记忆信源=，其发出的消息为

（202120130213001203210110321010021032

011223210），求：

（1）此消息的自信息是多少？

（2）在此消息中平均每个符号携带的信息量是多少？

解：(1)

因为离散信源是无记忆的，所以发出的消息序列中各符号是无依赖且统计独立的。因此，此消息的自信息就为该消息中各符号自信息之和。

I（）=

?log

P（）

=

?log=

1.415

比特

I（）=

?

log

P（）=

?log=2比特

I（）=

?log

P（）=

?log=2比特

I（）=

?log

P（）=

?log=3比特

则此消息的自信息是：

I=18I（）+

13I（）+12

I（）+

6I（）

181.415+132+122+6393.47比特

(2)此消息中平均每个符号携带的信息量是：

I=93.47491.91比特/符号

10、从大量统计资料知道，男性中红绿色盲的发病率为7％，女性发病率为0.5

％，如果你问一位男同志：“你是否是红绿色盲？”他的回答可能是“是”，可

能是“否”，问这二个答案中各含多少信息量？平均每个回答中含有多少信息

量？如果你问一位女同志，则答案中含有的平均自信息量是多少？

解：（1）

若男同志回答“是”：I＝log(1/7%)＝3.84

bit

回答“否”：I＝log(1/93%)＝0.1

bit

平均信息量为：I＝－7%log7%－93%log93%＝0.36

bit

（2）

若问女同志，平均信息量为：I＝－0.5%log0.5%－99.5%log99.5%＝0.045

bit

11、设信源求这信源的熵，并解释为什么，不满足信源熵的极值性。

解：信源的熵为：

bit/符号

是因为此信息的，不满足信息熵极值性的条件。

12、设离散无记忆信源，其符号集为，已知其相应的概率分布为。设另一离散无记忆信源，

其符号数为信源符号数的两倍：，并且各符号的概率分布满足：

试求信源的信息熵与信源的信息熵的关系式。

解：

13、设有一概率空间，其概率分布为{,,…,}，并有>。若取=，=，其中，其他概率不变。试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义加以解释。

证明:

令a=>0，

1-a=，

展开

a+(1-a)=

+=+ε

(1-a)+a=+=-ε

因为f(x)=-xlogx是∩型凸函数，根据∩型函数的性质有：

f(a+(1-a))≥af()+(1-a)f()

即:

f(+ε)

≥af()+(1-a)f()

-(+ε)log(+ε)

≥-[log+log]

同理有：

-(+ε)log(+ε)

≥-[log+log]

两式相加，得：

-(+ε)log(+ε)-(+ε)log(+ε)

≥-log-log

H()>H(X)

物理意义：当信源部分符号趋于等概分布时，信源的熵是增加的。

14、（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和10个不同的亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有像素独立变化，且所有亮度电平等概率出现。

（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率约是黑白系统的信息率的2.5倍。

解：（1）因为每帧图象可以看成是离散的数字图象，每个像素的亮度是随机而且等概率出现的，则每个像素亮度信源的概率空间为：

=

=1

每个像素亮度含有的信息量为：

H(X)=log2103.32比特/像素=1哈特/像素

现在，所有的像素是独立变化的，则每帧图象可以看成是离散亮度信源的无记忆N次扩展信源。故，每帧图象含有的信息量是：

H(XN)=NH(X)=5105log10=5105哈特/帧1.66106比特/帧

而每秒传送30帧图象，则传递这个图象所需要的信息率为

R1=30H(XN)=1.

5106哈特/秒4.98107比特/秒

（2）证明：每个像素具有10个不同的亮度和30个色彩度。由上面的计算得亮度等概率出现的情况下，每个像素含有的信息量是：H(X)=log2103.32比特/像素。每个像素的色彩度也是等概率出现的，则色彩度信源的概率空间为：

=

=1

每个像素色彩度含有的信息量：

H(Y)=log2304.91比特/像素

而亮度和色彩度是相互独立的，所以亮度和色彩度同时出现，每像素含有的信息量：H(XY)=H(X)+H(Y)=log10+log30=log3008.23比特/像素

如果每帧所用的像素数和每秒传送的帧数都相同的情况下，传输这彩色系统的信息率与传输黑白系统的信息率之比就等于彩色系统每像素含有的信息量与黑白系统每像素含有的信息量之比：

=2.5

证毕。

15、每帧电视图像可以认为是由5×105个像素组成，所有像素均是独立变化，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量?现有一广播员在约10000个汉字的字汇中选1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布，并彼此无依赖)?若要恰当地描述此图像，广播员在口述中至少需要多少汉字?

解:

∵亮度电平等概率出现

∴每个像素所含的信息量为

H(X)=log

128=7

bit/像素。

而每个像素均是独立变化的

∴每帧电视图像所包含的信息量为

H(X)=

5×105H(X)=

3.5×106bit

∵假设汉字字汇是等概率分布

∴每个汉字出现的概率均为

从而每个汉字携带的信息量为log

10000=13.2877

bit/字

∵汉字间彼此无依赖，

广播员口述的1000个汉字所广播的信息量为

1000×13.2877=13287.7

bit

若要恰当地描述图像，广播员在口述中至少需要的汉字数为≈2.63*10^5个汉字。

16、为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A，01代表B，10代表C，11代表D。每个二元脉冲宽度为5ms。

（1）不同字母等概率出现时，计算传输的平均信息速率；

（2）若每个字母出现的概率分别为，试计算传输的平均信息速率。

解：（1）由题可知，当不同字母等概率出现时，平均自信息量为：

H(x)=log4=2(比特/字母)

又因为每个二元脉冲宽度为5ms，故一个字母的脉冲宽度为10ms

则字母的传输速率为

100字母/秒

故传输的平均信息速率为：200

比特/秒

(2)

当每个字母分别以题中的概率出现时，平均自信息量为：

H(x)=－∑P(ai)logP(ai)

=(1/2)*log2+

(1/4)*log4+2*(1/8)*log8=1.75(比特/字母)

同样字母的传输速率为

100个/秒

故传输的平均信息速率为：175比特/秒

17、证明：。答案略。

18、设有一个信源，它产生0，1序列的消息。它在任意时间而且不论以前发生过什么符号，均按P(0)=0.4，P(1)=0.6的概率发出符号。

(1)

试问这个信源是否是平稳的？

(2)

试计算，及；

(3)

试计算并写出信源中可能有的所有符号。

解：(1)

因为信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无依赖的。所以这个信源是平稳信源，是离散无记忆信源。

(2)

＝，计算H(X)≈0.971

bit/符号

因为信源是平稳无记忆信源，所以H(X2)=2H(X)≈1.942

bit/两个符号

H(X3|X1X2)=H(X3)=H(X)≈0.971

比特/符号

===H(X)≈0.97

bit/符号

(3)

H(X4)=4H(X)≈3.884

bit/四个符号

可能的所有16个符号:0000

0001

0010

0011

0100

0101

0110

0111

1000

1001

1010

1011

1100

1101

1110

1111

19、有一个二元无记忆信源，其发0的概率为，而约等于1，所以在发出的二元序列中经常出现的是那些一串为0的序列（称为高概率序列）。对于这样的信源我们可以用另一新信源来代替，新信源中只包含这些高概率序列。这时新信源，共有n+1个符号，它与高概率的二元序列的对应关系如下：

二元序列：

1,01,001,0001,…,00…01(n位),00…000(n位)

新信源符号：

（1）

求；

（2）

当

时求信源的熵。

解：依题意，因为是二元无记忆信源，在发出的二元序列中符号之间彼此是无依赖的，统计独立的，所以有：

1,2

由此可得新信源Sn为：

证明满足完备性：

因为

所以，则：

20、有一信源，它在开始时以，，的概率发出。如果为时，则为的概率为1/3；如果为，为的概率为1/3；如果为，为的概率为1/2，为的概率为0，而且后面发出的概率只与有关，又，。试利用马尔可夫信源的图示法画出状态转移图，并计算信源熵。

解：由题可得，状态转移图为：

a:0.6

b:0.3

c:0.1

b:1/2

a:1/2

c:1/3

a:1/3

c:1/3

a:1/3

b:1/3

b:1/3

a

b

c

a

b

c

a

b

c

a

E0

E1

E2

E3

E4

E5

E6

E7

E8

E9

E10

E11

b

可见，状态E1和E4、E7、E10的功能是完全相同的，

状态E2和E5、E8、E11的功能是完全相同的，

状态E3和E6、E12的功能是完全相同的。

其中E0是过渡状态，而E1、E2、E3组成一个不可约闭集，具有遍历性。故有如下的状态转移图A;由于此马尔可夫信源的状态必然会进入这个不可约闭集，所以计算信源熵时，可以不考虑过渡状态和过渡过程。由此，可得状态E1、E2、E3的极限概率：

Q(E1)=1/3Q(E1)+1/3Q(E2)+1/2Q(E3)

Q(E2)=1/3Q(E1)+1/3Q(E2)+1/2Q(E3)

Q(E3)=1/3Q(E1)+1/3Q(E2)

Q(E1)+Q(E2)+Q(E3)=1

可得：

Q(E1)=Q(E2)=3/8，

Q(E3)=1/4

c:1/3

c:1/3

b:1/2

b:1/3

c:0.1

b:0.3

a:0.6

c:1/3

b:1/2

a:1/3

E2

E3

E0

E1

a:1/3

图A

所以H∞=H2=Q(E1)H(1/3,1/3,1/3)+Q(E2)H(1/3,1/3,1/3)+Q(E3)H(1/2,1/2)

=1.4388(比特/符号)

21、一阶马尔可夫信源的状态图如题图2-21所示，信源的符号集为并定义。

(1)

求信源平稳后的概率分布；

(2)

求此信源的熵；

(3)

近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵并与进行比较；

(4)

对一阶马尔可夫信源，取何值时取最大值？又当时结果如何？

解：（1），由图可得

于是得到

整理计算得

即

（2）

据一阶马尔可夫信源的熵的表达式可得

（3）

信源近似为无记忆信源，符号的概率分布等于平稳分布，则此信源

得到：

由此计算结果可知

（4）

求一阶马尔可夫信源的最大值。因为

求其对p的一阶导数

令，得，所以，所以时，达到最大值；的最大值等。

当时

当时

由此可以看出上面的结论是正确的。

2-22

一阶马尔可夫信源的状态图如题图2-22所示，信源的符号集为{0,1,2}。

（1）

求平稳后信源的概率分布；

（2）

求信源的熵；

（3）

求当=0和=1时信源的熵，并说明其理由。

解：（1）由图可知一阶马尔可夫信源的状态空间E=A={0,1,2}。平稳后信源的概率分布就等于一阶马尔可夫信源状态的极限分布，即

Q(Ei)＝P(ai)

i＝1,2,3

Ei∈E,ai∈A,而E＝A

从状态图中分析可知，这三个状态都是正规常返态，所以此马尔可夫链具有各态历经性，平稳后状态的极限分布存在。可得状态一步转移矩阵

，

得Q(0)＝Q(1)＝Q(2)＝1/3

则可得P(0)＝P(1)＝P(2)＝1/3

(2)

一阶马尔可夫信源的熵

H∞＝H2＝∑I=13Q(Ei)H(X∣Ei)

＝P(0)H(X∣E)+P(1)H(X∣1)+P(2)H(X∣2)

＝1/3H(P1,0,P)+1/3H(P,P1,0)+1/3H(0,P,P1)

＝-P1㏒P1-P㏒P

＝H(P)

(3)

当P＝0,H∞＝0

当P＝1,H∞＝1

因为信息熵是表示信源的平均不确定性，题中当P=1或P=0时表明信源从某一状态出发转移到另一状态的情况是一定发生或一定不发生，即是确定的事件。当P=1时，从0状态一定转移到2状态，2状态一定转移到1状态，1状态一定转移到0状态。所以不论从何状态起信源输出的序列一定是021021序列，完全确定的。当P=0时，0状态永远处于0状态，1状态永远处于1状态，2状态用于处于2状态。信源输出的符号序列也是确定的。所以当P=1或P=0时，信源输出什么符号不存在不确定性，完全是确定的，因此确定信源的信息熵等于零。

23、设有一个马尔可夫信源，它的状态集为，符号集为，其在某状态下发出符号的概率为，，如题图2-23所示。

题图

2-23

（1）

求出图中马尔可夫信源的状态极限概率并找出符号的极限概率。

（2）

计算信源处在某一状态下输出符号的条件熵，。

（3）

求出马尔可夫信源熵。

解:

(1)

此信源的状态集不等于符号集，从状态转移图可知

状态转移矩阵:

P=

从图可知

此状态马尔可夫链是时齐的，状态数有限的和是不可约闭集，所以其具有各态历经性，平稳后状态的极限概率分布存在。

得到如下方程组：

Q(s1)=

Q(s3)

Q(s2)=3/4

Q(s1)+1/2

Q(s2)

Q(s3)=1/4

Q(s1)+1/2

Q(s2)

Q(s1)+

Q(s2)+

Q(s3)=1

解得：

Q(s1)=2/7，

Q(s2)=2/7，

Q(s3)=3/7

符号的极限概率

P(ak)

=

所以P(a1)=Q(s1)P(a1|s1)+

Q(s2)P(a1|s2)+

Q(s3)P(a1|s3)=3/7，P(a2)=2/7，

P(a3)=2/7

(2)

信源处于某一状态下的输出符号的条件熵

H(X|sj)=

-

j=1,2,3

H(X|s1)=

-

P(a1|s1)log

P(a1|s1)

-

P(a2|s1)log

P(a2|s1)

-

P(a3|s1)log

P(a3|s1)

=-1/2log21/2-1/4log21/4-1/4log21/4

=1.5

比特/符号

H(X|s2)=H(0,1/2,1/2)=1比特/符号

H(X|s2)=H(1,0,0)=

0比特/符号

（3）马尔可夫信源熵

H∞=

=

Q(s1)H(X|s1)+

Q(s2)H(X|s2)+

Q(s3)H(X|s3)

=2/7×1.5+3/7×1+0

=6/7比特/符号

≈0.857比特/符号

2-24

黑白气象传真图的消息只有黑色和白色两种，即信源＝{黑，白}，设黑色出现的概率为P（黑）＝0.3，白色出现的概率为P（白）＝0.7。

（1）

假设图上黑白消息出现前后没有关联，求熵；

（2）

假设消息前后有关联，其依赖关系为P（白|白）＝0.9，P（黑|白）＝0.1，P（白|黑）＝0.2，P（黑|黑）＝0.8，求此一阶马尔可夫信源的熵；

（3）

分别求出上述两种信源的剩余度，比较和的大小，并说明其物理意义。

解：（1）如果图上黑白消息出现没有关联，则熵为：

H（X）=H（0.7，0.3）=0.881bit/符号

（2）设白为w，黑为b

那么对应两种状态Sw和Sb

那么转移概率为

Sw

à

Sb

0.1

Sw

à

Sw

0.9

Sb

à

Sw

0.2

Sb

à

Sb

0.8

则

Q（Sw）=0.9

Q（Sw）+0.2

Q（Sb）

Q（Sb）=0.8

Q（Sb）+0.1

Q（Sw）

Q（Sb）+

Q（Sw）=1

由以上三式可得出Q（Sw）=2/3，Q（Sb）=1/3

所以P（w）=

Q（Sw）*0.9+

Q（Sb）*0.2=2/3

P（B）=

Q（Sw）*0.1+

Q（Sb）*0.8=1/3

由以上可得到：

H2=H（0.9，0.1）*2/3+

H（0.8，0.2）*1/3

=0.554bit/符号

（3）最大熵H0=H（0.5，0.5）=1，则信源一的剩余度为

1-0.881=0.118

信源二的剩余度为1-0.554=0.446

推出H（x）>H2

这说明消息前后有关联的熵小于信息前后没有关联的熵，即传送相同符号数后消息前后无关联所获得的信息量大于前后有关联的信息量。

2-25

给定语音信号样值的概率密度为拉普拉斯分布，求，并证明它小于同样方差的正态变量的连续熵。

解：

2-26

连续随机变量和的联合概率密度为：，求，，和。（提示：）

2-27

设是离散平稳有记忆信源，试证明：

。

2-28

设是N维高斯分布的连续信源，且的方差分别是，它们之间的相关系数。试证明：N维高斯分布的连续信源熵为：

。

证明：

相关系数，说明是相互独立的。

2-29

设有一连续信源，其概率密度函数为：

(1)

试求信源的熵；

(2)

试求

()的熵；

(3)

试求的熵。

解：

1)

2)

3)