信息论与编码期末考试题(全套) 下载本文

x1 x2 联合分布: x y x1 x1 y1 2/3 3/20 5/6 3/4 y2 1/6 1/4 4/5 1/5 1/5 12/15 1/20 11/60 49/60 ?2231?H?XY??H?,,,??3152020??1.404bit符号

?0.973nat符号?0.423hart符号H?Y??H?49/60,11/60??0.687bit符号?0.476nat符号?0.207hart符号 H?X|Y??H?XY??H?Y??0.717bit符号?0.497nat符号?0.216hart符号

(4)

D、具有扩展性能的无噪信道

3、设信道容量为C,下列说法正确的是:( )

A、互信息量一定不大于C B、交互熵一定不小于C

C、有效信息量一定不大于C D、条件熵一定不大于C

4、在串联系统中,有效信息量的值( )

A、趋于变大 B、趋于变小 C、不变 D、不确定

5、若BSC信道的差错率为P,则其信道容量为:( ) A、

H?p?

H?Y|X??H?XY??H?X??0.682bit符号?0.473nat符号?0.205hart符号

(5)

p??1?plog2??1?p?p????? B、

C、

1?H?p?

I?X;Y??H?X??H?X|Y??0.00504bit符号?0.00349nat符号?0.00152hart符号

D、?Plog(P)

二、填空题(20分,每空2分)

1、(7,4)线性分组码中,接受端收到分组R的位数为____ ,伴随式S可能的值有____ 种,差错图案e的长度为 ,系统生成矩阵Gs为____ 行的矩阵,系统校验矩阵Hs为____ 行的矩阵,Gs和Hs满足的关系式是 。

2、一张1024×512像素的16位彩色BMP图像能包含的最大信息量为 。

3、香农编码中,概率为P(xi)的信源符号xi对应的码字Ci的长度Ki应满足不等式 。

3、设有一个信道,其信道矩阵为

?0.250.50.25??0.250.250.5?,(填??则它是 信道??0.50.250.25??(三)

一、 选择题(共10分,每小题2分)

1、有一离散无记忆信源X,其概率空间为

x2x3x4??X??x1??P??0.50.250.1250.125?,则其无记忆二????次扩展信源的熵H(X2)=( ) A、1.75比特/符号; B、3.5比特/符号; C、9比特/符号; D、18比特/符号。 2、信道转移矩阵为

0000??P(y1/x1)P(y2/x1)?0?0P(y/x)P(y/x)003242???000P(y5/x3)P(y6/x3)??0?,其中P(yj/xi)两两不相等,则该信道为

A、一一对应的无噪信道

B、具有并归性能的无噪信道 C、对称信道

对称,准对称),其信道容量是 比

特/信道符号。

三、(20分)??X??x1x2??P(X)?????0.50.5?,通过一个干扰信?道,接受符号集为

Y??y1y2?,信道转移矩阵为

??13??44??31??? ?44??试求(1)H(X),H(Y),H(XY);(7分)

(2) H(Y|X),H(X|Y);(5分) (3) I(Y;X)。(3分)

(4)该信道的容量C(3分)

(5)当平均互信息量达到信道容量时,接收端Y的熵H(Y)。(2分)

计算结果保留小数点后2位,单位为比特/符号。

四、(9分)简述平均互信息量的物理意义,并写出对应公式。

五、(10分)假设英文字母表(n=26),密钥k=abc,当明文m=familycome时,使用Vigenere密码算法后得到的密文c=?请写出具体的步骤。

六、(10分)设有离散无记忆信源,其概率分布如下:

?X???x1x2x3x4x5x6x7???P(X)?????1111111?? ?24816326464??对其进行费诺编码,写出编码过程,求出信源熵、平均码长和编码效率。 七、信道编码(21分)

??1000111?现有生成矩阵G0100110?s????0010011?? ?0001101??

1. 求对应的系统校验矩阵Hs。(2分)

2求该码字集合的最小码字距离d、最大检错能力lmax 、最大纠错能力t max 。(3分)

2. 填写下面的es表 (8分) e s 0000000 0000001 0000010 0000100 0001000 0010000 0100000 1000000 4. 现有接收序列为r?(1100100),求纠错译码输

出c?。(4分)

5. 5. 画出该码的编码电路 (4分)

(四)

四、简答题(共20 分,每题10分

1. 利用公式介绍无条件熵、条件熵、联合熵和平均互信息

量之间的关系。

2. 简单介绍哈夫曼编码的步骤 五、计算题(共40 分)

1. 某信源含有三个消息,概率分别为p(0)=0.2,p(1)=0.3,

?421p(2)=0.5,失真矩阵为D????032?。 ???201??求Dmax、Dmin和R (Dmax)。(10分)

?111?2. 设对称离散信道矩阵为P??1?3366??1111?,求信道容???6633??量C。(10分)

3. 有一稳态马尔可夫信源,已知转移概率为p(S1/ S1)= 2/3,

p(S1/ S2)= 1。求:

(1) 画出状态转移图和状态转移概率矩阵。 (2) 求出各状态的稳态概率。 (3) 求出信源的极限熵。 (20分)

(五)

一、(11’)填空题

(1) 1948年,美国数学家 香农 发表了题为

“通信的数学理论”的长篇论文,从而创立了信息论。

霍夫曼编码方法构造的是最佳码。

( ? )

(2) 必然事件的自信息是 0 。

(9)信息率失真函数R(D)是关于平均失真度D的上凸函数.

(3) 离散平稳无记忆信源X的N次扩展信源的熵等于离

散信源X的熵的 N倍 。

(4) 对于离散无记忆信源,当信源熵有最大值时,满足条

件为__信源符号等概分布_。

(5) 对于香农编码、费诺编码和霍夫曼编码,编码方法惟

一的是 香农编码 。

(6) 已知某线性分组码的最小汉明距离为3,那么这组码

最多能检测出_2_______个码元错误,最多能纠正___1__个码元错误。

(7) 设有一离散无记忆平稳信道,其信道容量为C,只要

待传送的信息传输率R__小于___C(大于、小于或者等于),

则存在一种编码,当输入序列长度n足够大,使译码错误概率任意小。

(8) 平均错误概率不仅与信道本身的统计特性有关,还与

___译码规则____________和___编码方法___有关

二、(9?)判断题

(1) 信

。 ( ? )

(2) 信息论研究的主要问题是在通信系统设计中如何实

现信息传输、存储和处理的有效性和可靠性。 ( ? )

(3) 概率大的事件自信息量大。 ( ? )

(4) 互信息量可正、可负亦可为零。 ( ? ) (5) 信源剩余度用来衡量信源的相关性程度,信源剩余度

大说明信源符号间的依赖关系较小。 ( ? )

(6) 对于固定的信源分布,平均互信息量是信道传递概率

的下凸函数。 ( ? )

(7) 非奇异码一定是唯一可译码,唯一可译码不一定是非

奇异码。 ( ? )

(8) 信源变长编码的核心问题是寻找紧致码(或最佳码),

( ? )

三、(5?)居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占总数的一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量?

解:设A表示“大学生”这一事件,B表示“身高1.60

以上”这一事件,则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 (2分)故

p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 (2分)

I(A|B)=-log0.375=1.42bit (1分)

五、(18’).黑白气象传真图的消息只有黑色和白色两种,

求:

1 ) 黑色出现的概率为 0.3 ,白色出现的概率为

0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联,求熵H?X?;

2) 假设黑白消息出现前后有关联,其依赖关系为

,求其熵 H ?

?X?。

3)分别求上述两种信源的冗余度,比较它们的大小并说明其物理意义。

解: 1 ) 信源模型为 ( 1 分)

(2分)

2)由题意可知该信源为一阶马尔科夫信源。

(2分)

由 4分)

得极限状态概率

2分)

3分) ?X)1?1?H(log?0.11922 (1分)

?H?(X)2?1?

log2?0.4472

?2??1。说明:当信源的符号之间有依赖时,信源输出消息

的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱,冗余度越大,依赖关系就越大。(2分)

六、(18’).信源空间为

??X??x1x2x3x4x5x6x7??P(X)?????0.20.190.180.170.150.10.01??,试分别构造二元香农码和二元霍夫曼码,计算其平均码长

和编码效率(要求有编码过程)。

7

L??p(ai)li?3.14(X)i?1R?HL?2.613.14?0.831七(6’).设有一离散信道,其信道传递矩阵为

??1?4?1/21/31/6?p(x1)??1?1/61/21/3?,并设??p(x2)??/31/61/2??1???2,试分别按最大后验?p(x)1??3?4概率准则与最大似然译码准则确定译码规则,并计算相应的平均错误概率。1)(3分)最小似然译码准则下,有,

2)(3分)最大后验概率准则下,有,

八(10?).二元对称信道如图。

1)若p?0??34,p?1??14,求H?X?、H?X|Y?和I?X;Y?;

2)求该信道的信道容量。

解:1)共6分 H?X|Y??0.749bit/符号

2), (3分)此时输入概率分布为等概率分布。(1分)

九、(18?)设一线性分组码具有一致监督矩阵

?000111?H???011001?

?1011??10??1)求此分组码n=?,k=?共有多少码字? 2)求此分组码的生成矩阵G。

3)写出此分组码的所有码字。 4)若接收到码字(101001),求出伴随式并给出翻译结果。

解:1)n=6,k=3,共有8个码字。(3分) 2)设码字

C???C5C4C3C2C1C0?由HCT?0T得

??C2?C1?C0?0?C4?C?3?C0?0 ?C5?C3?C1?C0?0 (3分)

令监督位为

?C2C1C0?,则有

??C2?C5?C3?C1?C5?C?4

?C0?C4?C3 (3分)

??100110??010011?生成矩阵为??001101??? (2分) 3)所有码字为000000,001101,010011,011110,100110,101011,110101,111000。(4分) 4)由ST?HRT得

S??101?,(2分)该码字在第5位发生错误,(101001)

纠正为(101011),即译码为(101001)(1分)

(六)

一、概念简答题(每题5分,共40分)

1.什么是平均自信息量与平均互信息,比较一下这两个概念

的异同?

2.简述最大离散熵定理。对于一个有m个符号的离散信源,其最大熵是多少?

3.解释信息传输率、信道容量、最佳输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系?

4.对于一个一般的通信系统,试给出其系统模型框图,并结合此图,解释数据处理定理。

5.写出香农公式,并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB时求信道容量。 6.解释无失真变长信源编码定理。 7.解释有噪信道编码定理。