信息论与编码技术练习题

一、判断题

1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√）

2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（√） 3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√） 4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√）

5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（√）

6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（√）

7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×）

8、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√） 9、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×） 10、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×） 11、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×）

12、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。（×）

13、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。（√） 14、互信息的统计平均为平均互信息量，都具有非负性。（×） 15、信源剩余度越大，通信效率越高，抗干扰能力越强。（×）

16、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×） 17、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×） 18、在信息处理过程中，熵是不会增加的。（√） 19、熵函数是严格上凸的。（√） 20、信道疑义度永远是非负的。（√）

21、对于离散平稳信源，其极限熵等于最小平均符号熵。（√）

22、对于离散无记忆信道，达到信道容量时其输入概率分布是唯一的、特定的。（√） 23、噪声功率相同的加性噪声信道中以高斯噪声信道的信道容量最大。（×） 24、典型序列中，信源符号出现的频率与它的概率接近。（√）

25、为有效抵抗加性高斯噪声干扰，信道输入分布应该是高斯分布。（√） 26、最大似然译码准则是使平均译码错误率最小的准则。（×）

27、加性高斯噪声信道的信道容量不大于相同平均功率的其他加性噪声信道的信道容量。（√） 28、非奇异的定长码是惟一可译码。（√）

29、AWGN的信道容量的大小与系统的带宽成正比。（×） 30、信源编码可以提高信息传输的有效性。（√）

31、连续信源和离散信源的平均互信息都具有非互性。（√） 32、当信道输入独立等概率时，信道疑义度达到最大值。（×） 33、必然事件和不可能事件的自信息量都是0。（×）

34、事件所包含的信息量是与事件发生的概率成反比的。（×） 二、选择题

1 离散信源熵表示信源输出一个消息所给出的（ B ）。

A、实际信息量；B、统计平均信息量；C、最大信息量；D、最小信息量； 2 平均互信息I(X,Y)等于（ C ）。

A 、H(Y)―H(X/Y)； B、 H(X)―H(Y/X) C 、H(Y)―H(Y/X)； D、H(XY)―H(X)；

3 设连续信源输出的信号谱宽度为W，平均功率为N（受限），则连续无噪信道的信道容量为（ A ）。 A、

Wlog(2πeN)； B、2Wlog(2πeN)； C、Wlog(2πN)； D、2Wlog(2πN)；

4 对于无记忆离散信源X，其熵值为H(X)，由其生成的扩展信源XN的熵为H(XN)，H(X)与H(XN)之间的关系是（ B ）。

A、H(XN)=H(X)； B、H(XN)=NH(X)； C、H(XN)= HN(X)； D、H(XN)= H(X)/N；

5、关于信源编码和信道编码，下面的说法错误的是（ B ）

A、信源编码是为了减少冗余度，信道编码则是有意增加冗余度； B、信源编码提高了可靠性，降低了有效性；

C、首先对信源编码，到了信道的输入端再对其进行信道编码； D、信道编码提高了可靠性，降低了有效性。 6、以下关于离散平稳信源的说法不正确的是（ C ）

A、平稳信源发出的符号序列的概率分布与时间起点无关；

B、平均符号熵随信源关联长度L的增加而减小；

C、对于平稳信源，一般情况下，齐次包括平稳，平稳不包括齐次； D、平稳信源的概率分布特性具有时间推移不变性。

7、将某六进制信源进行二进制编码如下表示，则这些码中是唯一可译码的是（ D ）

符号 u1 u2 u3 u4 u5 u6 概率 1/2 1/4 1/16 1/16 1/16 1/16 c1 000 001 010 011 100 101 c2 0 01 011 0111 01111 011111 c3 0 10 110 1110 11110 111110 c4 0 10 1101 1100 1001 1111 c5 1 000 010 110 110 001 c6 01 001 100 101 110 111 A、c1 c3 c6 B、 c2 c3 c6 C、 c1 c2 c3 D、c1 c2 c3 c6 8、关于线性分组码，下列说法正确的是（ B ）

A、卷积码是线性分组码的一种； B、最小码距是除全零码外的码的最小重量； C、具有封闭性，码字的组合未必是码字； D、不具有封闭性，码字的组合未必是码字。 9、香农公式是用在哪种信道中（ D ）

A、二进制离散信道； B、离散无记忆信道； C、离散输入，连续输出信道； D、波形信道。 10、通信系统的性能指标为（ A ）

A、有效性 可靠性 安全性 经济性 B、有效性 可行性 安全性 保密性 C、保密性 可靠性 安全性 经济性 D、高效性 可行性 安全性 经济性 11、信源存在冗余度的主要原因是（ C ）

A、信源符符号间的相关性 B、信源符号分布的不均匀性 C、信源符号间的相关性及分布的不均匀性 D、以上都不对

12、对于（n，k）线性分组码，设dmin为最小汉明距离，则以下正确的是（ D ） A、这组码能纠正u个错误的充分必要条件是等dmin=2u+1； B、具有检测L个错误的能力的充要条件是dmin=L+1;

C、具有纠正t个错误，同时可以发现L(L>t)个错误的能力的充分条件是dmin=t+L+1; D、以上三个结论都不正确。

三、填空题

1、单符号离散信源一般用随机变量描述，而多符号信源一般用随机矢量描述。 2、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 3、对于一阶马尔可夫信源，其状态空间共有nm个不同的状态。

4、根据输入输出的信号特点，可将信道分成离散信道、连续信道、半离散或半连续信道 。

5、对于离散无记忆信道和信源的N次扩展，其信道容量CN= NC 6、信道编码论定理是一个理想编码存在性理论，即：信道无失真传递信息的条件是 信息传输速率小于信道容量。

7、信源编码的目的是 提高通信的有效性 。

8、对于香农编码、费诺编码和霍夫曼编码，编码方法唯一的是 香农编码 。 9、在多符号的消息序列中，大量重复出现的，只起暂时作用的符号称为 冗余位 。 10、若纠错码的最小距离为dmin,则可以纠错任意小于等于

dmin1个差错。 2

11、线性分组码是同时具有 分组特性和线性特性 的纠错码。 12、平均功率为P的高斯分布的连续信源，其信源熵为 HcXN1log22eP 213、当连续信源和连续信道都是无记忆时，则

Ix,yIxi,yii1

14、信源编码与信道编码之间的最大区别是，信源编码需 减少 信源的剩余度，而信道编码需 增加 信源的剩余度。

15、离散信源的熵值H(X)越小，说明该信源消息之间的平均不确定性 减弱 。

16、信源符号间的相关程度越大，则信源的符号熵越小，信源剩余度越大。 17、唯一可译码的码长必须满足Kraft不等式

ri1qli1。

18、R（D）是满足D准则下平均传送每个信源符号所需要的最少比特数，它是定义域上严格的递减函数。

19、AWGN信道下实现可靠通信的信噪比下界-1.59dB，此时对应的频带利用率为0。

20、对于含有n个信源符号的离散信源，其最大熵值为logn。对于连续信源，当幅度受限时，均

匀分布具有最大熵，当平均功率受限时，高斯分布具有最大熵。

21、同时掷出两个正常的骰子，骰子分六面，每一面出现的概率是1/6，则“两个1同时出现”这一事件的自信息量为5.17比特。

22、已知信源的各个符号分别为字母A、B、C、D，现用四进制码元表示，每个码元的宽度为10ms，如果每个符号出现的概率分别为1/5，1/4，1/4，3/10，则信源熵H(X)为1.985比特/符号，在无扰离散信道上的平均信息传输速率为198.5比特/秒。

23、已知8个码组，（000000）、（001110）、（010101）、（011011）、（100011）、（101101）、（110110）、（111000）。则该码组的最小码距为3，若只用于检错可检测2位错码，若只用于纠错可纠正1位错码。

24、能获得最佳码的编码方式主要有香农编码、费诺编码、和霍夫曼编码。 25、八进制脉冲是二进制脉冲所含信息量的3倍。

26、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 27、对于n元m阶马尔可夫信源，其状态空间共有nm个不同的状态。 28、信道编码的最终目的是为了提高信号传输的可靠性。 四、简答题） 1、什么叫信息？

答：信息是事物运动状态或存在方式的不确定性的描述。

2、信源冗余度：信源冗余度也就是信源剩余度，它是指信源所含信息量与符号所能携

带的最大信息量之间差别的度量。

3、线性分组码：分组码的信息码元与监督码元之间的关系为线性关系时，这种分组码就称为线性分组码。而分组码是一组固定长度的码组，可表示为（n , k），通常它用于前向纠错。在分组码中，监督位被加到信息位之后，形成新的码。在编码时，k个信息位被编为n位码组长度，而n-k个监督位的作用就是实现检错与纠错。

4、熵功率：若平均功率为P的非高斯分布的信源具有熵为h，称熵也为h的高斯信源的平均功率为熵功率。

5、什么是信源编码，试述香农第一编码定理的物理意义？

答：所谓信源编码就是对信源的原始符号按一定的规则进行变换，以新的编码符号代替原始信源符号，从而降低原始信源的冗余度。

香农第一编码定理的物理意义：无失真信源编码的实质就是对离散信源进行适当

的变换，使变换后新的码符号信源（信道的输入信源）即可能等概分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率R达到信道容量C，实现信源与信道理想的统计匹配。 6、若有一信源

Ss1,s2 0.8,0.2

P(s)每秒钟发出2.66个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损失），而信道每秒钟只传递2个二元符号。试问信源不经过编码能否直接与信道连接？通过适当编码能否与信道连接？采用何种编码，为什么？ 答：因信源符号速率大于信道传输速率（2.66>2），所以不能直接连接 因为RHs2.66pilogi1 2.660.722.661.9bitc2bitsecsecpi 所以，可以通过当编码在次信道中无失真的传输。可对信源的N词扩展信源进行无失真信源编码，只要N足够大取适当的编码就能与信道匹配。

7、香农第二定理（信道编码定理）指出了“高效率、高可靠性”的信道编码存在性。则： （1）高效率、高可靠性的含义是什么？ （2）存在这种信道编码的条件是什么？

（3）重复码是否是否满足“高效率、高可靠性”的条件，为什么？ （4）当前是否存在接近香农信道容量界的信道编码？

答：（1）高效率是指信息传输速率接近信道容量，高可靠性是指译码错误概率任意小。 （2）存在这种信道编码的必要条件是信息传输速率小于信道容量。

（3）重复码不满足“高效率、高可靠性”的条件，因为当n时，R0。 （4）当前存在接近香农信道容量界的信道编码。 五、计算题

1、（10分）由符号集合{0，1}组成的二阶马氏链，转移概率为：p(0/00)=0.8，p(0/11)=0.7，p(1/00)=0.2，p(1/11)=0.3，p(0/01)=0.5，p(0/10)=0.4，p(1/01)=0.5，p(1/10)=0.6。画出状态图，并计算各状态的稳态概率。

解：由已知条件可知题目的状态转移高率矩阵如下：

00011011000.80.200（3分）状态转移图为（3分）

01000.50.5p100.40.60011000.70.3由状态转移概率矩阵知道，设各状态为S1 、S2 、S3 、S4 ，可知各状态之间满足关系：

S10.8S10.4S3S114/33S0.2S0.6S213S7/332S0.5S0.7S(4分) 324S7/33S0.5S0.3S3424S45/33S1S2S3S41六、编码题

1、已知一信源包含8个符号，其概率分布分别为：P={0.1，0.18，0.4，0.05，0.06，0.1，0.07，0.04}。 （1）该信源每秒发送一个信源符号，求该信源的熵及其信息传输速率； （2）对八个符号进行霍夫曼编码，写出相应的码字，并求出编码效率。

解：（1）H(X)p(xi)logp(xi)2.55(bit/symbol)信息传输速率R2.55(bit/s)（4分） （2）（4分）

S1 S2 S3 S4 S5 S6 S7 S8 0.4 0.18 0.1 0.1 0.07 0.06 0.05 0.04 0.4 0.18 0.1 0.1 0.09 0.07 0.06 0.4 0.18 0.13 0.1 0.1 0.09 0.4 0.19 0.18 0.13 0.1 0.4 0.23 0.19 0.18 0.4 0.37 0.23 0.6 0.4 编码码字分别为：1，001，011，0000，0100，0101，00010，00011 平均码字为：L=2.61 编码效率为：H(X)2.5597% （2分） k2.61