2.2 信道容量与香农公式

2.2.1 离散信源的平均信息量

由有限个消息符号或状态构成的信源就是离散信源。如一个只能输出26个英文字母和9个常用标点符号的英文打字机，只可输出高、低两种电平来代表0、1两种代码的信源等就是离散信源。其中，第一个信源的消息数为35；第二个信源的消息数为2。

利用式（2-1）可以计算一个消息符号所包含的信息量，但实际通信中离散信源发出的消息都是长串的序列而非单个符号，因此必须考虑一串消息序列中每个消息符号的平均信息量，即信源的平均信息量。显然，这一分析计算只能从统计学的角度，利用消息符号的概率来进行。

定义：设某离散信源X可输出N种彼此独立的符号，各符号出现的概率分布如下

X：x1，x2，…，xi，…，xN

P（x）：P（x1），P（x2），…，P（xi），…，P（xN） （2-5）

则该信源的平均信息量为

该具有N个符号的信源的平均信息量HN（x）计算公式与热力学、统计学中关于系统熵的公式具有相似的形式，一般都将此信源输出一个消息所提供的平均信息量，即信源的不肯定程度HN（x）称作该信源的熵。式（2-6）的对数底通常取2，即熵的常用单位是比特。

对于二元离散信源，若出现0、1的概率分别为P（0）=P，P（1）=1-P，那么，该信源的熵为

数学上可以很容易地证明：P=1/2时，H2（x）取最大值，即H2（x）=-log2P=1（bit）。当P=1或P=0时，H2（x）取最小值0。

这一数学结论蕴涵的实际意义是：当一个二元信源只能发出全0或者全1符号时，其消息序列不包含任何信息量；反之，当信源等概率地发出0、1时，该信源的不肯定性最大。

事实上，这一结论还可以推广到具有N个符号的离散独立信源中，即当N个符号的出现概率时，该信源的熵HN（x）取最大值，即

通信过程中，收信者对某一事件的了解从不肯定到比较肯定或完全肯定，完全依赖于他获得的信息。若获得信息量不够，则只能达到比较肯定；获得信息量足够，则变成完全肯定。因此，可以直观地将通过通信获得的信息量I定义为

I（信息量）=不肯定程度的减少量

也就是说，收信者收到一个消息所获得的信息量就等于他获得信息前后对事件了解的不肯定程度的减少。显然，导致不肯定程度减小的原因是由于收到消息前后信源的概率空间分布发生了改变。

设信源X的概率空间依然如式（2-5）所示，则该信源的不肯定度就是它的平均信息量HN（x）。假定收信者收到了消息Y，则可以得出根据Y判定信源发送消息为X的后验条件概率空间如式（2-9）。

Y：y1，y2，…，yi，…，yn

P（x/y）：P（xi/y1），P（xi/y2），…，P（xi/yj），…，P（xi/yn） （2-9）

如果信号传输的信道中没有干扰，则接收的消息一定就是信源发送的消息。换言之，接收端收到消息yj后，可以确定发送端发送消息为xi的后验概率如式（2-10），即收信者收到消息yj后对信源发送消息为xi的不肯定程度变为零。

但实际上信道中总是有干扰存在，收信者收到消息X后对信源X仍然存在一定程度的不肯定性，即接收端收到消息yj后不能完全确定信源发送的消息一定就是xi，此时的后验概率关系为

用H（x/y）表示收到消息后对信源仍然存在的不肯定程度，则根据平均信息量H（x）的定义式可以得到

由式（2-9）和式（2-12），收信者从收到信源输出消息Xi中所获得的平均信息量为

I=H（x）-H（x/y）=H[P（X）]-H[P（x/y）]（2-13）

即通过通信，收信者所获得的信息量随先验概率的增加而减小，随后验概率的增加而增加。

上述分析可以归纳为：对无扰信道，H（x/y）=0；对有扰信道，H（x/y）≠0。因此，在无干扰情况下，收信者从信源输出的每个消息中得到的平均信息量，就是信源每个消息所提供的平均信息量，即信源的不肯定度H（x）；否则，收信者从收到的每个消息中得到的平均信息量将小于信源每个消息提供的平均信息量，或小于信源的不肯定度H（x）。

【例2-2】 设某二进制信源等概率地发送符号0、1，由于噪声影响，发送的“0”码有1/6被错收成“1”码，而发送的“1”有1/3被错收成“0”。试求收信者收到该信源发出的1个符号所获得的平均信息量。

解：设发端信源符号为X，收端符号集为Y，由已知可得：

根据全概率公式和后验概率公式，有

P（x，y）=P（x）·P（y/x）=P（y）·P（x/y） （2-15）

接收端收到0、1的概率P（y0）、P（y1）分别为

各后验条件概率P（xi/yj）分别为接收端收到符号0、1分别获得的信息量为

其中求出的负信息量表示收信者由于干扰而得到了错误的消息，不但没有得到信息量，反而损失了信息量。

设信源发出的消息序列长度为N，则其中

发0收0的次数为；

故发0收0的总信息量为：；

发0收1的次数为；

故发0收1的总信息量为：；

发1收0的次数为；

故发1收0的总信息量为：；

发1收1的次数为；

故发1收1的总信息量为：；

所以，他收到的总信息量为：；

故接收端每收到一个消息获得的平均信息量为：。

2.2.2 连续信源的熵

当信源输出的消息是连续变化时，或者说信源的输出在任意时间范围内，都可以有无数多个取值时，就称该信源为连续信源。我们常用的正弦信号发生器就是一个连续信源。设连续信源输出信号的频带为（0～W），根据取样定理，只要用频率不低于2W的抽样信号来取样，接收端就可以完全恢复原来的信号而不会丢失任何信息。用概率分布密度函数p（v）来表示每个取样点的抽样值，就可以利用与连续信源的熵相类似的表示式来计算连续信源的熵。

将一个连续信号的幅度v分成一些微分段，每段宽度为量化间隔dv，则样值位于（vi，vi+dv）的概率为p（vi）dv。这样就把连续信号量化成离散信号，量化间隔为dv，而连续信源就变成了离散信源。设各取样值之间相互独立，则该离散信源的熵为

求dv→0时的极限，就得到连续信源的熵：

显然，当dv→0时，上式中第二项的值→∞，故定义其中的第一项为连续信源的相对熵，简称连续信源的熵H（v），即

H（v）=-∫p（v）logp（v）dv （2-19）

以后提到连续信源的熵，都不是指它实际输出的绝对熵，而是减去了一个无穷大项后的相对熵H（v）。有的读者可能会感到疑惑：使用这个相对熵替代绝对熵，在计算的时候不会出错吗？事实上，在计算任何熵的变化时，这个无穷大项将出现两次，一次为正，一次为负，正好相互抵消。因此，使用相对熵的定义完全可以得到正确结论。

从上面我们得到一个结论：连续信源的熵指的是一个比无穷大大多少的相对量，而不是绝对量；离散信源的熵是一个绝对量，二者是不同的。

2.2.3 离散信道的熵速率与信道容量

一个通信系统的质量好坏是和它的信道传输能力密切相关的，再可靠的系统，即便没有一个误码，如果说传输信息的能力极差，也是毫无价值的。

单位时间内传输的信息量称作信息传输速率，简称传信速率，用符号R表示，它表征了信道的传输能力。显然，R越大，信道的传输能力就越强，定义信道容量为信道可能达到的最大传信率，用符号C表示，即对于信源的一切可能概率分布，信道能够传送的最大熵速率就是C，即

C=[H（x）-H（x/y）]max=Rmax （2-20）

设一个离散信道每秒可传送n个具有K种不同状态的脉冲信号，且各个符号的出现彼此独立。当信源等概率分布时，其熵为

此时的传信速率R

R=nH（x）=nlog2K（bit/s） （2-22）

由前面所学，我们已经知道，对离散信道，当信源符号等概率分布时，其熵值达到最大，即该信源的最大熵为log2K，故nlog2K就是它的最大传信速率Rmax，也称之为最大熵速率。所以该信道的信道容量为

C=Rmax=nlog2K（bit/s） （2-23）

这就是这个信道针对该信源可能达到的最大传信能力。由于实际信源的符号之间往往不可避免地存在着相关性，使信源熵低于等概分布时的熵值。因此，信源输出的消息在被送入信道之前必须再被编成其他形式的码，其主要目的就是要让消息变成能使信源的熵速率接近信道容量的信号来传送，这就是我们常说的使信源和信道相匹配，而这种编码就是信源最佳编码或匹配编码。

对于二元离散信源，其信道容量就等于每秒钟传送的消息（符号）数n。

C=nlog22=n（bit/s） （2-24）

刚才的分析没有考虑噪声干扰，即发送什么信码，接收端收到的就是什么信码，故信源输出的熵速率与收信者接收的熵速率完全一样。对于离散信源，如果其输出消息符号等概率分布，则此时的传信率就等于信道容量。但这种理想情况是不可能出现的，因为任何信道都会受到各种各样的噪声干扰，信道的实际传信率要比信道容量小得多，我们来分析一下这种情况。

当收信者收到第j个消息时，得知发送端发送的是第i个消息所获得的信息量为：

式中：P（i）为发送第i个消息的先验概率；P（j）为接收第j个消息的先验概率；P（i，j）为发送第i个消息接收第j个消息的联合概率；P（i/j）为当第j个消息被接收到时，发送的是第i个消息的后验概率。

对全部可能发送的消息进行统计平均，就可以得到接收第j个消息所获得的平均信息量：

若对全部可能接收到的信息进行统计平均，则得到收到一个消息的平均信息量：

式中，H（i）为信源熵，通常用H（x）表示；H（i/j）为收到消息j而发送的消息为i的条件熵，一般用H（x/y）表示，则上式可以写成更一般的形式：

ICP=H（x）-H（x/y） （2-29）

它表示接收端收到信息Y后获得的关于发送端X的信息，有时也称之为Y关于X的互信息，记为I（x，y）。这一公式表明，由于干扰和噪声对信道传输的影响，接收端并没有完全得到全部的信源熵H（x），即系统在传输的过程中要损失信息量H（x/y）。称条件熵H（x/y）为疑义度或可疑度，它表明收信者收到消息Y后，对于信源X仍然存在的疑惑性或不肯定性。

如果信道每秒钟传输的消息数为n个，则收信者接收到的传信速率为：

R=n[H（x）-H（x/y）] （2-30）

【例2-3】 一个二元信源以相等的概率把0和1码送入有噪声信道进行传输。由于噪声影响，发送0码的错误接收概率为1/16，发送1码的错误接收概率为1/8。如果信源每秒发送1000个码元，求收信者接收到的传信速率。

解：根据题意可知，当发送端发出0码时，接收端只有的情况下正确接收，同样地，发1码时，接收端的正确接收概率是。我们据此画出该有噪声信道如图2-2所示离散信源信道。

用X、Y分别表示发和收，则可写出各转移概率如下：

发送0而收到1的概率为P（1y/0x）=1/16；

发送1而收到0的概率为P（0y/1x）=1/8；

发送0而收到0的概率为P（0y/0x）=15/16；

发送1而收到1的概率为P（1y/1x）=7/8。

接收端收到0和1码的概率分别如下：

求得各联合概率P（x，y）和后验条件概率P（x/y）为，

，它表示收到0发送也是0的条件概率；

同理可得：

收到1码而发送也是1码的条件概率为P（1x/1y）=14/15；

收到1码而发送是0码的条件概率为P（0x/1y）=1/15；

收到0码而发送是1码的条件概率为P（1x/0y）=2/17。

求出条件熵为

信源熵为

熵速率R为

R=n[H（x）-H（x/y）]=1000（1-0.443）=557（bit/s）

可知该信道的信道容量为C=Rmax=nH（x）=1000（bit/s），显然，R远小于C。说明由于噪声干扰，系统在接收时出现错误，不能将发送的信息完全正确接收，使信息传输速率下降，系统的实际熵速率低于信道容量。

【例2-4】 二元信源等概率地输出码元0和1，且每秒传送1000个码元。由于噪声的影响，平均每传输100个码元就出现一个错误（把发送的0码错译成1码或把1码错译成0码），求接收的传信速率。

由于噪声的影响导致错误发生，显然接收的熵速率小于1000bit/s。但初学者常常会这样考虑：由于每100个码元错一个，则发送1000个码元就有10个会被错误接收，因此，收信者接收到的熵速率为990bit/s。实际上这是不对的，因为收信者根本就不知错误出现在何处。这好比当信道中的噪声很大，以至于接收到的符号完全和发送的符号无关。在这种情况下，接收端恢复出来的信息的正确率是凭借偶遇的概率。这时，大约有一半输出符号是正确的，但实际上我们没有收到任何信息，绝对不能认为每秒接收到了500bit的信息，这和我们投掷硬币来决定所接收的信息是一样的。

和前一个例子一样，我们首先画出信道概率图，如图2-3所示：

这是一个对称信道，即信源以相同的概率发送0码和1码，且它发送0收到1的概率P（1y/0x）和发送1收到0的概率P（0y/1x）也相等。写出各转移概率分别为：

接收端收到0码和1码的概率为

P（1y）=P（1x）P（1y/1x）+P（0x）P（1y/0x）=1/2

P（0y）=P（1x）P（0y/1x）+P（0x）P（0y/0x）=1/2

各联合概率为

P（0x，0y）=P（0x）P（0y/0x）=99/200； P（0x，1y）=P（0x）P（1y/0x）=1/200

P（1x，0y）=P（1x）P（0y/1x）=1/200； P（1x，1y）=P（1x）P（1y/1x）=99/200

各后验条件概率为

求得条件熵为

而信源熵为

故熵速率R为

R=n[H（x）-H（x/y）]=1000（1-0.081）=919（bit/s）

前面的分析都是关于离散信道在无扰和有扰时的传信速率和信道容量。事实上，这些概念对连续信道也是同样适用的。下面我们就来分析一下连续信道的情况。

2.2.4 连续信道的熵速率与信道容量

我们已经知道连续信道的熵是相对熵，虽然我们仍用H（x）表示，但应该注意到它和离散信源熵的不同。可以证明：对于频带为（0～W），平均功率受限于N的连续信源，当其幅度分布为高斯分布时，其熵最大，且为

根据抽样定理，取抽样频率为2W，可以求出信道单位时间内传送的最大熵速率，即信道容量C为

和离散信源一样，实际的连续信源中，由于其消息概率难以达到高斯分布，它的熵速率将远远低于信道容量。改变这一现象，提高信道传信能力的办法就是通过适宜的编码，使信源输出的概率分布尽量接近随机噪声的性质。

这一公式针对的是无扰信道，但这种理想信道是不存在的，因此，必须考虑干扰的影响。前已指出，信息经有扰信道传送，在接收端收到的平均信息量等于收到的总平均信息量减去由干扰导致的条件平均信息量，即

HCP=H（x）-H（x/y） （2-33）

用传信率来表示，即

R=n[H（x）-H（x/y）]=Ht（x）-Ht（x/y） （2-34）

通常只考虑加性干扰，故连续有扰信道中，接收端收到的消息y是信源输出的消息x和信道噪声n的线性叠加，即

y=x+n （2-35）

一般情况下，信源消息x与噪声n是相互独立的，故信号x和噪声n在单位时间内传输的联合信息量，即共熵H（x，n）为

H（x，n）=H（n，x）=H（x）+H（n） （2-36）

因为H（x，y）=H（x）+H（y/x）=H（y）+H（x/y），所以有

Ht（x，y）=Ht（x）+Ht（y/x）=Ht（y）+Ht（x/y） （2-37）

Ht（x）+Ht（n）=Ht（y）+Ht（x/y） （2-38）

又因为R=Ht（x）-Ht（x/y） （2-39）

最后推得R=Ht（y）-Ht（n） （2-40）

Iy=H（y）-H（n） （2-41）

式（2-41）表明，经有扰信道传送，在接收端收到的有用信息的传输速率等于收到的总信息速率减去噪声信息速率。注意，这个熵之差是绝对值而非相对值了。

这样，我们就得出某特定信道的信道容量C就是它的最大熵速率或最大信息速率：

C=Rmax=[Ht（y）-Ht（n）]max （2-42）

显然，只有当Ht（y）最大和Ht（n）最小时，R的值才可能最大。

假定信道具有如下特性：

（1）信道噪声为高斯白噪声，其统计特性符合正态分布，平均功率N=n0W，n0为噪声的

单边带功率谱密度；

（2）信道带宽为W；

（3）输入信号平均功率受限，且为P；

（4）信号叠加噪声后仍然服从正态分布，总平均功率为P+N。

由此可以算出该信道的最大传信率为

H（y）=Wlog22πe（P+N）（bit/s） （2-43）

同样可以算出噪声的传信率为

H（n）=Wlog22πeN（bit/s） （2-44）

则信道容量C为

2.2.5 香农公式

可以证明：对于频带为（0～W），平均功率受限于N的连续信源，当其幅度为高斯分布时熵最大，为。

根据抽样定理，取抽样频率为2W，可以求出信道单位时间内传送的最大熵速率，即信道的容量。由于干扰影响，接收端收到的平均信息量为总接收平均信息量减去由干扰导致的条件平均信息量，即

ICP=H（x）-H（x/y） （2-46）

用传信率表示，即R=n[H（x）-H（x/y）]=Ht（x）-Ht（x/y）。

假定信道带宽为W，输入平均功率受限为P的信号，噪声是正态分布，其平均功率N=n0W（n0为噪声的单边带功率谱密度）的加性高斯白噪声。该信道有用信号的最大传信率为H（y）=Wlog22πe（P+N），噪声的传信率为H（n）=Wlog22πeN，则信道容量C：

C=Wlog2（1+P/N）（bit/s） （2-47）

由于噪声功率N与信道带宽W有关，仍假定噪声信号的单边带功率谱密度为n0，则噪声功率N为

N=n0W （2-48）

由此可以将香农公式表示为另一形式，即

C=Wlog2[1+（P/n0W）]（bit/s） （2-49）

由式（2-49）可见，一个连续信道的信道容量由噪声功率谱密度n0、信道带宽W、信号功率S三个要素确定。当n0=0或S→∞时，信道容量C→∞。这是因为n0=0意味着信道无噪声，而S→∞意味着发送功率为无穷大，所以信道容量也是无限的。虽然这在任何实际系统中都无法实现，但这一关系给予我们明确的提示：要使信道容量加大，通过减小n0或增大S是理论可行的。那么增大带宽W能否使C→∞呢？实际经验告诉我们，这是绝对不可能的，数学上也可以证明这点。

将式（2-49）改写为

当W→∞，式（2-50）变为

由，式（2-51）变为

由此可知：若S/n0值保持不变，即使信道带宽W→∞，信道的容量C也是有限的，这是因为当信道带宽W→∞时，噪声功率也将趋于无穷大，即N=n0W→∞。

通常，将达到上述极限传信速率，即信道容量满足式（2-52）的通信系统称为理想通信系统。但是，香农定理只证明了这个理想通信系统的“存在性”，却没有指出实现这一系统的方法，故只能将其作为实际系统的理论上限。另外，上述讨论都是在信道噪声为高斯白噪声的前提下进行的，对于其他类型的噪声，香农公式还需加以修正。下面通过一个实例对上述概念予以进一步说明。

【例2-5】 假定一帧电视图像包含3×105个像素，每一像素分16个等概率出现的独立亮度等级。若每秒发送30帧图像，信噪比S/N为30dB，求上述信号所需最小传输带宽。

解：首先考虑每一像素所包含的信息量。由于每像素含16个等概率的亮度等级，所以有：

每个像素携带的信息量为log216=4（bit）；

每帧图像所含信息量为3×105×4=1.2×106（bit）；

则每秒内传送的信息量为1.2×106×30=3.6×107（bit）；

这就是系统所需的传信速率，故相应的信道容量C至少应为3.6×107bit/s。

将C、S/N代入式（2-35），求得所需信道传输带宽W，即

综上所述，香农公式对信道进行信息传输时涉及的参数之间的关系进行了分析、描述，主要包含如下几点：

（1）平均功率受限的高斯白噪声信道中，当输入信号为高斯分布时，在一定带宽的信道上，单位时间内能够无差错地传递的最大信息量为Wlog2（1+P/N）bit/s。目前，在任一信道上都不可能以高于C的速率实现无误码传输。

（2）信道容量C与信道带宽W和信号噪声功率比P/N有关，W或P/N愈大，C就愈大。对于一个给定的信道容量C，既可以用减小信噪比P/N和增大信道带宽W来达到，也可以用增加信噪比P/N和减小信号带宽W来实现。即维持信道容量不变的情况下，带宽W和信噪比P/N可以互换。

（3）对于平均功率受限的信道，高斯白噪声的危害最大，因为此时噪声的熵最大，所以信道容量C=Ht（y）-[Ht（n）]max最小。

香农公式指出了现实系统所能达到的理论极限，但没有说明带宽W和信噪比P/N互换的具体实现方法，目前也没有任何实际系统的传信率可以达到信道容量。