等概率出现的离散消息的度量
来源:百度文库 编辑:神马文学网 时间:2024/10/06 21:07:28
1.3.3 离散信源的信息量
一、等概率出现的离散消息的度量
如果需要传递的离散消息是在N 个消息之中独立地选择其以,且认为每一消息的出现概率是相同的。显然,为了传递一个消息,只需采用一个N 进制的波形来传送。即传送N 个消息之一和传送N 进制波形之一是完全等价的。当
我们定义传送两个等概率的二进制波形之一的信息量为1,单位为“比特”。即
(1.3-1)
这里选择的对数以2为底,在数学上运算也是方便的。同时,在数字通信中,由于常以二进制传输为主。按照式(1.3-1)的定义,对于
若N是2的整幂次,如
(1.3-2)
则式(1.3-2)表明,
综上,只要在接收者看来每一传送波形是独立等概出现的,则一个波形所能传递的信息量为
或
式中
P