信息理论基础PDF|Epub|txt|kindle电子书版本下载

信息理论基础PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

1.1 信息传输中的若干问题1

1.2 信息论研究内容2

1.3 信息论基本概念3

1.3.1 信息的定义3

1.3.2 信息的特殊性质3

1.3.3 自然信息、社会信息和知识信息4

1.3.4 信息、消息、信号的比较4

1.4 通信系统模型5

1.5 信息论创立的意义7

第2章 信息的统计度量8

2.1 事件的自信息量8

2.2 互信息量12

2.3 离散集的平均自信息量——熵13

2.3.1 熵的定义13

2.3.2 熵的几个性质15

2.4 联合熵、条件熵、平均互信息19

2.4.1 联合熵（共熵）19

2.4.2 条件熵19

2.4.3 平均互信息20

2.4.4 各种熵之间的关系22

2.5 小结及推广27

习题228

第3章 离散信源31

3.1 随机过程简介31

3.1.1 随机过程的概念31

3.1.2 随机过程分类32

3.1.3 随机过程的统计描述32

3.1.4 马尔可夫链32

3.1.5 齐次马尔可夫链33

3.1.6 遍历性37

3.2 信源的数学模型40

3.2.1 信源的直观认识40

3.2.2 如何建立信源的数学模型40

3.3 离散无记忆信源41

3.3.1 离散无记忆信源定义41

3.3.2 离散无记忆信源的N次扩展信源43

3.4 离散有记忆信源46

3.4.1 关于信源的记忆性46

3.4.2 离散平稳信源47

3.4.3 用马尔可夫链建模50

3.4.4 平稳遍历的m阶马尔可夫信源的熵率计算51

3.5 信源相关性和冗余度53

习题354

第4章 无失真信源编码57

4.1 编码器57

4.2 码的基本类型58

4.2.1 定长码和变长码58

4.2.2 N次扩展码58

4.2.3 奇异码和非奇异码59

4.2.4 唯一可译性59

4.2.5 即时码60

4.3 定长码61

4.3.1 唯一可译码的码长61

4.3.2 定长码编码定理63

4.3.3 编码效率66

4.4 变长码68

4.4.1 克拉夫特不等式和麦克米伦不等式68

4.4.2 唯一可译码判别准则70

4.4.3 变长码编码定理71

4.4.4 编码理论小结77

4.5 变长码的编码方法77

4.5.1 香农编码方法77

4.5.2 费诺码79

4.5.3 霍夫曼码80

4.5.4 游程编码83

习题485

第5章 信道及其容量87

5.1 信道的基本概念及分类87

5.1.1 信道概念87

5.1.2 信道的分类88

5.2 离散信道的数学模型88

5.2.1 离散信道的基本数学描述88

5.2.2 离散无记忆信道89

5.3 信道疑义度和平均互信息92

5.4 信道容量及其一般计算方法96

5.4.1 信道容量定义96

5.4.2 几类特殊信道及其信道容量的计算97

5.4.3 几种对称离散信道及其信道容量99

5.4.4 信道容量一般计算方法103

5.5 扩展信道及其信道容量113

5.5.1 N长随机序列的平均互信息113

5.5.2 N次扩展信道的信道容量117

5.6 信道的组合及其信道容量117

5.6.1 串联信道118

5.6.2 独立并联信道122

5.7 信源与信道的匹配123

5.8 离散无记忆信道容量的迭代算法123

习题5129

第6章 信道编码133

6.1 信道编码基本概念133

6.1.1 信道编码基本模式133

6.1.2 译码规则和错误概率134

6.1.3 平均错误概率135

6.2 简单重复编码136

6.2.1 简单重复编码136

6.2.2 汉明距离139

6.3 线性分组码140

6.3.1 线性分组码140

6.3.2 线性分组码的纠检错能力143

6.3.3 线性分组码的几种关系分析145

6.4 有噪信道编码定理146

6.5 其他纠错码分类简介151

习题6151

第7章 信息论在密码学中的应用154

7.1 一次一密的信息论解释154

7.2 ［1,3］型钟控序列的信息论分析156

7.3 一个二次多项式混沌系统的均匀化及其熵分析169

7.3.1 一个二次多项式混沌系统及其概率密度求解169

7.3.2 二次多项式混沌系统的均匀化172

7.3.3 均匀化后的混沌系统的性能分析173

参考文献178