信息理論與編碼（第2版）

第1章 緒論 1
1.1 信息的概念 1
1.1.1 信息概念的復(fù)雜性 1
1.1.2 信息的定義 3
1.2 信息論的主要研究內(nèi)容 4
1.3 信息論的發(fā)展歷程 7
習題 10
第2章 信息的度量 11
2.1 信源模型 11
2.2 (概率)信息的描述 13
2.3 不確定性與信息 14
2.3.1 自信息量 14
2.3.2 聯(lián)合自信息量 15
2.3.3 條件自信息量 16
2.3.4 自信息量的性質(zhì)和相互關(guān)系 17
2.3.5 互信息量及其性質(zhì) 19
2.4 離散隨機變量的(統(tǒng)計)平均不確定性——離散熵 22
2.4.1 離散熵 22
2.4.2 離散熵的性質(zhì) 24
2.5 聯(lián)合熵和條件熵 26
2.5.1 聯(lián)合熵 27
2.5.2 條件熵 27
2.5.3 各類熵之間的關(guān)系 28
2.6 平均互信息量及其性質(zhì) 29
2.7 離散無記憶信源的擴展 31
2.8 離散平穩(wěn)信源的熵 32
2.9 馬爾可夫信源的信息熵 33
2.9.1 馬爾可夫鏈 33
2.9.2 馬爾可夫信源 35
2.9.3 馬爾可夫信源的信息熵 37
2.10 離散信源的信息(速)率和信息含量效率 38
2.11 連續(xù)隨機變量下的熵和平均互信息量 39
2.11.1 連續(xù)隨機變量的熵 39
2.11.2 連續(xù)隨機變量下的聯(lián)合熵、條件 熵以及平均互信息量 42
2.11.3 微分熵的極大化問題 43
2.11.4 連續(xù)信源的熵功率 46
本章基本概念 46
習題 49
第3章 信道模型和信道容量 55
3.1 信道模型與信道分類 55
3.2 離散無記憶信道的數(shù)學模型 56
3.3 概率的計算問題 58
3.4 信道的疑義度、散布度和平均互信息 60
3.4.1 信道的疑義度 60
3.4.2 信道的散布度 61
3.4.3 信道的平均互信息 63
3.5 信道容量C 66
3.5.1 信道容量的定義 66
3.5.2 離散無噪信道的信道容量 67
3.5.3 離散對稱信道 71
3.5.4 一般DMC達到信道容量的充要條件 76
3.5.5 信道容量的迭代算法 80
3.6 擴展信道及其信道容量 81
3.6.1 擴展信道的數(shù)學模型 82
3.6.2 擴展信道的平均互信息量和信道容量 83
3.7 信道的組合 85
3.7.1 串聯(lián)信道 85
3.7.2 獨立并聯(lián)信道 87
3.8 信源與信道的匹配 87
3.9 連續(xù)信道及其信道容量 88
3.9.1 連續(xù)信道的數(shù)學模型 88
3.9.2 加性高斯噪聲信道的信道容量 89
3.9.3 一般加性噪聲信道的信道容量的界 92
3.10 波形信道及其信道容量 93
本章基本概念 96
習題 100
第4章 離散無記憶信源無失真編碼 104
4.1 信源編碼概論 105
4.2 碼的唯一可譯性 107
4.2.1 常見碼及其唯一可譯性 107
4.2.2 碼樹和Kraft不等式 108
4.3 定長編碼 110
4.3.1 離散無記憶信源的漸近均分性質(zhì) 110
4.3.2 定長編碼定理 113
4.4 變長編碼定理 116
4.5 變長編碼方法 117
4.5.1 霍夫曼編碼 118
4.5.2 費諾編碼 123
4.5.3 香農(nóng)編碼 124
4.6 幾種實用的無失真信源編碼 125
4.6.1 游程編碼 125
4.6.2 算術(shù)編碼 129
4.6.3 基于字典的編碼 132
本章基本概念 134
習題 135
第5章 有噪信道編碼 138
5.1 譯碼規(guī)則與錯誤概率 138
5.2 兩種典型的譯碼規(guī)則 140
5.3 平均差錯率與信道編碼 143
5.3.1 “簡單重復(fù)”編碼 144
5.3.2 對符號串編碼 145
5.4 漢明距離與最小距離譯碼規(guī)則 148
5.5 有噪信道編碼定理 150
5.5.1 聯(lián)合典型序列 150
5.5.2 有噪信道編碼定理 152
5.6 Fano不等式和有噪信道編碼逆定理 153
5.7 線性分組碼 155
5.7.1 線性分組碼的生成矩陣和校驗矩陣 156
5.7.2 漢明距離和碼的糾錯、檢錯能力 158
5.7.3 線性碼的伴隨式與伴隨式譯碼 160
本章基本概念 161
習題 162
第6章 限失真信源編碼 165
6.1 失真測度 165
6.2 信息率失真函數(shù)及其性質(zhì) 167
6.2.1 信息率失真函數(shù)的定義 167
6.2.2 信息率失真函數(shù)的性質(zhì) 168
6.3 限失真信源編碼定理 171
6.4 信息率失真函數(shù)的計算 171
6.4.1 離散信源信息率失真函數(shù)的參量表示計算方法 171
6.4.2 離散信源信息率失真函數(shù)的迭代計算方法 179
本章基本概念 182
習題 183
第7章 網(wǎng)絡(luò)信息論基礎(chǔ) 185
7.1 概論 185
7.2 網(wǎng)絡(luò)信道的分類 186
7.3 網(wǎng)絡(luò)信源編碼模型 188
7.4 多隨機變量聯(lián)合典型序列 190
7.5 相關(guān)信源編碼定理 193
7.6 多址接入信道 196
7.7 高斯多址接入信道 200
7.8 廣播信道 203
7.9 中繼信道 207
7.10 具有邊信息的信源編碼定理 208
本章基本概念 211
習題 213
第8章 信息安全與密碼學基礎(chǔ) 214
8.1 信息安全概述 214
8.2 網(wǎng)絡(luò)模型與安全服務(wù)功能 215
8.2.1 開放系統(tǒng)互連(OSI)參考模型 215
8.2.2 安全分層原則 216
8.2.3 安全服務(wù)功能 216
8.2.4 網(wǎng)絡(luò)安全對策 218
8.3 密碼學基礎(chǔ)知識 220
8.3.1 基本術(shù)語 220
8.3.2 代替密碼 222
8.4 密碼算法的數(shù)學背景 225
8.4.1 信息論 225
8.4.2 復(fù)雜性理論 227
8.4.3 數(shù)論基礎(chǔ) 228
8.5 數(shù)據(jù)加密標準 231
8.5.1 數(shù)據(jù)加密標準的開發(fā) 231
8.5.2 DES算法概要 231
8.5.3 初始置換 232
8.5.4 密碼運算函數(shù)f(R,K) 232
8.5.5 密鑰置換 233
8.5.6 擴展置換 234
8.5.7 S盒替代 234
8.5.8 P盒置換 236
8.5.9 逆初始置換 236
8.5.10 DES的安全性 236
8.6 公開密鑰算法 237
8.6.1 公開密鑰密碼體制 237
8.6.2 背包公鑰密碼 238
8.6.3 RSA公鑰加密 240
8.6.4 數(shù)字簽名 242
本章基本概念 244
習題 246
參考文獻 248