信息論基礎(chǔ)

第1章 緒論 1
1．1 信息的概念 1
1．1．1 什么是信息 1
1．1．2 信息如何度量 2
1．2 信息傳輸系統(tǒng) 4
1．3 信息論的研究內(nèi)容 7
1．3．1 基本信息論的研究內(nèi)容 7
1．3．2 一般信息論的研究內(nèi)容 8
1．3．3 廣義信息論的研究內(nèi)容 8
1．4 香農(nóng)信息論的形成和發(fā)展 8
習(xí)題 10
第2章 離散信源及其信息度量 12
2．1 離散信源的分類 12
2．2 離散信源的統(tǒng)計特性 13
2．2．1 單符號離散信源的統(tǒng)計特性 13
2．2．2 多符號離散信源的統(tǒng)計特性 13
2．3 離散隨機變量的信息度量 14
2．3．1 自信息和信息熵 14
2．3．2 聯(lián)合自信息和聯(lián)合熵 19
2．3．3 條件自信息和條件熵 21
2．3．4 各類熵之間的關(guān)系 24
2．4 離散信源的N次擴展信源 27
2．4．1 離散信源的N次擴展信源的熵 27
2．4．2 離散無記憶信源的N次擴展信源的熵 28
2．5 離散平穩(wěn)信源 29
2．5．1 離散平穩(wěn)信源的數(shù)學(xué)定義 29
2．5．2 有限維離散平穩(wěn)信源的條件熵 31
2．5．3 二維離散平穩(wěn)信源的平均符號熵 32
2．5．4 離散平穩(wěn)信源的極限熵 33
2．5．5 計算極限熵的處理方法 36
2．6 馬爾可夫信源 37
2．6．1 馬爾可夫信源的描述 37
2．6．2 齊次遍歷的馬爾可夫信源 39
2．6．3 齊次遍歷馬爾可夫信源的極限熵 41
2．7 離散信源的相關(guān)性和剩余度 46
習(xí)題 48
第3章 離散信道及其信道容量 53
3．1 離散信道的分類 53
3．2 離散信道的數(shù)學(xué)模型 54
3．2．1 單符號離散信道的數(shù)學(xué)模型 54
3．2．2 多符號離散信道的數(shù)學(xué)模型 57
3．3 離散隨機變量的互信息和平均互信息 59
3．3．1 互信息的定義 59
3．3．2 互信息的性質(zhì) 60
3．3．3 平均互信息的定義 61
3．3．4 平均互信息的性質(zhì) 62
3．3．5 平均互信息與各類熵之間的關(guān)系 65
3．3．6 平均聯(lián)合互信息和平均條件互信息 66
3．4 信道容量的定義 68
3．4．1 信息傳輸率和信息傳輸速率 68
3．4．2 信道容量 69
3．5 單符號離散信道及其信道容量 71
3．5．1 典型信道的信道容量 71
3．5．2 串聯(lián)信道及其信道容量 75
3．5．3 信息處理定理 76
3．5．4 一般離散信道的信道容量 77
3．6 多符號離散信道及其信道容量 85
3．6．1 多符號離散信道的平均互信息 85
3．6．2 離散無記憶信道的信道容量 86
3．6．3 獨立并聯(lián)信道及其信道容量 86
3．7 信源與信道的匹配 87
習(xí)題 88
第4章 連續(xù)信源和連續(xù)信道 93
4．1 連續(xù)信源的分類和統(tǒng)計特性 93
4．1．1 連續(xù)信源的分類 93
4．1．2 連續(xù)信源的統(tǒng)計特性 93
4．2 連續(xù)隨機變量的信息度量 95
4．2．1 連續(xù)隨機變量的熵 96
4．2．2 連續(xù)隨機變量的平均互信息 98
4．3 連續(xù)信源的信息度量 99
4．3．1 單符號連續(xù)信源的熵 100
4．3．2 多符號連續(xù)信源的熵 100
4．3．3 波形信源的熵率 101
4．4 連續(xù)信源的最大熵 102
4．4．1 瞬時功率受限的連續(xù)信源 103
4．4．2 平均功率受限的連續(xù)信源 103
4．4．3 連續(xù)信源的熵功率 105
4．5 連續(xù)信源熵的變換 106
4．6 連續(xù)信道和波形信道的分類 108
4．6．1 連續(xù)信道的分類 108
4．6．2 波形信道的分類 109
4．7 連續(xù)信道的平均互信息 110
4．7．1 連續(xù)信道 110
4．7．2 加性信道 111
4．8 連續(xù)信道的信道容量 112
4．8．1 一維高斯加性信道 113
4．8．2 多維無記憶高斯加性信道 114
4．9 波形信道的信道容量 116
4．9．1 限帶AWGN信道的容量 116
4．9．2 香農(nóng)公式的討論 117
習(xí)題 120
第5章 無失真信源編碼 123
5．1 信源編碼的基本概念 123
5．1．1 信源編碼的數(shù)學(xué)模型 123
5．1．2 信源編碼的分類 124
5．1．3 唯一可譯碼和即時碼 125
5．1．4 編碼效率 128
5．2 無失真信源編碼定理 130
5．2．1 無失真定長信源編碼定理 131
5．2．2 無失真變長信源編碼定理 135
5．3 常見的無失真信源編碼方法 137
5．3．1 香農(nóng)（Shannon）碼 138
5．3．2 霍夫曼（Huffman）碼 139
5．3．3 費諾（Fano）碼 147
5．3．4 香農(nóng)-費諾-埃利斯碼 148
5．3．5 算術(shù)碼 149
5．3．6 LZ碼 152
習(xí)題 154
第6章 有噪信道編碼 158
6．1 錯誤概率 158
6．1．1 錯誤概率和譯碼規(guī)則 158
6．1．2 錯誤概率和編碼方法 162
6．2 有噪信道編碼定理 163
6．3 聯(lián)合信源信道編碼定理 166
6．4 信道編碼的基本概念 167
6．4．1 信道編碼的分類 168
6．4．2 線性分組碼的檢錯和糾錯能力 168
6．4．3 最小漢明距離譯碼 170
6．4．4 差錯控制的三種方式 171
6．4．5 差錯控制的途徑 172
6．5 線性分組碼 173
6．5．1 線性分組碼的編碼 173
6．5．2 線性分組碼的譯碼 180
6．5．3 完備碼和漢明碼 185
6．6 循環(huán)碼 186
6．6．1 循環(huán)碼的碼多項式 186
6．6．2 循環(huán)碼的生成多項式和生成矩陣 187
6．6．3 循環(huán)碼的伴隨式 190
6．6．4 BCH碼和RS碼 192
6．7 卷積碼 194
6．7．1 卷積碼的解析表示 194
6．7．2 卷積碼的圖形描述 198
6．7．3 卷積碼的譯碼方法 200
6．7．4 遞歸型系統(tǒng)卷積碼 202
6．8 交織碼 203
6．9 級聯(lián)碼 205
6．10 Turbo碼 205
6．11 LDPC碼 207
習(xí)題 208
第7章 限失真信源編碼 212
7．1 失真測度 212
7．1．1 失真函數(shù) 213
7．1．2 平均失真 215
7．1．3 保真度準(zhǔn)則 216
7．2 信息率失真函數(shù) 217
7．2．1 信息率失真函數(shù)的定義 217
7．2．2 R(D)函數(shù)的性質(zhì) 217
7．3 常見信源的R(D)函數(shù) 220
7．3．1 R(D)函數(shù)的參量表示法 220
7．3．2 離散對稱信源的R(D)函數(shù) 224
7．3．3 高斯信源的R(D)函數(shù) 229
7．4 限失真信源編碼定理 231
7．5 聯(lián)合限失真信源信道編碼定理 232
習(xí)題 233
第8章 網(wǎng)絡(luò)信息論初步 237
8．1 網(wǎng)絡(luò)信源 237
8．2 網(wǎng)絡(luò)信道 239
8．2．1 多址接入信道 239
8．2．2 廣播信道 241
8．3 網(wǎng)絡(luò)信源和網(wǎng)絡(luò)信道的聯(lián)合/分離 242
8．4 網(wǎng)絡(luò)編碼 243
8．4．1 網(wǎng)絡(luò)編碼原理 243
8．4．2 線性網(wǎng)絡(luò)編碼原理 244
8．4．3 網(wǎng)絡(luò)編碼的優(yōu)勢 245
8．5 協(xié)作通信 246
8．5．1 中繼網(wǎng)絡(luò)中協(xié)作策略及其容量 247
8．5．2 多中繼高斯信道的容量 250
附錄A 詹森不等式及其應(yīng)用 253
附錄B 信息度量的常用公式 260
參考文獻 263