信息論與編碼理論

第1章 緒論
1.1 信息
1.1.1 信息的概念
1.1.2 信息的性質
1.2 通信系統(tǒng)模型
1.2.1 信源和信宿
1.2.2 編碼器和譯碼器
1.2.3 信道和噪聲
1.3 離散與連續(xù)
1.4 信息論和編碼理論的形成和發(fā)展
小結
習題
第2章 信息的統(tǒng)計度量
2.1 自信息和條件自信息
2.1.1 自信息的定義與含義
2.1.2 條件自信息的定義與含義
2.2 互信息
2.2.1 互信息的定義與含義
2.2.2 互信息的性質
2.3 平均自信息(熵)
2.3.1 熵的定義與含義
2.3.2 熵函數(shù)的數(shù)學性質
2.3.3 條件熵
2.3.4 聯(lián)合熵
2.3.5 各種熵之間的關系
2.4 平均互信息
2.4.1 平均互信息的定義與含義
2.4.2 平均互信息的性質
2.4.3 各種熵和平均互信息量之間的關系
2.5 連續(xù)隨機變量的互信息和相對熵
2.5.1 連續(xù)隨機變量的統(tǒng)計特性
2.5.2 連續(xù)隨機變量的互信息
2.5.3 連續(xù)隨機變量的相對熵
小結
習題
第3章 離散信源
3.1 離散信源的數(shù)學模型
3.2 信源的分類
3.2.1 無記憶信源
3.2.2 有記憶信源
3.3 離散無記憶信源
3.3.1 離散無記憶信源及其熵
3.3.2 離散無記憶信源的擴展信源及其熵
3.4 馬爾可夫信源
3.4.1 馬爾可夫信源的定義
3.4.2 有限狀態(tài)馬爾可夫鏈
3.4.3 馬爾可夫信源的馬爾可夫鏈性質
3.4.4 馬爾可夫信源的熵
3.5 離散平穩(wěn)信源
3.5.1 平穩(wěn)信源的概念
3.5.2 平穩(wěn)信源的熵
3.6 信源的相關性和剩余度
小結
習題
第4章 離散信道
4.1 離散信道的數(shù)學模型
4.2 信道的分類
4.3 離散無記憶信道
4.3.1 離散無記憶信道的數(shù)學模型
4.3.2 信道疑義度和噪聲熵
4.3.3 信道的平均互信息及其含義
4.4 信道的組合
4.5 信道容量
4.5.1 信息傳輸率
4.5.2 信道容量的定義及含義
4.5.3 三種特殊信道的容量
4.5.4 對稱信道的容量
4.5.5 一般信道的容量
4.5.6 信源和信道的匹配
小結
習題
第5章 連續(xù)信源和連續(xù)信道
5.1 連續(xù)信源
5.1.1 連續(xù)信源的數(shù)學模型
5.1.2 連續(xù)信源的熵和互信息
5.2 連續(xù)信道及其信道容量
5.2.1 時間離散信道
5.2.2 連續(xù)信道
小結
習題
第6章 無失真信源編碼
6.1 編碼的基本概念
6.1.1 編碼器和譯碼器
6.1.2 碼的分類
6.1.3 N次擴展碼
6.2 “無失真”的本質
6.3 定長碼
6.4 變長碼
6.4.1 變長碼的衡量指標
6.4.2 變長碼的特點
6.4.3 唯一可譯碼和即時碼的判別
6.4.4 無失真信源編碼定理(香農第一定理)
6.5 霍夫曼碼
6.5.1 二元霍夫曼碼
6.5.2 多元霍夫曼碼
6.6 算術編碼
6.6.1 算術編碼的基本原理
6.6.2 算術編碼方法
6.6.3 算術譯碼方法
6.7 LZW編碼
6.7.1 LZW基本原理
6.7.2 LZW編碼方法
小結
習題
第7章 限失真信源編碼
7.1 失真的度量
7.1.1 失真函數(shù)和失真矩陣
7.1.2 序列失真
7.1.3 平均失真和保真度準則
7.2 信息率失真函數(shù)
7.2.1 信息率失真函數(shù)的定義和含義
7.2.2 信息率失真函數(shù)的定義域和性質
7.2.3 信息率失真函數(shù)和信道容量的關系
7.2.4 限失真信源編碼定理(香農第三定理)
7.3 量化編碼
7.3.1 量化編碼的主要作用
7.3.2 均勻量化
7.3.3 最優(yōu)量化
7.3.4 矢量量化編碼
7.4 預測編碼
7.4.1 預測編碼的基本原理和方法
7.4.2 預測編碼能夠限失真壓縮信源的原因
7.4.3 DPCM編譯碼原理
7.5 變換編碼
7.5.1 變換編碼的基本原理
7.5.2 變換編碼能夠限失真壓縮信源的原因
7.5.3 離散余弦變換
7.5.4 變換編碼的廣泛應用
小結
習題
第8章 信道編碼
8.1 信道編碼的基本概念
8.1.1 編譯碼規(guī)則、檢糾錯能力
8.1.2 平均錯誤譯碼概率
8.2 譯碼規(guī)則
8.3 有噪信道編碼定理(香農第二定理)
8.4 線性分組碼
8.4.1 基本概念
8.4.2 線性分組碼的性質
8.4.3 線性分組碼的兩個重要參數(shù)——編碼效率和最小漢明距離
8.4.4 生成矩陣和監(jiān)督矩陣
8.4.5 對偶碼
8.4.6 伴隨式、伴隨式的錯誤圖樣表示、根據(jù)伴隨式譯碼
8.4.7 漢明碼
8.5 循環(huán)碼
8.5.1 循環(huán)碼的基本概念
8.5.2 循環(huán)碼的生成多項式和監(jiān)督多項式
8.5.3 循環(huán)碼的譯碼
8.5.4 BCH碼
8.5.5 RS碼
8.6 卷積碼
8.6.1 卷積碼的基本概念和基本原理
8.6.2 卷積碼的編碼
8.6.3 卷積碼的矩陣表述
8.7 突發(fā)錯誤的糾正
8.7.1 基本概念
8.7.2 級聯(lián)碼
8.7.3 交織碼
8.7.4 Turbo碼
小結
習題
附錄A 凸函數(shù)與詹森(Jensen)不等式
A.1 一元函數(shù)的凸性
A.2 函數(shù)凸性的判別
A.3 Jensen不等式
A.4 凸域和凸函數(shù)
A.5 凸域中的Jensen不等式
附錄B BCH編碼表
參考文獻