工程信息論

第1章緒論
1.1信息的概念和主要特征
1.1.1概述
1.1.2信息的基本概念和特征
1.1.3信息論的基本內(nèi)容
1.2通信系統(tǒng)的模型
1.2.1通信系統(tǒng)模型
1.2.2提高通信系統(tǒng)技術(shù)指標的措施
1.3仙農(nóng)信息論所研究的問題
1.3.1仙農(nóng)信息論所研究的問題
1.3.2仙農(nóng)信息論的特點
1.4仙農(nóng)信息論形成與發(fā)展
1.4.1技術(shù)背景
1.4.2理論背景
1.4.3仙農(nóng)的主要工作
1.4.4仙農(nóng)信息論發(fā)展
1.4.5信息論的應用
1.5仙農(nóng)生平簡介與研究風格
1.5.1仙農(nóng)生平簡介
1.5.2仙農(nóng)的學術(shù)風格
第2章離散信息的度量
2.1自信息和條件自信息
2.1.1自信息
2.1.2聯(lián)合自信息
2.1.3條件自信息
2.2信息和條件互信息
2.2.1信息
2.2.2信息的性質(zhì)
2.2.3條件互信息
2.3離散集合的平均自信息(熵)
2.3.1信息熵
2.3.2條件熵
2.3.3聯(lián)合熵
2.3.4信息熵與熱熵的關系
2.4熵的基本性質(zhì)
2.4.1凸函數(shù)
2.4.2信息散度“
2.4.3熵的基本性質(zhì)
2.4.4各類熵的關系
2.4.5熵函數(shù)的惟一性
2.5離散集的平均互信息
2.5.1集合與事件之間的互信息.
2.5.2平均互信息
2.5.3平均互信息與熵的關系
2.5.4平均互信息的性質(zhì)
2.5.5平均條件互信息
本章小結(jié)
習題
第3章離散信源
3.1信源的分類與數(shù)學模型
3.1.1信源的分類
3.1.2信源的數(shù)學模型
3.2離散無記.億信源
3.2.1單符號離散無記憶信源
3.2.2多維離散無記憶信源
3.3離散無記憶信源的擴展源
3.3.1N次擴展源
3.3.2N次擴展信源的熵
3.4無限離散信源
3.4.1無限離散信源的均值和熵
3.5概率分布的信息生成函數(shù)
3.6離散平穩(wěn)信源
3.6.1概述
3.6.2平穩(wěn)有記憶N次擴展源的熵
3.7馬爾可夫信源
3.7.1有限狀態(tài)馬氏鏈
3.7.2狀態(tài)轉(zhuǎn)移概率
.3.7.3齊次馬氏鏈
3.7.4KOlmOgOrOv—Chapman方程
3.7.5馬氏鏈狀態(tài)分類
3.7.6馬氏鏈的平穩(wěn)分布
3.7.7馬爾可夫信源
3.7.8馬爾可夫信源熵的計算
3.8信源的剩余度
3.8.1信源的相關性
3.8.2信源剩余度(冗長度)
本章小結(jié)
附錄定理3.4.2的證明
習題
第4章離散信道及其容量
4.1信道模型及其分類
4.1.1信道模型
4.1.2信道的分類
4.2離散無記憶信道
4.2.1一般信道的數(shù)學模型
4.2.2離散無記憶信道
4.2.3平穩(wěn)(或恒參)信道
4.2.4單符號離散信道
4.2.5離散無記憶擴展信道
4.3擴展信道輸入與輸出平均互信息
4.4級聯(lián)信道
4.5離散無記憶信道容量
4.5.1信道容量的定義
4.5.2離散無噪信道的容量
4.5.3信道容量的計算
4.5.4離散對稱信道的容量
4.5.5離散無記憶N次擴展信道的容量
4.5.6離散并聯(lián)信道的容量
4.5.7和信道的容量
4.5.8關于信道容量的注釋
4.6信道容量的迭代計算
本章小結(jié)
附錄定理4.5.1的證明
習題
第5章無失真信源編碼
5.1概述’
5.1.1無失真信源編碼的分類
5.1.2信源編碼器模型
’5.1.3簡單信源編碼器舉例
5.2分組碼
5.2.1分組碼的性質(zhì)
5.2.2碼樹
5.3定長碼
5.3.1無失真編碼條件
5.3.2信源序列分組定理
5.3.3漸進均分特性
5.3.4定長碼信源編碼定理
5.4變長碼
5.4.1異前置碼的性質(zhì)
5.4.2變長碼信源編碼定理
5.5最優(yōu)碼
5.5.1二元哈夫曼(HuHman)編碼
5.5.2多元哈夫曼編碼
5.5.3馬氏源的編碼
5.6算術(shù)編碼
5.6.1積累概率
5.6.2算術(shù)編碼的性能
5.6.3算術(shù)編碼和譯碼算法
5.6.4一般馬氏源的算術(shù)編碼
5.6.5算術(shù)編碼算法實現(xiàn)中的技術(shù)問題
5.7L-Z編碼
5.7.1L-Z算法簡介
5.7.2一種簡化的LZW算法
5.8文本樹加權(quán)編碼
5.8.1二元序列概率的估計
5.8.2樹信源和文本樹
5.8.3文本樹力口權(quán)編碼的實現(xiàn)
5.8.4文本樹加權(quán)編碼的性能評估
本章小結(jié)
本章參考文獻
習題
第6章有噪信道編碼
6.1概述
6.1.1信息傳輸速率
6.1.2單符號判決規(guī)則
6.1.3譯碼錯誤概率
6.2常用判決準則
6.2.1最大后驗概率準則
6.2.2最大似然準則
6.3費諾(Fano)不等式
6.3.1信道疑義度
6.3.2費諾不等式
6.3.3序列費諾不等式
6.4序列的最佳譯碼準則
6.4.1漢明距離
6.4.2序列最大似然譯碼
6.5有噪信道編碼定理
6.5.1聯(lián)合典型序列
6.5.2有噪信道編碼定理
6.5.3無失真信源信道編碼定理
本章小結(jié)
第7章連續(xù)信息與連續(xù)信源
7.1連續(xù)隨機變量的互信息
7.1.1連續(xù)隨機變量的離散化
7.1.2連續(xù)隨機變量的互信息
7.1.3連續(xù)集合平均互信息的性質(zhì)
7.2連續(xù)隨機變量集合的熵
7.2.1連續(xù)隨機變量集合的熵
7.2.2差熵的性質(zhì)
7.2.3信息散度
7.2.4差熵與平均互信息的關系
7.2.5線性變換下平均互信息的不變性
7.3離散時間高斯信源的熵
7.3.1一維高斯隨機變量集合的熵
7.3.2多維獨立高斯隨機變量集合的熵
7.3.3多維相關高斯隨機變量集合的熵
7.3.4復高斯信源的熵
7.4連續(xù)最大熵定理
7.4.1限功率最大熵定理
7.4.2限峰值最大熵定理
7.5連續(xù)時間波形的正交展開
7.6連續(xù)時間信源的熵
7.6.1限帶高斯白噪聲信源的熵
7.6.2限帶高斯信源的熵
7.6.3熵功率
7.7最大熵原理與最大熵譜估計
7.7.1最大熵原理
7.7.2最大熵譜估計
7.8離散集合與連續(xù)集合之間的互信息
7.8.1離散事件x與連續(xù)事件》之間的互信息
7.8.2離散集合X與連續(xù)集合y的平均互信息
本章小結(jié)
本章參考文獻
附錄復矢量到實矢量的變換及其性質(zhì)
習題
第8章波形信道
8.1離散時間連續(xù)信道
8.1.1加性噪聲信道
8.1.2加性高斯噪聲信道
8.1.3容量代價函數(shù)
8.1.4離散時間信道的容量
8.1.5一般加性噪聲信道容量界
8.1.6并聯(lián)加性高斯噪聲信道
8.2數(shù)字基帶波形的正交展開
8.3AWGN信道的容量
8.3.1加性高斯噪聲信道
8.3.2波形信道的互信息與容量
8.3.3AWGN信道的容量
8.3.4高斯噪聲信道編碼定理
8.3.5功率利用率和頻譜利用率的關系
8.4有色高斯噪聲信道
8.5數(shù)字調(diào)制系統(tǒng)的信道容量
8.5.1PAM調(diào)制系統(tǒng)的信道容量
8.5.2二維數(shù)字調(diào)制的信道容量
8.5.3BPSK調(diào)制的信道容量
8.6復高斯信道容量
8.7接近信道容量界的編碼
8.7.1Turbo碼
8.7.2LDPC碼
本章小結(jié)
本章參考文獻
習題
第9章信息率失真函數(shù)
9.1概述
9.1.1系統(tǒng)模型
9.1.2失真測度
9.2信息率失真函數(shù)
9.2.1信息率失真函數(shù)
9.2.2R(D)的性質(zhì)
9.3限失真編碼定理
9.3.1編碼速率的壓縮
9.3.2限失真信源編碼定理
9.3.3限失真信源信道編碼定理
9.4離散信源信息率失真函數(shù)的計算
9.4.1R(D)參量表示法求解
9.4.2方程的解法
9.4.3參量s的意義
9.5連續(xù)信源信息率失真函數(shù)
9.5.1信息率失真函數(shù)與性質(zhì)
9.5.2R(D)函數(shù)的計算
9.5.3差值失真測度
9.6高斯信源的R(D)函數(shù)
9.6.1離散時間無記憶高斯信源
9.6.2獨立并聯(lián)高斯信源
9.6.3有記憶高斯信源
9.6.4時間連續(xù)高斯信源
9.6.5限帶高斯信源
9.?一般連續(xù)信源R(D)函數(shù)
9.8有損數(shù)據(jù)壓縮
9.8.1量化
9.8.2最佳速率分配
9.8.3預狽0編碼
9.8.4子帶編碼
9.8.5變換編碼
本章小結(jié)
附錄1關于Pe的計算
附錄2定理9.7.1的證明
本章參考文獻
習題
第10章有約束信道及其編碼
10.1標號圖及性質(zhì)
10.1.1標號圖的基本概念
10.1.2標號圖的變換
10.2有約束信道的容量
10.2.1有約束信道容量的定義
10.2.2等時長符號有約束信道的容量
10.2.3不等時長無約束信道的容量
10.2.4不等時長有約束信道的容量
10.2.5馬氏源的最大熵
10.3有約束序列的性質(zhì)
10.3.1信道的約束
10.3.2游程長度受限序列(RLL)
10.3.3部分響應最大似然(PRML)序列
10.3.4直流平衡序列
10.3.5其他頻域受限序列
10.4有約束信道編碼定理
10.4.1有約束信道編碼定理
10.4.2編碼器的描述
10.4.3近似特征矢量
10.4.4——致狀態(tài)分裂
10.4.5有限狀態(tài)編碼定理
10.5有約束系統(tǒng)的編碼
10.5.1編碼器性能指標
10.5.2塊編碼器..
10.5.3確定性編碼器
10.5.4有限類型編碼器
10.5.5直流平衡序列編碼系統(tǒng)
10.5.6滑動塊譯碼器
10.6有約束序列編碼實例
10.6.1(d.k)塊碼編碼系統(tǒng)
10.6.2實用的直流平衡序列
10.6.3無直流游程受限序列
10.6.4有約束序列在家用電子產(chǎn)品中的應用
本章小結(jié)
附錄定理10.2.2的證明
本章參考文獻
第11章空時信道的容量與空時碼
11.1空時無線系統(tǒng)
11.2衰落多徑信道的統(tǒng)計模型
11.2.1多徑信道描述參數(shù)
11.2.2頻率非選擇性信道
11.2.3頻率選擇性信道
11.2.4衰落信號分量的統(tǒng)計模型
11.3確定性MIMO信道的容量
11.3.1MIMO信道模型
11.3.2發(fā)射機未知CSI的容量
11.3.3發(fā)射機已知CSI的容量
11.3.4SIMO系統(tǒng)的容量
11.3.5MISO系統(tǒng)的容量
11.4衰落MIMO信道的容量
11.4.1容量的定義
11.4.2容量的計算
11.4.3影D向信道容量的因素
11.5空時接收機
11.5.1CSI對發(fā)射機和接收機均已知情況
11.5.2信道狀態(tài)僅對接收機已知的情況
11.6空時信道的編碼
11.6.1空時編碼器
11.6.2空時塊碼
11.6.3空時格碼
11.6.4空間復用編碼
11.6.5可達容量的比較
本章小結(jié)
本章參考文獻
習題
參考文獻