大規(guī)模并行處理器編程實戰(zhàn)（第2版）

第1章 引言 
1.1 異構(gòu)并行計算 
1.2 現(xiàn)代GPU的體系結(jié)構(gòu) 
1.3 為什么需要更高的速度和并行化 
1.4 應(yīng)用程序的加速 
1.5 并行編程語言和模型 
1.6 本書的總體目標(biāo) 
1.7 本書的組織結(jié)構(gòu) 
參考文獻(xiàn) 
第2章 GPU計算的發(fā)展歷程 
2.1 圖形流水線的發(fā)展 
2.1.1 固定功能的圖形流水線時代
2.1.2 可編程實時圖形流水線的發(fā)展 
2.1.3 圖形與計算結(jié)合的處理器 
2.2 GPGPU：一個中間步驟 
2.3 GPU計算
2.3.1 可擴(kuò)展的GPU
2.3.2 發(fā)展近況 
2.3.3 未來發(fā)展趨勢 
參考文獻(xiàn)與課外閱讀 
第3章 CUDA簡介 
3.1 數(shù)據(jù)并行性 
3.2 CUDA的程序結(jié)構(gòu) 
3.3 向量加法kernel函數(shù) 
3.4 設(shè)備全局存儲器與數(shù)據(jù)傳輸 
3.6 小結(jié)
3.6.1 函數(shù)聲明
3.6.2 啟動kernel函數(shù) 
3.6.3 預(yù)定義變量
3.6.4 運(yùn)行時API 
3.7 習(xí)題
參考文獻(xiàn) 
第4章 數(shù)據(jù)并行執(zhí)行模型 
4.1 CUDA的線程組織 
4.2 線程與多維數(shù)據(jù)的映射
4.3 矩陣乘法——一個更加復(fù)雜的kernel函數(shù) 
4.4 線程同步和透明的可擴(kuò)展性
4.5 線程塊的資源分配 
4.6 查詢設(shè)備屬性 
4.7 線程調(diào)度和容許時延
4.8 小結(jié) 
4.9 習(xí)題 
第5章 CUDA存儲器 
5.1 存儲器訪問效率的重要性 
5.2 CUDA設(shè)備存儲器的類型
5.3 減少全局存儲器流量的一種策略 
5.4 分塊矩陣乘法的kernel函數(shù) 
5.5 存儲器——限制并行性的一個因素
5.6 小結(jié)
5.7 習(xí)題 
第6章 性能優(yōu)化
6.1 WARP和線程執(zhí)行 
6.2 全局存儲器的帶寬 
6.3 執(zhí)行資源的動態(tài)劃分 
6.4 指令混合和線程粒度 
6.5 小結(jié)
6.6 習(xí)題 
參考文獻(xiàn) 
第7章 浮點(diǎn)運(yùn)算 
7.1 浮點(diǎn)格
7.1.1 M的規(guī)范化表示 
7.1.2 E的余碼表示
7.2 能表示的數(shù)
7.3 特殊的位模式與IEEE格式中的精度 
7.4 算術(shù)運(yùn)算的準(zhǔn)確度和舍入 
7.5 算法的優(yōu)化 
7.6 數(shù)值穩(wěn)定性 
7.7 小結(jié) 
7.8 習(xí)題 
參考文獻(xiàn) 
第8章 并行模式：卷積 
8.1 背景
8.2 一個基本算法：一維并行卷積 
8.3 常數(shù)存儲器和高速緩存
8.4 使用光環(huán)元素的分塊一維卷積 
8.5 一個更簡單的分塊一維卷積——通用高速緩存 
8.6 小結(jié)
8.7 習(xí)題 
第9章 并行模式：前綴和 
9.1 背景 
9.2 簡單并行掃描 
9.3 考慮工作效率 
9.4 工作高效的并行掃描 
9.5 任意輸入長度的并行掃描 
9.6 小結(jié) 
9.7 習(xí)題 
參考文獻(xiàn) 
第10章 并行模式：稀疏矩陣-向量乘法
10.1 背景 
10.2 使用CSR格式的并行SpMV 
10.3 填充與轉(zhuǎn)置 
10.4 用混合方法來控制填充
10.5 通過排序和劃分來規(guī)則化 
10.6 小結(jié)
10.7 習(xí)題 
參考文獻(xiàn) 
第11章 應(yīng)用案例研究：高級MRI重構(gòu) 
11.1 應(yīng)用背景 
11.2 迭代重構(gòu) 
11.3 計算FHD 
11.4 最終評估 
11.5 習(xí)題 
參考文獻(xiàn)
第12章 應(yīng)用案例研究：分子可視化和分析 
12.1 應(yīng)用背景 
12.2 kernel函數(shù)簡單的實現(xiàn)方案
12.3 線程粒度調(diào)節(jié) 
12.4 存儲器合并 
12.5 小結(jié) 
12.6 習(xí)題 
參考文獻(xiàn) 
第13章 并行編程和計算思想 
13.1 并行計算的目標(biāo) 
13.2 問題分解 
13.3 算法選擇 
13.4 計算思想 
13.5 小結(jié) 
13.6 習(xí)題 
參考文獻(xiàn) 
第14章 OpenCL簡介 
14.1 背景 
14.2 數(shù)據(jù)并行性模型 
14.3 設(shè)備的體系結(jié)構(gòu) 
14.4 kernel函數(shù) 
14.5 設(shè)備管理和啟動kernel 
14.6 OpenCL中的靜電勢圖譜 
14.7 小結(jié) 
14.8 習(xí)題 
參考文獻(xiàn) 
第15章 OpenACC并行編程 
15.1 OpenACC與CUDA C的比較 
15.2 執(zhí)行模型 
15.3 存儲器模型 
15.4 基本的OpenACC程序 
15.4.1 并行構(gòu)造 
15.4.2 循環(huán)構(gòu)造 
15.4.3 kernels構(gòu)造 
15.4.4 數(shù)據(jù)管理 
15.4.5 數(shù)據(jù)構(gòu)造 
15.4.6 異步計算和數(shù)據(jù)傳輸 
15.5 OpenACC的發(fā)展方向 
15.6 習(xí)題
第16章 Thrust：一個面向效率的CUDA編程庫 
16.1 背景簡介 
16.2 動機(jī) 
16.3 Thrust的基本特性
16.3.1 迭代器和內(nèi)存空間 
16.3.2 互操作性 
16.4 泛型編程 
16.5 抽象的益處 
16.5.1 編程效率 
16.5.2 魯棒性 
16.5.3 真實性能 
16.6 最佳范例 
16.6.1 融合 
16.6.2 數(shù)組結(jié)構(gòu)體
16.6.3 隱式范圍 
16.7 習(xí)題 
參考文獻(xiàn) 298
第17章 CUDA FORTRAN 
17.1 CUDA FORTRAN和CUDA C的區(qū)別 
17.2 第一個CUDA FORTRAN程序
17.3 CUDA FORTRAN中的多維數(shù)組 
17.4 用通用接口重載主機(jī)/設(shè)備端例程 
17.5 通過iso_c_binding調(diào)用CUDA C 
17.6 kernel循環(huán)指令和歸約操作
17.7 動態(tài)共享存儲器 
17.8 異步數(shù)據(jù)傳輸 
17.9 編譯和性能剖析 
17.10 在CUDA FORTRAN中調(diào)用Thrust 
17.11 習(xí)題 
第18章 C++ AMP簡介 
18.1 C++ AMP核心特性 
18.2 C++ AMP執(zhí)行模式詳解 
18.2.1 顯式和隱式的數(shù)據(jù)復(fù)制
18.2.2 異步操作 
18.2.3 本節(jié)小結(jié) 
18.3 加速器管理 
18.4 分塊執(zhí)行
18.5 C++ AMP圖形特性 
18.6 小結(jié) 
18.7 習(xí)題 
第19章 異構(gòu)集群編程 
19.1 背景簡介 
19.2 運(yùn)行示例 
19.3 MPI基礎(chǔ) 
19.4 MPI點(diǎn)對點(diǎn)通信模型 
19.5 重疊計算和通信 
19.6 MPI集合通信模型 
19.7 小結(jié) 
19.8 習(xí)題 
參考文獻(xiàn) 
第20章 CUDA動態(tài)并行 
20.1 背景 
20.2 動態(tài)并行簡介 
20.3 重要細(xì)節(jié)
20.3.1 啟動環(huán)境變量設(shè)置 
20.3.2 API錯誤和啟動失敗
20.3.3 事件 
20.3.4 流 
20.3.5 同步范圍
20.4 內(nèi)存可見性
20.4.1 全局內(nèi)存 
20.4.2 零拷貝內(nèi)存
20.4.3 常量內(nèi)存 
20.4.4 局部內(nèi)存 
20.4.5 共享內(nèi)存 
20.4.6 紋理內(nèi)存 
20.5 一個簡單示例 
20.6 運(yùn)行時限制 
20.6.1 內(nèi)存占用 
20.6.2 嵌套深度 
20.6.3 內(nèi)存分配和生存周期 
20.6.4 ECC錯誤 
20.6.5 流 
20.6.6 事件 
20.6.7 啟動池 
20.7 一個更復(fù)雜的示例 
20.7.1 線性貝塞爾曲線 
20.7.2 二次貝塞爾曲線 
20.7.3 貝塞爾曲線計算(非動態(tài)并行版本) 
20.7.4 貝塞爾曲線計算(使用動態(tài)并行) 
20.8 小結(jié) 
參考文獻(xiàn) 
第21章 結(jié)論與展望 
21.1 重點(diǎn)回顧 
21.2 存儲器模型的演變
21.2.1 大型虛擬和物理地址空間 
21.2.2 統(tǒng)一的設(shè)備存儲空間
21.2.3 可配置的緩存和暫時存儲器 
21.2.4 提高原子操作的速度
21.2.5 提高全局內(nèi)存的訪問速度 
21.3 kernel函數(shù)執(zhí)行控制過程的演變 
21.3.1 kernel函數(shù)內(nèi)部的函數(shù)調(diào)用 
21.3.2 kernel函數(shù)中的異常處理 
21.3.3 多個kernel函數(shù)的同步執(zhí)行
21.3.4 可中斷的kernel函數(shù)
21.4 內(nèi)核的性能 
21.4.1 雙精度的速度 
21.4.2 更好的控制流效率 
21.5 編程環(huán)境 
21.6 美好前景 
參考文獻(xiàn) 
附錄A 矩陣乘法主機(jī)版的源代碼 
附錄B GPU的計算能力