人工智能芯片設(shè)計

目錄
第1章 緒論 1
第2章 人工智能與神經(jīng)網(wǎng)絡(luò) 3
2.1 人工智能 3
2.2 神經(jīng)網(wǎng)絡(luò) 4
2.2.1 人工神經(jīng)元 5
2.2.2 激活函數(shù) 7
2.2.3 人工神經(jīng)網(wǎng)絡(luò) 9
2.3 深度神經(jīng)網(wǎng)絡(luò) 10
參考文獻 15
第3章 智能計算的挑戰(zhàn) 17
3.1 基本網(wǎng)絡(luò)層的數(shù)學(xué)模型 17
3.2 基本網(wǎng)絡(luò)層的計算特點 19
3.3 智能計算的挑戰(zhàn)現(xiàn)狀分析 21
3.3.1 訪存能力 21
3.3.2 功耗控制 21
3.3.3 架構(gòu)通用性 22
3.3.4 稀疏性 23
3.3.5 混合精度計算 24
3.4 智能計算平臺現(xiàn)狀 24
參考文獻 28
第4章 人工智能芯片架構(gòu)設(shè)計 30
4.1 研究現(xiàn)狀 30
4.1.1 時域計算架構(gòu) 30
4.1.2 空域計算架構(gòu) 33
4.2 現(xiàn)狀分析 37
4.3 多粒度可重構(gòu)計算架構(gòu) 38
4.3.1 系統(tǒng)總體架構(gòu) 38
4.3.2 計算數(shù)據(jù)流 45
4.3.3 基于融合數(shù)據(jù)模式的存儲劃分 48
4.3.4 按需動態(tài)陣列劃分 51
4.3.5 實驗評估 53
參考文獻 54
第5章 人工智能芯片的數(shù)據(jù)復(fù)用 57
5.1 輸入數(shù)據(jù)復(fù)用 57
5.2 輸出數(shù)據(jù)復(fù)用 62
5.3 權(quán)重數(shù)據(jù)復(fù)用 64
5.4 混合數(shù)據(jù)復(fù)用 67
5.4.1 工作流程和調(diào)度框架 68
5.4.2 實驗結(jié)果 70
參考文獻 72
第6章 人工智能芯片的網(wǎng)絡(luò)映射 74
6.1 單層網(wǎng)絡(luò)映射方法 74
6.1.1 典型分塊方法 74
6.1.2 屋頂線模型 75
6.1.3 單層網(wǎng)絡(luò)映射的建模與求解 76
6.1.4 單層網(wǎng)絡(luò)映射方法的延伸與擴展 78
6.1.5 單層網(wǎng)絡(luò)映射方法的缺點 80
6.2 級聯(lián)網(wǎng)絡(luò)映射方法 81
6.3 復(fù)雜網(wǎng)絡(luò)映射方法 83
6.3.1 層級時間映射方法帶來的資源浪費 84
6.3.2 層聚類方法 85
6.3.3 多個層聚類并行映射方法 87
6.3.4 復(fù)雜網(wǎng)絡(luò)其他特性的利用 89
6.3.5 復(fù)雜網(wǎng)絡(luò)映射優(yōu)化結(jié)果 90
參考文獻 92
第7章 人工智能芯片的存儲優(yōu)化 95
7.1 高密度片外存儲技術(shù) 96
7.1.1 三維集成存儲器技術(shù) 96
7.1.2 3D DRAM的高溫問題 98
7.1.3 高溫問題的解決思路 99
7.1.4 計算架構(gòu)優(yōu)化 99
7.1.5 優(yōu)化框架 105
7.2 高密度片上存儲技術(shù) 110
7.2.1 實驗分析平臺和優(yōu)化方向 112
7.2.2 訓(xùn)練層次優(yōu)化：數(shù)據(jù)生存時間感知的訓(xùn)練方法 114
7.2.3 調(diào)度層次優(yōu)化：神經(jīng)網(wǎng)絡(luò)分層的混合計算模式 115
7.2.4 架構(gòu)層次優(yōu)化：刷新優(yōu)化的eDRAM控制器 117
7.2.5 實驗結(jié)果 117
參考文獻 120
第8章 人工智能芯片的軟硬件協(xié)同設(shè)計 124
8.1 低位寬神經(jīng)網(wǎng)絡(luò) 124
8.1.1 線性量化 125
8.1.2 非線性量化 126
8.2 稀疏化神經(jīng)網(wǎng)絡(luò)及其架構(gòu)設(shè)計 127
8.2.1 利用激活稀疏性 128
8.2.2 網(wǎng)絡(luò)剪枝 129
8.2.3 壓縮網(wǎng)絡(luò)架構(gòu) 131
8.3 二值神經(jīng)網(wǎng)絡(luò) 132
8.3.1 二值神經(jīng)網(wǎng)絡(luò)背景 132
8.3.2 面向二值/三值神經(jīng)網(wǎng)絡(luò)的計算架構(gòu)優(yōu)化 132
參考文獻 137
第9章 總結(jié)與展望 141
9.1 本書內(nèi)容總結(jié) 141
9.2 未來展望 141
彩圖