MindSpore深度學習高階技術

第1章數(shù)據(jù)處理00
1.1轉(zhuǎn)換數(shù)據(jù)集為MindRecord00
1.1.1背景與現(xiàn)狀00
1.1.2MindRecord技術原理00
1.1.3使用示例00
1.2自動數(shù)據(jù)增強00
1.2.1背景與現(xiàn)狀00
1.2.2自動數(shù)據(jù)增強技術原理00
1.2.3使用示例0
1.3輕量化數(shù)據(jù)處理0
1.3.1背景與現(xiàn)狀0
1.3.2Eager模式原理0
1.3.3使用示例0
1.4單節(jié)點緩存加速0
1.4.1背景與現(xiàn)狀0
1.4.2單節(jié)點緩存原理0
1.4.3單節(jié)點預處理數(shù)據(jù)緩存功能的使用0
1.4.4性能優(yōu)勢展示0
1.5優(yōu)化數(shù)據(jù)處理0
1.5.1背景與現(xiàn)狀0
1.5.2數(shù)據(jù)處理優(yōu)化途徑0
1.6本章小結(jié)0
第2章網(wǎng)絡構建0
2.1自定義算子0
2.1.1算子原語0
2.1.2算子實現(xiàn)和算子信息注冊0
2.1.3使用自定義算子0
2.1.4定義算子反向傳播函數(shù)0
2.1.5小結(jié)0
2.2深度概率學習0
2.2.1框架模塊0
2.2.2深度概率推斷算法與概率模型0
2.2.3貝葉斯神經(jīng)網(wǎng)絡0
2.2.4貝葉斯應用工具箱0
2.2.5小結(jié)0
2.3高階自動微分0
2.3.1微分求解方法概述0
2.3.2技術原理0
2.3.3相關案例0
2.4本章小結(jié)0

第3章訓練與推理性能優(yōu)化0
3.1千億參數(shù)模型自動并行0
3.1.1分布式訓練基礎0
3.1.2關鍵問題0
3.1.3整體流程0
3.1.4流水線并行0
3.1.5并行子圖切分0
3.1.6算子級并行0
3.1.7優(yōu)化器切分0
3.1.8異構圖切分0
3.1.9重計算0
3.1.10GPT3超大規(guī)模分布式并行方案0
3.1.11小結(jié)0
3.2二階優(yōu)化0
3.2.1優(yōu)化器背景介紹0
3.2.2THOR簡介0
3.2.3THOR的實踐應用0
3.2.4小結(jié)0
3.3模型量化0
3.3.1量化算法原理0
3.3.2感知量化訓練0
3.3.3訓練后量化
3.3.4小結(jié)

3.4類型推導
3.4.1靜態(tài)分析技術背景
3.4.2靜態(tài)分析設計
3.4.3靜態(tài)分析模塊設計
3.4.4小結(jié)
3.5圖算融合
3.5.1技術原理
3.5.2MindSpore上的圖算融合
3.5.3小結(jié)
3.6推理圖優(yōu)化
3.6.1算子融合
3.6.2算子替換
3.6.3常量折疊
3.6.4算子重排
3.6.5小結(jié)
3.7kernel優(yōu)化
3.7.1硬件優(yōu)化
3.7.2算法優(yōu)化
3.7.3小結(jié)
3.8本章小結(jié)
第4章模型安全與隱私
4.1對抗攻防
4.1.1背景
4.1.2MindArmour的攻防能力
4.1.3使用示例
4.2差分隱私訓練
4.2.1差分隱私
4.2.2使用示例
4.3AI Fuzzer測試模型安全性
4.3.1AI Fuzzer原理
4.3.2使用示例
4.4隱私泄露風險評估
4.4.1原理
4.4.2使用示例
4.5本章小結(jié)
第5章模型可靠性
5.1模型魯棒性度量及提升
5.1.1技術現(xiàn)狀
5.1.2推薦方案
5.1.3應用結(jié)果
5.1.4技術發(fā)展
5.1.5小結(jié)
5.2概念漂移檢測
5.2.1問題背景
5.2.2業(yè)界現(xiàn)狀
5.2.3常用檢測算法
5.2.4小結(jié)
5.3基于故障注入的測試
5.3.1故障模式庫
5.3.2故障注入測試
5.3.3小結(jié)
5.4本章小結(jié)
第6章可解釋AI
6.1擾動類可解釋AI算法的問題與改進
6.1.1擾動類可解釋方法簡介
6.1.2擾動類可解釋方法的問題分析
6.1.3改進方法通用框架
6.1.4RISE+
6.1.5使用示例
6.1.6擴展分析
6.2基于層級遮掩的反事實解釋
6.2.1技術原理
6.2.2使用示例
6.2.3小結(jié)
6.3基于塔橋網(wǎng)絡模型的推薦解釋
6.3.1發(fā)展現(xiàn)狀
6.3.2技術原理
6.3.3推薦解釋應用示例
6.3.4訓練TBNet網(wǎng)絡
6.3.5小結(jié)
6.4本章小結(jié)
第7章AI中的公平性問題
7.1多樣的公平性定義
7.1.1群體公平
7.1.2個體公平
7.1.3過程公平
7.2偏見消減
7.2.1數(shù)據(jù)預處理
7.2.2模型構建與訓練
7.2.3后矯正
7.3AI公平性的應用場景
7.3.1內(nèi)容生成與分類任務
7.3.2資源分配與決策任務
7.4本章小結(jié)
第8章數(shù)據(jù)驅(qū)動AI建模
8.1醫(yī)藥生物計算案例
8.1.1背景介紹
8.1.2發(fā)展現(xiàn)狀
8.1.3相關案例
8.1.4小結(jié)
8.2天氣預報案例
8.2.1背景介紹
8.2.2發(fā)展現(xiàn)狀
8.2.3相關案例
8.2.4小結(jié)
8.3金屬材料模擬
8.3.1背景介紹
8.3.2發(fā)展現(xiàn)狀
8.3.3相關案例
8.3.4小結(jié)
8.4AI求解薛定諤方程
8.4.1背景介紹
8.4.2發(fā)展現(xiàn)狀
8.4.3相關案例
8.4.4小結(jié)
8.5本章小結(jié)
第9章AI求解科學計算方程
9.1業(yè)界經(jīng)典微分方程學術進展
9.1.1背景介紹
9.1.2物理信息神經(jīng)網(wǎng)絡
9.1.3傅里葉神經(jīng)算子
9.1.4小結(jié)
9.2SimNet
9.2.1背景介紹
9.2.2框架介紹
9.2.3相關案例
9.3SciML
9.3.1框架介紹
9.3.2典型案例
9.3.3小結(jié)
9.4本章小結(jié)
第10章AI加速科學方法
10.1海洋模式背景介紹
10.2基于OpenArray的區(qū)域海洋模式GOMO
10.2.1OpenArray算子庫
10.2.2區(qū)域海洋模式GOMO
10.3MindSpore加速GOMO求解
10.3.1算子抽象
10.3.2圖算融合
10.3.3Halo區(qū)并行
10.4本章小結(jié)
參考文獻