MindSpore深度學(xué)習(xí)高階技術(shù)

第1章數(shù)據(jù)處理00
1.1轉(zhuǎn)換數(shù)據(jù)集為MindRecord00
1.1.1背景與現(xiàn)狀00
1.1.2MindRecord技術(shù)原理00
1.1.3使用示例00
1.2自動數(shù)據(jù)增強00
1.2.1背景與現(xiàn)狀00
1.2.2自動數(shù)據(jù)增強技術(shù)原理00
1.2.3使用示例0
1.3輕量化數(shù)據(jù)處理0
1.3.1背景與現(xiàn)狀0
1.3.2Eager模式原理0
1.3.3使用示例0
1.4單節(jié)點緩存加速0
1.4.1背景與現(xiàn)狀0
1.4.2單節(jié)點緩存原理0
1.4.3單節(jié)點預(yù)處理數(shù)據(jù)緩存功能的使用0
1.4.4性能優(yōu)勢展示0
1.5優(yōu)化數(shù)據(jù)處理0
1.5.1背景與現(xiàn)狀0
1.5.2數(shù)據(jù)處理優(yōu)化途徑0
1.6本章小結(jié)0
第2章網(wǎng)絡(luò)構(gòu)建0
2.1自定義算子0
2.1.1算子原語0
2.1.2算子實現(xiàn)和算子信息注冊0
2.1.3使用自定義算子0
2.1.4定義算子反向傳播函數(shù)0
2.1.5小結(jié)0
2.2深度概率學(xué)習(xí)0
2.2.1框架模塊0
2.2.2深度概率推斷算法與概率模型0
2.2.3貝葉斯神經(jīng)網(wǎng)絡(luò)0
2.2.4貝葉斯應(yīng)用工具箱0
2.2.5小結(jié)0
2.3高階自動微分0
2.3.1微分求解方法概述0
2.3.2技術(shù)原理0
2.3.3相關(guān)案例0
2.4本章小結(jié)0

第3章訓(xùn)練與推理性能優(yōu)化0
3.1千億參數(shù)模型自動并行0
3.1.1分布式訓(xùn)練基礎(chǔ)0
3.1.2關(guān)鍵問題0
3.1.3整體流程0
3.1.4流水線并行0
3.1.5并行子圖切分0
3.1.6算子級并行0
3.1.7優(yōu)化器切分0
3.1.8異構(gòu)圖切分0
3.1.9重計算0
3.1.10GPT3超大規(guī)模分布式并行方案0
3.1.11小結(jié)0
3.2二階優(yōu)化0
3.2.1優(yōu)化器背景介紹0
3.2.2THOR簡介0
3.2.3THOR的實踐應(yīng)用0
3.2.4小結(jié)0
3.3模型量化0
3.3.1量化算法原理0
3.3.2感知量化訓(xùn)練0
3.3.3訓(xùn)練后量化
3.3.4小結(jié)

3.4類型推導(dǎo)
3.4.1靜態(tài)分析技術(shù)背景
3.4.2靜態(tài)分析設(shè)計
3.4.3靜態(tài)分析模塊設(shè)計
3.4.4小結(jié)
3.5圖算融合
3.5.1技術(shù)原理
3.5.2MindSpore上的圖算融合
3.5.3小結(jié)
3.6推理圖優(yōu)化
3.6.1算子融合
3.6.2算子替換
3.6.3常量折疊
3.6.4算子重排
3.6.5小結(jié)
3.7kernel優(yōu)化
3.7.1硬件優(yōu)化
3.7.2算法優(yōu)化
3.7.3小結(jié)
3.8本章小結(jié)
第4章模型安全與隱私
4.1對抗攻防
4.1.1背景
4.1.2MindArmour的攻防能力
4.1.3使用示例
4.2差分隱私訓(xùn)練
4.2.1差分隱私
4.2.2使用示例
4.3AI Fuzzer測試模型安全性
4.3.1AI Fuzzer原理
4.3.2使用示例
4.4隱私泄露風(fēng)險評估
4.4.1原理
4.4.2使用示例
4.5本章小結(jié)
第5章模型可靠性
5.1模型魯棒性度量及提升
5.1.1技術(shù)現(xiàn)狀
5.1.2推薦方案
5.1.3應(yīng)用結(jié)果
5.1.4技術(shù)發(fā)展
5.1.5小結(jié)
5.2概念漂移檢測
5.2.1問題背景
5.2.2業(yè)界現(xiàn)狀
5.2.3常用檢測算法
5.2.4小結(jié)
5.3基于故障注入的測試
5.3.1故障模式庫
5.3.2故障注入測試
5.3.3小結(jié)
5.4本章小結(jié)
第6章可解釋AI
6.1擾動類可解釋AI算法的問題與改進(jìn)
6.1.1擾動類可解釋方法簡介
6.1.2擾動類可解釋方法的問題分析
6.1.3改進(jìn)方法通用框架
6.1.4RISE+
6.1.5使用示例
6.1.6擴展分析
6.2基于層級遮掩的反事實解釋
6.2.1技術(shù)原理
6.2.2使用示例
6.2.3小結(jié)
6.3基于塔橋網(wǎng)絡(luò)模型的推薦解釋
6.3.1發(fā)展現(xiàn)狀
6.3.2技術(shù)原理
6.3.3推薦解釋應(yīng)用示例
6.3.4訓(xùn)練TBNet網(wǎng)絡(luò)
6.3.5小結(jié)
6.4本章小結(jié)
第7章AI中的公平性問題
7.1多樣的公平性定義
7.1.1群體公平
7.1.2個體公平
7.1.3過程公平
7.2偏見消減
7.2.1數(shù)據(jù)預(yù)處理
7.2.2模型構(gòu)建與訓(xùn)練
7.2.3后矯正
7.3AI公平性的應(yīng)用場景
7.3.1內(nèi)容生成與分類任務(wù)
7.3.2資源分配與決策任務(wù)
7.4本章小結(jié)
第8章數(shù)據(jù)驅(qū)動AI建模
8.1醫(yī)藥生物計算案例
8.1.1背景介紹
8.1.2發(fā)展現(xiàn)狀
8.1.3相關(guān)案例
8.1.4小結(jié)
8.2天氣預(yù)報案例
8.2.1背景介紹
8.2.2發(fā)展現(xiàn)狀
8.2.3相關(guān)案例
8.2.4小結(jié)
8.3金屬材料模擬
8.3.1背景介紹
8.3.2發(fā)展現(xiàn)狀
8.3.3相關(guān)案例
8.3.4小結(jié)
8.4AI求解薛定諤方程
8.4.1背景介紹
8.4.2發(fā)展現(xiàn)狀
8.4.3相關(guān)案例
8.4.4小結(jié)
8.5本章小結(jié)
第9章AI求解科學(xué)計算方程
9.1業(yè)界經(jīng)典微分方程學(xué)術(shù)進(jìn)展
9.1.1背景介紹
9.1.2物理信息神經(jīng)網(wǎng)絡(luò)
9.1.3傅里葉神經(jīng)算子
9.1.4小結(jié)
9.2SimNet
9.2.1背景介紹
9.2.2框架介紹
9.2.3相關(guān)案例
9.3SciML
9.3.1框架介紹
9.3.2典型案例
9.3.3小結(jié)
9.4本章小結(jié)
第10章AI加速科學(xué)方法
10.1海洋模式背景介紹
10.2基于OpenArray的區(qū)域海洋模式GOMO
10.2.1OpenArray算子庫
10.2.2區(qū)域海洋模式GOMO
10.3MindSpore加速GOMO求解
10.3.1算子抽象
10.3.2圖算融合
10.3.3Halo區(qū)并行
10.4本章小結(jié)
參考文獻(xiàn)