聯(lián)邦學(xué)習(xí)：算法詳解與系統(tǒng)實(shí)現(xiàn)

前言
第一部分 聯(lián)邦學(xué)習(xí)基礎(chǔ)知識
第 1 章 聯(lián)邦學(xué)習(xí)概述 2
1.1 什么是聯(lián)邦學(xué)習(xí) 2
1.1.1 聯(lián)邦學(xué)習(xí)的發(fā)展歷史 3
1.1.2 聯(lián)邦學(xué)習(xí)的工作流程 4
1.1.3 聯(lián)邦學(xué)習(xí)的分類 6
1.2 聯(lián)邦學(xué)習(xí)的應(yīng)用和挑戰(zhàn) 8
1.2.1 聯(lián)邦學(xué)習(xí)的應(yīng)用現(xiàn)狀 8
1.2.2 聯(lián)邦學(xué)習(xí)的核心挑戰(zhàn) 9
1.3 分布式機(jī)器學(xué)習(xí)與聯(lián)邦學(xué)習(xí) 10
1.3.1 分布式機(jī)器學(xué)習(xí)的發(fā)展歷史 10
1.3.2 分布式機(jī)器學(xué)習(xí)概述 11
1.3.3 分布式機(jī)器學(xué)習(xí)與聯(lián)邦學(xué)習(xí)的共同發(fā)展 13
1.4 總結(jié) 14
第 2 章 聯(lián)邦學(xué)習(xí)應(yīng)用場景 15
2.1 聯(lián)邦學(xué)習(xí)與金融 15
2.2 聯(lián)邦學(xué)習(xí)與生物醫(yī)學(xué) 17
2.3 聯(lián)邦學(xué)習(xí)與計(jì)算機(jī)視覺 19
2.4 聯(lián)邦學(xué)習(xí)與自然語言處理 22
2.5 聯(lián)邦學(xué)習(xí)與邊緣計(jì)算和云計(jì)算 25
2.6 聯(lián)邦學(xué)習(xí)與計(jì)算機(jī)硬件 27
2.7 總結(jié) 29
第 3 章 常用隱私保護(hù)技術(shù) 30
3.1 面向隱私保護(hù)的機(jī)器學(xué)習(xí) 30
3.1.1 概述 30
3.1.2 面向隱私保護(hù)的機(jī)器學(xué)習(xí)發(fā)展 33
3.2 常用的隱私保護(hù)技術(shù) 34
3.2.1 差分隱私 34
3.2.2 安全多方計(jì)算 41
3.2.3 同態(tài)加密 49
3.3 總結(jié) 66
第二部分 聯(lián)邦學(xué)習(xí)算法詳述
第 4 章 縱向聯(lián)邦樹模型算法 68
4.1 樹模型簡介 68
4.2 縱向聯(lián)邦隨機(jī)森林算法 69
4.2.1 算法結(jié)構(gòu) 69
4.2.2 算法詳述 70
4.2.3 安全性分析 71
4.3 縱向聯(lián)邦梯度提升算法 75
4.3.1 XGBoost 算法 76
4.3.2 SecureBoost 算法 76
4.3.3 所提算法詳述 77
4.4 總結(jié) 78
第 5 章 縱向聯(lián)邦線性回歸算法 79
5.1 縱向聯(lián)邦線性回歸 80
5.1.1 算法訓(xùn)練過程 81
5.1.2 算法預(yù)測過程 81
5.1.3 縱向聯(lián)邦的一個(gè)困境 82
5.2 聯(lián)邦多視角線性回歸 82
5.2.1 基于 BFGS 的二階優(yōu)化方法 84
5.2.2 安全計(jì)算協(xié)議 87
5.3 總結(jié) 92
第 6 章 縱向聯(lián)邦核學(xué)習(xí)算法 93
6.1 引言 93
6.2 雙隨機(jī)核方法 95
6.2.1 問題定義 95
6.2.2 核方法的簡要介紹 96
6.2.3 隨機(jī)傅里葉特征近似 98
6.2.4 雙隨機(jī)梯度 98
6.3 所提算法 99
6.3.1 問題表示 100
6.3.2 算法結(jié)構(gòu) 100
6.3.3 算法設(shè)計(jì) 101
6.3.4 場景案例 103
6.4 理論分析 105
6.4.1 收斂性分析 105
6.4.2 安全性分析 105
6.4.3 復(fù)雜度分析 106
6.5 實(shí)驗(yàn)驗(yàn)證 106
6.5.1 實(shí)驗(yàn)設(shè)置 106
6.5.2 實(shí)驗(yàn)結(jié)果和討論 107
6.6 總結(jié) 110
第 7 章 異步縱向聯(lián)邦學(xué)習(xí)算法 111
7.1 引言 111
7.2 相關(guān)工作 112
7.2.1 現(xiàn)有工作概述 112
7.2.2 SGD 類算法回顧 113
7.3 問題表示 114
7.4 所提算法 114
7.4.1 算法框架 114
7.4.2 算法詳述 116
7.4.3 場景案例 119
7.5 理論分析 120
7.5.1 收斂性分析 120
7.5.2 安全性分析 123
7.5.3 復(fù)雜度分析 124
7.6 實(shí)驗(yàn)驗(yàn)證 125
7.6.1 實(shí)驗(yàn)設(shè)置 125
7.6.2 實(shí)驗(yàn)結(jié)果和討論 127
7.7 總結(jié) 1