Diffusion AI繪圖模型構(gòu)造與訓(xùn)練實(shí)戰(zhàn)

第1章介紹Diffusion模型的發(fā)展歷程，以及本書(shū)中相關(guān)任務(wù)的訓(xùn)練方法。
第2章介紹開(kāi)發(fā)環(huán)境的配置，并且快速上手Diffusion模型的使用。
第3章介紹不定圖像的生成任務(wù)。
第4章介紹文本訓(xùn)練方法。
第5章介紹Dream Booth訓(xùn)練方法。
第6章介紹圖文結(jié)合的訓(xùn)練方法。
第7章介紹使用LoRA技巧加速訓(xùn)練。
第8章介紹AE模型。
第9章介紹VAE模型。
第10章介紹DCGAN模型。
第11章介紹WGANGP模型。
第12章手動(dòng)構(gòu)造一個(gè)沒(méi)有文本輸入的Diffusion模型。
第13章介紹ControlNet組件。
第14章介紹Instruct Pix2Pix訓(xùn)練方法。
第15章介紹正負(fù)樣本混合訓(xùn)練方法。
第16章介紹Pix2Pix模型。
第17章介紹CycleGAN模型。
第18章介紹風(fēng)格遷移任務(wù)。
第19章手動(dòng)構(gòu)建一個(gè)完整的Diffusion模型。
閱讀建議
本書(shū)是一本對(duì)Diffusion模型進(jìn)行綜合性講解的書(shū)籍，既有基礎(chǔ)知識(shí)，也有實(shí)戰(zhàn)示例，也包括底層原理的講解。
本書(shū)盡量以簡(jiǎn)潔的語(yǔ)言書(shū)寫(xiě)，每個(gè)章節(jié)之間的內(nèi)容盡量獨(dú)立，使讀者可以跳躍閱讀而沒(méi)有障礙。
作為一本實(shí)戰(zhàn)型書(shū)籍，讀者要掌握本書(shū)的知識(shí)，務(wù)必要結(jié)合代碼調(diào)試，本書(shū)的代碼也盡量以簡(jiǎn)潔的形式書(shū)寫(xiě)，使讀者閱讀時(shí)不感吃力。每個(gè)代碼塊即是一個(gè)測(cè)試單元，讀者可以對(duì)每個(gè)程序的每個(gè)代碼塊按從上到下的順序進(jìn)行測(cè)試，從一個(gè)個(gè)小知識(shí)點(diǎn)聚沙成塔，融會(huì)貫通。
資源下載提示
素材（源碼）等資源: 掃描封底的文泉云盤(pán)防盜碼，再掃描目錄上方的二維碼下載。
致謝
感謝HuggingFace社區(qū)無(wú)私的奉獻(xiàn)，因?yàn)橛辛四銈兊墓ぷ鞒晒?，本?shū)才得以以簡(jiǎn)潔、標(biāo)準(zhǔn)化的API面世。
在書(shū)寫(xiě)本書(shū)的過(guò)程中，我竭盡所能為讀者呈現(xiàn)最好的內(nèi)容，錯(cuò)漏難免會(huì)存在，敬請(qǐng)讀者批評(píng)指正。
李福林2023年11月
本書(shū)源碼
快速上手篇
第1章Diffusion模型3
1.1Diffusion模型介紹3
1.1.1Diffusion模型的演化之路4
1.1.2圖像以外的應(yīng)用6
1.1.3其他的繪圖模型6
1.2微調(diào)預(yù)訓(xùn)練模型6
1.2.1預(yù)訓(xùn)練模型6
1.2.2微調(diào)模型以適應(yīng)新數(shù)據(jù)7
1.2.3微調(diào)相比重新訓(xùn)練的優(yōu)勢(shì)7
1.3小結(jié)8
第2章快速上手9
2.1部署開(kāi)發(fā)環(huán)境9
2.2HuggingFace簡(jiǎn)介和快速上手11
2.2.1快速上手11
2.2.2加速技巧12
2.3Diffusion模型相關(guān)組件介紹13
2.3.1tokenizer13
2.3.2scheduler15
2.3.3Encoder16
2.3.4VAE17
2.3.5UNet18
2.4小結(jié)20
訓(xùn)練方法篇
第3章不定圖像的生成23
3.1任務(wù)簡(jiǎn)介23
3.2數(shù)據(jù)集介紹23
3.3測(cè)試部分24
3.3.1測(cè)試函數(shù)24
3.3.2未訓(xùn)練模型的測(cè)試結(jié)果25
3.3.3訓(xùn)練后模型的測(cè)試結(jié)果27
3.4訓(xùn)練部分28
3.4.1全局常量28
3.4.2定義數(shù)據(jù)集28
3.4.3定義模型30
3.4.4初始化工具類(lèi)31
3.4.5計(jì)算loss32
3.4.6訓(xùn)練34
3.5小結(jié)35
第4章文本訓(xùn)練36
4.1任務(wù)簡(jiǎn)介36
4.2數(shù)據(jù)集介紹36
4.3測(cè)試部分37
4.3.1測(cè)試函數(shù)37
4.3.2未訓(xùn)練模型的測(cè)試結(jié)果38
4.3.3訓(xùn)練后模型的測(cè)試結(jié)果39
4.4訓(xùn)練部分39
4.4.1全局常量39
4.4.2定義數(shù)據(jù)集39
4.4.3定義模型44
4.4.4初始化工具類(lèi)47
4.4.5計(jì)算loss47
4.4.6訓(xùn)練50
4.5小結(jié)51
第5章Dream Booth53
5.1任務(wù)簡(jiǎn)介53
5.2數(shù)據(jù)集介紹53
5.3測(cè)試部分54
5.3.1測(cè)試函數(shù)54
5.3.2未訓(xùn)練模型的測(cè)試結(jié)果55
5.3.3訓(xùn)練后模型的測(cè)試結(jié)果55
5.4訓(xùn)練部分56
5.4.1全局常量56
5.4.2定義數(shù)據(jù)集56
5.4.3定義模型60
5.4.4初始化工具類(lèi)61
5.4.5計(jì)算loss61
5.4.6訓(xùn)練62
5.5小結(jié)64
第6章圖文結(jié)合的訓(xùn)練65
6.1任務(wù)簡(jiǎn)介65
6.2數(shù)據(jù)集介紹65
6.3測(cè)試部分66
6.3.1測(cè)試函數(shù)67
6.3.2未訓(xùn)練模型的測(cè)試結(jié)果68
6.3.3訓(xùn)練后模型的測(cè)試結(jié)果68
6.4訓(xùn)練部分69
6.4.1全局常量69
6.4.2定義數(shù)據(jù)集69
6.4.3定義模型73
6.4.4初始化工具類(lèi)73
6.4.5計(jì)算loss74
6.4.6訓(xùn)練75
6.5小結(jié)77
第7章LoRA Dream Booth78
7.1任務(wù)簡(jiǎn)介78
7.2數(shù)據(jù)集介紹79
7.3測(cè)試部分79
7.3.1測(cè)試函數(shù)79
7.3.2未訓(xùn)練模型的測(cè)試結(jié)果80
7.3.3訓(xùn)練后模型的測(cè)試結(jié)果80
7.4訓(xùn)練部分81
7.4.1全局常量81
7.4.2定義數(shù)據(jù)集81
7.4.3定義模型84
7.4.4初始化工具類(lèi)87
7.4.5計(jì)算loss87
7.4.6訓(xùn)練88
7.5小結(jié)89
圖像生成模型的歷史發(fā)展篇
第8章AE模型93
8.1模型原理介紹93
8.2鮮花數(shù)據(jù)集介紹94
8.3定義數(shù)據(jù)集95
8.4定義神經(jīng)網(wǎng)絡(luò)模型98
8.4.1定義Block工具層98
8.4.2定義Encoder和Decoder100
8.5訓(xùn)練101
8.5.1訓(xùn)練前的準(zhǔn)備工作101
8.5.2執(zhí)行訓(xùn)練102
8.6測(cè)試104
8.6.1測(cè)試本地訓(xùn)練的模型104
8.6.2使用訓(xùn)練好的模型測(cè)試105
8.7小結(jié)105
第9章VAE模型106
9.1AE模型的缺陷106
9.2定義神經(jīng)網(wǎng)絡(luò)模型107
9.3訓(xùn)練108
9.3.1訓(xùn)練前的準(zhǔn)備工作108
9.3.2執(zhí)行訓(xùn)練109
9.4測(cè)試111
9.4.1測(cè)試本地訓(xùn)練的模型111
9.4.2使用訓(xùn)練好的模型測(cè)試111
9.5小結(jié)113
第10章DCGAN模型114
10.1模型原理介紹114
10.2定義神經(jīng)網(wǎng)絡(luò)模型115
10.2.1定義CLS模型115
10.2.2定義GEN模型116
10.3訓(xùn)練117
10.3.1訓(xùn)練前的準(zhǔn)備工作117
10.3.2訓(xùn)練CLS模型的函數(shù)118
10.3.3訓(xùn)練GEN模型的函數(shù)119
10.3.4執(zhí)行訓(xùn)練120
10.4測(cè)試122
10.4.1測(cè)試本地訓(xùn)練的模型122
10.4.2使用訓(xùn)練好的模型測(cè)試122
10.5小結(jié)123
第11章WGANGP模型124
11.1模型原理介紹124
11.2定義神經(jīng)網(wǎng)絡(luò)模型125
11.3訓(xùn)練126
11.3.1訓(xùn)練前的準(zhǔn)備工作126
11.3.2訓(xùn)練CLS模型的函數(shù)127
11.3.3執(zhí)行訓(xùn)練128
11.4測(cè)試130
11.4.1測(cè)試本地訓(xùn)練的模型130
11.4.2使用訓(xùn)練好的模型測(cè)試130
11.5小結(jié)131
第12章Diffusion模型132
12.1模型原理介紹132
12.2定義神經(jīng)網(wǎng)絡(luò)模型134
12.3定義圖像生成函數(shù)142
12.4訓(xùn)練144
12.5測(cè)試146
12.6小結(jié)147
訓(xùn)練方法篇
第13章ControlNet以圖生圖151
13.1任務(wù)簡(jiǎn)介151
13.2數(shù)據(jù)集介紹153
13.3測(cè)試部分154
13.3.1測(cè)試函數(shù)155
13.3.2未訓(xùn)練模型的測(cè)試結(jié)果156
13.3.3訓(xùn)練后模型的測(cè)試結(jié)果158
13.4訓(xùn)練部分159
13.4.1全局常量159
13.4.2定義數(shù)據(jù)集159
13.4.3定義ControlNet模型162
13.4.4定義模型168
13.4.5初始化工具類(lèi)169
13.4.6計(jì)算loss169
13.4.7訓(xùn)練171
13.5小結(jié)172
第14章Instruct Pix2Pix圖像調(diào)整173
14.1任務(wù)簡(jiǎn)介173
14.2數(shù)據(jù)集介紹174
14.3測(cè)試部分175
14.3.1加載數(shù)據(jù)集175
14.3.2測(cè)試函數(shù)176
14.4訓(xùn)練部分179
14.4.1全局常量179
14.4.2定義數(shù)據(jù)集180
14.4.3定義模型181
14.4.4初始化工具類(lèi)182
14.4.5計(jì)算loss183
14.4.6訓(xùn)練186
14.5小結(jié)187
第15章正、負(fù)樣本混合訓(xùn)練188
15.1任務(wù)簡(jiǎn)介188
15.2數(shù)據(jù)集介紹188
15.3測(cè)試部分190
15.3.1配置環(huán)境190
15.3.2測(cè)試函數(shù)191
15.3.3未訓(xùn)練模型的測(cè)試結(jié)果191
15.3.4訓(xùn)練后模型的測(cè)試結(jié)果192
15.4訓(xùn)練部分193
15.4.1全局常量193
15.4.2定義數(shù)據(jù)集193
15.4.3定義模型200
15.4.4初始化工具類(lèi)203
15.4.5計(jì)算loss203
15.4.6訓(xùn)練206
15.5小結(jié)207
以圖生圖模型的歷史發(fā)展篇
第16章Pix2Pix模型211
16.1任務(wù)介紹211
16.2數(shù)據(jù)集介紹212
16.3定義數(shù)據(jù)集213
16.4定義神經(jīng)網(wǎng)絡(luò)模型216
16.4.1定義CLS模型217
16.4.2定義殘差連接層217
16.4.3定義GEN模型218
16.5訓(xùn)練220
16.5.1訓(xùn)練前的準(zhǔn)備工作220
16.5.2訓(xùn)練CLS的函數(shù)221
16.5.3訓(xùn)練GEN的函數(shù)222
16.5.4執(zhí)行訓(xùn)練223
16.6測(cè)試226
16.6.1測(cè)試本地訓(xùn)練的模型226
16.6.2使用訓(xùn)練好的模型測(cè)試228
16.7小結(jié)228
第17章CycleGAN模型230
17.1模型原理介紹230
17.2數(shù)據(jù)集介紹231
17.3定義數(shù)據(jù)集232
17.4定義神經(jīng)網(wǎng)絡(luò)模型234
17.4.1定義CLS模型234
17.4.2定義GEN模型235
17.5訓(xùn)練237
17.5.1訓(xùn)練前的準(zhǔn)備工作237
17.5.2訓(xùn)練CLS的函數(shù)238
17.5.3訓(xùn)練GEN的函數(shù)239
17.5.4執(zhí)行訓(xùn)練242
17.6測(cè)試243
17.6.1測(cè)試本地訓(xùn)練的模型243
17.6.2使用訓(xùn)練好的模型測(cè)試244
17.7小結(jié)245
Diffusion模型篇
第18章風(fēng)格遷移249
18.1模型原理介紹249
18.1.1針對(duì)單張圖片的風(fēng)格遷移249
18.1.2基于神經(jīng)網(wǎng)絡(luò)模型的風(fēng)格遷移250
18.1.3風(fēng)格遷移模型的訓(xùn)練方法250
18.1.4數(shù)據(jù)部分251
18.2定義神經(jīng)網(wǎng)絡(luò)模型252
18.2.1定義CLS模型254
18.2.2定義抽取內(nèi)容特征的函數(shù)254
18.2.3定義抽取風(fēng)格特征的函數(shù)255
18.2.4加載風(fēng)格圖片特征256
18.3訓(xùn)練257
18.3.1訓(xùn)練前的準(zhǔn)備工作257
18.3.2執(zhí)行訓(xùn)練257
18.4測(cè)試259
18.4.1測(cè)試本地訓(xùn)練的模型259
18.4.2使用訓(xùn)練好的模型測(cè)試260
18.5小結(jié)260
第19章手動(dòng)構(gòu)建Diffusion模型261
19.1模型原理介紹261
19.2Encoder模型263
19.2.1編碼層263
19.2.2注意力層264
19.2.3編碼器層266
19.2.4Encoder模型268
19.2.5載入?yún)?shù)268
19.2.6試算270
19.3VAE模型270
19.3.1殘差連接層270
19.3.2注意力層272
19.3.3Pad工具層274
19.3.4VAE模型275
19.3.5載入?yún)?shù)278
19.3.6試算280
19.4UNet模型281
19.4.1模型結(jié)構(gòu)281
19.4.2殘差連接層282
19.4.3注意力層284
19.4.4Transformers層286
19.4.5down層289
19.4.6up層290
19.4.7UNet模型291
19.4.8載入?yún)?shù)296
19.4.9試算298
19.5訓(xùn)練299
19.5.1加載工具類(lèi)299
19.5.2定義數(shù)據(jù)集300
19.5.3定義模型303
19.5.4計(jì)算loss304
19.5.5執(zhí)行訓(xùn)練305
19.6測(cè)試306
19.6.1定義生成函數(shù)306
19.6.2定義測(cè)試函數(shù)308
19.6.3測(cè)試未訓(xùn)練的模型309
19.6.4測(cè)試訓(xùn)練好的模型310
19.7小結(jié)311