AR Foundation增強(qiáng)現(xiàn)實(shí)開(kāi)發(fā)實(shí)戰(zhàn)（ARCore版）

基 礎(chǔ) 篇
第1章 AR開(kāi)發(fā)入門(mén) 1
1.1 增強(qiáng)現(xiàn)實(shí)技術(shù)概述 3
1.1.1 AR概念 3
1.1.2　AR技術(shù)應(yīng)用 5
1.2　AR技術(shù)原理 6
1.2.1　傳感器數(shù)據(jù) 6
1.2.2 前端里程計(jì) 8
1.2.3 后端優(yōu)化 8
1.2.4 回環(huán)檢測(cè) 8
1.2.5 建圖 9
1.3 AR Foundation概述 10
1.3.1 AR Foundation與 ARCore 11
1.3.2　AR Foundation支持的功能 11
1.3.3　AR Foundation功能概述 12
1.3.4　AR Foundation體系架構(gòu)概述 13
1.3.5 基本術(shù)語(yǔ) 13
1.4 支持的設(shè)備 15
1.5 開(kāi)發(fā)環(huán)境準(zhǔn)備 16
1.5.1 所需硬件和軟件 17
1.5.2 軟件安裝 17
1.6　ARCore初體驗(yàn) 19
1.6.1 工程創(chuàng)建 19
1.6.2 工具包導(dǎo)入 21
1.6.3　工程設(shè)置 22
1.6.4　環(huán)境搭建 24
1.6.5　代碼編寫(xiě) 27
1.6.6　調(diào)試準(zhǔn)備 29
1.6.7　打包測(cè)試 30
1.7　AR應(yīng)用調(diào)試 31
第2章 AR Foundation基礎(chǔ) 36
2.1 AR Foundation體系架構(gòu) 36
2.1.1　AR子系統(tǒng)概念 37
2.1.2　AR子系統(tǒng)使用 38
2.1.3 跟蹤子系統(tǒng) 39
2.2　AR Session & AR Session Origin 40
2.2.1　AR Session 40
2.2.2　 AR Session Origin 43
2.3 可跟蹤對(duì)象 45
2.3.1　可跟蹤對(duì)象管理器 46
2.3.2　可跟蹤對(duì)象事件 47
2.3.3　管理可跟蹤對(duì)象 48
2.4 會(huì)話管理 49
第3章 ARCore功能特性與開(kāi)發(fā)基礎(chǔ) 52
3.1 ARCore概述及主要功能 52
3.1.1　運(yùn)動(dòng)跟蹤 53
3.1.2　環(huán)境理解 53
3.1.3　光照估計(jì) 54
3.1.4　ARCore的不足 54
3.2　運(yùn)動(dòng)跟蹤原理 56
3.2.1　ARCore坐標(biāo)系 56
3.2.2　ARCore運(yùn)動(dòng)跟蹤分類(lèi) 56
3.2.3　ARCore運(yùn)動(dòng)跟蹤 58
3.2.4　ARCore使用運(yùn)動(dòng)跟蹤的注意事項(xiàng) 60
3.3　設(shè)備可用性檢查 61
3.4　AR會(huì)話生命周期管理與跟蹤質(zhì)量 62
3.5　ARCore擴(kuò)展包 65
3.6　相機(jī)配置 66
3.7　會(huì)話錄制與回放 68
3.7.1　AR Foundation錄制與回放 69
3.7.2　ARCore擴(kuò)展錄制與回放 72
3.8　即時(shí)放置 78
功能技術(shù)篇
第4章平面檢測(cè)與錨點(diǎn)管理 85
4.1　平面檢測(cè)引導(dǎo) 85
4.2　平面管理 88
4.2.1　平面檢測(cè) 88
4.2.2　可視化平面 89
4.2.3　個(gè)性化渲染平面 90
4.2.4　開(kāi)啟與關(guān)閉平面檢測(cè)功能 95
4.2.5　顯示與隱藏已檢測(cè)平面 97
4.2.6 平面遮擋 99
4.3 射線檢測(cè) 100
4.3.1 射線檢測(cè)概念 100
4.3.2　射線檢測(cè)詳細(xì)講解 102
4.4　可視化放置點(diǎn) 104
4.5　特征點(diǎn)與點(diǎn)云 106
4.5.1　特征點(diǎn) 107
4.5.2　點(diǎn)云 108
4.5.3 點(diǎn)云數(shù)據(jù)采集 109
4.6　錨點(diǎn) 113
第5章圖像檢測(cè)跟蹤 118
5.1　圖像檢測(cè)跟蹤基本操作 118
5.2　圖像跟蹤功能啟用與禁用 123
5.3　多圖像跟蹤 124
5.4　運(yùn)行時(shí)創(chuàng)建參考圖像庫(kù) 129
5.5　運(yùn)行時(shí)切換參考圖像庫(kù) 130
5.6　運(yùn)行時(shí)添加參考圖像 132
5.7 脫卡 136
5.8　圖像跟蹤優(yōu)化 137
第6章人臉檢測(cè)跟蹤 140
6.1　人臉檢測(cè)基礎(chǔ) 140
6.1.1　人臉檢測(cè)概念 140
6.1.2　人臉檢測(cè)技術(shù)基礎(chǔ) 141
6.2　人臉姿態(tài)與網(wǎng)格 143
6.2.1　人臉姿態(tài) 143
6.2.2　人臉網(wǎng)格 145
6.3　人臉區(qū)域與多人臉檢測(cè) 151
6.3.1 人臉區(qū)域 151
6.3.2　多人臉檢測(cè) 155
第7章光影效果 159
7.1 光照基礎(chǔ) 159
7.1.1　光源 160
7.1.2 光與材質(zhì)的交互 160
7.1.3　光照模型 161
7.1.4　三維渲染 162
7.2　光照估計(jì) 163
7.2.1　光照一致性 163
7.2.2 光照估計(jì)實(shí)例 163
7.3　環(huán)境反射 167
7.3.1　立方體貼圖 167
7.3.2　紋理采樣過(guò)濾 168
7.3.3　AR Environment Probe Manager組件 169
7.3.4　使用環(huán)境反射 170
7.4　內(nèi)置實(shí)時(shí)陰影 171
7.4.1　ShadowMap技術(shù)原理 172
7.4.2　使用實(shí)時(shí)陰影 173
7.5　Planar陰影 178
7.5.1　數(shù)學(xué)原理 178
7.5.2　代碼實(shí)現(xiàn) 179
7.6　偽陰影 185
第8章持久化存儲(chǔ)與多人共享 187
8.1 云錨點(diǎn) 187
8.2　ARCore云錨點(diǎn)使用實(shí)例 188
8.3 ARCore云錨點(diǎn)使用注意事項(xiàng) 195
8.4　Azure云服務(wù)概述 196
8.5　Azure空間定位點(diǎn)使用實(shí)例 197
第9章場(chǎng)景圖像獲取與場(chǎng)景深度 206
9.1　獲取 GPU圖像 206
9.1.1　獲取攝像頭原始圖像 206
9.1.2　獲取屏幕顯示圖像 208
9.2　獲取 CPU圖像 212
9.2.1　AR攝像頭圖像數(shù)據(jù)流 212
9.2.2　從 CPU中獲取攝像頭圖像 213
9.3　邊緣檢測(cè)原理 222
9.3.1　卷積 223
9.3.2　Sobel算子 224
9.4　CPU圖像邊緣檢測(cè)實(shí)例 226
9.5　Depth API概述 229
9.6　Depth API實(shí)例 232
9.7　場(chǎng)景深度應(yīng)用場(chǎng)景 237
第10章相機(jī)與手勢(shì)操作 239
10.1　AR場(chǎng)景操作 239
10.1.1　場(chǎng)景操作方法 239
10.1.2　場(chǎng)景操作實(shí)例 240
10.2　手勢(shì)操作交互 242
10.2.1　手勢(shì)檢測(cè) 242
10.2.2　手勢(shì)操作控制 244
10.3　XR Interaction Toolkit 247
10.3.1　對(duì)象放置 248
10.3.2　對(duì)象選擇 252
10.3.3　對(duì)象操作 254
第11章三維文字與音視頻 256
11.1　三維文字 256
11.1.1　文字單位換算 256
11.1.2　中文字體制作 257
11.2　三維聲頻 258
11.2.1　三維聲場(chǎng)原理 259
11.2.2　RA聲頻使用 260
11.2.3　RA組件 260
11.2.4　使用 RA聲頻 262
11.2.5　聲頻效果設(shè)置 266
11.2.6　RA聲頻 API 268
11.2.7　運(yùn)行時(shí)啟用和禁用三維音效 268
11.2.8　使用回響營(yíng)造空間感 269
11.2.9　三維音效設(shè)計(jì)原則 272
11.3　三維視頻 273
11.3.1　VideoPlayer組件 274
11.3.2　三維視頻播放實(shí)現(xiàn) 277
11.3.3 視頻音效空間化 280
第12章 glTF與 Model Viewer 281
12.1 glTF概述 281
12.2 Model Viewer 284
12.2.1 Model Viewer使用實(shí)例 285
12.2.2 Model Viewer詳解 288
12.2.3 使用 Model Viewer的注意事項(xiàng) 294
高 級(jí) 篇
第13章 Android與 Unity交互通信 299
13.1 Android與 Unity通信原理 299
13.2 Unity直接調(diào)用 Java代碼 302
13.3 模塊調(diào)用 312
13.4 繼承 UnityPlayerActivity類(lèi) 317
13.5 AndroidJavaProxy類(lèi)詳細(xì)講解 320
13.6 訂閱 Android廣播 323
13.7 調(diào)用 so庫(kù)文件 328
13.8 Android與 Unity交互注意事項(xiàng) 330
第14章設(shè)計(jì)原則 334
14.1 移動(dòng) AR帶來(lái)的挑戰(zhàn) 334
14.1.1 三維化思維 334
14.1.2 用戶(hù)必須移動(dòng) 335
14.1.3 要求手持設(shè)備 335
14.1.4 近臉使用 336
14.1.5 操作手勢(shì) 336
14.1.6 啟動(dòng)應(yīng)用 337
14.1.7 色彩運(yùn)用 337
14.2 移動(dòng) AR設(shè)計(jì)準(zhǔn)則 337
14.2.1 有用或有趣 338
14.2.2 虛實(shí)融合必須有意義 338
14.2.3 移動(dòng)限制 338
14.2.4 心理預(yù)期與維度轉(zhuǎn)換 338
14.2.5 環(huán)境影響 339
14.2.6 視覺(jué)效果 340
14.2.7 UI設(shè)計(jì) 340
14.2.8 沉浸式交互 340
14.3 移動(dòng) AR設(shè)計(jì)指南 341
14.3.1 環(huán)境 342
14.3.2 用戶(hù)細(xì)節(jié) 343
14.3.3 虛擬內(nèi)容 346
14.3.4 交互 352
14.3.5 視覺(jué)設(shè)計(jì) 357
14.3.6 真實(shí)感 362
14.3.7 三維音效 367
第15章性能優(yōu)化 369
15.1 性能優(yōu)化基礎(chǔ) 369
15.1.1 影響性能的主要因素 369
15.1.2 AR應(yīng)用常用調(diào)試方法 371
15.1.3 AR應(yīng)用性能優(yōu)化的一般原則 372
15.2 AR應(yīng)用性能調(diào)試工具 373
15.2.1 ARCore性能調(diào)試功能 373
15.2.2 Unity分析器 375
15.2.3 幀調(diào)試器 379
15.2.4 UPR分析器 380
15.3 Unity分析器使用 382
15.3.1 CPU使用情況分析器 382
15.3.2 渲染情況分析器 383
15.3.3 內(nèi)存使用情況分析器 383
15.3.4 物理分析器 384
15.3.5 音視頻分析器 385
15.4 性能優(yōu)化流程 385
15.4.1 收集運(yùn)行數(shù)據(jù) 387
15.4.2 分析運(yùn)行數(shù)據(jù) 388
15.4.3 確定問(wèn)題原因 390
15.5 渲染優(yōu)化 392
15.5.1 渲染流程 392
15.5.2 CPU瓶頸 393
15.5.3 GPU瓶頸 396
15.6 代碼優(yōu)化 398
15.6.1 內(nèi)存管理 398
15.6.2 垃圾回收 399
15.6.3 對(duì)象池 404
15.6.4 常見(jiàn)影響性能的代碼優(yōu)化策略 405
15.7 ARCore優(yōu)化設(shè)置 407
15.7.1 UI/UX優(yōu)化 407
15.7.2 常用優(yōu)化設(shè)置 407
15.7.3 AR應(yīng)用開(kāi)發(fā)的一般注意事項(xiàng) 408
參考文獻(xiàn) 410