前瞻交互：從語音、手勢設計到多模融合

第1章 多模交互的演進1
1．1 什么是多模交互 1
1．1．1 人機交互的發(fā)展歷史 1
1．1．2 多模交互的定義 4
1．1．3 多模交互技術逐漸成熟 6
1．1．4 多模融合的三個階段 9
1．2 初步融合階段 10
1．2．1 多模態(tài)之間的關系 10
1．2．2 多模融合的關鍵12
1．2．3 多模交互框架 13
1．3 語義理解階段 14
1．3．1 什么是語義 14
1．3．2 語義對于多模交互的重要性 15
1．4 任務自適應階段 17
1．4．1 認知負荷 17
1．4．2 隱私性19
1．4．3 安全性20
1．4．4 模態(tài)容量 20
1．4．5 信息重要程度和交互歷史 21
1．4．6 交互距離22
1．5 當前我們能做什么 23
第2章 多模交互包含什么 25
2．1 視覺系統(tǒng)的特點 25
2．1．1 視覺范圍25
2．1．2 3．5 毫米的中央凹和每秒3~4次的跳動頻率 26
2．1．3 中央視覺和周圍視覺 28
2．1．4 我們是如何閱讀的 29
2．1．5 光亮與黑暗31
2．2 聽覺32
2．2．1 聽覺系統(tǒng)的特點32
2．2．2 視覺和聽覺的區(qū)別 34
2．3 觸覺 35
2．3．1 觸覺系統(tǒng)的特點 35
2．3．2 觸覺感知的相關應用 35
2．4 嗅覺、味覺和五感理論 40
2．4．1 嗅覺系統(tǒng)和味覺系統(tǒng)的特點 40
2．4．2 嗅覺營銷相關案例 42
2．4．3 嗅覺交互上的探索 43
2．4．4 嗅覺和味覺設計存在的問題 45
2．4．5 五感理論 45
2．5 主動交互47
2．5．1 包含情緒的語音 47
2．5．2 肢體動作 48
2．5．3 手勢 49
2．5．4 面部表情 51
2．5．5 眼神 51
2．6 無須主動交互的生物識別技術 52
2．6．1 指紋識別 53
2．6．2 人臉識別 53
2．6．3 虹膜識別 54
2．6．4 聲紋識別 55
2．6．5 心率檢測 56
2．6．6 肌肉電信號57
2．6．7 腦電波 58
第3章 語音交互設計61
3．1 聲音的構成和作用 62
3．1．1 語言 63
3．1．2 音樂和音效 67
3．2 語音交互的特點 70
3．2．1 語音交互的優(yōu)勢 70
3．2．2 語音交互的不足 72
3．2．3 語音交互的五大特性 77
3．3 創(chuàng)造一位智能語音助手 78
3．3．1 尋找合適的音色 80
3．3．2 確定智能語音助手和用戶的關系 82
3．3．3 構建智能語音助手的用戶畫像 84
3．3．4 設計合理的喚醒詞 86
3．4 語音交互框架、意圖設計 88
3．4．1 四種語音交互模式 88
3．4．2 四種“喚醒+識別”方式89
3．4．3 語音交互狀態(tài)設計 90
3．4．4 意圖設計術語介紹 94
3．4．5 智能語音平臺如何聽懂用戶說的話 98
3．4．6 設計能聽懂用戶說什么的智能語音產(chǎn)品 101
3．5 對話設計原則 107
3．5．1 設計對話前需要了解的事項 107
3．5．2 任務型對話設計原則 113
3．5．3 修復對話設計原則 118
3．6 語音交互的GUI 設計 121
第4章 仍在起步的隔空手勢交互130
4．1 手勢的介紹 130
4．1．1 手勢交互的發(fā)展 130
4．1．2 手勢的分類 132
4．2 隔空手勢設計 135
4．2．1 設計隔空手勢時需要考慮的問題 135
4．2．2 導航手勢 141
4．2．3 語義手勢 144
4．2．4 操縱手勢 146
4．3 結合隔空手勢的UI設計 147
4．3．1 數(shù)字手部 147
4．3．2 直接觸摸 149
4．3．3 指針設計 150
4．3．4 交互組件的改造 152
第5章 語音圖形界面157
5．1 GUI和VUI的區(qū)別 158
5．1．1 GUI的特點 158
5．1．2 VUI的特點160
5．1．3 GUI和VUI融合時會遇到的問題 162
5．2 GUI和VUI融合的三種實現(xiàn)方式 165
5．2．1 應用級語音交互 166
5．2．2 可見即可說 170
5．2．3 系統(tǒng)級語音交互 171
5．3 VGUI設計原則 172
5．4 重構GUI操作 179
5．4．1 GUI控件文案設計 179
5．4．2 GUI組件和容器文案設計 184
5．4．3 特殊的控件和組件 185
5．5 VGUI核心設計要點187
5．5．1 全局指令和局部指令的權衡 187
5．5．2 控件/組件屬性的重構 192
5．5．3 手勢的融合 200
第6章 跨設備和多模交互 201
6．1 跨設備交互是什么201
6．1．1 跨設備和多模交互的關系 201
6．1．2 跨設備交互的六個維度 202
6．2 淺談跨設備和多模交互細節(jié) 206
6．2．1 結合用戶場景進行考慮206
6．2．2 結合信息密度和顯示距離進行考慮208
6．2．3 模態(tài)的過渡和打斷 211
6．3 未來可期 212
6．3．1 面向未來的分布式操作系統(tǒng) 212
6．3．2 普適計算及未來 213