軟件數(shù)據(jù)分析的科學(xué)與藝術(shù)

出版者的話
譯者序
本書(shū)作者
第1章　軟件數(shù)據(jù)分析的過(guò)去、現(xiàn)在與未來(lái)1
1.1　定義1
1.2　過(guò)去（起源）3
1.2.1　第一代：初步工作3
1.2.2　第二代：學(xué)術(shù)實(shí)驗(yàn)4
1.2.3　第三代：工業(yè)實(shí)驗(yàn)4
1.2.4　第四代：數(shù)據(jù)科學(xué)無(wú)處不在4
1.3　現(xiàn)狀5
1.4　結(jié)論8
致謝8
參考文獻(xiàn)9
第一部分　技術(shù)教程
第2章　利用形式概念分析挖掘模式及其違約12
2.1　引言12
2.2　模式和塊13
2.3　計(jì)算所有塊15
2.4　使用Colibri挖掘購(gòu)物車(chē)17
2.5　違約19
2.6　查找違約20
2.7　是兩種模式還是一種違約？21
2.8　性能22
2.9　編碼順序23
2.10　內(nèi)聯(lián)24
2.11　相關(guān)工作24
2.11.1　挖掘模式24
2.11.2　挖掘違約25
2.11.3　PR-Miner26
2.12　結(jié)論26
致謝27
參考文獻(xiàn)27
第3章　軟件項(xiàng)目中的文本分析29
3.1　引言29
3.2　軟件項(xiàng)目的文本數(shù)據(jù)及其檢索29
3.2.1　文本數(shù)據(jù)29
3.2.2　文本檢索32
3.3　人工編碼33
3.3.1　編碼過(guò)程34
3.3.2　挑戰(zhàn)36
3.4　自動(dòng)化分析37
3.4.1　主題建模37
3.4.2　詞性標(biāo)記和關(guān)系抽取38
3.4.3　n-gram模型39
3.4.4　克隆檢測(cè)40
3.4.5　可視化42
3.5　兩個(gè)工業(yè)案例44
3.5.1　需求工程的痛點(diǎn)：需求工程調(diào)查45
3.5.2　需求規(guī)約中的克隆檢測(cè)49
3.6　結(jié)論52
參考文獻(xiàn)52
第4章　從軟件開(kāi)發(fā)制品中合成知識(shí)54
4.1　問(wèn)題描述54
4.2　軟件制品生命周期模型54
4.2.1　示例：補(bǔ)丁生命周期55
4.2.2　模型抽取56
4.3　代碼評(píng)審56
4.3.1　Mozilla項(xiàng)目56
4.3.2　WebKit項(xiàng)目57
4.3.3　Blink項(xiàng)目57
4.4　生命周期分析57
4.4.1　Mozilla Firefox項(xiàng)目57
4.4.2　WebKit項(xiàng)目60
4.4.3　Blink項(xiàng)目61
4.5　其他應(yīng)用62
4.6　結(jié)論62
參考文獻(xiàn)63
第5章　分析IDE使用型數(shù)據(jù)的實(shí)用指南64
5.1　引言64
5.2　使用型數(shù)據(jù)的研究概念65
5.2.1　使用型數(shù)據(jù)概念及其分析意義65
5.2.2　基于目標(biāo)選擇相關(guān)數(shù)據(jù)66
5.2.3　隱私問(wèn)題66
5.2.4　研究范圍67
5.3　如何收集數(shù)據(jù)67
5.3.1　Eclipse使用型數(shù)據(jù)收集器68
5.3.2　Mylyn和Eclipse Mylyn Monitor75
5.3.3　CodingSpectator 77
5.3.4　為Visual Studio創(chuàng)建收集工具81
5.4　如何分析使用型數(shù)據(jù)87
5.4.1　數(shù)據(jù)匿名87
5.4.2　使用型數(shù)據(jù)的格式87
5.4.3　幅度分析88
5.4.4　分類(lèi)分析88
5.4.5　序列分析89
5.4.6　狀態(tài)模型分析90
5.4.7　關(guān)鍵事件技術(shù)92
5.4.8　其他來(lái)源的數(shù)據(jù)93
5.5　使用型數(shù)據(jù)學(xué)習(xí)的局限性93
5.6　結(jié)論94
5.7　代碼清單95
致謝104
參考文獻(xiàn)104
第6章　隱含狄利克雷分布：從軟件工程數(shù)據(jù)中抽取主題106
6.1　引言106
6.2　LDA在軟件分析中的應(yīng)用107
6.3　LDA工作原理108
6.4　LDA教程110
6.4.1　LDA來(lái)源110
6.4.2　獲取軟件工程數(shù)據(jù)111
6.4.3　文本分析和數(shù)據(jù)轉(zhuǎn)換111
6.4.4　LDA應(yīng)用113
6.4.5　LDA輸出概要113
6.5　陷阱和有效性威脅117
6.5.1　標(biāo)準(zhǔn)有效性117
6.5.2　構(gòu)造有效性119
6.5.3　內(nèi)部有效性119
6.5.4　外部有效性120
6.5.5　可信性120
6.6　結(jié)論120
參考文獻(xiàn)121
第7章　分析產(chǎn)品和過(guò)程數(shù)據(jù)的工具與技術(shù)123
7.1　引言123
7.2　一種合理的分析流程124
7.2.1　獲取數(shù)據(jù)124
7.2.2　選擇數(shù)據(jù)125
7.2.3　處理數(shù)據(jù)126
7.2.4　匯總數(shù)據(jù)127
7.2.5　管道系統(tǒng)128
7.3　源代碼分析128
7.3.1　啟發(fā)式分析128
7.3.2　詞法分析129
7.3.3　語(yǔ)法和語(yǔ)義分析132
7.3.4　第三方工具132
7.4　編譯代碼分析137
7.4.1　匯編語(yǔ)言137
7.4.2　機(jī)器碼138
7.4.3　命名修飾處理140
7.4.4　字節(jié)碼140
7.4.5　動(dòng)態(tài)鏈接141
7.4.6　庫(kù)142
7.5　配置管理數(shù)據(jù)分析144
7.5.1　獲取存儲(chǔ)庫(kù)數(shù)據(jù)144
7.5.2　分析元數(shù)據(jù)145
7.5.3　分析時(shí)間序列快照148
7.5.4　檢出庫(kù)分析150
7.5.5　結(jié)合文件與元數(shù)據(jù)分析151
7.5.6　組裝存儲(chǔ)庫(kù)152
7.6　數(shù)據(jù)可視化153
7.6.1　圖153
7.6.2　說(shuō)明圖156
7.6.3　圖表157
7.6.4　地圖159
7.7　結(jié)論161
參考文獻(xiàn)161
第二部分　關(guān)注的數(shù)據(jù)和問(wèn)題
第8章　安全數(shù)據(jù)分析166
8.1　漏洞166
8.2　安全性數(shù)據(jù)的注意事項(xiàng)167
8.2.1　注意事項(xiàng)1：有漏洞是正常的167
8.2.2　注意事項(xiàng)2：“更多的漏洞”并不總是意味著“更不安全”167
8.2.3　注意事項(xiàng)3：設(shè)計(jì)級(jí)別的缺陷通常不會(huì)被追蹤168
8.2.4　注意事項(xiàng)4：安全性是被消極定義的168
8.3　度量漏洞嚴(yán)重性169
8.3.1　CVSS概述169
8.3.2　CVSS應(yīng)用示例170
8.3.3　CVSS的隱患170
8.4　收集、分析漏洞數(shù)據(jù)的方法170
8.4.1　步驟1：追蹤漏洞從報(bào)告到修復(fù)的全過(guò)程171
8.4.2　步驟2：聚合源控制日志171
8.4.3　步驟3：確定漏洞覆蓋率172
8.4.4　步驟4：根據(jù)工程錯(cuò)誤進(jìn)行分類(lèi)173
8.5　安全數(shù)據(jù)所提供的信息174
8.5.1　漏洞的社會(huì)技術(shù)要素174
8.5.2　漏洞具有長(zhǎng)期復(fù)雜的歷史175
8.6　結(jié)論176
參考文獻(xiàn)176
第9章　混合的挖掘代碼評(píng)審數(shù)據(jù)的方法：多次提交評(píng)審與拉取請(qǐng)求的示例與研究178
9.1　引言178
9.2　使用混合方法處理的動(dòng)機(jī)178
9.3　評(píng)審過(guò)程和數(shù)據(jù)179
9.3.1　軟件審查179
9.3.2　OSS代碼評(píng)審179
9.3.3　微軟的代碼評(píng)審180
9.3.4　基于Google的Gerrit代碼評(píng)審180
9.3.5　GitHub中的拉取請(qǐng)求180
9.3.6　數(shù)據(jù)度量和屬性181
9.4　定量的可重現(xiàn)性分析：分支的代碼評(píng)審182
9.4.1　研究問(wèn)題1：每次評(píng)審的提交183
9.4.2　研究問(wèn)題2：提交的大小183
9.4.3　研究問(wèn)題3：評(píng)審間隔184
9.4.4　研究問(wèn)題4：評(píng)審者的參與過(guò)程184
9.4.5　小結(jié)185
9.5　定性分析方法186
9.5.1　采樣方法186
9.5.2　數(shù)據(jù)收集187
9.5.3　微軟數(shù)據(jù)的定性分析189
9.5.4　將扎根理論應(yīng)用于歸檔數(shù)據(jù)以理解OSS評(píng)審189
9.6　三角互證190
9.6.1　使用調(diào)查來(lái)三角互證定性結(jié)果191
9.6.2　Linux中多次提交的分支如何評(píng)審192
9.6.3　封閉式編碼：GitHub和Gerrit上的分支或修訂193
9.6.4　理解拉取請(qǐng)求為什么被拒絕193
9.7　結(jié)論194
參考文獻(xiàn)195
第10章　挖掘安卓應(yīng)用程序中的異常198
10.1　引言198
10.2　基于描述對(duì)應(yīng)用進(jìn)行聚類(lèi)200
10.2.1　收集應(yīng)用程序200
10.2.2　基于NLP對(duì)描述進(jìn)行預(yù)處理201
10.2.3　基于LDA識(shí)別主題201
10.2.4　基于K-means算法對(duì)應(yīng)用進(jìn)行聚類(lèi)203
10.2.5　找到最佳的集群數(shù)量203
10.2.6　生成的應(yīng)用程序集群204
10.3　通過(guò)API識(shí)別異常205
10.3.1　提取API的使用205
10.3.2　敏感和罕見(jiàn)的API206
10.3.3　基于距離的異常值檢測(cè)207
10.3.4　CHABADA作為惡意軟件檢測(cè)器208
10.4　實(shí)驗(yàn)評(píng)估209
10.4.1　RQ1：異常檢測(cè)209
10.4.2　RQ2：特征選擇211
10.4.3　RQ3：惡意軟件檢測(cè)211
10.4.4　有效性的限制和威脅214
10.5　相關(guān)工作215
10.5.1　挖掘APP描述215
10.5.2　行為和描述不匹配215
10.5.3　檢測(cè)惡意應(yīng)用216
10.6　結(jié)論與展望216
致謝216
參考文獻(xiàn)216
第11章　軟件制品間的修改耦合：從歷史修改中學(xué)習(xí)219
11.1　引言219
11.2　修改耦合220
11.2.1　為什么制品要一起修改？220
11.2.2　使用修改耦合的好處221
11.3　修改耦合的識(shí)別方法222
11.3.1　原始計(jì)數(shù)222
11.3.2　關(guān)聯(lián)規(guī)則228
11.3.3　時(shí)間序列分析232
11.4　識(shí)別修改耦合的挑戰(zhàn)234
11.4.1　提交習(xí)慣的影響234
11.4.2　檢測(cè)修改耦合的實(shí)用建議235
11.4.3　其他方法237
11.5　修改耦合的應(yīng)用238
11.5.1　修改預(yù)測(cè)和修改影響分析238
11.5.2　設(shè)計(jì)缺陷的發(fā)現(xiàn)和重構(gòu)240
11.5.3　評(píng)估軟件體系架構(gòu)243
11.5.4　協(xié)作需求與社會(huì)技術(shù)的一致性243
11.6　結(jié)論244
參考文獻(xiàn)244
第三部分　實(shí)戰(zhàn)經(jīng)驗(yàn)
第12章　軟件數(shù)據(jù)分析在工業(yè)實(shí)踐中的應(yīng)用：當(dāng)研究遇上實(shí)踐250
12.1　引言250
12.2　背景251
12.2.1　Fraunhofer在軟件度量方面的經(jīng)驗(yàn)251
12.2.2　相關(guān)術(shù)語(yǔ)252
12.2.3　經(jīng)驗(yàn)方法252
12.2.4　在實(shí)踐中應(yīng)用軟件度量—常規(guī)方法253
12.3　工業(yè)中實(shí)施度量方案的六個(gè)關(guān)鍵問(wèn)題254
12.3.1　利益相關(guān)者、需求和規(guī)劃：成功度量方案的基礎(chǔ)254
12.3.2　度量收集：如何收集、何時(shí)收集、誰(shuí)收集256
12.3.3　空有數(shù)據(jù)，沒(méi)有信息：當(dāng)數(shù)據(jù)不是你所需要或期望的257
12.3.4　領(lǐng)域?qū)＜业年P(guān)鍵作用259
12.3.5　順應(yīng)不斷變化的需求261
12.3.6　向用戶(hù)傳達(dá)分析結(jié)果的有效方法262
12.4　結(jié)論264
參考文獻(xiàn)265
第13章　在軟件工程中使用數(shù)據(jù)進(jìn)行決策：為軟件健康提供一種分析方法267
13.1　引言267
13.2　軟件工程度量簡(jiǎn)史268
13.3　建立明確的目標(biāo)269
13.3.1　基準(zhǔn)270
13.3.2　產(chǎn)品目標(biāo)271
13.4　度量評(píng)審271
13.4.1　上下文度量273
13.4.2　約束性度量274
13.4.3　開(kāi)發(fā)度量276
13.5　軟件項(xiàng)目數(shù)據(jù)分析面臨的挑戰(zhàn)278
13.5.1　數(shù)據(jù)收集278
13.5.2　數(shù)據(jù)解釋280
13.6　示例：通過(guò)數(shù)據(jù)的使用改變產(chǎn)品開(kāi)發(fā)281
13.7　用數(shù)據(jù)驅(qū)動(dòng)軟件工程過(guò)程284
參考文獻(xiàn)285
第14章　基于社區(qū)數(shù)據(jù)進(jìn)行開(kāi)源軟件使用的風(fēng)險(xiǎn)管理287
14.1　引言287
14.2　背景288
14.2.1　風(fēng)險(xiǎn)和開(kāi)源軟件的基本概念288
14.2.2　建模和分析技術(shù)290
14.3　OSS使用風(fēng)險(xiǎn)管理的一種方法292
14.4　OSS社區(qū)結(jié)構(gòu)和行為分析：XWiki案例293
14.4.1　OSS社區(qū)的社交網(wǎng)絡(luò)分析294
14.4.2　軟件質(zhì)量、OSS社區(qū)行為和OSS項(xiàng)目的統(tǒng)計(jì)分析294
14.4.3　通過(guò)貝葉斯網(wǎng)絡(luò)評(píng)估風(fēng)險(xiǎn)指標(biāo)298
14.4.4　基于模型對(duì)開(kāi)源軟件生態(tài)系統(tǒng)建模和推理300
14.4.5　整合分析以進(jìn)行綜合風(fēng)險(xiǎn)評(píng)估302
14.5　一個(gè)風(fēng)險(xiǎn)評(píng)估的案例：Moodbile案例303
14.6　相關(guān)工作308
14.6.1　OSS社區(qū)的數(shù)據(jù)分析308
14.6.2　通過(guò)目標(biāo)導(dǎo)向技術(shù)進(jìn)行風(fēng)險(xiǎn)建模和分析309
14.7　結(jié)論309
致謝310
參考文獻(xiàn)310
第15章　大型企業(yè)軟件狀態(tài)評(píng)估—12年歷程312
15.1　引言312
15.2　過(guò)程和評(píng)估的演變313
15.3　Avaya軟件狀態(tài)報(bào)告的影響315
15.4　評(píng)估方法和機(jī)制315
15.5　數(shù)據(jù)來(lái)源318
15.5.1　數(shù)據(jù)精度320
15.5.2　分析的數(shù)據(jù)類(lèi)型321
15.6　分析示例321
15.6.1　人員分析322
15.6.2　可預(yù)測(cè)性分析324
15.6.3　風(fēng)險(xiǎn)文件管理325
15.7　軟件開(kāi)發(fā)實(shí)踐328
15.7.1　七個(gè)原始的關(guān)鍵軟件領(lǐng)域329
15.7.2　四個(gè)有代表性的跟蹤實(shí)踐330
15.7.3　實(shí)踐領(lǐng)域示例：設(shè)計(jì)質(zhì)量330
15.7.4　個(gè)體實(shí)踐的示例：靜態(tài)分析331
15.8　評(píng)估跟蹤：推薦和影響333
15.8.1　推薦示例334
15.8.2　推薦的部署335
15.9　評(píng)估的影響335
15.9.1　示例：自動(dòng)化構(gòu)建管理335
15.9.2　示例：風(fēng)險(xiǎn)文件管理的部署336
15.9.3　客戶(hù)質(zhì)