自動化軟件測試實施指南

譯者序
序
序二
前言
第一部分 什么是自動化軟件測試和為什么需要自動化
第1章 自動化軟件測試概述
1.1 自動化測試定義
1.2 自動化測試的方法
1.3 AST技術(shù)的發(fā)展
1.4 各種自動化測試類型
1.5 提供基于AST的產(chǎn)品支持
1.5.1 按照需要對定位和修復(fù)產(chǎn)品問題提供支持
1.5.2 對確定出修正給特定程序組件造成的影響提供支持
1.5.3 校驗產(chǎn)品修正的準(zhǔn)確性和質(zhì)量
1.5.4 支持產(chǎn)品的STR分類方法
1.6 自動化評估標(biāo)準(zhǔn)
小結(jié)
第2章 為什么要使用自動化
2.1 當(dāng)今測試軟件面臨的挑戰(zhàn)
2.2 減少軟件測試的時間和成本
2.2.1 自動測試計劃和開發(fā)——初始測試的工作量增加
2.2.2 生成測試數(shù)據(jù)——測試工作／計劃減少
2.2.3 測試的執(zhí)行——測試工作的減少／測試進(jìn)度的加快
2.2.4 測試結(jié)果分析——測試工作的減少／測試進(jìn)度的加快
2.2.5 錯誤狀態(tài)／更正監(jiān)測——測試工作的減少，測試進(jìn)度的加快
2.2.6 報告的創(chuàng)建——測試工作的減／測試進(jìn)度的加快
2.2.7 其他需要考慮的降低因素
2.3 影響軟件質(zhì)量
2.4 改進(jìn)軟件測試程序
2.4.1 改進(jìn)構(gòu)建驗證測試（冒煙測試）
2.4.2 改進(jìn)回歸測試
2.4.3 多平臺兼容性測試和配置測試
2.4.4 改善日常測試的執(zhí)行
2.4.5 改進(jìn)重點關(guān)注的高級測試問題
2.4.6 完成手動測試無法完成的工作
2.4.7 重現(xiàn)軟件缺陷的能力
2.4.8 加強系統(tǒng)專業(yè)知識
2.4.9 下班后“無人值守”測試
2.4.10 改進(jìn)需求定義
2.4.11 改進(jìn)性能測試
2.4.12 改進(jìn)壓力測試和耐力測試
2.4.13 質(zhì)量度量和測試優(yōu)化
2.4.14 改進(jìn)系統(tǒng)開發(fā)生命周期
2.4.15 改進(jìn)文檔和可跟蹤性
2.4.16 分布式工作負(fù)載和并發(fā)測試
小結(jié)
第3章 商業(yè)案例
3.1 商業(yè)案例的定義
3.2 確定業(yè)務(wù)需要
3.3 在成本和收益方面調(diào)整自動化
3.3.1 評估ROI
3.3.2 自動化測試的總節(jié)省
3.3.3 測試環(huán)境建立的時間節(jié)省
3.3.4 測試開發(fā)的時間節(jié)省
3.3.5 測試執(zhí)行時間的節(jié)省
3.3.6 測試評估／診斷時間節(jié)省
3.3.7 ROI的其他幾點考量
3.3.8 更多ROI指標(biāo)
3.4 風(fēng)險
3.5 其他考慮
小結(jié)
第4章 自動化測試失敗的原因以及需要避免的陷阱
4.1 通常R&D不重視自動化測試或手動測試的工作
4.2 自動化測試的神話與現(xiàn)實
4.2.1 自動測試計劃的生成
4.2.2 測試工具適合所有場景
4.2.3 測試工作立即減少
4.2.4 計劃立即縮減
4.2.5 工具的易用性
4.2.6 任何應(yīng)用都可以使用AST
4.2.7 100％測試覆蓋率
4.2.8 捕獲／回放等同AST
4.2.9 AST是手動測試活動
4.2.10 忘記了測試的目的是找出缺陷
4.2.11 側(cè)重于系統(tǒng)測試自動化而非自動化單元測試
4.3 軟件開發(fā)時缺乏針對AST的考慮
4.3.1 在應(yīng)用中構(gòu)建可測試性
4.3.2 遵循開放架構(gòu)標(biāo)準(zhǔn)
4.3.3 遵循標(biāo)準(zhǔn)文檔格式
4.3.4 標(biāo)準(zhǔn)化的文檔測試用例
4.3.5 遵循編碼標(biāo)準(zhǔn)
4.3.6 使用OMG的IDI
4.3.7 GUI測試建議
4.3.8 GuI對象命名標(biāo)準(zhǔn)
4.3.9 代碼重用的庫概念
4.4 只見樹木不見森林——不知道如何選擇工具
4.5 缺少工具供應(yīng)商都遵循的自動化標(biāo)準(zhǔn)
4.6 缺乏企業(yè)案例
小結(jié)
第二部分 如何實現(xiàn)自動化：獲得自動化回報最重要的6個要點
第5章 要點1：了解需求
5.1 理解AST所支持的需求
5.1.1 AUT或SUT需求
5.1.2 AST框架（ASTF）和工具的需求
5.1.3 AST數(shù)據(jù)需求
5.1.4 測試環(huán)境的需求
5.1.5 AST過程需求
5.2 支持.AST需求的更多信息
5.2.1 手動測試過程
5.2.2 設(shè)計文檔
5.2.3 原型
5.3 當(dāng)信息不存在時
5.3.1 引導(dǎo)性的訪談
5.3.2 進(jìn)一步增加知識面
5.3.3 基于遺留應(yīng)用程序或遺留系統(tǒng)開發(fā)需求
5.4 開始實現(xiàn)需求跟蹤矩陣（RTM）
5.4.1 RTM中的信息
5.4.2 RTM示例
小結(jié)
第6章 要點2：開發(fā)自動化測試策略
6.1 AST策略文檔
6.2 范圍和自動化測試目標(biāo)
6.2.1 決定要自動化哪些測試
6.2.2 優(yōu)先級——基于優(yōu)先級的功能計劃的自動化需求
6.2.3 定義測試目標(biāo)：示例
6.3 確定方法
6.4 自動化軟件測試框架
6.5 AST環(huán)境／配置
6.5.1 測試配置
6.5.2 其他測試環(huán)境的自動化測試需求
6.5.3 自動化測試環(huán)境管理——自動化CM
6.6 自動化RTM
6.6.1 需要標(biāo)準(zhǔn)的測試用例模板，對自動化框架極其有用
6.6.2 鏈接到測試用例
6.6.3 更新測試用例的步驟，包括通過失敗結(jié)果
6.6.4 更新RTM，包括通過，失敗結(jié)果
6.7 自動化的缺陷跟蹤
小結(jié)
第7章 要點3：測試自動化軟件測試框架（ASTF）
7.1 驗證ASTF是否滿足特定需求，功能是否表現(xiàn)得如預(yù)期那樣
7.2 對所有ASTF相關(guān)工件，包括設(shè)計、開以及相關(guān)測試用例進(jìn)行同級評審
7.2.1 作為軟件開發(fā)生命周期一部分的同級評審
7.2.2 評估所有ASTF組件
7.2.3 評審測試用例
7.2.4 評審測試邏輯
7.2.5 評審測試數(shù)據(jù)
7.2.6 評審自動化的測試代碼
7.3 驗證需求和覆蓋率
7.3.1 跟蹤能力
7.3.2 覆蓋率
7.4 舉行一次用戶審查
小結(jié)
第8章 要點4：持續(xù)跟蹤過程并作相應(yīng)調(diào)整
8.1 AST程序跟蹤和缺陷預(yù)防
8.1.1 技術(shù)交換和走查
8.1.2 內(nèi)部檢查
8.1.3 檢查約束和相關(guān)風(fēng)險
8.1.4 實現(xiàn)風(fēng)險緩解策略
8.1.5 維護(hù)AST過程和環(huán)境的完整性
8.1.6 定義、溝通和跟蹤進(jìn)度和成本
8.1.7 跟蹤工作、問題和缺陷
8.2 AST度量
8.2 可自動化的百分比或自動化指標(biāo)
8.2.2 自動化進(jìn)展
8.2.3 測試進(jìn)度
8.2.4 自動化測試覆蓋率百分比
8.2.5 缺陷密度
8.2.6 缺陷趨勢分析
8.2.7 缺陷移除效率
8.2.8 自動化軟件測試ROI
8.2.9 其他軟件測試度量
8.3 根本原因分析
小結(jié)
第9章 要點5：實施AST過程
9.1 AST的階段和里程碑
9.2 AST階段1：需求收集——分析自動化測試需求
9.3 AST階段2：測試用例設(shè)計和開發(fā)
9.4 AST階段3：開發(fā)自動化測試軟件框架（ASTF）和測試腳本
9.5 AST階段4：自動化測試的執(zhí)行和結(jié)果報告·
9.6 AST階段5：程序?qū)彶楹驮u估
9.7 虛擬質(zhì)量門檻
9.8 過程度量
小結(jié)
第10章 要點6：人盡其才
10.1 程序管理
10.1.1 AST階段1：需求收集——分析自動化測試需求
10.1.2 AST階段2：測試用例設(shè)計與開發(fā)
10.1.3 AST階段3：開發(fā)自動化軟件測試框架和測試腳本
10.1.4 AST階段4：自動化測試執(zhí)行和結(jié)果報告
10.1.5 AST階段5：審查并評估程序
10.2 系統(tǒng)工程
10.2.1 AST階段1：需求收集——分析自動化測試需求
10.2.2 AST階段2：測試用例設(shè)計和開發(fā)
10.2.3 AST階段3：開發(fā)自動化測試框架和測試腳本
10.2.4 AST階段4：自動化測試的執(zhí)行和結(jié)果報告
10.2.5 AST階段5：審查并評估程序
10.3 軟件開發(fā)
10.3.1 AST階段1：需求收集——分析自動化測試需求
10.3.2 AST階段2：測試用例設(shè)計和開發(fā)
10.3.3 AST階段3：開發(fā)自動化軟件測試框架和測試腳本
10.3.4 AST階段4：自動化測試的執(zhí)行和結(jié)果報告
10.3.5 AST階段5：程序?qū)彶楹驮u估
10.4 配置管理
10.4.1 AST階段1：需求收集——分析自動化測試需求
10.4.2 AST階段2：測試用例設(shè)計和開發(fā)
10.4.3 AST階段3：開發(fā)自動化軟件測試框架和測試腳本
10.4.4 AST階段4：自動化測試的執(zhí)行和結(jié)果報告
10.4.5 AST階段5：審查并評估程序
10.5 質(zhì)量保證
10.5.1 AST階段1：需求收集——分析自動化測試需求
10.5.2 AST階段2：測試用例設(shè)計和開發(fā)
10.5.3 AST階段3：開發(fā)自動化軟件測試框架和測試腳本
10.5.4 AST階段4：自動化測試的執(zhí)行和結(jié)果報告
10.5.5 AST階段5：審查并評估程序
10.6 領(lǐng)域?qū)＜遥?ME）
10.7 培訓(xùn)
小結(jié)
附錄
附錄A 過程一覽表
附錄B 將AST應(yīng)用到的各種測試類型
附錄C 工作中的利器
附錄D 案例研究：自動化軟件測試框架（ASTF）示例