日志管理與分析權威指南

譯者序
作者簡介
序言
前言
第1章　木材、樹木、森林 1
1.1　概述 1
1.2　日志數(shù)據(jù)基礎 2
1.2.1　什么是日志數(shù)據(jù) 2
1.2.2　日志數(shù)據(jù)是如何傳輸和收集的 3
1.2.3　什么是日志消息 5
1.2.4　日志生態(tài)系統(tǒng) 6
1.3　看看接下來的事情 12
1.4　被低估的日志 13
1.5　日志會很有用 14
1.5.1　資源管理 14
1.5.2　入侵檢測 14
1.5.3　故障排除 17
1.5.4　取證 17
1.5.5　無聊的審計，有趣的發(fā)現(xiàn) 18
1.6　人、過程和技術 19
1.7　安全信息和事件管理（SIEM） 19
1.8　小結 22
參考文獻 22
第2章　日志是什么 23
2.1　概述 23
2.2　日志的概念 25
2.2.1　日志格式和類型 27
2.2.2　日志語法 32
2.2.3　日志內容 35
2.3　良好日志記錄的標準 36
2.4　小結 38
參考文獻 38
第3章　日志數(shù)據(jù)來源 39
3.1　概述 39
3.2　日志來源 39
3.2.1　syslog 40
3.2.2　SNMP 45
3.2.3　Windows事件日志 48
3.3　日志來源分類 50
3.3.1　安全相關主機日志 50
3.3.2　安全相關的網絡日志 52
3.3.3　安全主機日志 52
3.4　小結 54
第4章　日志存儲技術 55
4.1　概述 55
4.2　日志留存策略 55
4.3　日志存儲格式 57
4.3.1　基于文本的日志文件 57
4.3.2　二進制文件 59
4.3.3　壓縮文件 59
4.4　日志文件的數(shù)據(jù)庫存儲 60
4.4.1　優(yōu)點 61
4.4.2　缺點 61
4.4.3　定義數(shù)據(jù)庫存儲目標 61
4.5　Hadoop日志存儲 63
4.5.1　優(yōu)點 63
4.5.2　缺點 64
4.6　云和Hadoop 64
4.6.1　Amazon Elastic MapReduce入門 64
4.6.2　瀏覽Amazon 64
4.6.3　上傳日志到Amazon簡單存儲服務（S3） 65
4.6.4　創(chuàng)建一個Pig腳本分析Apache訪問日志 67
4.6.5　在Amazon Elastic MapReduce (EMR)中處理日志數(shù)據(jù) 68
4.7　日志數(shù)據(jù)檢索和存檔 70
4.7.1　在線存儲 70
4.7.2　近線存儲 70
4.7.3　離線存儲 70
4.8　小結 70
參考文獻 71
第5章　syslog-ng案例研究 72
5.1　概述 72
5.2　獲取syslog-ng 72
5.3　什么是syslog-ng 73
5.4　部署示例 74
5.5　syslog-ng故障排除 77
5.6　小結 79
參考文獻 79
第6章　隱蔽日志 80
6.1　概述 80
6.2　完全隱藏日志設置 82
6.2.1　隱藏日志生成 82
6.2.2　隱藏日志采集 82
6.2.3　IDS日志源 83
6.2.4　日志收集服務器 83
6.2.5　“偽”服務器或“蜜罐” 85
6.3　在“蜜罐”中的日志記錄 85
6.3.1　蜜罐網絡的隱蔽shell擊鍵記錄器 86
6.3.2　蜜罐網絡的Sebek2案例研究 87
6.4　隱蔽日志通道簡述 88
6.5　小結 89
參考文獻 89
第7章　分析日志的目標、規(guī)劃和準備 90
7.1　概述 90
7.2　目標 90
7.2.1　過去的問題 91
7.2.2　未來的問題 92
7.3　規(guī)劃 92
7.3.1　準確性 92
7.3.2　完整性 93
7.3.3　可信性 93
7.3.4　保管 94
7.3.5　清理 94
7.3.6　規(guī)范化 94
7.3.7　時間的挑戰(zhàn) 95
7.4　準備 96
7.4.1　分解日志消息 96
7.4.2　解析 96
7.4.3　數(shù)據(jù)精簡 96
7.5　小結 98
第8章　簡單分析技術 99
8.1　概述 99
8.2　一行接一行：絕望之路 100
8.3　簡單日志查看器 101
8.3.1　實時審核 101
8.3.2　歷史日志審核 102
8.3.3　簡單日志操縱 103
8.4　人工日志審核的局限性 105
8.5　對分析結果做出響應 105
8.5.1　根據(jù)關鍵日志采取行動 106
8.5.2　根據(jù)非關鍵日志的摘要采取行動 107
8.5.3　開發(fā)行動計劃 109
8.5.4　自動化的行動 109
8.6　示例 110
8.6.1　事故響應的場景 110
8.6.2　例行日志審核 110
8.7　小結 111
參考文獻 111
第9章　過濾、規(guī)范化和關聯(lián) 112
9.1　概述 112
9.2　過濾 114
9.3　規(guī)范化 115
9.3.1　IP地址驗證 116
9.3.2　Snort 116
9.3.3　Windows Snare 117
9.3.4　通用Cisco IOS消息 117
9.3.5　正則表達式性能考慮因素 118
9.4　關聯(lián) 119
9.4.1　微觀關聯(lián) 121
9.4.2　宏觀關聯(lián) 122
9.4.3　使用環(huán)境中的數(shù)據(jù) 125
9.4.4　簡單事件關聯(lián)器 126
9.4.5　狀態(tài)型規(guī)則示例 127
9.4.6　構建自己的規(guī)則引擎 132
9.5　常見搜索模式 139
9.6　未來 140
9.7　小結 140
參考文獻 140
第10章　統(tǒng)計分析 141
10.1　概述 141
10.2　頻率 141
10.3　基線 142
10.3.1　閾值 145
10.3.2　異常檢測 145
10.3.3　開窗 145
10.4　機器學習 146
10.4.1　kNN算法 146
10.4.2　將kNN算法應用到日志 146
10.5　結合統(tǒng)計分析和基于規(guī)則的關聯(lián) 147
10.6　小結 148
參考文獻 148
第11章　日志數(shù)據(jù)挖掘 149
11.1　概述 149
11.2　數(shù)據(jù)挖掘簡介 150
11.3　日志數(shù)據(jù)挖掘簡介 153
11.4　日志數(shù)據(jù)挖掘需求 155
11.5　挖掘什么 155
11.6　深入感興趣的領域 157
11.7　小結 158
參考文獻 158
第12章　報告和總結 159
12.1　概述 159
12.2　定義最佳報告 160
12.3　身份認證和授權報告 160
12.4　變更報告 161
12.5　網絡活動報告 163
12.6　資源訪問報告 164
12.7　惡意軟件活動報告 165
12.8　關鍵錯誤和故障報告 166
12.9　小結 167
第13章　日志數(shù)據(jù)可視化 168
13.1　概述 168
13.2　視覺關聯(lián) 168
13.3　實時可視化 169
13.4　樹圖 169
13.5　日志數(shù)據(jù)合成 170
13.6　傳統(tǒng)日志數(shù)據(jù)圖表 175
13.7　小結 176
參考文獻 176
第14章　日志法則和日志錯誤 177
14.1　概述 177
14.2　日志法則 177
14.2.1　法則1——收集法則 178
14.2.2　法則2——留存法則 178
14.2.3　法則3——監(jiān)控法則 178
14.2.4　法則4——可用性法則 179
14.2.5　法則5——安全性法則 179
14.2.6　法則6——不斷變化法則 179
14.3　日志錯誤 179
14.3.1　完全沒有日志 180
14.3.2　不查看日志數(shù)據(jù) 181
14.3.3　保存時間太短 182
14.3.4　在收集之前排定優(yōu)先順序 183
14.3.5　忽略應用程序日志 184
14.3.6　只搜索已知的不良條目 184
14.4　小結 185
參考文獻 185
第15章　日志分析和收集工具 186
15.1　概述 186
15.2　外包、構建或者購買 186
15.2.1　構建一個解決方案 187
15.2.2　購買 187
15.2.3　外包 188
15.2.4　問題 189
15.3　日志分析基本工具 189
15.3.1　grep 189
15.3.2　awk 191
15.3.3　Microsoft日志解析器 192
15.3.4　其他可以考慮的基本工具 193
15.3.5　基本工具在日志分析中的作用 194
15.4　用于集中化日志分析的實用工具 195
15.4.1　syslog 195
15.4.2　Rsyslog 196
15.4.3　Snare 197
15.5　日志分析專業(yè)工具 197
15.5.1　OSSEC 198
15.5.2　OSSIM 200
15.5.3　其他值得考慮的分析工具 201
15.6　商業(yè)化日志工具 202
15.6.1　Splunk 202
15.6.2　NetIQ Sentinel 203
15.6.3　IBM q1Labs 203
15.6.4　Loggly 204
15.7　小結 204
參考文獻 204
第16章　日志管理規(guī)程 205
16.1　概述 205
16.2　假設、需求和預防措施 206
16.2.1　需求 206
16.2.2　預防措施 207
16.3　常見角色和職責 207
16.4　PCI和日志數(shù)據(jù) 208
16.4.1　關鍵需求10 208
16.4.2　與日志記錄相關的其他需求 211
16.5　日志記錄策略 213
16.6　審核、響應、升級規(guī)程 初始基線 217
16.6.3　人工構建初始基線 219
16.6.4　主要工作流程：每天日志審核 220
16.6.5　異常調查與分析 222
16.6.6　事故響應和升級 225
16.7　日志審核的驗證 225
16.7.1　日志記錄的證據(jù) 226
16.7.2　日志審核的證據(jù) 226
16.7.3　異常處理的證據(jù) 226
16.8　日志簿——異常調查的證據(jù) 227
16.8.1　日志簿推薦格式 227
16.8.2　日志簿條目示例 228
16.9　PCI依從性證據(jù)包 230
16.10　管理報告 230
16.11　定期運營任務 231
16.11.1　每日任務 231
16.11.2　每周任務 232
16.11.3　每月任務 232
16.11.4　季度任務 233
16.11.5　年度任務 233
16.12　其他資源 233
16.13　小結 233
參考文獻 234
第17章　對日志系統(tǒng)的攻擊 235
17.1　概述 235
17.2　各類攻擊 235
17.2.1　攻擊什么 236
17.2.2　對機密性的攻擊 236
17.2.3　對完整性的攻擊 241
17.2.4　對可用性的攻擊 245
17.3　小結 252
參考文獻 252
第18章　供程序員使用的日志 253
18.1　概述 253
18.2　角色與職責 253
18.3　程序員所用的日志記錄 254
18.3.1　日志應該記錄哪些信息 255
18.3.2　程序員使用的日志記錄API 256
18.3.3　日志輪轉 257
18.3.4　不好的日志消息 259
18.3.5　日志消息格式 259
18.4　安全考慮因素 261
18.5　性能考慮因素 262
18.6　小結 263
參考文獻 263
第19章　日志和依從性 264
19.1　概述 264
19.2　PCI DSS 265
19.3　ISO 2700X系列 269
19.4　HIPAA 271
19.5　FISMA 276
19.6　小結 281
第20章　規(guī)劃自己的日志分析系統(tǒng) 282
20.1　概述 282
20.2　規(guī)劃 282
20.2.1　角色和職責 283
20.2.2　資源 284
20.2.3　目標 284
20.2.4　選擇日志記錄的系統(tǒng)和設備 285
20.3　軟件選擇 285
20.3.1　開源軟件 285
20.3.2　商業(yè)化軟件 286
20.4　策略定義 287
20.4.1　日志記錄策略 287
20.4.2　日志文件輪轉 288
20.4.3　日志數(shù)據(jù)收集 288
20.4.4　留存/存儲 288
20.4.5　響應 289
20.5　架構 289
20.5.1　基本模型 289
20.5.2　日志服務器和日志收集器 290
20.5.3　日志服務器和具備長期存儲的日志收集器 290
20.5.4　分布式部署 290
20.6　擴展 291
20.7　小結 291