Spark Streaming：實時流處理入門與精通

定　價：￥39.00

作　者：	[美] Sumit，Gupta（蘇密特-古普塔）著；韓燕波等譯
出版社：	電子工業(yè)出版社
叢編項：
標　簽：	計算機/網(wǎng)絡(luò) 行業(yè)軟件及應用

購買這本書可以去

ISBN：	9787121310492	出版時間：	2017-04-01	包裝：	平裝
開本：	16開	頁數(shù)：	184	字數(shù)：

內(nèi)容簡介

　　本書主要對Spark和Spark的安裝、配置、主要架構(gòu)和組件進行介紹，并介紹如何利用SparkStreaming進行實時數(shù)據(jù)的處理，討論利用Spark Streaming的多種API和操作進行近實時的分布式日志流的處理。本書要求讀者對Scala有很好的認識和理解，以便能夠利用核心組件和應用進行高效編程。

作者簡介

　　Sumit Gupta從事設(shè)計、管理并提供各種業(yè)務領(lǐng)域（如酒店業(yè)務，醫(yī)療保健，風險管理，保險業(yè)務等）的企業(yè)解決方案將近9年以上，是業(yè)內(nèi)經(jīng)驗豐富的專家、技術(shù)創(chuàng)新者和傳播者。他熱愛技術(shù)，在軟件行業(yè)擁有14年的實踐經(jīng)驗。在過去4～5年中一直使用大數(shù)據(jù)和云計算技術(shù)來解決復雜的業(yè)務問題?，F(xiàn)任北方工業(yè)大學教授、北方工業(yè)大學云計算研究中心主任。現(xiàn)兼任中國計算機學會服務計算專業(yè)委員會副主任、中國電子學會云計算專家委員會委員、計算機學報編委。曾就職于德國國家計算機研究中心、德國弗郎霍夫軟件技術(shù)研究所和美國大規(guī)模分布系統(tǒng)實驗室等機構(gòu)。2000年被聘為中科院計算技術(shù)研究所研究員，入選中科院海外杰出人才計劃（中科院百人計劃，2001期）。曾任中科院研究生院教授、博士生導師、中科院計算技術(shù)研究所網(wǎng)格與服務計算研究中心主任、軟件集成與服務計算研究分中心主任、中德軟件集成技術(shù)聯(lián)合實驗室主任。在數(shù)據(jù)庫、工作流、分布對象中間件、移動計算、網(wǎng)格計算等多個領(lǐng)域主持完成了863重點項目、國家基金重點項目、973子項等30項研究課題，發(fā)表論文140余篇，出版專著4部。申報或合作申報發(fā)明專利和軟件登記50項，其中已向工業(yè)界轉(zhuǎn)化5項。是目前國內(nèi)關(guān)于云計算方面研究的**科學家。

圖書目錄

目?錄
第1章?Spark和Spark Streaming的安裝與配置\t1
安裝Spark\t2
硬件需求\t2
軟件需求\t4
安裝Spark擴展――Spark Streaming\t7
配置和運行Spark集群\t8
你的第一個Spark程序\t11
用Scala編碼Spark作業(yè)\t12
用Java開發(fā)Spark作業(yè)\t15
管理員/開發(fā)者工具\t18
集群管理 \t18
提交Spark作業(yè)\t19
故障定位 \t20
配置端口號 \t20
類路徑問題――類沒有發(fā)現(xiàn) \t20
其他常見異常\t20
總結(jié)\t21
第2章?Spark和Spark Streaming的體系結(jié)構(gòu)與組件\t23
批處理和實時數(shù)據(jù)處理的比較\t24
批處理\t24
實時數(shù)據(jù)處理\t26
Spark的體系結(jié)構(gòu)\t28
Spark對比Hadoop\t28
Spark的層次化結(jié)構(gòu)\t29
Spark Streaming的體系結(jié)構(gòu)\t31
Spark Streaming是什么\t32
Spark Streaming的上層體系結(jié)構(gòu)\t32
你的第一個Spark Streaming程序\t34
用Scala編碼Spark Streaming作業(yè)\t34
用Java編碼Spark Streaming作業(yè)\t37
客戶端程序\t39
打包和部署一個Spark Streaming作業(yè)\t41
總結(jié)\t43
第3章?實時處理分布式日志文件\t45
Spark的封裝結(jié)構(gòu)和客戶端API\t46
Spark內(nèi)核\t48
Spark庫及擴展\t54
彈性分布式數(shù)據(jù)集及離散流\t58
彈性分布式數(shù)據(jù)集\t59
離散流\t63
從分布的、多樣的數(shù)據(jù)源中加載數(shù)據(jù)\t65
Flume 框架\t67
Flume的安裝和配置\t69
配置Spark以接收Flume事件\t73
封裝和部署Spark Streaming作業(yè)\t77
分布式日志文件處理的總體架構(gòu)\t77
總結(jié)\t78
第4章?在流數(shù)據(jù)中應用Transformation\t79
理解并應用Transformation功能\t80
模擬日志流\t80
功能操作\t82
轉(zhuǎn)換操作\t89
窗口操作\t91
性能調(diào)優(yōu)\t94
分塊和并行化\t94
序列化\t94
Spark內(nèi)存調(diào)優(yōu)\t95
總結(jié)\t97
第5章?日志分析數(shù)據(jù)的持久化\t99
Spark Streaming的輸出操作\t100
集成Cassandra\t110
安裝和配置Apache Cassandra\t110
配置Spark\t112
通過編寫Spark作業(yè)將流式網(wǎng)頁日志存入Cassandra\t113
總結(jié)\t120
第6章?與Spark高級庫集成\t121
實時查詢流數(shù)據(jù)\t122
了解Spark SQL\t122
集成Spark SQL與流數(shù)據(jù)\t129
圖的分析――Spark GraphX\t135
GraphX API介紹\t137
集成Spark Streaming\t140
總結(jié)\t147
第7章?產(chǎn)品部署\t149
Spark部署模式\t150
部署在Apache Mesos上\t151
部署在Hadoop或者YARN上\t156
高可用性和容錯性\t160
單機模式下的高可用性\t160
Mesos或者YARN下的高可用性\t162
容錯性\t162
Streaming 作業(yè)的監(jiān)聽\t166
應用程序UI界面/作業(yè)UI界面\t166
與其他監(jiān)控工具的集成\t169
總結(jié)\t170