大數(shù)據(jù)技術(shù)入門（Hadoop+Spark）

定　價：￥49.90

作　者：	于海浩劉志坤主編，韓詠孫栩副主編
出版社：	清華大學(xué)出版社
叢編項：
標(biāo)　簽：	暫缺

購買這本書可以去

當(dāng)當(dāng)網(wǎng) (￥45.90)

ISBN：	9787302591818	出版時間：	2022-01-01	包裝：	平裝-膠訂
開本：	16開	頁數(shù)：		字數(shù)：

內(nèi)容簡介

　　本書基礎(chǔ)理論、應(yīng)用開發(fā)以及實際案例相結(jié)合，圍繞Hadoop、Spark生態(tài)圈循序漸進地介紹關(guān)于大數(shù)據(jù)技術(shù)領(lǐng)域中的基礎(chǔ)知識、應(yīng)用開發(fā)技術(shù)和基于Spark的常見機器學(xué)習(xí)算法，后以兩個實戰(zhàn)案例全面、系統(tǒng)地應(yīng)用了本書介紹的基礎(chǔ)知識和應(yīng)用開發(fā)方法。全書共14章，分別為大數(shù)據(jù)概述、Hadoop簡介及安裝部署、HDFS、MapReduce計算框架、Hive數(shù)據(jù)倉庫、HBase分布式數(shù)據(jù)庫、Spark基礎(chǔ)、Spark RDD彈性分布式數(shù)據(jù)集、Spark SQL、Spark Streaming實時計算框架、Spark Streaming與Flume、Kafka的整合、Spark MLlib 機器學(xué)習(xí)、實戰(zhàn)案例——分布式優(yōu)惠券后臺應(yīng)用系統(tǒng)和實戰(zhàn)案例——新聞話題實時統(tǒng)計分析系統(tǒng)，書中的每個知識點都有相應(yīng)的實現(xiàn)代碼和實例。本書主要面向廣大從事大數(shù)據(jù)分析、應(yīng)用開發(fā)、機器學(xué)習(xí)、數(shù)據(jù)挖掘的專業(yè)人員以及從事高校信息技術(shù)專業(yè)的教師和高等院校的在讀學(xué)生及相關(guān)領(lǐng)域的廣大科研人員。

作者簡介

　　于海浩，男，1974年1月生，高級工程師，黑龍江工程學(xué)院計算機學(xué)院教師，主講大數(shù)據(jù)實踐和人工智能課程，研究方向為大數(shù)據(jù)處理與挖掘，深度學(xué)習(xí)。主持或參與國家、省部級、廳局級項目6項。以作者發(fā)表論文10余篇，作為高級項目經(jīng)理和企業(yè)管理者組織了黑龍江省電力營銷系統(tǒng)、地下管廊運維監(jiān)管平臺、智慧城管、城鎮(zhèn)職工醫(yī)療系統(tǒng)的項目管理工作，有任企業(yè)技術(shù)總監(jiān)的職務(wù)經(jīng)歷。

圖書目錄

第1章大數(shù)據(jù)概述
1.1大數(shù)據(jù)的研究背景
1.2大數(shù)據(jù)的定義及其技術(shù)特點
1.2.1大數(shù)據(jù)的定義
1.2.2大數(shù)據(jù)的基本特點
1.2.3典型的大數(shù)據(jù)處理需求與計算特征
1.3大數(shù)據(jù)處理的主要技術(shù)特點與難點
1.4研究大數(shù)據(jù)的意義
1.5本章小結(jié)
第2章Hadoop簡介及安裝部署
2.1Hadoop簡介及生態(tài)體系
2.2Hadoop集群架構(gòu)
2.3Hadoop集群運行環(huán)境搭建
2.3.1Hadoop安裝配置過程
2.3.2驗證Hadoop的安裝
2.4本章小結(jié)
第3章HDFS
3.1相關(guān)基本概念
3.2HDFS存儲架構(gòu)
3.2.1HDFS寫入流程
3.2.2HDFS讀取流程
3.3HDFS的優(yōu)點與缺點
3.3.1HDFS的優(yōu)點
3.3.2HDFS的缺點
3.4HDFS Shell常用命令
3.5HDFS的Java API
3.6本章小結(jié)
第4章MapReduce計算框架
4.1MapReduce核心思想
4.2MapReduce的工作原理
4.3MapReduce的運行機制
4.4MapReduce數(shù)據(jù)本地化
4.5MapReduce編程
4.5.1MapReduce運行模式
4.5.2MapReduce編程組件與數(shù)據(jù)類型
4.6MapReduce編程示例
4.6.1單詞計數(shù)
4.6.2倒排索引
4.7本章小結(jié)

第5章Hive數(shù)據(jù)倉庫
5.1Hive概述
5.1.1Hive簡介
5.1.2Hive的架構(gòu)
5.1.3Hive的優(yōu)缺點
5.2Hive的安裝
5.2.1安裝MySQL
5.2.2安裝Hive
5.3Hive數(shù)據(jù)庫相關(guān)操作
5.3.1Hive的數(shù)據(jù)類型
5.3.2Hive基礎(chǔ)SQL語法
5.4本章小結(jié)
第6章HBase分布式數(shù)據(jù)庫
6.1HBase概述
6.1.1HBase的架構(gòu)
6.1.2HBase的特點
6.1.3HBase數(shù)據(jù)存儲方式
6.1.4HBase尋址機制
6.2HBase的安裝
6.3HBase數(shù)據(jù)模型
6.4HBase的Shell操作
6.5HBase常用的Java API及示例程序
6.5.1HBase常用的Java API
6.5.2程序示例
6.6本章小結(jié)
第7章Spark基礎(chǔ)
7.1Spark概述
7.1.1Spark的主要特點
7.1.2Spark生態(tài)系統(tǒng)
7.1.3Spark相對于Hadoop MapReduce的優(yōu)勢
7.2Spark的安裝
7.2.1Spark的部署方式
7.2.2Spark的安裝
7.3Spark運行架構(gòu)與原理
7.4Spark運行流程
7.5本章小結(jié)
第8章Spark RDD彈性分布式數(shù)據(jù)集
8.1RDD的設(shè)計與運行原理
8.1.1RDD的概念
8.1.2RDD的分區(qū)
8.1.3RDD的依賴關(guān)系
8.1.4RDD在Spark中的運行流程
8.1.5RDD容錯機制
8.2RDD API編程
8.2.1RDD的創(chuàng)建
8.2.2RDD的操作
8.3程序示例：倒排索引
8.4本章小結(jié)
第9章Spark SQL
9.1Spark SQL概述
9.1.1Spark SQL簡介
9.1.2Spark SQL的架構(gòu)
9.2DataFrame
9.2.1DataFrame簡介
9.2.2DataFrame的創(chuàng)建
9.2.3DataFrame的常用操作
9.3Dataset
9.4Spark SQL編程
9.4.1DataFrame操作
9.4.2Spark SQL 讀寫MySQL數(shù)據(jù)庫
9.4.3Spark SQL 讀寫Hive
9.5本章小結(jié)
第10章 Spark Streaming實時計算框架
10.1Spark Streaming概述
10.1.1流數(shù)據(jù)和流計算
10.1.2Spark Streaming簡介
10.1.3DStream簡介
10.2DStream編程
10.2.1DStream轉(zhuǎn)換操作
10.2.2DStream輸出操作相關(guān)的方法
10.3DStream編程示例
10.3.1DStream編程基本步驟——文件流
10.3.2無狀態(tài)轉(zhuǎn)換操作
10.3.3有狀態(tài)轉(zhuǎn)換操作
10.3.4輸出操作
10.4本章小結(jié)
第11章Spark Streaming與Flume、Kafka的整合
11.1Flume簡介及安裝
11.1.1Flume簡介
11.1.2Flume的安裝
11.2Kafka簡介及安裝
11.2.1Kafka簡介
11.2.2Kafka的安裝
11.3Flume與Kafka的區(qū)別和側(cè)重點
11.4Spark Streaming與Flume、Kafka的整合與開發(fā)
11.5本章小結(jié)
第12章Spark MLlib機器學(xué)習(xí)
12.1機器學(xué)習(xí)的概念
12.1.1機器學(xué)習(xí)的定義
12.1.2機器學(xué)習(xí)的分類
12.2MLlib簡介
12.3Spark MLlib的數(shù)據(jù)類型
12.3.1本地向量
12.3.2標(biāo)注點
12.3.3本地矩陣
12.4Spark MLlib機器學(xué)習(xí)示例
12.4.1特征抽取——TFIDF
12.4.2分類與回歸——線性回歸
12.4.3分類與回歸——邏輯回歸
12.4.4協(xié)同過濾——電影推薦
12.5本章小結(jié)
第13章實戰(zhàn)案例——分布式優(yōu)惠券后臺應(yīng)用系統(tǒng)
13.1系統(tǒng)簡介
13.2整體架構(gòu)
13.3表結(jié)構(gòu)設(shè)計
13.4系統(tǒng)實現(xiàn)
13.4.1商戶投放子系統(tǒng)
13.4.2用戶消費子系統(tǒng)
13.5系統(tǒng)運行測試
13.5.1啟動系統(tǒng)
13.5.2商戶投放子系統(tǒng)測試
13.5.3用戶消費子系統(tǒng)測試
13.6本章小結(jié)
第14章實戰(zhàn)案例——新聞話題實時統(tǒng)計分析系統(tǒng)
14.1系統(tǒng)簡介
14.2系統(tǒng)總體架構(gòu)
14.3表結(jié)構(gòu)設(shè)計
14.4系統(tǒng)實現(xiàn)
14.4.1模擬日志生成程序
14.4.2Flume配置
14.4.3配置Kafka
14.4.4Spark Streaming開發(fā)
14.4.5WebSocket和前端界面開發(fā)
14.5系統(tǒng)運行測試
14.6本章小結(jié)
參考文獻