[
-
内容大纲
本书详细介绍了大数据工程师在实际工作中应该熟练掌握的大数据技术。全书共8章，分别是大数据技术概述、搭建IDEA开发环境及Linux虚拟机、基于Hadoop构建大数据平台、基于HBase和Kafka构建海量数据存储与交换系统、用户行为离线分析——构建日志采集和分析平台、基于Spark的用户行为实时分析、基于Flink的用户行为实时分析、用户行为数据可视化。本书以一个完整的大数据项目为主线，涵盖Hadoop、Spark、Flink等主流大数据技术，按照大数据工程师的项目开发流程，理论与实践结合，逐步推进，使读者在学习大数据核心技术的同时，也能掌握开发大数据项目的完整流程，从而获得大数据项目开发经验。
本书既可以作为大数据工程师的必备开发手册，也可以作为高校大数据及相关专业的教材或实验手册。 -
作者介绍
杨俊，大数据架构师。大数据技术达人， Hadoop源码级技术专家，擅长Hadoop、Spark、Flink等主流大数据生态技术。具有近10年大数据开发经验，参与过10余个重量级大数据项目。曾任广电数据咨询公司大数据高级架构师，负责大数据平台架构设计与实施，并构建企业级数据仓库。畅销书《Hadoop大数据技术基础与应用》作者。51CTO知名培训讲师，拥有20余万粉丝，具有丰富的大数据技术培训经验，为数十家企业、院校开展过大数据技术课程培训。 -
目录
前言
第1章 大数据技术概述
1.1 什么是大数据
1.2 大数据平台架构
1.2.1 数据获取
1.2.2 数据存储
1.2.3 数据处理
1.2.4 交互式分析
1.2.5 机器学习与数据挖掘
1.2.6 资源管理
1.3 大数据工程师的技能树
1.3.1 大数据主流开发语言
1.3.2 大数据平台的构建
1.3.3 大数据采集
1.3.4 大数据存储与交换
1.3.5 大数据离线计算
1.3.6 大数据实时计算
1.4 大数据项目需求分析与设计
1.4.1 项目需求分析
1.4.2 系统架构设计
1.4.3 离线和实时计算数据流程设计
1.4.4 大数据平台规划
1.5 本章小结
第2章 搭建IDEA开发环境及Linux虚拟机
2.1 搭建IDEA开发环境
2.1.1 JDK的安装与配置
2.1.2 Maven的安装与配置
2.1.3 IDEA的安装与配置
2.1.4 使用IDEA构建Maven项目
2.2 搭建Linux虚拟机
2.2.1 安装Linux系统
2.2.2 配置Linux静态IP
2.2.3 Linux主机名和IP映射
2.2.4 关闭Linux防火墙
2.2.5 创建Linux用户和用户组
2.2.6 Linux SSH免密登录
2.3 本章小结
第3章 基于Hadoop构建大数据平台
3.1 Zookeeper分布式协调服务
3.1.1 Zookeeper架构设计及原理
3.1.2 Zookeeper集群安装前的准备工作
3.1.3 Zookeeper集群的安装部署
3.1.4 Zookeeper shell的操作
3.2 HDFS分布式文件系统
3.2.1 HDFS架构设计及原理
3.2.2 HDFS的高可用(HA)
3.2.3 HDFS联邦机制
3.3 YARN资源管理系统
3.3.1 YARN架构设计及原理
3.3.2 MapReduce on YARN工作流程
3.3.3 YARN的容错性
3.3.4 YARN的高可用(HA)
3.3.5 YARN的调度器及使用
3.4 Hadoop分布式集群的构建
3.4.1 HDFS分布式集群的构建
3.4.2 YARN分布式集群的构建
3.4.3 Hadoop集群运行测试
3.4.4 Hadoop集群调优
3.5 MapReduce分布式计算框架
3.5.1 MapReduce概述
3.5.2 MapReduce编程模型
3.5.3 MapReduce应用示例
3.5.4 WordCount代码实现
3.6 本章小结
第4章 基于HBase和Kafka构建 海量数据存储与交换系统
4.1 构建HBase分布式实时数据库
4.1.1 HBase概述
4.1.2 HBase架构设计
4.1.3 HBase分布式集群的构建
4.1.4 HBase性能调优
4.1.5 HBase新闻业务表建模
4.2 搭建Kafka分布式消息系统
4.2.1 Kafka概述
4.2.2 KaNa架构设计
4.2.3 KaNa分布式集群的构建
4.2.4 KaNa集群监控
4.3 本章小结
第5章 用户行为离线分析——构建日志采集和分析平台
5.1 搭建Flume日志采集系统
5.1.1 Flume概述
5.1.2 Flume架构设计
5.1.3 Flume环境的搭建
5.1.4 构建Flume集群
5.2 使用Flume采集用户行为数据
5.2.1 Flume与KaNa集成
5.2.2 Flume与HBase集成
5.2.3 Flume与KaVa、HBase集成
5.3 基于Hive的离线大数据分析
5.3.1 Hive概述
5.3.2 Hive架构设计
5.3.3 Hive的安装部署
5.3.4 Hive在大数据仓库中的应用
5.3.5 Hive与HBase集成
5.4 基于Hive的用户行为数据离线分析
5.4.1 离线项目架构设计
5.4.2 用户行为离线分析
5.5 本章小结
第6章 基于Spark的用户行为实时分析
6.1 Spark快速入门
6.1.1 Spark概述
6.1.2 Spark的最简安装
6.1.3 Spark实现WordCgunt
6.2 Spark Core的核心功能
6.2.1 Spark架构的原理
6.2.2 弹性分布式数据集RDD
6.2.3 Spark算子
6.2.4 Pair RDD及算子
6.3 Spark分布式集群的构建
6.3 1 Spark的运行模式
6.3.2 Standalone模式集群的构建
6.3.3 Spark on YARN模式集群的构建
6.4 基于Spark Streaming的新闻项目实时分析
6.4.1 Spark Streaming概述
6.4.2 Spark Sffeaming的运行原理
6.4.3 Spark Streamin-g程模型
6.4.4 Spark Streaming实时分析用户行为
6.5 基于Sphrk SQL的新闻项目离线分析
6.5.1 Spark SQL架构的原理
6.5.2 Spark SQL与Hive、MySQL、HBase集成
6.5.3 Spark SQL用户行为离线分析
6.6 基于Spark Structured Streaming的新闻项目实时分析
6.6.1 Structured Streaming概述
6.6.2 Structured Streaming编程模型
6.6.3 基于Structured Streaming的用户行为实时分析
6.7 本章小结
第7章 基于Flink的用户行为实时分析
7.1 Flink快速入门
7.1.1 Flink概述
7.1.2 Flink的最简安装
7.1.3 Flink实现WordCount
7.2 Flink分布式集群的构建
7.2.1 Flink的运行模式
7.2.2 Flink StandMone模式集群的构建
7.2.3 Flink onYARN模式集群的构建
7.3 基于Flink DataStream的新闻项目实时分析
7.3.1 Flink DataStream概述
7.3.2 Flink DataStream编程模型
7.3.3 Flink DataStream用户行为实时分析
7.4 基于Flink DataSet的新闻项目离线分析
7.4.1 Flink DataSet的运行原理
7.4.2 FlinkDataSet编程模型
7.4.3 Flink DataSet用户行为离线分析
7.5 本章小结
第8章 用户行为数据可视化
8.1 构建JavaWeb系统查询用户行为
8.1.1 基于JavaWeb的系统架构
8.1.2 构建并部署JavaWeb项目
8.1.3 用户行为查询代码开发
8.2 用户行为数据展示与分析
8.2.1 项目打包发布
8.2.2 项目整体联调
8.2.3 数据大屏展示与用户行为分析
8.3 本章小结
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔，龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年，恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...