-
内容大纲
本书围绕Hadoop生态圈相关组件系统介绍大数据架构平台上的案例开发。全书共7章,其中,第1、2章介绍了数据流、数据平台及如何搭建Hadoop集群;第3、4章介绍了分布式文件系统HDFS、分布式计算框架MapReduce、YARN及数据仓库Hive的架构优化;第5章介绍了Hadoop生态圈的相关辅助系统,包含Flume、Kafka、Sqoop:第6章介绍了Spark架构及相关核心组件;第7章介绍了离线综合案例的开发,目的是让用户能够利用Hadoop的相关组件进行项目的开发,加深对Hadoop生态圈技术的理解,同时通过大数据平台项目实战,让用户了解大数据平台分析数据的应用。
本书既可以作为高等职业院校、应用型本科院校计算机相关专业、信息系统相关专业、数据科学相关专业的大数据平台课程教材,又可以作为一线技术人员的操作参考教材。 -
作者介绍
-
目录
第1章 数据
1.1 数据流与大数据
1.1.1 数据产生
1.1.2 数据采集
1.1.3 数据存储和管理
1.2 数据平台与技术
1.2.1 离线数据平台的相关技术
1.2.2 实时数据平台的相关技术
习题1
上机实验1 大数据架构和组件选型
第2章 搭建大数据集群环境
2.1 集群环境安装准备
2.1.1 学习任务:创建虚拟机
2.1.2 启动虚拟机并安装Linux操作系统
2.1.3 克隆虚拟机
2.1.4 Linux操作系统网络配置
2.1.5 SSH操作配置
2.2 安装JDK
2.3 ZooKeeper集群部署
2.3.1 ZooKeeper集群的安装与配置
2.3.2 ZooKeeper集群的启动与关闭
2.4 Hadoop集群部署
2.4.1 Hadoop高可用集群规划
2.4.2 安装Hadoop
2.4.3 Hadoop高可用集群配置
2.4.4 启用Hadoop高可用集群
习题2
上机实验2 VMware Workstation的安装和使用
第3章 Hadoop核心组件原理与实践
3.1 分布式文件系统HDFS的认识与操作
3.1.1 HDFS体系结构的认识
3.1.2 HDFS Shell操作
3.1.3 HDFS API操作
3.2 分布式计算框架MapReduce的认识与操作
3.2.1 MapReduce的认识
3.2.2 MapReduce编程模型
3.2.3 MapReduce WordCount编程实例
3.3 YARN与Hadoop新特性的认识
3.3.1 Hadoop2.0的认识
3.3.2 YARN体系结构的认识
3.3.3 YARN工作流程的认识
习题3
上机实验3 最高气温统计案例
第4章 数据仓库Hive应用实践
4.1 离线大数据处理技术Hive
4.1.1 Hive出现背景
4.1.2 Hive功能描述
4.1.3 Hive基本架构
4.1.4 Hive数据存储
4.1.5 Hive环境部署
4.2 Hive SQL
4.2.1 Hive关键概念
4.2.2 Hive数据库
4.2.3 Hive表DDL和DML
4.3 Hive SQL查询语句
4.3.1 select语句
4.3.2 group by语句
4.3.3 join语句
4.3.4 Hive内置函数
4.3.5 其他技术
4.4 数据倾斜
4.4.1 产生原因
4.4.2 数据倾斜的表现
4.4.3 Hive优化
4.5 join无关的优化
4.5.1 group by引起的数据倾斜优化
4.5.2 count distinct优化
4.6 Hive用户自定义函数接口
4.6.1 概述
4.6.2 UDF概述
4.6.3 需求分析
4.6.4 UDF使用
4.7 综合案例—Olist巴西电子商务网站数据分析
4.7.1 案例背景描述
4.7.2 案例数据模型
4.7.3 案例任务描述
4.7.4 数据采集
4.7.5 数据清洗和聚合
4.7.6 数据分析
4.7.7 案例总结
习题4
上机实验4 Hive离线数据统计案例
第5章 离线处理辅助系统
5.1 Flume日志采集
5.1.1 Flume简介
5.1.2 Flume日志采集系统结构
5.1.3 Flume安装配置
5.1.4 Flume负载均衡
5.1.5 综合案例—Flume多数据源分类采集
5.2 Kafka消息订阅
5.2.1 Kafka简介
5.2.2 Kafka核心组件介绍
5.2.3 Kafka工作流程分析
5.2.4 安装Kafka
5.2.5 Kafka的命令行使用方式
5.3 Sqoop数据迁移
5.3.1 Sqoop简介
5.3.2 Sqoop的作用
5.3.3 Sqoop的安装
5.3.4 导入MySQL数据到HDFS
5.3.5 导出HDFS数据到MySQL
5.3.6 案例一
5.3.7 案例二
习题5
上机实验5 离线处理组件的安装配置
第6章 Spark流计算开发实践
6.1 Spark概述
6.1.1 Spark优点
6.1.2 Spark生态系统
6.1.3 Spark环境部署
6.2 SparkCore
6.2.1 RDD概述
6.2.2 RDD Transformation
6.2.3 RDD Action
6.2.4 RDD依赖
6.2.5 RDD缓存
6.2.6 Spark运行架构
6.2.7 Checkpoint
6.2.8 基于RDD的Spark编程
6.3 Spark SQL
6.3.1 Spark SQL概述
6.3.2 Spark SQL编程
6.3.3 Spark SQL外部数据源操作
6.4 Spark Streaming
6.4.1 Spark Streaming流处理框架概述
6.4.2 Spark Streaming核心概念
6.4.3 Spark Streaming编程
6.4.4 Spark Streaming整合Flume
6.4.5 Spark Streaming整合Kafka的两种方式
6.5 综合案例—Spark城市旅游热力图
习题6
上机实验6 词频统计
第7章 大数据平台项目实战
7.1 项目介绍
7.2 项目架构设计及技术选型
7.3 数据采集
7.3.1 准备数据采集开发环境
7.3.2 分析网页数据结构
7.4 数据预处理
7.4.1 网页数据深度分析
7.4.2 把数据上传到HDFS集群中
7.5 数据分析
7.5.1 建立数据仓库
7.5.2 薪资区间分布分析
7.5.3 公司福利标签词频分析
7.5.4 职位技能需求词频统计
7.5.5 城市词频统计
7.6 数据导出
7.6.1 Sqoop安装
7.6.2 Sqoop配置
7.6.3 验证Sqoop安装
7.6.4 创建MySQL数据仓库
7.6.5 使用Sqoop导出数据至MySQL
7.7 数据可视化
7.7.1 利用PyMySQL读取数据到内存中
7.7.2 使用PyEcharts画图
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...