-
内容大纲
大数据是信息化发展的新阶段。随着信息技术和人类生产生活交汇融合,互联网快速普及,全球数据呈现爆发增长、海量集聚的特点,对经济发展、社会治理、国家管理、人民生活都产生了重大影响。本书以 Hadoop 3.x为主线,全面介绍Hadoop及其生态体系中常用的大数据开源项目的安装和使用。全书共8个项目,分别讲解Hadoop大数据处理平台、大数据存储技术(HDFS)、大数据离线计算框架(MapReduce & YARN)、大数据数据库(HBase)、大数据数据仓库(Hive)、大数据数据转换(Sqoop)、大数据日志处理(Flume)、大数据实时计算框架(Spark)。
本书可作为职业院校计算机、信息管理等相关专业的大数据课程教材,也可作为计算机编程爱好者、大数据开发初学者、大数据运维人员以及大数据分析与挖掘领域从业人员的参考书。 -
作者介绍
-
目录
项目1 Hadoop大数据处理平台
任务1.1 Linux网络搭建
1.1.1 Linux网络知识
1.1.2 Linux网络配置
任务1.2 Linux安全机制的配置
1.2.1 Linux防火墙和SELinux
1.2.2 Linux防火墙操作
任务1.3 Hadoop环境的搭建
1.3.1 Hadoop架构知识
1.3.2 Hadoop安全机制
1.3.3 Hadoop单机部署
1.3.4 Hadoop集群部署
1.3.5 Hadoop高可用部署
项目实训
项目小结
项目2 大数据存储技术(HDFS)
任务2.1 了解HDFS的相关概念
2.1.1 文件系统
2.1.2 数据和元数据
2.1.3 HDFS简介
2.1.4 HDFS设计目标
2.1.5 HDFS重要特性
2.1.6 HDFS集群角色及职责
任务2.2 学习HDFS体系架构与原理
2.2.1 HDFS体系架构
2.2.2 HDFS的高可用机制
2.2.3 HDFS的目录结构
2.2.4 HDFS的数据读写过程
2.2.5 HDFS命令行操作
项目实训
项目小结
项目3 大数据离线计算框架(MapReduce & YARN)
任务3.1 学习MapReduce技术原理
3.1.1 MapReduce概述
3.1.2 MapReduce的计算过程
3.1.3 Map()函数与Reduce()函数
3.1.4 MapReduce入门案例
任务3.2 学习YARN技术原理
3.2.1 YARN概述
3.2.2 YARN的架构
3.2.3 YARN的资源调度
3.2.4 YARN容量调度器多队列配置案例
项目实训
项目小结
项目4 大数据数据库(HBase)
任务4.1 了解HBase
4.1.1 HBase与关系数据库的区别
4.1.2 HBase的应用场景
任务4.2 学习HBase的架构原理
4.2.1 HBase的数据模型
4.2.2 表和Region
4.2.3 HBase的系统架构与功能组件
4.2.4 HBase的读写流程
任务4.3 学习HBase的基本操作
4.3.1 HBase的环境搭建
4.3.2 HBase Shell的常用命令
项目实训
项目小结
项目5 大数据数据仓库(Hive)
任务5.1 学习Hive基本知识
5.1.1 Hive的特性
5.1.2 Hive与传统数据仓库的区别
任务5.2 学习Hive的架构和数据存储
5.2.1 Hive的架构设计原理
5.2.2 Hive的数据存储模型
任务5.3 完成Hive应用实践
5.3.1 Hive环境搭建
5.3.2 HiveQL编程
5.3.3 加载数据到Hive
项目实训
项目小结
项目6 大数据数据转换(Sqoop)
任务6.1 了解Sqoop
6.1.1 Sqoop的功能与特性
6.1.2 Sqoop与传统ETL的区别
任务6.2 完成Sqoop操作
6.2.1 Sqoop环境搭建
6.2.2 Sqoop迁移MySQL数据
6.2.3 Sqoop迁移HDFS数据
项目实训
项目小结
项目7 大数据日志处理(Flume)
任务7.1 了解Flume
7.1.1 Flume的功能与特性
7.1.2 Flume与其他主流开源日志收集系统的区别
任务7.2 完成Flume的应用实践
7.2.1 Flume搭建
7.2.2 Flume Agent编写
7.2.3 Flume与Kafka结合进行日志处理
项目实训
项目小结
项目8 大数据实时计算框架(Spark)
任务8.1 了解Spark
8.1.1 Spark生态系统组件
8.1.2 Spark与Hadoop的对比
任务8.2 学习Spark技术架构
8.2.1 Spark的运行原理
8.2.2 RDD概念与原理
8.2.3 Spark的部署模式
任务8.3 完成Spark应用实践
8.3.1 运行Spark Shell
8.3.2 进行Spark RDD操作
任务8.4 完成Spark Streaming操作
8.4.1 Spark Streaming的设计思想
8.4.2 Spark Streaming的应用实例
任务8.5 完成Spark SQL操作
8.5.1 Spark SQL的功能
8.5.2 Spark SQL的应用实例
项目实训
项目小结
参考文献
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-

孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-

时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-

本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...
[
