-
内容大纲
本书系统介绍了大数据的相关知识,全书共13章,内容包括Hadoop大数据处理架构、HDFS分布式文件系统、YARN资源管理、MapReduce分布式计算框架、HBase分布式数据库、流数据采集、典型非关系数据库的安装与使用、分布式数据分析工具Pig、Spark大数据处理框架、基于Python的Spark RDD编程、基于Python的Spark SQL结构化数据处理、Hive分布式数据仓库、典型数据可视化工具的使用。本书对大数据相关技术给出详细的编程示例,并给出详细的注解。
本书可作为高等院校计算机、信息管理、软件工程、人工智能、数据科学与大数据技术等相关专业的大数据课程教材,也可供相关技术人员参考。 -
作者介绍
-
目录
第1章 Hadoop大数据处理架构
1.1 大数据的基本概念
1.1.1 大数据时代
1.1.2 大数据定义
1.1.3 大数据的特征
1.1.4 大数据思维
1.2 大数据计算模式与典型系统
1.2.1 批处理计算模式与典型系统
1.2.2 流式计算模式与典型系统
1.2.3 迭代计算模式与典型系统
1.2.4 图计算模式与典型系统
1.2.5 内存计算模式与典型系统
1.3 Hadoop发展历程
1.4 Hadoop优缺点
1.5 Hadoop生态圈
1.6 在VirtualBox上搭建Linux操作系统
1.6.1 创建Master节点
1.6.2 克隆虚拟电脑
1.7 Hadoop安装前的准备工作
1.7.1 创建hadoop用户
1.7.2 安装SSH、配置SSH无密码登录
1.7.3 安装Java环境
1.7.4 Linux操作系统下Scala版本的Eclipse的安装与配置
1.7.5 Eclipse环境下Java语言程序开发实例
1.8 Hadoop的安装与配置
1.8.1 下载Hadoop安装文件
1.8.2 Hadoop单机模式配置
1.8.3 Hadoop伪分布式模式配置
1.8.4 Hadoop分布式模式配置
1.9 习题
第2章 HDFS分布式文件系统
2.1 HDFS基本特征
2.2 HDFS存储架构及组件功能
2.2.1 HDFS存储架构
2.2.2 数据块
2.2.3 数据节点
2.2.4 名称节点
2.2.5 第二名称节点
2.2.6 心跳消息
2.2.7 客户端
2.3 HDFS读写文件流程
2.3.1 HDFS读文件流程
2.3.2 HDFS写文件流程
2.4 HDFS的Shell操作
2.4.1 查看命令使用方法
2.4.2 HDFS常用的Shell操作
2.4.3 HDFS管理员命令
2.4.4 HDFS的Java API操作
2.5 案例实战1:修改文件名
2.5.1 在Eclipse中创建项目
2.5.2 为项目添加需要用到的JAR包
2.5.3 编写Java语言应用程序
2.5.4 编译运行程序
2.5.5 应用程序的部署
2.6 案例实战2:文件读取、上传和下载
2.6.1 读取文件内容
2.6.2 文件上传和下载
2.7 习题
第3章 YARN资源管理
3.1 YARN概述
3.2 YARN基础架构
3.2.1 Container
3.2.2 ResourceManager
3.2.3 NodeManager
3.2.4 Applleation Master
3.2.5 Client
……
第4章 MapReduce分布式计算框架
第5章 HBase分布式数据库
第6章 流数据采集
第7章 典型非关系数据库的安装与使用
第8章 分布式数据分析工具Pig
第9章 Spark大数据处理框架
第10章 基于Python语言的Spark RDD编程
第11章 基于Python语言的Spark SQL结构化数据处理
第12章 Hive分布式数据仓库
第13章 典型数据可视化工具的使用
参考文献
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...