-
内容大纲
本书系统全面地介绍了有关Hadoop的各类知识。全书共分11章,内容包括绪论、Linux操作系统的安装、Hadoop的伪分布式安装、Hadoop集群的搭建及配置、Hadoop HDFS命令、MapReduce编程入门、Hive、Sqoop、HBase、Spark的介绍与安装、综合案例——网络爬虫大数据分析。全书每章内容都与实例紧密结合,有助于学生理解知识、应用知识,达到学以致用的目的。
本书各章都配备了视频课程,并且在人邮学院(www.rymooc.com)平台上提供了相应的慕课课程。此外,本书还提供了所有实例的源代码、制作精良的电子课件、重点及难点教学视频、在线测试题(包括选择题、填空题题库及自测试卷等内容)。其中,源代码全部经过精心测试,能够在Ubuntu系统上编译和运行。
本书可作为应用型本科院校计算机专业和软件工程专业、高职院校软件专业及相关专业的教材,同时也适合Hadoop爱好者、初级的大数据开发人员参考使用。 -
作者介绍
-
目录
第1章 绪论
1.1 认识大数据
1.1.1 大数据的定义
1.1.2 大数据的特点
1.1.3 大数据行业应用
1.1.4 Hadoop与大数据
1.1.5 其他大数据处理平台
1.1.6 大数据人才
1.2 什么是Hadoop
1.2.1 Hadoop简介
1.2.2 Hadoop的发展历史
1.2.3 Hadoop的特点
1.3 Hadoop核心
1.3.1 分布式文件系统——HDFS
1.3.2 分布式计算框架——MapReduce
1.4 Hadoop常用组件
1.5 Hadoop在国内外的应用情况
小结
习题
第2章 Linux操作系统的安装
2.1 VirtualBox虚拟机的安装
2.1.1 VirtualBox的下载和安装
2.1.2 设置VirtualBox存储文件夹
2.1.3 在VirtualBox中创建虚拟机
2.2 Linux操作系统简介
2.2.1 概述
2.2.2 特点
2.2.3 Linux操作系统的组成
2.2.4 Linux基本命令
2.2.5 Linux操作系统的版本
2.3 Linux操作系统(Ubuntu)的安装
2.3.1 Linux操作系统(Ubuntu)的下载
2.3.2 安装Ubuntu
2.3.3 启动Ubuntu
2.3.4 设置终端
2.3.5 设置共享剪贴板
2.3.6 设置共享文件夹
小结
习题
第3章 Hadoop的伪分布式安装
3.1 JDK的检查与安装
3.1.1 检查是否安装JDK
3.1.2 安装JDK
3.2 配置SSH无密码登录
3.3 Hadoop的下载与安装
3.3.1 Hadoop的安装模式
3.3.2 Hadoop的下载
3.3.3 Hadoop的安装
3.3.4 配置Hadoop前准备
3.4 Hadoop环境配置
3.4.1 设置Hadoop环境变量
3.4.2 修改Hadoop配置文件
3.4.3 创建并格式化文件系统
3.5 启动Hadoop
3.6 查看HDFSWeb页面
3.7 查看YARNWeb页面
小结
习题
第4章 Hadoop集群的搭建及配置
4.1 Hadoop集群中节点角色
4.2 设置集群前的准备工作
4.2.1 集群中节点的规划
4.2.2 设置网络
4.3 设置服务器
4.3.1 设置Master服务器
4.3.2 复制虚拟机
4.3.3 设置Slave服务器
4.3.4 设置Master服务器到Slave服务器的SSH无密码登
4.3.5 格式化文件系统
4.4 启动和关闭Hadoop集群
4.4.1 启动和关闭Hadoop集群
4.4.2 验证Hadoop集群是否启动成功
4.5 查看Hadoop集群的基本信息
4.5.1 查看集群的HDFS信息
4.5.2 查看集群的YARN信息
4.6 在Hadoop集群中运行程序
小结
习题
第5章 HadoopHDFS命令
5.1 HDFS常用命令总览
5.2 创建与查看HDFS目录
5.2.1 创建HDFS目录
5.2.2 查看HDFS目录
5.3 本地计算机和HDFS之间的文件复制
5.3.1 从本地计算机复制文件到HDFS
5.3.2 将HDFS上的文件复制到本地计算机
5.4 复制与删除HDFS文件
5.5 查看HDFS文件内容
小结
习题
第6章 MapReduce编程入门
6.1 认识MapReduce
6.1.1 MapReduce的编程思想
6.1.2 MapReduce的运行环境
6.2 使用Eclipse创建MapReduce工程
6.2.1 下载与安装Eclipse
6.2.2 配置MapReduce环境
6.3 第一个MapReduce程序:WordCount
6.3.1 WordCount的设计思路
6.3.2 编写WordCount
6.3.3 分析WordCount程序
6.3.4 运行程序
小结
习题
第7章 Hive
7.1 Hive简介
7.1.1 什么是Hive
7.1.2 为什么使用Hive
7.1.3 Hive的体系结构
7.1.4 Hive与关系型数据库的区别
7.2 安装元数据库
7.2.1 下载和安装MySQL数据库
7.2.2 登录MySQL数据库
7.2.3 使用MySQL数据库
7.3 安装与配置Hive
7.3.1 准备工作
7.3.2 下载Hive
7.3.3 安装Hive
7.3.4 配置Hive
7.3.5 启动并验证Hive
7.4 数据类型和存储格式
7.4.1 基本数据类型
7.4.2 复杂数据类型
7.4.3 存储格式
7.4.4 数据格式
7.5 Hive中的数据定义
7.5.1 操作数据库
7.5.2 查看与创建数据表
7.5.3 Hive中其他的数据表
7.5.4 修改数据表
7.5.5 删除数据表
7.6 Hive中的数据操作
7.6.1 加载数据
7.6.2 插入数据
7.6.3 导出数据
小结
习题
第8章 Sqoop
8.1 安装并配置Sqoop
8.1.1 下载并安装Sqoop
8.1.2 配置Sqoop
8.1.3 验证Sqoop
8.1.4 测试Sqoop与MySQL的连接
8.2 Sqoop命令
8.3 Sqoop导入
8.3.1 使用Sqoop把MySQL数据导入HDFS
8.3.2 使用Sqoop把MySQL数据导入Hive
8.3.3 有选择地导入数据
8.4 Sqoop导出
8.4.1 使用Sqoop将Hadoop数据导出到MySQL
8.4.2 使用Sqoop将Hive数据导出到MySQL
小结
习题
第9章 HBase
9.1 ZooKeeper集群的安装与配置
9.1.1 ZooKeeper简介
9.1.2 ZooKeeper安装
9.1.3 配置ZooKeeper集群
9.1.4 启动ZooKeeper集群
9.2 HBase集群的安装与配置
9.2.1 下载并安装HBase
9.2.2 配置HBase
9.2.3 启动并验证HBase
9.3 HBase的基本应用
9.3.1 创建表
9.3.2 插入数据
9.3.3 扫描全表的数据
9.3.4 获取某一行的数据
9.3.5 删除表
小结
习题
第10章 Spark的介绍与安装
10.1 Spark概述
10.1.1 Spark系统架构
10.1.2 Spark运行流程
10.2 安装与配置Scala
10.2.1 下载Scala
10.2.2 安装Scala
10.2.3 启动与应用Scala
10.3 安装与配置Spark
10.3.1 安装模式
10.3.2 安装Spark
10.3.3 配置环境变量
10.3.4 启动并验证Spark
10.4 运行Spark程序
小结
习题
第11章 综合案例——网络爬虫大数据分析
11.1 网络爬虫概述
11.1.1 网络爬虫
11.1.2 网络爬虫——快手爬票
11.1.3 开发语言选择
11.2 搭建Python开发环境
11.2.1 开发环境概述
11.2.2 安装Python
11.3 搭建Qt环境
11.3.1 安装Qt
11.3.2 安装PyCharm开发工具
11.4 主窗体设计
11.4.1 Qt拖曳控件
11.4.2 代码调试细节
11.5 分析网页请求参数
11.6 下载站名文件
11.7 车票信息的请求与显示
11.7.1 发送与分析车票信息的查询请求
11.7.2 主窗体中显示查票信息
11.8 Hadoop中的网络爬虫
小结
习题
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...