欢迎光临澳大利亚新华书店网 [登录 | 免费注册]

    • 大数据应用技术与实践(大数据技术微课版工业和信息化精品系列教材)
      • 作者:编者:于丽娜//李玮//左楠|责编:鹿征
      • 出版社:人民邮电
      • ISBN:9787115620965
      • 出版日期:2024/03/01
      • 页数:158
    • 售价:16.8
  • 内容大纲

        本书依托一个大数据综合项目—电影市场的预测,按照大数据技术在该项目开发中的应用过程,将本书内容分为10个工作任务,包括初识Hadoop、搭建Hadoop集群、数据上传、配置Hadoop高可用、数据清洗、使用MapReduce统计电影上映情况与排序、数据建仓、数据分析、数据迁移和数据可视化。书中的具体工作任务有助于读者综合运用大数据知识及各种工具软件,实现大数据项目整体过程的操作。
        本书附有配套资源,包括源代码、教学设计、教学课件等。
        本书可作为高等院校本、专科大数据相关专业的教材,也可供大数据相关从业人员参考。
  • 作者介绍

  • 目录

    工作任务1  初识Hadoop
      任务概述
      学习目标
        任务1.1  了解大数据
          【知识链接】
          1.1.1  什么是大数据
          1.1.2  大数据的特征
          1.1.3  研究大数据的意义
        任务1.2  了解大数据的应用场景
          【知识链接】
          1.2.1  医疗行业的应用
          1.2.2  金融行业的应用
          1.2.3  零售行业的应用
        任务1.3  了解Hadoop
          【知识链接】
          1.3.1  Hadoop的发展历程
          1.3.2  Hadoop的优势
          1.3.3  Hadoop的生态体系
          1.3.4  Hadoop的版本
      任务小结
      课后习题
      相关阅读——“第七次全国人口普查”中的大数据技术应用
    工作任务2  搭建Hadoop集群
      任务概述
      学习目标
      预备知识——集群和虚拟机
        任务2.1  安装虚拟机
          【任务描述】
          【知识链接】
          2.1.1  VMware软件
          2.1.2  Linux操作系统
          2.1.3  Hadoop集群
          【任务实施】
        任务2.2  克隆虚拟机
          【任务描述】
          【知识链接】
          2.2.1  克隆和备份的区别
          2.2.2  VMware的克隆类型
          【任务实施】
        任务2.3  网络配置
          【任务描述】
          【知识链接】
          【任务实施】
        任务2.4  SSH服务配置
          【任务描述】
          【知识链接】
          【任务实施】
        任务2.5  Hadoop集群搭建
          【任务描述】
          【知识链接】

          【任务实施】
      任务小结
      课后习题
      相关阅读——名副其实的“网络大国”
    工作任务3  数据上传
      任务概述
      学习目标
      预备知识——HDFS概述
        任务3.1  使用Shell命令将电影数据上传到Hadoop
          【任务描述】
          【知识链接】
          3.1.1  HDFS架构组成
          3.1.2  HDFS的Shell操作
          【任务实施】
        任务3.2  使用Java API上传电影数据
          【任务描述】
          【知识链接】
          3.2.1  HDFS写数据流程
          3.2.2  HDFS读数据流程
          3.2.3  NameNode和SecondaryNameNode工作机制
          3.2.4  DataNode工作机制
          【任务实施】
      任务小结
      课后习题
      相关阅读——根服务器
    工作任务4  配置Hadoop高可用
      任务概述
      学习目标
      预备知识——服务器的可用性和高可用性
        任务4.1  配置ZooKeeper集群
          【任务描述】
          【知识链接】
          4.1.1  Hadoop中的单点故障
          4.1.2  ZooKeeper组件
          【任务实施】
        任务4.2  配置HDFS-HA集群
          【任务描述】
          【知识链接】
          【任务实施】
        任务4.3  配置HDFS-HA集群自动故障转移
          【任务描述】
          【知识链接】
          4.3.1  自动故障转移机制概述
          4.3.2  ZKFC
          【任务实施】
      任务小结
      课后习题
      相关阅读——航天装备的高可用
    工作任务5  数据清洗
      任务概述

      学习目标
      预备知识——数据清洗概述
        任务5.1  清洗电影数据
          【任务描述】
          【知识链接】
          5.1.1  MapReduce组件
          5.1.2  MapReduce编程思想
          5.1.3  Hadoop序列化
          【任务实施】
        任务5.2  数据分区
          【任务描述】
          【知识链接】
          5.2.1  切片与MapTask并行度决定机制
          5.2.2  MapReduce工作流程
          【任务实施】
      任务小结
      课后习题
      相关阅读——深度学习开源平台飞桨
    工作任务6  使用MapReduce统计电影上映情况与排序
      任务概述
      学习目标
      预备知识——数据统计概述
        任务6.1  统计每部电影上映的次数
          【任务描述】
          【任务实施】
        任务6.2  统计每部电影的上映天数和平均票房
          【任务描述】
          【任务实施】
        任务6.3  按平均票房降序排列
          【任务描述】
          【任务实施】
      任务小结
      课后习题
      相关阅读——许宝騄,中国统计学家的
      先驱
    工作任务7  数据建仓
      任务概述
      学习目标
      预备知识——数据库与数据仓库
        任务7.1  安装与配置Hive
          【任务描述】
          【知识链接】
          7.1.1  Hive概述
          7.1.2  Hive和数据库比较
          7.1.3  Hive架构原理
          【任务实施】
        任务7.2  将元数据迁移到MySQL
          【任务描述】
          【任务实施】
        任务7.3  使用Hive进行数据建仓

          【任务描述】
          【知识链接】
          7.3.1  HQL的数据类型
          7.3.2  HQL的数据定义语言
          7.3.3  HQL的数据操作语言
          【任务实施】
      任务小结
      课后习题
      相关阅读——数据库泄露
    工作任务8  数据分析
      任务概述
      学习目标
      预备知识——数据分析概述
        任务8.1  查询某年全年电影数据
          【任务描述】
          【知识链接】
          8.1.1  Hive数据导出
          8.1.2  Hive查询
          【任务实施】
        任务8.2  统计周平均票房
          【任务描述】
          【知识链接】
          【任务实施】
        任务8.3  统计北京和上海某年一季度票房收入
          【任务描述】
          【任务实施】
      任务小结
      课后习题
      相关阅读——诚信意识
    工作任务9  数据迁移
      任务概述
      学习目标
      预备知识——数据迁移概述
        任务9.1  安装和配置Sqoop
          【任务描述】
          【知识链接】
          【任务实施】
        任务9.2  迁移清洗后的电影数据
          【任务描述】
          【知识链接】
          9.2.1  导入数据
          9.2.2  导出数据
          【任务实施】
        任务9.3  迁移日平均票房数据
          【任务描述】
          【任务实施】
        任务9.4  迁移周平均票房数据
          【任务描述】
          【任务实施】
        任务9.5  迁移北京和上海某年一季度票房数据

          【任务描述】
          【任务实施】
      任务小结
      课后习题
      相关阅读——删库事件
    工作任务10  数据可视化
      任务概述
      学习目标
      预备知识——数据可视化概述
        任务10.1  使用Spring Boot搭建Web系统
          【任务描述】
          【任务实施】
        任务10.2  显示全部电影数据
          【任务描述】
          【任务实施】
        任务10.3  使用柱状图显示电影的日平均票房
          【任务描述】
          【任务实施】
        任务10.4  使用饼图显示电影的周平均票房
          【任务描述】
          【任务实施】
        任务10.5  使用折线图显示北京和上海某年一季度电影票房走势
          【任务描述】
          【任务实施】
      任务小结
      课后习题
      相关阅读——中华人民共和国2022年国民经济和社会发展统计公报