[
-
内容大纲
考虑到目前大数据产业的发展趋势，本书综合了现有的数据采集和预处理技术，按照实际工作中的顺序，先介绍了大数据及数据采集的基础知识，然后介绍了使用爬虫技术进行数据采集、使用传感器进行数据采集、使用Kettle进行数据迁移和采集以及使用Python进行数据存储和处理，并以实训项目的形式，将技术与理论有机融为一体。本书内容详实、通俗易懂，贴近实用，同时配以课后习题加强学习效果。
本书适合作为职业院校大数据技术、软件技术、物联网应用技术等相关专业的教材，也可作为大数据技术培训以及自学大数据技术的相关人员的参考用书。 -
作者介绍
-
目录
前言
基础知识
一、大数据概念
二、数据采集技术
三、数据预处理技术
习题
项目1 使用爬虫技术进行数据采集
任务1 爬取静态页面数据
任务2 使用Scrapy框架爬取动态数据
任务3 使用Nutch爬取数据
小结
习题
项目2 使用传感器进行数据采集
任务1 利用传感器采集农业数据
任务2 利用传感器智能生产
小结
习题
项目3 使用Kettle进行数据迁移和采集
任务1 使用Kettle工具进行数据迁移
任务2 利用Kettle建立作业，定时执行转换
小结
习题
项目4 使用Python进行数据存储
任务1 利用列表、元组、集合与字典进行数据存储
任务2 利用Numpy数组对象进行数据存储
任务3 利用Series与DataFrame进行数据存储
任务4 读写不同数据源数据
任务5 合并数据
小结
习题
项目5 使用Python进行数据处理
任务1 数据清洗
任务2 数据标准化
任务3 分组与聚合
任务4 透视表与交叉表
任务5 哑变量
小结
习题
参考文献
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔，龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年，恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...