-
内容大纲
贺思聪编著的《爬虫实战(从数据到产品)》从多个数据项目实例出发,介绍爬虫、反爬虫的各种案例,使读者了解到数据抓取和分析的完整过程。书中案例的难度由浅入深,以作者原创的代码为主,不借助现成的框架,强调在数据采集过程中的发散思维,总结攻克反爬虫的思维模式,实现以低成本的方式得到想要的数据的愿望。最后,用一个“爱飞狗”的例子,为读者展示如何从0到1地开发一个大数据产品。 -
作者介绍
贺思聪,毕业于电子科技大学,在ThoughtWorks任高级咨询师,担任海外交付团队技术负责人、架构师。 具有十余年产品研发经验,涉及澳洲矿业相关数字产品研发、保险业网站技术架构、光网络设备软件研发、医疗AR/VR、机械控制、加工仿真模拟等领域。 精通大规模重构实践、测试驱动开发,熟悉微服务架构及架构实践,熟悉敏捷项目开发管理流程和相关实践,具有丰富的敏捷团队管理经验。 -
目录
第1章 基础知识
1.1 什么是爬虫
1.2 数据获取渠道
1.3 抓包分析工具
1.4 爬虫和反爬虫的斗争
1.5 数据处理、分析和可视化
1.6 延深阅读
第2章 基于位置信息的爬虫Ⅰ
2.1 背景及目标
2.2 爬虫原理
2.3 数据来源分析
2.4 简单的矩形区域爬取方式
2.5 高级区域爬取方式
2.6 坐标转换
2.7 存储数据的方式
2.8 数据导入
2.9 基本数据分析
2.10 地图可视化
2.11 轨迹可视化
2.12 总结
第3章 基于位置信息的爬虫Ⅱ
3.1 背景及目标
3.2 爬虫原理
3.3 优化方案一
3.4 优化方案二
3.5 优化方案三
3.6 导入数据到数据库
3.7 基本数据分析及可视化
3.8 总结
第4章 网站信息爬取及可视化
4.1 背景及目标
4.2 网站API分析
4.3 数据爬取
4.4 数据导入
4.5 数据分析及可视化
4.6 总结
第5章 基于逆向分析小程序的爬虫
5.1 背景及目标
5.2 数据来源分析
5.3 数据爬取方案
5.4 转换数据格式
5.5 总结
第6章 从数据到产品
6.1 从一张机票说起
6.2 从价值探索到交付落地
6.3 数据爬取
6.4 爬虫架构设计
6.5 发现数据的价值
6.6 创新的不确定性
6.7 产品设计
6.8 产品交付
6.9 总结
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...