[
-
内容大纲
本书主要介绍Python爬虫编写的基础知识，以及对爬虫数据的存储、深入处理和分析。全书分为四部分：第一部分为爬虫基础篇，第二部分为实战基础篇（9个案例），第三部分为框架应用篇（5个案例），第四部分为爬虫应用场景及数据处理篇（6个案例）。
本书由浅入深地介绍爬虫常用的方法和工具，以及对爬虫数据处理的应用和实现。但需要注意的是，爬虫的技术栈不仅包含这几部分，而且在实际工作中的细分方法也不尽相同。本书只是对目前爬虫技术中最为常用的一些知识点用案例的形式进行了分类和讲解，而更多的应用也值得读者在掌握一定的基础技能后进一步探索。
本书适合Python语言初学者、网络爬虫技术爱好者、数据分析从业人士以及高等学校计算机科学、软件工程等相关专业的师生阅读。 -
作者介绍
-
目录
第一部分 爬虫基础篇
第1章 Python网络爬虫基础
1.1 HTTP、HTML与JavaScript
1.1.1 HTTP
1.1.2 HTML
1.1.3 JavaScript
1.2 Requests的使用
1.2.1 Requests简介
1.2.2 使用Requests编写爬虫程序
1.3 常见的网页解析工具
1.3.1 BeautifulSoup
1.3.2 XPath与lxml
1.4 Scrapy框架与Selenium
1.4.1 爬虫框架：Scrapy
1.4.2 模拟浏览器：Selenium
1.5 本章小结
第二部分 实战基础篇
第2章 爬取某游戏Top100选手信息
2.1 JavaScript对象与JSON
2.2 爬取方案分析
2.2.1 方案一
2.2.2 方案二
2.3 本章小结
第3章 爬取豆瓣电影简介
3.1 确定信息源
3.2 获取网页信息
3.3 解析信息内容
3.4 批量爬取网页信息
3.5 本章小结
第4章 爬取源代码练习评测结果
4.1 网站分析
4.2 编写爬虫
4.3 运行并查看结果
4.4 本章小结
第5章 爬取网络中的小说和购物评论
5.1 下载网络小说
5.1.1 分析网页
5.1.2 编写爬虫
5.1.3 运行并查看TXT文件
5.2 下载购物评论
5.2.1 查看网络数据
5.2.2 编写爬虫
5.2.3 数据下载结果与爬虫分析
5.3 本章小结
第6章 爬取新浪财经股票资讯
6.1 编写爬虫
6.2 运行并查看结果
6.3 展示网页
6.4 本章小结
第7章 爬取豆瓣电影海报
7.1 豆瓣网站分析与爬虫设计
7.1.1 从需求出发
7.1.2 处理登录问题
7.2 编写爬虫
7.2.1 爬虫脚本
7.2.2 程序分析
7.3 运行并查看结果
7.4 本章小结
第8章 爬取免费IP代理项目
8.1 代理服务器的分类
8.2 网站分析
8.3 编写爬虫
8.4 运行并查看结果
8.5 本章小结
第9章 爬取微信群聊成员信息
9.1 用Selenium爬取Web端微信信息
9.2 基于Python的微信API工具
9.3 爬虫的部署和管理
9.3.1 配置远程主机
9.3.2 编写本地爬虫
9.3.3 部署爬虫
9.3.4 查看运行结果
9.3.5 使用爬虫管理框架
9.4 本章小结
第10章 爬取网易跟帖
10.1 网页自动化工具的简介
10.2 分析网页
10.3 编写爬虫
10.4 运行并通过MongoDB查看数据
10.5 本章小结
第三部分 框架应用篇
第11章 爬取机场航班信息
11.1 分析网页
11.2 编写爬虫
11.3 爬虫的使用说明
11.4 本章小结
第12章 爬取拼多多商品的评论数据
12.1 分析网页
12.2 环境搭建
12.3 编写爬虫
12.4 运行并查看数据库MongoDB
12.5 本章小结
第13章 使用爬虫框架Gain和PySpider
13.1 Gain框架
13.2 使用Gain做简单爬取
13.3 PySpider框架
13.4 使用PySpider进行爬取
13.5 本章小结
第14章 爬取新浪新闻并通过客户端展示
14.1 项目分析
14.2 创建数据库
14.3 设置页面下载器
14.4 生产者-消费者模型
14.5 客户端界面设计
14.6 本章小结
第15章 爬取某机场航班出发时间数据
15.1 程序设计
15.1.1 分析网页
15.1.2 将数据保存到数据库
15.2 编写爬虫
15.2.1 前置准备
15.2.2 代码编写
15.2.3 运行并查看数据库中的结果
15.3 本章小结
第四部分 爬虫应用场景及数据处理篇
第16章 用爬虫和Flask搭建新闻接口服务
16.1 编写爬虫
16.1.1 爬取数据源网页
16.1.2 搭建Flask服务
16.1.3 程序代码详情
16.2 本章小结
第17章 网易云音乐评论内容的爬取与分析
17.1 jieba库
17.2 WordCloud库
17.3 网页分析
17.4 编写爬虫
17.5 运行结果
17.6 本章小结
第18章 爬取二手房数据并绘制热力图
18.1 数据爬取
18.1.1 分析网页
18.1.2 地址转换成经纬度
18.1.3 编写爬虫
18.1.4 数据下载结果
18.2 绘制热力图
18.3 本章小结
第19章 用爬虫数据搭建附近二手房价格搜索引擎
19.1 编写爬虫
19.1.1 准备数据
19.1.2 安装以及使用ES
19.1.3 实现房价地理位置坐标搜索的搜索引擎
19.2 本章小结
第20章 爬取豆瓣电影影评并简单分析数据
20.1 需求分析与爬虫设计
20.1.1 网页分析
20.1.2 函数设计
20.2 编写爬虫
20.2.1 编写程序
20.2.2 可能的改进
20.3 本章小结
第21章 爬取用户影评数据并通过推荐算法推荐电影
21.1 明确目标与数据准备
21.1.1 明确目标
21.1.2 数据采集与处理
21.1.3 工具选择
21.2 初步分析
21.2.1 用户角度分析
21.2.2 电影角度分析
21.3 用推荐算法实现电影推荐
21.4 本章小结
参考文献
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔，龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年，恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...