[
-
内容大纲
网络爬虫是一种按照一定的规则，自动请求万维网网站并采集网页数据的程序或脚本。它可以代替人进行信息采集，能够自动采集并高效利用互联网中的数据，因此在市场的应用需求中占据重要位置。
本书以Windows为主要开发平台，系统、全面地讲解Python网络爬虫的相关知识。本书的主要内容包括认识网络爬虫、网页请求原理、抓取静态网页数据、解析网页数据、抓取动态网页数据、提升网络爬虫速度、存储数据、验证码识别、初识网络爬虫框架Scrapy、Scrapy核心组件与CrawlSpider类、分布式网络爬虫Scrapy-Redis。
本书既可作为高等教育本、专科院校计算机相关专业的教材，也可作为Python网络爬虫爱好者的自学参考书。 -
作者介绍
-
目录
第1章 认识网络爬虫
学习目标
1.1 什么是网络爬虫
1.2 网络爬虫的应用场景
1.3 网络爬虫合法性探究
1.3.1 Robots协议
1.3.2 防爬虫应对策略
1.4 网络爬虫的工作原理和流程
1.4.1 网络爬虫的工作原理
1.4.2 网络爬虫抓取网页的流程
1.5 网络爬虫实现技术探究
1.5.1 网络爬虫的实现技术
1.5.2 使用Python实现网络爬虫的流程
1.6 AI赋能网络爬虫
1.6.1 AIGC工具的安装与使用
1.6.2 使用AIGC工具快速实现网络爬虫
1.7 本章小结
1.8 习题
第2章 网页请求原理
学习目标
2.1 浏览器加载网页的完整过程
2.2 HTTP基础
2.2.1 URL简介
2.2.2 HTTP和HTTPS
2.2.3 HTTP请求的格式
2.2.4 HTTP响应的格式
2.3 网页基础
2.3.1 网页开发技术
2.3.2 网页的结构
2.3.3 网页的分类
2.3.4 网页数据的格式
2.4 HTTP抓包工具——Fiddler
2.4.1 Fiddler的工作原理
2.4.2 Fiddler的下载与安装
2.4.3 Fiddler工作界面详解
2.4.4 Fiddler捕获HTTPS会话的设置
2.4.5 Fiddler的基本使用
2.5 浏览器开发者工具
2.6 本章小结
2.7 习题
第3章 抓取静态网页数据
学习目标
3.1 抓取静态网页的技术
3.2 发送基本请求
3.2.1 发送GET请求
3.2.2 发送POST请求
3.2.3 处理响应
3.3 处理复杂请求
3.3.1 定制请求头
3.3.2 验证Cookie
3.3.3 保持会话
3.3.4 SSL证书验证
3.4 设置代理服务器
3.4.1 代理服务器简介
3.4.2 设置代理服务器的步骤
3.4.3 检测代理IP地址的有效性
3.5 处理异常
3.6 实践项目：抓取黑马程序员社区中的论坛的数据
【项目目标】
【项目分析】
【项目实现】
3.7 本章小结
3.8 习题
第4章 解析网页数据
学习目标
4.1 解析网页数据的技术
4.2 正则表达式与re模块
4.2.1 正则表达式的语法
4.2.2 re模块的使用
4.3 XPath与lxml库
4.3.1 XPath简介
4.3.2 XPath语法
4.3.3 XPath开发工具
4.3.4 lxml库的核心类
4.4 Beautiful Soup库
4.4.1 Beautiful Soup简介
4.4.2 创建BeautifulSoup类的对象
4.4.3 通过查找方法选取节点
4.4.4 通过CSS选择器选取节点
4.5 JSONPath与jsonpath模块
4.5.1 JSONPath语法
4.5.2 jsonpath模块的使用
4.6 实践项目：采集黑马程序员社区中的论坛帖子的详细信息
【项目目标】
【项目分析】
【项目实现】
4.7 本章小结
4.8 习题
第5章 抓取动态网页数据
学习目标
5.1 抓取动态网页的技术
5.2 Selenium和WebDriver的安装与配置
5.3 Selenium的基本使用
5.3.1 WebDriver类的常用属性和方法
5.3.2 定位元素
5.3.3 鼠标操作
5.3.4 下拉列表框操作
5.3.5 弹出框处理
5.3.6 窗口切换
5.3.7 页面等待
5.4 实践项目：采集集信达平台的短信服务日志信息
【项目目标】
【项目分析】
【项目实现】
5.5 本章小结
5.6 习题
第6章 提升网络爬虫速度
学习目标
6.1 网络爬虫速度提升方案
6.2 多线程爬虫
6.2.1 多线程爬虫的运行流程
6.2.2 多线程爬虫的实现技术
6.2.3 多线程爬虫基本示例
6.2.4 多线程爬虫性能分析
6.3 协程爬虫
6.3.1 协程爬虫的运行流程
6.3.2 协程爬虫的实现技术
6.3.3 协程爬虫基本示例
6.3.4 协程爬虫性能分析
6.4 实践项目：采集黑马头条的评论列表
【项目目标】
【项目分析】
【项目实现】
6.5 本章小结
6.6 习题
第7章 存储数据
学习目标
7.1 数据存储的方式
7.2 存储至MongoDB数据库
7.2.1 下载与安装MongoDB
7.2.2 使用Python操作MongoDB
7.3 存储至Redis数据库
7.3.1 下载与安装Redis
7.3.2 使用Python操作Redis
7.3.3 Redis桌面管理工具
7.4 实践项目：采集小兔鲜儿网的商品信息
【项目目标】
【项目分析】
【项目实现】
7.5 本章小结
7.6 习题
第8章 验证码识别
学习目标
8.1 字符验证码的识别
8.2 滑动拼图验证码的识别
8.3 点选验证码的识别
8.4 实践项目：识别滑动拼图验证码并登录黑马头条后台管理系统
【项目目标】
【项目分析】
【项目实现】
8.5 本章小结
8.6 习题
第9章 初识网络爬虫框架Scrapy
学习目标
9.1 Scrapy框架简介
9.2 Scrapy框架的架构
9.3 Scrapy框架的运作流程
9.4 Scrapy框架的安装
9.5 Scrapy框架的基本操作
9.5.1 新建Scrapy项目
9.5.2 明确采集目标
9.5.3 制作爬虫
9.5.4 永久存储数据
9.6 实践项目：采集黑马程序员视频库的视频信息
【项目目标】
【项目分析】
【项目实现】
9.7 本章小结
9.8 习题
第10章 Scrapy核心组件与CrawlSpider类
学习目标
10.1 Spiders组件
10.2 Item Pipeline组件
10.3 Downloader Middlewares中间件
10.3.1 内置下载中间件
10.3.2 自定义下载中间件
10.3.3 激活下载中间件
10.4 Settings组件
10.5 CrawlSpider类
10.5.1 CrawlSpider类简介
10.5.2 CrawlSpider类的工作原理
10.5.3 通过Rule类决定抓取规则
10.5.4 通过LinkExtractor类提取链接
10.6 实践项目：采集黑马程序员视频库的公开课信息
【项目目标】
【项目分析】
【项目实现】
10.7 本章小结
10.8 习题
第11章 分布式网络爬虫Scrapy-Redis
学习目标
11.1 分布式网络爬虫简介
11.2 Scrapy-Redis的架构
11.3 Scrapy-Redis的运作流程
11.4 Scrapy-Redis的开发准备
11.4.1 安装Scrapy-Redis
11.4.2 修改配置文件
11.4.3 测试远程连接
11.5 Scrapy-Redis的基本操作
11.5.1 新建Scrapy-Redis项目
11.5.2 明确采集目标
11.5.3 制作爬虫
11.5.4 运行爬虫
11.5.5 使用管道存储数据
11.6 实践项目：基于分布式网络爬虫采集公开课信息
【项目目标】
【项目分析】
【项目实现】
11.7 本章小结
11.8 习题
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔，龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年，恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...