-
内容大纲
本书介绍了如何使用Python来编写网络爬虫程序,内容包括网络爬虫简介、发送请求、提取数据、使用多个线程和进程进行并发抓取、抓取动态页面中的内容、与表单进行交互、处理页面中的验证码问题及使用Scrapy和分布式进行数据抓取,并在最后介绍了使用本书讲解的数据抓取技术对几个真实的网站进行抓取的实例,旨在帮助读者活学活用书中介绍的技术。
本书提供了与图书内容全程同步的教学录像。此外,还赠送了大量相关学习资料,以便读者扩展学习。
本书适合任何想学习Python爬虫的读者,无论您是否从事计算机相关专业,是否接触过Python,均可以通过学习本书快速掌握Python爬虫的开发方法和技巧。 -
作者介绍
史卫亚,理学博士,副教授,电气和电子工程师协会(IEEE)会员,中国计算机协会(CCF)会员。2009年获得复旦大学计算机应用专业博士学位。2015—2016年在美国北卡罗来纳大学做访问学者,现执教于河南工业大学信息科学与工程学院。主要研究方向为机器学习、数据库、图像和视频处理、人工智能和模式识别等。先后在国内外核心期刊及国际会议上发表论文30多篇,其中SCI论文5篇,EI论文12篇。参加多项国家自然基金、河南省科技攻关项目,并作为主持人参与开发国内某上市燃气企业收费系统、用户管理系统、地理信息系统等多个应用项目。 -
目录
第1章 爬虫基础
1.1 认识爬虫
1.1.1 大数据时代获取数据的方式
1.1.2 爬虫的分类
1.2 Python环境
1.2.1 Python的安装
1.2.2 PVCharm的安装
1.3 Python语法
1.3.1 变量
1.3.2 逻辑控制
1.3.3 集合容器
1.3.4 字符串
1.3.5 函数
1.3.6 文件操作
1.3.7 面向对象
1.3.8 类库
1.4 网页结构
1.4.1 HTML
1.4.2 CSS
1.4.3 JavaScriot
1.4.4 JQuey
1.5 HTTP协议
1.5.1 HTTP请求
1.5.2 HTTP响应
1.5.3 常见的请求头
1.5.4 常见的响应头
1.5.5 HTTP和HTTPS
1.5.6 抓包工具Fiddler
1.6 本章小结
1.7 实战练习
第2章 开始爬虫
2.1 Urllib模块
2.2 requests模块
2.2.1 安装
2.2.2 快速开始
2.2.3 高级用法
2.2.4 认证
2.3 re模块
2.3.1 正则表达式的语法
2.3.2 模块内容
2.4 项目案例:爬百度贴吧
2.4.1 分析网站
2.4.2 开始爬取
2.5 本章小结
2.6 实战练习
第3章 更多数据提取的方式
3.1 Xpath和Uxml
3.1.1 XML
3.1.2 Xpath
3.1.3 LXml
3.2 BeautlfulSOup4
3.2.1 安装
3.2.2 使用
3.3 JsonPath
3.3.1 安装
3.3.2 使用
3.4 性能和选择
3.5 项目案例:爬腾讯招聘网
3.5.1 分析网站
3.5.2 开始爬取
第4章 并发
第5章 数据存储
第6章 Ajax数据爬取
第7章 动态渲染页面爬取
第8章 图形验证码识别
第9章 模拟登录
第10章 代理IP的使用
第11章 Scrapy框架
第12章 项目案例:爬校花网信息
第13章 项目案例:爬北京地区短租房信息
第14章 项目案例:爬简书专题信息
第15章 项目案例:爬QQ音乐歌曲
第16章 项目案例:爬百度翻译
第17章 项目案例:爬百度地图API
第18章 项目案例:爬360图片
第19章 项目案例:爬当当网
第20章 项目案例:爬唯品会
第21章 项目案例:爬智联招聘
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...