-
内容大纲
随着大数据时代到来,网络信息量也变得更多更大,基于传统搜索引擎的局限性,网络爬虫应运而生。范传辉编著的《Python爬虫开发与项目实战》从基本的爬虫原理开始讲解,通过介绍Pthvon编程语言和Web前端基础知识引领读者入门,之后介绍动态爬虫原理以及Scrapy爬虫框架,最后介绍大规模数据下分布式爬虫的设计以及PySpider爬虫框架等。
本书主要特点:
·由浅入深,从Pvthon和Web前端基础开始讲起,逐步加深难度,层层递进。
·内容详实,从静态网站到动态网站,从单机爬虫到分布式爬虫,既包含基础知识点,又讲解了关键问题和难点分析,方便读者完成进阶。
·实用性强,本书共有9个爬虫项目,以系统的实战项目为驱动,由浅及深地讲解爬虫开发中所需的知识和技能。
·难点详析,对js加密的分析、反爬虫措施的突破、去重方案的设计、分布式爬虫的开发进行了细致的讲解。 -
作者介绍
范传辉 资深网虫,Python开发者,参与开发了多项网络应用,在实际开发中积累了丰富的实战经验,并善于总结,贡献的多篇技术文章广受好评。研究兴趣包括网络安全、爬虫技术、数据分析、驱动开发等技术。 -
目录
前言
基础篇
第1章 回顾Python编程
1.1 安装Python
1.1.1 Windows上安装Python
1.1.2 Ubuntu上的Python
1.2 搭建开发环境
1.2.1 Eclipse+PyDev
1.2.2 PyCharm
1.3 IO编程
1.3.1 文件读写
1.3.2 操作文件和目录
1.3.3 序列化操作
1.4 进程和线程
1.4.1 多进程
1.4.2 多线程
1.4.3 协程
1.4.4 分布式进程
1.5 网络编程
1.5.1 TCP编程
1.5.2 UDP编程
1.6 小结
第2章 Web前端基础
2.1 W3C标准
2.1.1 HTML
2.1.2 CSS
2.1.3 JavaScript
2.1.4 XPath
2.1.5 JSON
2.2 HTTP标准
2.2.1 HTTP请求过程
2.2.2 HTTP状态码含义
2.2.3 HTTP头部信息
2.2.4 Cookie状态管理
2.2.5 HTTP请求方式
2.3 小结
第3章 初识网络爬虫
3.1 网络爬虫概述
3.1.1 网络爬虫及其应用
3.1.2 网络爬虫结构
……
第4章 HTML解析大法
第5章 数据存储(无数据库版)
第6章 实战项目:基础爬虫
第7章 实战项目:简单分布式爬虫
中级篇
第8章 数据存储(数据库版)
第9章 动态网站抓取
第10章 Web端协议分析
第11章 终端协议分析
第12章 初窥Scrapy爬虫框架
第13章 深入Scrapy爬虫框架
第14章 实战项目:Scrapy爬虫
深入篇
第15章 增量式爬虫
第16章 分布式爬虫与Scrapy
第17章 实战项目:Scrapy分布式爬虫
第18章 人性化PySpider爬虫框架
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...