网络爬虫的重点之一是网络爬虫框架, 因此本书首先重点介绍网络爬虫的常见框架, 再结合网络爬虫框架的相关案例, 包括PySpider网络爬虫框架的安装和使用, Scrapy网络爬虫框架的安装和使用, 以及Scrapy网络爬虫管理与部署。另外, 本书基于Python网络爬虫开发需要请求库、Scrapy解析库、存储库、XPath的配合, 还介绍了requests库、正则表达式、XPath等的使用方法, 还重点讲解这些库的实际应用。本书以Python网络爬虫为主线, 兼顾理论与实战, 全面介绍可操作的Python环境与系统开发相关知识, 以及大数据算法、大数据分析、大数据系统互补的作用。