本书介绍了爬虫方面更深入的知识。书中首先回顾了爬虫的基础知识；然后详细介绍爬虫常用工具与库的相关知识；接着学习Redis，为后面的学习打下基础；然后讨论了Redis在分布式爬虫中的作用以及分布式爬虫的原理、分类与实现方法；再进一步学习增量爬取的原理与实现方法；然后通过学习网页文本抽取方法和智能抽取方法实现了大规模、多网站的数据爬取；在部署方面通过了解、剖析成熟稳定的爬虫部署平台Scrapyd，并根据实际业务需求重新构建了一套兼容性更强的爬虫部署平台；最后学习了Python中常用的几个任务调度库与框架，通过了解Celery逻辑与结构，我们掌握了调度相关的知识，并根据实际业务需求构建了一套支持动态任务增删的任务调度平台。