===================================

一、免杀效果

本书介绍Python网络爬虫开发从业者应掌握的基础技能。本书以网络爬虫为核心，涉及大大小小数十个能力体系。本书的前半部分介绍爬虫开发的基础知识，包括爬虫开发必备的环境搭建方法、开发中常用工具的使用方法和技巧、网页的构成原理和网页信息提取的方法、常用数据库的使用方法和应用场景，如通过Redis内置的布隆过滤器实现大规模URL地址的去重任务。本书的后半部分主要讲解网络爬虫开发所需的必要能力，包括网络通信的底层原理、背后涉及的互联网协议标准及如何对这些协议进行分析并加以利用，使用Docker部署网络爬虫所需的环境和爬虫项目的打包部署，使用网络爬虫的核心请求库实现与服务器端和客户端的通信和交互，使用自动化神器Selenium对复杂的爬虫需求进行快速实现，以及网络爬虫的多任务开发，重点是通过多线程和多进程来提高爬虫效率。