[原]Python爬虫编程思想(36):项目实战-抓取斗破小说网的目录和全文
2021-09-29 09:56:19 Author: blog.csdn.net(查看原文) 阅读量:40 收藏

        到现在为止我们已经学习了3个Python网络库(urllib、urllib3和requests),以及通过正则表达式过滤字符串。现在该来点实战了。本节以及后面2节会给出3个案例,分别使用urllib、urllib3以及requests,并通过正则表达式抓取Web数据,这些数据或者显示在Console中,或者保存到文本文件中。

        本文要实现的案例是通过urllib库抓取斗破小说网(http://www.doupoxs.com)上指定的小说的目录和每一节的完整内容(只保留纯文本内容)。当抓取包含目录和小说内容的页面后,会通过正则表达式分析HTML代码,并提取出目录标题、对应的URL以及文本形式的小说内容。

        现在进入斗破小说网,选择一篇小说,本节选择了http://www.doupoxs.com/nalanwudi,目录页面如图1所示。


文章来源: https://blog.csdn.net/nokiaguy/article/details/120541383
如有侵权请联系:admin#unsafe.sh