Python爬虫编程思想(146):创建和使用Scrapy工程
蒙娜丽宁 已于 2022-05-15 12 2022-5-15 08:56:45 Author: blog.csdn.net(查看原文) 阅读量:13 收藏

蒙娜丽宁 已于 2022-05-15 12:18:05 修改 1249 收藏

于 2022-05-15 08:56:45 首次发布

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

153 篇文章 24 订阅 ¥29.90 ¥99.00

        Scrapy框架提供了一个scrapy命令用来建立Scrapy工程,可以使用下面的命令建立一个名为myscrapy是Scrapy工程。

scrapy startproject myscrapy

        执行上面的命令后,会在当前目录下创建一个myscrapy子目录。在myscrapy目录中还有一个myscrapy子目录,在该目录中有一堆子目录和文件,这些目录和文件就对应了图19-1所示的各部分。例如,spiders目录就对应了网络爬虫,其他的目录和文件先不用管。因为使用Scrapy框架编写网络爬虫的主要工作就是编写Spider。所有的Spider脚本文件都要放到spiders目录中。

        下面的例子会在spiders目录中建立一个firstSpider.py脚本文件,这是一个Spider程序,在该程序中会指定要抓取的Web资源的Url。

import scrapy
class Test1Spider(scrapy.Spider):
    # Spider的名称,需要该名称启动Scrapy
name = 'FirstSpider'
# 指定要抓取的Web资源的Url
    start_urls = [
        '京

文章来源: https://blog.csdn.net/nokiaguy/article/details/124778211
如有侵权请联系:admin#unsafe.sh