Python爬虫编程思想(150):使用Scrapy抓取数据,并将抓取到的数据保存为多种格式的文件
蒙娜丽宁 于 2022-06-12 21: 2022-6-12 21:54:57 Author: blog.csdn.net(查看原文) 阅读量:9 收藏

蒙娜丽宁 于 2022-06-12 21:54:57 发布 785 收藏

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

153 篇文章 24 订阅 ¥29.90 ¥99.00

        parse方法的返回值会被传给Item Pipeline,并由相应的Item Pipeline将数据保存成相应格式的文件。parse方法必须返回Item类型的数据。也就是说,parse方法的返回值类型必须是scrapy.Item或其scrapy.Item的子类。在该类中会定义与要保存的数据对应的属性。

        下面的例子首先会定义一个Item类,在该类中会定义title、href和abstract三个属性,然后在parse方法中返回Item类的实例,并设置这3个属性的值。最后在运行网络爬虫时会通过“-o”命令行参数指定保存的文件类型(通过扩展名指定),成功运行后,就会将抓取到的数据保存到指定的文件中。

        首先要在items.py脚本文件中编写一个Item类,在创建Scrapy工程时,items.py脚本文件中已经有了一个MyscrapyItem类了,我们可以直接利用这个类。

import scrapy
class MyscrapyItem(scrapy.Item):
    # 每一个要保存的属性都必须是Field类的实例
    title = scrapy.Field()
    href = scrapy.Field()
    abstract = scrapy.Field()

文章来源: https://blog.csdn.net/nokiaguy/article/details/125250642
如有侵权请联系:admin#unsafe.sh