Python爬虫编程思想(157):使用Scrapy从CSV格式转换到JSON格式
蒙娜丽宁 于 2022-08-14 19: 2022-8-14 19:20:41 Author: blog.csdn.net(查看原文) 阅读量:19 收藏

蒙娜丽宁 于 2022-08-14 19:20:41 发布 13 收藏

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

161 篇文章 25 订阅 ¥29.90 ¥99.00

        通过scrapy框架编写的爬虫很容易进行格式转换,本节将利用爬虫将CSV格式的文件转换为JSON格式的文件。转换的基本原理是将CSV格式的文件作为数据源来读取,然后在parse方法中将CSV文件中的数据通过Item转换为指定的格式,如JSON格式。

        本例会使用BookSpider爬虫从京东商城下载图书信息,并保存为CSV文件格式,然后使用ToJSONSpider爬虫将CSV格式的文件转换为JSON格式的文件。

        下面先编写一个名为BookSpider的爬虫,用于从京东商城抓取图书信息(ISBN、出版社、图书名称和产品ID),并将这些信息保存在books.csv文件中。

import scrapy
from myscrapy.items import NewBookItem
from scrapy.conf import settings
import re
class BookSpider(scrapy.Spider):
    name = 'BookSpider'
    # 设置并发请求为100,也就是说,最多同时可以有100个线程抓取页面
    settings.set('CONCURRENT_REQUESTS',100)
    # 向服务端(京东商城)发送包含图书信息的页面的请求,处理该页面返回信息的

文章来源: https://blog.csdn.net/nokiaguy/article/details/126335100
如有侵权请联系:admin#unsafe.sh