[原]Python爬虫编程思想(90):分析异步装载页面返回的json数据
2021-12-01 23:14:50 Author: blog.csdn.net(查看原文) 阅读量:12 收藏

蒙娜丽宁 2021-12-01 22:14:50 3 收藏

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

92 篇文章 4 订阅 ¥29.90 ¥99.00

        在上一篇文章中知道了异步请求的URL,就可以通过requests等网络库通过URL抓取数据,不过返回的数据格式不是HTML,也不是XML,而是JSON。所以不能使用XPath和CSS选择器处理,而是使用json模块中的loads函数将字符串形式的JSON转换为Python字典。

        下面的例子使用requests库访问了页面异步访问的URL,并将返回数据转换为Python字典,最后输出了返回的所有视频课程名称。

import requests
import json
from lxml import etree
result = requests.get('http://localhost:1234/data')
# 由于返回的数据包含中文(unicode编码),所以需要将其转码
text = result.text.encode('utf-8').decode('unicode-escape')
print(text)
# 将字符串形式的JSON转换为Python字典
data = json.loads(text)
print('个数:',len(data))
# 输出返回的所有视频课程名称
for value in data:
    print(value['name'])

文章来源: https://blog.csdn.net/nokiaguy/article/details/121666243
如有侵权请联系:admin#unsafe.sh