本文会使用urllib3抓取猫眼电影Top100榜单,读者使用下面的URL进入Top100榜单页面。
https://maoyan.com/board/4
Top100榜单页面如图1所示。
从Top100榜单页面可以看出,每一页有10部电影,共10页,一共100部电影。页面下方是导航,用于切换1至10个页面。这个爬虫的目的就是抓取这100部电影的信息(如电影封面图像的URL、电影名称、演员列表、评分、上映时间等),然后将这些数据以JSON格式保存到名为board.txt的文本文件中。