Python爬取豆瓣电影动态数据

之前我们使用爬虫只是模拟浏览器发送一条url请求,就可以爬取网站的页面。然而很多网站的数据是通过Ajax动态发送的,即在不改变url的基础之上加载页面信息。

我们以豆瓣电影排行榜为例:

如果请求这个url是得不到任何信息的,因此我们要抓包的到动态的url。

当我们向下滑动页面,就会加载出更多的科幻电影,而网页的url并没有发生变化。

Response里面获得一个响应值,放到json解析工具解析出来是一个列表数据类型,里面嵌套了字典。

image

将请求参数转化为字典键值对:

最后利用for循环遍历,得到电影的详细信息。

相关视频

你可能感兴趣的:(Python爬取豆瓣电影动态数据)