python爬虫（爬取豆瓣电影详情数据）

打开豆瓣电影
F12抓包工具分析AJax请求
以喜剧片为例，得到URL和使用GET方法

还有其URL参数

返回为json类型

实现结果如图：

代码如下：

import requests
import json
#UA伪装
headers={
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'

}
#指定URL
url = 'https://movie.douban.com/j/chart/top_list'
#对URL参数进行封装
params = {
    'type':'24',
    'interval_id':'100:90',
    'action':'',
    'start':'0',#从库中的第几部电影取
    'limit':'20',#一次取出的电影书目
}
#发起请求
response = requests.get(url=url,params=params,headers=headers)
#获取响应数据
list_data = response.json()#返回一个json类型
#持久化存储
fp = open('./douban.json','w',encoding='utf-8')
json.dump(list_data,fp=fp,ensure_ascii=False)
print("Over")