python爬网站数据实例-python requests爬取高德地图数据的实例

如下所示：

1.pip install requests

2.pip install lxml

3.pip install xlsxwriter

import requests #想要爬必须引

from lxml import html #这个是用于页面爬取

import xlsxwriter#操作Excel表格库

workbook = xlsxwriter.Workbook('E:/test/test.xlsx')# 新建的Excel表格文档路径

worksheet = workbook.add_worksheet() # 建立sheet， 可以work.add_worksheet('employee')来指定sheet名，但中文名会报UnicodeDecodeErro的错误

i = 1;# 作用于Excel表格第几行数与接口第几页

#写一个死循环让他一直爬取数据

while (True):

import json# 这里这么引入json是因为不这么引入当循环到第二次就会报没有引入json的错，所以循环引入了

#接口str(i)表示第几页一定要转为字符串格式，要不会报不是字符串的错

url = "https://www.amap.com/service/poiInfo?query_type=TQUERY&pagesize=20&pagenum="+str(i)+"&qii=true&cluster_state=5&need_utd=true&utd_sceneid=1000&div=PC1000&addr_poi_merge=true&is_classify=true&zoom=14.81&ci