美团爬虫总结
寄了
难点
反扒：uuid token变动 ---请求头参数的封装
动态网站 json
模拟登录：cookies
import requests import json import pprint #输出更好看 base_url = 'https://bj.meituan.com/ptapi/recommends?limit=10?' uuid = "" # 你的uuid，登录后在开发者模式获取 userid = "" # 你的userid，登录后在开发者模式获取 key = '大盘鸡' page = 1 \# 设置请求参数 parameters = { 'uuid': uuid, # 你的uuid，登录后在开发者模式获取 'userid': userid, # 你的userid，登录后在开发者模式获取 'limit':32, # 每页的 店铺信息数 'offset':32*(page - 1), # 当前 偏移量，第1页为0，第2页为 (2-1)*limit 'cateId':-1, # 'q': key, # 搜索的关键字 } \# 设置请求头 header = { #增加防盗链 ，cookies，把请求头的都加一遍试一试 # "Accept-Encoding": "Gzip", # 使用gzip压缩传输数据让访问更快 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0", } responce = requests.get(base_url, headers = header, params=parameters) print(responce)#测试通不通 text = responce.text #得出字符串数据 text = responce.json #获取字典数据 \# 由于是json格式的字符串，用json.load()方法格式化 print(text)
401错误场景 响应器拦截
\1. 用户未登录,代码报401,应该回到登录页
\2. 登录用户的token过期 :
. 就是登录成功了以后,后端会返回一个token值,这个值在后续请求时带上（就像是开门钥匙),
但是，这个值一般会有有效期（具体是多长，是由后端决定）token过期是为了安全起见
每次及时跟新tonken？？？？？ 我的背封印了？？？
(3条消息) 401错误 & 解决方法:响应拦截器_不秃头的xx的博客-CSDN博客
分析网页
开发者模式
解析数据
字典遍历
searchResult=response.json()['data']['soarchResult']
for index in searchResult:
href=f'https://www.meituan.com/xiuxianyule/{index["id"]}/'#
dit=[
'店铺名':index['title']
'评分':index['avgscore']
'商国':index['areaname']
'人均消费':index['avgprice']
'店铺类型':index['backCateName']
'详论量':index['comments']
'详情项':href
]
详情页处理
格式化
文件保存--字典写入
全部代码
import requests
import json
import pprint
import csv
base_url = 'https://apimobile.meituan.com/group/v4/poi/pcsearch/70'
#白金汉https://www.meituan.com/ptapi/poi/getcomment?id=1496329&offset=10&pageSize=10&mode=0&starRange=&userId=&sortType=1&enableGuard=truehttps://www.meituan.com/ptapi/poi/getcomment?id=1496329&offset=10&pageSize=10&mode=0&starRange=&userId=&sortType=1&enableGuard=true
#自然公园https://www.meituan.com/ptapi/poi/getcomment?id=1235523&offset=0&pageSize=10&mode=0&sortType=1&enableGuard=true
#w文件写入
f=open('美团爬虫尝试.csv',mode='a',encoding='utf-8',newline='')
# csv.DictWriter(f,filednames=[]) #字典写入
csv_writer=csv.DictWriter(f,fieldnames=[
'店铺名',
'评分',
'商国',
'人均消费',
'店铺类型',
'详论量',
'详情项',
])
csv_writer.writeheader()#写入表头
#自己的密钥
uuid = "cf32f91085b44b87955c.1679756420.1.0.0" # 你的uuid，登录后在开发者模式获取
userid = "3682664218" # 你的userid，登录后在开发者模式获取
#token=''
#key = '大盘鸡'
page = 1
# 设置请求参数
parameters = {
'uuid': uuid, # 你的uuid，登录后在开发者模式获取
'userid': userid, # 你的userid，登录后在开发者模式获取
'limit':32, # 每页的 店铺信息数
'offset':32*(page - 1), # 当前 偏移量，第1页为0，第2页为 (2-1)*limit
'cateId':-1, #
# 'q': key, # 搜索的关键字
• }
# 设置请求头
header = {
"Referer": "https://www.meituan.com/zhoubianyou/1235523/",
"Accept-Encoding": "Gzip", # 使用gzip压缩传输数据让访问更快
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0",
}
responce = requests.get(base_url, headers = header, params=parameters)
print(responce)
text = responce.text
# 由于是json格式的字符串，用json.load()方法格式化
# print(text)
#最后一部
#数据保存
csv_writer.writerow(dit)
print(dit)
#先解析网页的结构
searchResult=response.json()['data']['soarchResult']
for index in searchResult:
href=f'https://www.meituan.com/xiuxianyule/{index["id"]}/'#
dit=[
'店铺名':index['title']
'评分':index['avgscore']
'商国':index['areaname']
'人均消费':index['avgprice']
'店铺类型':index[backCateName']
'详论量',
'详情项':href
]