快过年拉,想在回家前去外面撮一顿好吃的
这不得做一下攻略,看一下去哪家店实惠又好吃
(毕竟自己的钱钱还是心疼的,又便宜吃的又舒心,谁不想呢~)
保存csv
json数据解析
动态数据抓包演示
requests模块的使用
python 3.8 解释器
pycharm 编辑器 2021.2
1. 确定我们要爬取数据内容是什么 ?
店铺基本数据信息
2. 通过开发者工具(F12)进行抓包分析 分析数据从哪里可以获取
美团数据, 从第一页数据进行分析的, 没办法实现翻页爬取操作
1. 发送请求, 对于店铺信息数据包url地址发送请求
2. 获取数据, 获取服务器返回的response响应数据
3. 解析数据, 提取我们想要的一些数据内容 (店铺信息)
4. 保存数据, 把相应的数据内容保存csv表格里面
5. 多页爬取数据内容 >>> 多页爬取找我们请求的url地址的变化规律
6. 爬取电话号码....
爬虫 看到的数据都是可以采集 只是说难易程度问题
多页爬虫数据 数据可视化效果展示 以及 店铺的电话店址采集演示
导入模块
import requests # 数据请求模块 第三方模块 需要 pip install requests
import pprint # 格式化输出模块
import csv # 数据保存模块 csv表格
import time # 时间模块
# 确定请求的url地址
num = 1
for page in range(0, 321, 32):
print(f'正在爬取第{num}页的数据内容')
time.sleep(2)
url = 'https://apimobile.******.com/group/v4/poi/pcsearch/70'
# 因不可抗原因,网址屏蔽拉~你们自己添加一下哦~
# 完整代码可添加企鹅裙:582950881领取呐~
# 小知识点 pycharm里面小技巧 快速批量替换 选中需要替换的内容 ctrl + r 然后用正则表达式替换
data = {
'uuid': 'e0ee521794ef4b229eb6.1633764159.1.0.0',
'userid': '266252179',
'limit': '32',
'offset': page,
'cateId': '-1',
'q': '烤肉',
'token': 'tRYI1qf6lRQYFw6Fnu2yzM9YXfEAAAAAhA8AAK4wbGGP2BD766PyOuIYZWRkrs14kUl62lE7NGcLsIuqVWo4qXln6gtKqyaJ_cSLlA',
}
# Referer 防盗链 就是告诉服务器 我们发送请求的url地址是从哪里跳转过来的
# User-Agent 用户代理 浏览器基本身份标识
headers = {
'Referer': 'https://chs.******.com/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'
}
# url=url 把请求url地址参数传入进去 params=data 传入请求参数
# 通过requests模块里面get请求方式 对于url地址发送请求 并且携带上 data请求参数 headers请求头, 最后用response变量接收一下返回数据
response = requests.get(url=url, params=data, headers=headers)
# 返回的response响应对象 403 状态码 表示的你没有访问权限 (发送请求失败了) 200 表示请求成功
# 被识别出 我们是爬虫脚本 伪装
# 2. 获取数据, 获取服务器返回的response响应数据 response.json() 获取响应体json字典数据
# print(response.json())
# pprint.pprint(response.json())
# 通过字典键值对取值 关键字 对应 值 根据冒号左边的内容 提取冒号右边的内容
searchResult = response.json()['data']['searchResult']
# pprint.pprint(searchResult) index 自定义的变量
for index in searchResult:
# pprint.pprint(index)
href = f'https://www.******.com/meishi/{index["id"]}/'
# 因不可抗原因,网址屏蔽拉~你们自己添加一下哦~
# 完整代码可添加企鹅裙:582950881领取呐~
# 创建一个字典 去接收数据
dit = {
'店铺名称': index['title'],
'人均消费': index['avgprice'],
'店铺评分': index['avgscore'],
'店铺类型': index['backCateName'],
'所在商圈': index['areaname'],
'评论人数': index['comments'],
'维度': index['latitude'],
'经度': index['longitude'],
'详情页': href,
}
csv_writer.writerow(dit)
print(dit)
num +=1
# mode 保存方式 encoding 编码 newline 新队 wb保存二进制数据
f = open('烤肉.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
'店铺名称',
'人均消费',
'店铺评分',
'店铺类型',
'所在商圈',
'评论人数',
'维度',
'经度',
'详情页',
])
csv_writer.writeheader() # 写入表头
因不可抗原因,代码里网址我屏蔽拉~大家自己补充完整
import pandas as pd
import numpy as np
from pyecharts.charts import *
from pyecharts import options as opts
from pyecharts.globals import ThemeType #引入主题
df = pd.read_csv('烤肉.csv',encoding='utf-8',engine="python")
df.sample(5)
df.info()
df = df.fillna('暂无数据')
cut = lambda x : '一般' if x <= 3.5 else ('不错' if x <= 4.0 else('好' if x <= 4.5 else '很好'))
df['评分类型'] = df['店铺评分'].map(cut)
df.describe()
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
plt.rcParams['font.sans-serif'] = ['SimHei'] # 设置加载的字体名
plt.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题
fig,axes=plt.subplots(2,1,figsize=(12,12))
sns.regplot(x='人均消费',y='店铺评分',data=df,color='r',marker='+',ax=axes[0])
sns.regplot(x='评论人数',y='店铺评分',data=df,color='g',marker='*',ax=axes[1])
df2 = df.groupby('所在商圈')['店铺名称'].count()
df2 = df2.sort_values(ascending=True)[-10:]
df2 = df2.round(2)
# 更多代码、教程、资料可添加企鹅裙:582950881领取呐~
c = (
Bar(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
.add_xaxis(df2.index.tolist())
.add_yaxis("",df2.tolist()).reversal_axis() #X轴与y轴调换顺序
.set_global_opts(title_opts=opts.TitleOpts(title="商圈烤肉店数量top10",subtitle="数据来源:美团",pos_left = 'center'),
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改横坐标字体大小
yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改纵坐标字体大小
)
.set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
)
c.render_notebook()
df4 = df.groupby('店铺评分')['店铺名称'].count()
df4 = df4.sort_values(ascending=False)
regions = df4.index.tolist()
values = df4.tolist()
c = (
Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
.add("", [z for z in zip(regions,values)])
.set_global_opts(title_opts=opts.TitleOpts(title="不同评分类型店铺数量",subtitle="数据来源:美团",pos_top="-1%",pos_left = 'center'))
.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18))
)
c.render_notebook()
df6 = df.groupby('店铺类型')['店铺名称'].count()
df6 = df6.sort_values(ascending=False)[:10]
df6 = df6.round(2)
regions = df6.index.tolist()
values = df6.tolist()
c = (
Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
.add("", [i for i in zip(regions,values)],radius=["40%", "75%"])
.set_global_opts(title_opts=opts.TitleOpts(title="不同店铺类型店铺数量",pos_top="-1%",pos_left = 'center'))
.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}",font_size=18))
)
c.render_notebook()
df6 = df.groupby('店铺类型')['店铺评分'].mean()
df6 = df6.sort_values(ascending=True)
df6 = df6.round(2)
df6 = df6.tail(10)
c = (
Bar(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
.add_xaxis(df6.index.tolist())
.add_yaxis("",df6.tolist()).reversal_axis() #X轴与y轴调换顺序
.set_global_opts(title_opts=opts.TitleOpts(title="不同店铺类型评分",subtitle="数据来源:美团",pos_left = 'center'),
# 更多代码、教程、资料可添加企鹅裙:582950881领取呐~
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改横坐标字体大小
yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改纵坐标字体大小
)
.set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
)
c.render_notebook()
df7 = df.groupby('店铺类型')['评论人数'].sum()
df7 = df7.sort_values(ascending=True)
df7 = df7.tail(10)
c = (
Bar(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
.add_xaxis(df7.index.tolist())
.add_yaxis("",df7.tolist()).reversal_axis() #X轴与y轴调换顺序
.set_global_opts(title_opts=opts.TitleOpts(title="不同店铺类型评论人数",subtitle="数据来源:美团",pos_left = 'center'),
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改横坐标字体大小
yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改纵坐标字体大小
)
.set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
)
c.render_notebook()
好啦,本文章到这里就结束拉
有喜欢的小伙伴记得给博主一个三连哦~
希望你在学习的路上不忘初心,坚持不懈,学有所成
把时间和精力,放在自己擅长的方向,去坚持与努力,
如果不知道自己擅长什么,就尽快找到它。