爬虫实战-爬取兴盛优选首页所有商品数据并写入excel
兴盛优选这个小程序很火，小编今天就教大家如何爬取兴盛优选的所有商品数据信息吧
1.首先获取windowid
这个请求是获取所有的windows的id的 这个请求实际返回windows brandHouseWindows classifyWindows 这三个其实都返回了windowId 通过观察我们可知 windows里面的是包含所有的 所以我们只需要对他进行遍历即可
https://mall.xsyxsc.com/user/product/indexSortWindows
2.查看获取商品信息请求 这里其实有三个接口获取商品数据 分别如下【查看下方可知 ，我们一开始获取的windosid是用于这里获取商品数据的】
https://mall.xsyxsc.com/user/product/activityProducts
https://mall.xsyxsc.com/user/product/classifyProducts
https://mall.xsyxsc.com/user/brandhouse/window/getProducts
相对于前面二个接口 第三个可能会稍微麻烦一点，因为他有pageIndex pageSize参数 为了避免翻页 小编将pageSize修改成1000，发送请求 于是发现 他们做了控制 好像必须传入10的大小，好吧 不能投机取巧了我们还是老实的写个翻页吧 小编的思路是 直接来个很大的循环 然后当响应数据中 data.records的数据是空的时候 就跳出循环。
好了看到这里我们大致可以知道 获取商品信息总共分三个接口，他们的请求地址，以及请求参数都不一样！
3.确定思路
首先获取所有的windowid 然后根据windowid去遍历商品数据，而具体使用那个获取商品数据的接口 我们可以根据https://mall.xsyxsc.com/user/product/indexSortWindows接口返回的windowType来进行判断，之后将获取到的商品信息存进一个列表，之后写入excel中
好了 分析到这里 小编就分享一波源码给大家 当然self.userkey你需要去替换成你的 万一你用我的作死的访问导致小编被拉黑了就得不偿失了。
# author:Administrator
# datetime:2019/5/28 12:32
# project_name:python_code_warehouse
# file_name:xingshengyouxuan
# email:[email protected]
import requests
from requests.packages.urllib3.exceptions import InsecureRequestWarning
import pandas as pd
import datatime
import time
import os
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)
def myprint(*con):
print("RunInfo----" + str(datetime.datetime.now().replace(microsecond=0)) + ":" + "".join(*con))
class XingShengYouXuna(object):
def __init__(self):
self.userkey = "填你自己的"
self.base_param = {'userKey': self.userkey}
self.header = {
'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15F79 MicroMessenger/7.0.4(0x17000428) NetType/WIFI Language/zh_CN'}
self.url = "https://mall.xsyxsc.com"
self.sku_info_list = []
self.sku_name = {} # 用于去重
def get_windows_id(self):
"""获取首页返回的windowId
:return: 首页window信息 key为id&tpye value为标题
"""
index_window_info = {}
body = {'areaId': 101,
'storeId': '66880000082975'}
body.update(self.base_param)
resp = requests.post(url=self.url + "/user/product/indexSortWindows", data=body, verify=False).json().get(
"data")
"""其实这个接口返回了
windows brandHouseWindows classifyWindows
细心观察可知 windows才是全部的 其次分类界面所有的分类也是属于其中
"""
for window in resp.get("windows"):
myprint("搜索到标题为'{}' windows_id为'{}' 类型为'{}'".format(window.get("windowName"), window.get("windowId"),
window.get("windowType")))
index_window_info[str(window.get("windowId")) + "&" + window.get("windowType")] = window.get(
"windowName")
myprint("合计搜索到的windows个数为{}".format(len(index_window_info)))
return index_window_info
def load_index_sku(self, **kwargs):
"""将首页的所有商品信息添加到sku列表中
:param kwargs: 函数 get_windows_id的返回值
"""
for id_type in kwargs:
windowid, windowtype = id_type.split("&")
if windowtype in ("ACTIVITY", "CLASSIFY"):
url = self.url + "/user/product/{}Products".format(windowtype.lower())
if windowtype == "ACTIVITY":
body = {'windowId': windowid, 'openBrandHouse': 'OPEN', 'storeId': '66880000082975',
'areaId': '101'}
else:
body = {'windowId': windowid, 'areaId': '101', 'storeId': '66880000082975', 'excludeAct': 'N'}
else:
url = self.url + "/user/brandhouse/window/getProducts"
body = {'windowId': windowid, 'areaId': '101', 'storeId': '66880000082975', 'excludeAct': 'N',
'pageIndex': '1', 'pageSize': '10'}
body.update(self.base_param)
sku = {}
if windowtype == "BRAND_HOUSE":
pass
for pageIndex in range(1, 10000):
body.update({'pageIndex': pageIndex})
resp = requests.post(url=url, data=body, verify=False).json().get("data")
if resp.get("records") is None:
del url, body
break
for com_info in resp.get("records"):
if com_info.get("prName") not in self.sku_name.keys():
self.sku_name[com_info.get("prName")] = "" # 用于去重
sku["prName"] = com_info.get("prName") # 名称
sku["saleAmt"] = com_info.get("saleAmt") # 价格
sku["marketAmt"] = com_info.get("marketAmt") # 原价
sku["tmBuyStart"] = com_info.get("tmBuyStart") # 开始购买时间
sku["tmBuyEnd"] = com_info.get("tmBuyEnd") # 结束购买时间
myprint("活动标题'{}'下找到商品'{}'".format(kwargs.get(id_type), sku.get("prName")))
self.sku_info_list.append(sku)
sku = {}
else:
myprint(
"活动标题'{}'下找到商品'{} 此商品已经存在 直接过滤'".format(kwargs.get(id_type), com_info.get("prName")))
else:
resp = requests.post(url=url, data=body, verify=False).json()
for com_info in resp.get("data"):
if com_info.get("prName") not in self.sku_name.keys():
self.sku_name[com_info.get("prName")] = "" # 用于去重
sku["prName"] = com_info.get("prName") # 名称
sku["saleAmt"] = com_info.get("saleAmt") # 价格
sku["marketAmt"] = com_info.get("marketAmt") # 原价
sku["tmBuyStart"] = com_info.get("tmBuyStart") # 开始购买时间
sku["tmBuyEnd"] = com_info.get("tmBuyEnd") # 结束购买时间
myprint("活动标题'{}'下找到商品'{}'".format(kwargs.get(id_type), sku.get("prName")))
self.sku_info_list.append(sku)
sku = {}
else:
myprint("活动标题'{}'下找到商品'{} 此商品已经存在 直接过滤'".format(kwargs.get(id_type), com_info.get("prName")))
myprint("累计搜索到{}个商品.".format(len(self.sku_info_list)))
def to_excel_data(self):
self.load_index_sku(**self.get_windows_id())
sku_name = []
sku_price = []
sku_raw_price = []
sku_buy_start = []
sku_buy_end = []
sku_excel_dict = {}
for sku in self.sku_info_list:
sku_name.append(sku.get("prName"))
sku_price.append(sku.get("saleAmt"))
sku_raw_price.append(sku.get("marketAmt"))
sku_buy_start.append(sku.get("tmBuyStart"))
sku_buy_end.append(sku.get("tmBuyEnd"))
sku_excel_dict["商品名称"] = sku_name
sku_excel_dict["目前售价"] = sku_price
sku_excel_dict["原始价格"] = sku_raw_price
sku_excel_dict["开始购买时间"] = sku_buy_start
sku_excel_dict["结束购买时间"] = sku_buy_end
file_path = r'兴盛优选商品数据_%s.xlsx' % (time.strftime('%Y-%m-%d', time.localtime(time.time())))
writer = pd.ExcelWriter(file_path)
df = pd.DataFrame(sku_excel_dict)
df.to_excel(writer, columns=sku_excel_dict.keys(), index=False, encoding='utf-8',
sheet_name='兴盛优选商品数据')
writer.save()
myprint("写入excel成功 写入路径为{}".format(os.getcwd() + r"/" + file_path))
if __name__ == "__main__":
xiejiangpeng = XingShengYouXuna()
xiejiangpeng.to_excel_data()
最后 分享上运行截图
生成的excel截图为