pycharm爬取京东数据实例

本次使用pycharm，python3.9爬取京东商城销量排名靠前的鞋子，哪些颜色和码数比较受欢迎。

那么，如何收集京东数据，如何保存京东数据至Excel中，如何基于保存的数据做数据分析？

 我们使用json工作包分析数据结构。
我们刚刚爬取的数据，细心的人就可以发现，数据是杂乱无章的，不利于用户的阅读与分析，所以，这个时候我们就需要使用json工具或在线网页来对原本杂乱无章的数据进行分析。但是，无论你使用哪种方法，你都需要去除爬取数据的前缀与后缀，使用json工作解析均需要以{开头，以}结束。

具体使用json工作的代码以及实现对应鞋子的尺寸与颜色如下所示：

import requests
import json
# 设置headers是为了解决服务器反爬机制
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}
url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=8452201&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
resp = requests.get(url, headers=headers)
context = resp.text
print(context)
result = context.replace("fetchJSON_comment98(", "").replace(");", "")
json_data = json.loads(result)
# print(json_data)
comments = json_data['comments']
for item in comments:
    color = item['productColor']
    size = item['productSize']
    print('鞋子颜色',color)
    print('鞋子尺码',size)

如果大家走到了这里，那么相信小伙伴们已经对Python爬虫彻底入门并且已经有较为深刻的认识。谢谢大家的阅读！

本代码可以直接运行，不过需要安装好requests,json包。

结果如下：

 并且可以，将数据写入Excel表中，或者导入.doc.txt.xsl等文档中进行进一步分析。

要想将数据保存到Excel表中，需要按照以下四个步骤：
1.创建excel表格；
2.创建sheet单元格
3.在sheet中保存数据
4.把表格保存在一个磁盘里面