某宝周迅小细跟口红评论数据——python爬取，边获取数据边存储（追加）excel表格

需要爬取的数据：如下图，发布的时间，评论内容，颜色分类，以及用户名。

环境：360浏览器

工具：jupyter notebook（建议使用notebook，pycharm需要安装的包一时半会儿装不上）

实验步骤：

第一步，找到详情页

用自己发账号先登录淘宝。

找到完美日记旗舰店，找到周迅代言的小细跟口红产品，点击进入详情页。如下图

滚动鼠标，下拉，找到评论区。如图

分析需要爬取的数据。本篇爬取该产品四个字段：发布时间、评论内容、颜色分类、用户名称。

第二步，分析网页数据

滚动鼠标，到详情页下方，发现有多页数据需要爬取。

按F12键，或是在页面右上方找到“工具——>开发人员工具”。

得到如下页面（如果没有内容，请再次按F5刷新）

点击“NetWork”，再点击“JS”，找到以“list_detail_rate.htm?...”开头的链接，点击该链接，点击右边出现的框的“Preview”，以此找到“jsonp1097——>ra teList”，该数据列表里面存在所需要爬取的数据字段的内容。

通过观察发现，“rateList”列表有20个子项数据。”displayUserNick”为用户名称的字段，“auctionSku”为颜色分类的字段，“rateDate”为发布日期的字段，“rateContent”为评论内容的字段。

现在，我们已经找到所需要爬取的数据所在的数据包。

点击右边小框的“Headers”。找到“General”下的“Request URL”，复制到“currentPage=1”停止，即：

https://rate.tmall.com/list_detail_rate.htm?itemId=628774307843&spuId=1845961505&sellerId=3375170974&order=3¤tPage=1

该链接是后面写代码的时候需要用的url地址;

“Request Method”告诉我们请求数据类型为get;“content-type”告诉我们，获取到的数据文本格式为text/html格式，这意味着在写代码的时候需要使用.text或是.HTML()方法，获取到文本内容；”cookie”这一大段写代码的时候也需要复制下来，“user-agent”也需要复制下来，这两个字段都是模拟人浏览网页的，防止服务器端识别出是爬虫而触发反爬机制，严重者封IP。

重点来了！！！

第三步，写爬虫代码。

需要导入的包：

from pandas import DataFrame #存储数据

import pandas as pd # 分析数据

import time # 设置请求访问时间，模拟人浏览页面

import random # 随机数

import requests #发送请求

import re # 使用正则表达式

from bs4 import BeautifulSoup # 解析获取到的文本

import openpyxl #存储数据

新建表，存储数据：

  wb=openpyxl.Workbook()

    sheet=wb.active #打开活动表

    sheet.title='新表1'

    sheet['A1']='name'    #列名

    sheet['B1']='auctionSku' #列名

    sheet['C1']='rateDate' #列名

  sheet['D1']='rateContent' #列名

代码详情页及其解释

# 胡金丽 2017033213 2021/1/4

from pandas import DataFrame #存储数据

import pandas as pd # 分析数据

import time # 设置请求访问时间，模拟人浏览页面

import random # 随机数

import requests #发送请求

import re # 使用正则表达式

from bs4 import BeautifulSoup # 解析获取到的文本

import openpyxl #存储数据

# 开始运行

if __name__ == "__main__": 

    wb=openpyxl.Workbook()

    sheet=wb.active

    sheet.title='新表1'

    #列名字段

    sheet['A1']='name'   

    sheet['B1']='auctionSku'

    sheet['C1']='rateDate'

    sheet['D1']='rateContent'

    # 淘宝只能抓取99页数据

    for page in range(1,100):

        print('\n---------------------------------------------第{}页---------------------------------------------'.format(page))

        # 设置每页浏览间隔时间为8到12秒，模拟人浏览页面。目前该区间比较合适，没有爬到一半或者十多页就中断停止

        time.sleep(random.randint(8,12))

        # 设置代理，模拟人请求数据。该部分都是从“Headers”下的内容复制过来的。

        myheader = {

            'Accept':'*/*',

            'Accept-Language':'zh-CN,zh;q=0.9',

            'Referer':'https://detail.tmall.com/item.htm',

            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36',

            'Cookie':'dnk=aaaaaahjl85529134; hng=CN%7Czh-CN%7CCNY%7C156; tracknick=aaaaaahjl85529134; lid=aaaaaahjl85529134; lgc=aaaaaahjl85529134; cookie2=19ee58633482f3b3310474989d89c887; t=d6a9ad72b863b4cd1cb1f61314183617; enc=WiRQwnC66VuVdX0z68e3hYy3f5su9lOe157KMqMD%2Fs4dhixFl2AYgc4T85GIqLAwfVi0NxmA9ajfODV%2FxysuDw%3D%3D; _tb_token_=fdee3535e3b7e; cna=BBB4GMzzhkoCAbfm0zFREDt4; xlly_s=1; uc1=cookie14=Uoe0ZNC9e%2BKKMg%3D%3D&cookie21=WqG3DMC9Fb5mPLIQo9kR&pas=0&cookie15=Vq8l%2BKCLz3%2F65A%3D%3D&cookie16=U%2BGCWk%2F74Mx5tgzv3dWpnhjPaQ%3D%3D&existShop=false; uc3=vt3=F8dCuAAn5eHaq2CrCcE%3D&lg2=UIHiLt3xD8xYTw%3D%3D&nk2=AnCFXU7mB8JX0Kdg6aEUtYM%3D&id2=UUGiEzvGzlBBwA%3D%3D; _l_g_=Ug%3D%3D; uc4=nk4=0%40AJtx9250k9HiX4n79Ml2yqgX%2F7uAJ47Vwtwzkg%3D%3D&id4=0%40U2OVG7BM3GpQuMDpD3srlyGrE8dh; unb=2908467432; cookie1=BxuQ17l5weJgXbqwM8qm4J%2BxYRcImAzb%2FOfytz7gynA%3D; login=true; cookie17=UUGiEzvGzlBBwA%3D%3D; _nk_=aaaaaahjl85529134; sgcookie=E100Hpx7yUIcAEy7AxNzW8aUdFpEzs4J4aQ8ZVjTHTw%2BQJ8B%2B5dJTq4M92FwuKjg5htvsNBJkB3LoEalh%2BeKFWRWVg%3D%3D; sg=421; csg=c903a057; x5sec=7b22726174656d616e616765723b32223a223530383636336634346665633238623832663164623034363532643038656539434c485378663846454b794a6965437374666d6131674561444449354d4467304e6a63304d7a49374d513d3d227d; tfstk=cQ15BOcik0mS57wEaaa28sYuPwAAaBZXo8tRPTAMtl576ybBDsjo_hTqr9mmMdLf.; l=eBSQ8Mi7OtFe6QOABO5Clurza77trIObzrFzaNbMiInca1rFGMiKeNQ2lOAyPdtxgtfATetrJmGnAReB76UdgZqhuJ1REpZZZxJ6-; isg=BL29Rhn1vi0BdRpBzfqpaE77zBm3WvGsupO5in8DsZWEtt_oR6mjfOEgYerwEglk'

        }

        # 将page的页码 赋值给 url_c ，形成每一页的url地址

        url_c = 'https://rate.tmall.com/list_detail_rate.htm?itemId=628774307843&spuId=1845961505&sellerId=3375170974&order=3¤tPage={}'.format(page)

        # 发送get请求

        res = requests.get(url=url_c,headers=myheader)

        # 获取到的内容转码。.content方法获取到的数据格式可以是text，也可以是html格式

        content = res.content.decode('utf-8')

        # 建立一个空列表，存储每一页的数据

        elem_list = []

        # 获取到用户名称

        elem_list1=re.findall('"displayUserNick":"(.*?)"',content)

        # 获取到颜色分类

        elem_list2= re.findall('"auctionSku":"(.*?)"',content)

        # 获取到发布日期

        elem_list3=re.findall('"rateDate":"(.*?)"',content)

        # 获取到评论内容

        elem_list4=re.findall('"rateContent":"(.*?)"',content)

        # 将获取的列表进行转置，形成每一行一条完整的记录

        for num in range(len(elem_list1)):

            elem_list.append([elem_list1[num],elem_list2[num],elem_list3[num],elem_list4[num]])

        # 将每一天记录添加进表格

        for i in elem_list:

            sheet.append(i)

        print(elem_list)

        # 必须有这一步，存入perfectdiary_data.xlsx表

        wb.save('perfectdiary_data.xlsx')

    print("完成！！！")

# 如果出现connectionerror的错误，目前方法是：把页码范围 range()起始点 改为没有爬取成功的页码数，表的名字改为不同之前的。

# 前面爬取没有出错的页码已经存储到excel表格里面去了，重新运行。后面只需要将两个excel表格的内容合并即可

---

结果如图（没有做数据清洗的哈）：

完结，撒花花

有问题，可留言哇

求夸！