Python使用xlm库爬取信息

---

前言

记录第一次爬虫记录，以京客隆超市店铺信息为目标，拿到店铺的全部信息，并生成excel表格

---

使用步骤

1.引入库

在爬取网站信息是首先我们要了解该页面的组成，了解该页面的下级分类，找到你所需要的元素，通过xpath定位来获取页面的信息，需要一定的WEb元素定位的知识，只有找到正确的位置才能进行下面的操作，基本操作就是只要用到url，就设置伪装头，然后解析页面源码，在通过xpath获得文本

这里用到etree.HTML方法把html的文本内容解析成html对象

import requests   
import pandas as pd
from lxml import etree

baseUrl ='http://www.jkl.com.cn/cn/shop.aspx'  # 爬取页面的数据
heade ={
     
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'
}  # 伪装头信息
# 1 首先拿取城区信息
res =requests.get(url=baseUrl,headers=heade).text   #   设置变量接受 基础页的响应数据
# print(res.text)
tree = etree.HTML(res)   # 设置变量获得 解析数据
get_list= tree.xpath('//div[@class="infoLis"]//@href')   # 设置变量 通过xpath定位拿到我们所需的城区列表的路径
# print(get_list)
for qu_list in get_list: # 遍历列表，拿到每个区的地址
    get_url_qu = 'http://www.jkl.com.cn/cn/' + qu_list   # 拼接网址 ，a为单个分类的路径
    # print(get_url_qu)
    res2 = requests.post(url=get_url_qu,headers=heade).text  # 获得区列表下的响应数据
    tree1 = etree.HTML(res2)  # 解析 数据
    # print(tree1)
    city_shop_name = tree1.xpath('//span[@class="con01"]/text()')
    city_shop_dis = tree1.xpath('//*[@class="con02"]/text()')
    city_shop_phone = tree1.xpath('//span[@class="con03"]/text()')
    city_shop_time = tree1.xpath('//span[@class="con04"]/text()')
    # print(city_shop_phone)
    name_list=[]
    for name in city_shop_name:  # 通过循环去除空格，获得列表数据
        new_name = name.strip()
        # print(new_name)
        name_list.append(new_name)
    # print(name_list)
    file = pd.DataFrame({
     '店名':name_list, '地址':city_shop_dis, '电话':city_shop_phone, '营业时间':city_shop_time})
    file.to_csv('E:/店铺信息2.csv', index=False, header=0, mode='a', encoding='ANSI')

这样就可以获的每个城区下的店铺信息，但我们发现朝阳区的下级目录，不是一夜有多页，而我们写的程序只能获得单页的数据

解决这个问题只要关注这个部分，通过点击下一页我们会发现这2个数据在变，其他数据不变，把这2个数据通过字典键值队形式代入即可

2.下级数据

接上：

 if get_url_qu == 'http://www.jkl.com.cn/cn/shopLis.aspx?id=865':
        for i in range(2, 4):  # 已经拿到第一页数据
            data = {
     
                '__EVENTTARGET': 'AspNetPager1',
                '__EVENTARGUMENT': i
            }
            html = requests.post(url=get_url_qu, headers=heade, data=data).text  # 获得页面html信息
            parsing = etree.HTML(html)  # 解析
            city_shop_name = parsing.xpath('//span[@class="con01"]/text()')
            city_shop_dis = parsing.xpath('//*[@class="con02"]/text()')
            city_shop_phone = parsing.xpath('//span[@class="con03"]/text()')
            city_shop_time = parsing.xpath('//span[@class="con04"]/text()')
            name_list = []
            for name in city_shop_name:  # 通过循环去除空格，获得列表数据
                new_name = name.strip()
                # print(new_name)
                name_list.append(new_name)
            file = pd.DataFrame({
     '店名': name_list, '地址': city_shop_dis, '电话': city_shop_phone, '营业时间': city_shop_time})
            file.to_csv('E:/店铺信息2.csv', index=False, header=0, mode='a', encoding='ANSI')

---

得到的数据如下，保存的csv的文件，改下后缀就可以得到你想要的文件