电商网站爬虫案例（3）

今日电商网站：

https://www.asteriahair.com/

一家美国假发电商网站

主页如图：

 

首页包含大量的一级菜单和二级菜单

说明该网站的产品和分类非常的丰富，同类网站中属于少见的优秀

其中一级类目有8个

二级类目数十个

部分还有三级类目

我们的目的是获取该网站的所有类目信息和商品信息；

该网站相对来说比较友善，因此可以不用代理，但是需要番羌

整体思路是：

1、获取分类
————————————————
 

# -*-coding:utf-8
# author：lihaizhen
# date：
# description:done 

import requests
import time
from lxml import etree
from utils import connections

conn = connections.mysql_conn()
poor = connections.local_redis(0)
cur = conn.cursor()

class Asteriahair_menu(object):
    def __init__(self):
        self.proxies = None
        self.headers = {
                'Accept':'text/html,application/xhtml+xml,