淘宝商品信息定向爬虫实例

1.说明

获得淘宝的搜索接口


淘宝搜索页面不允许爬虫爬取
不要不加限制的爬取次网站

2.代码

import re
import requests

def getHTMLText(url):
    try:
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
            'Cookie':'miid=1446539853962959312; cna=U8TkFgl6vBECAXwXhVZyqq3D; thw=cn; tracknick=%5Cu738B%5Cu963F%5Cu5927%5Cu5927999; tg=0; enc=KQ88YmZ1WgUDEQUaXNT40I4VBhjiG0MHl8pqTh6ZI0RMd9cYTUJkuxRB4SdcTrSmWlYUET84lgd4kZLLvL0tUg%3D%3D; tfstk=cK4CBvDqdpvQtWcBYu1Zz5kmII05ZgLI_6MgOlM6QV81vjFCie8qhpDLZdLtDf1..; hng=CN%7Czh-CN%7CCNY%7C156; sgcookie=E%2FMAiMKEbqKgB68sk2YlP; uc3=id2=UNX76OkwRTdv%2Bg%3D%3D&lg2=URm48syIIVrSKA%3D%3D&nk2=rpAbxgwWpfHsqnQ%3D&vt3=F8dBxGRzKXu9S7uPKeA%3D; lgc=%5Cu738B%5Cu963F%5Cu5927%5Cu5927999; uc4=id4=0%40UgJ%2BVCCRa%2FyA289t6M%2Bypni7kx4H&nk4=0%40rMojRer7vlD1xPIgi3S0M1VA90yUtg%3D%3D; _cc_=U%2BGCWk%2F7og%3D%3D; lLtC1_=1; t=e061cf52d4af33a3dd30f4f3abd79340; cookie2=12364a3b81cdb5581829142324f43686; v=0; _tb_token_=37f6a11b35149; tk_trace=oTRxOWSBNwn9dPyorMJE%2FoPdY8zfvmw%2Fq5hp1apNHFNeR14XlpBD5hiuGqUbpwdHrNVW4mP9Iyeuo7Nr4fuATuNszx3cDvwd%2FNlb1%2F9dgkO%2FIdY%2Bmj22i0AUB2N3wi8q1dYHSzdAcsNIidsJFmyH9vsQxEweYC5wJ9HrWnAU16m7l00V2WQM8yczdScCY7tZyvsy6l73YO%2B7uHH6TWdII%2FN948UbL%2F3KsmKKJmGK5hskOy11Z7BlT0LrWCpcUsTtLGFfKokCisv17klIGTIdQ0o8BYQ%3D; _samesite_flag_=true; mt=ci=-1_0; _nk_=%5Cu738B%5Cu963F%5Cu5927%5Cu5927999; l=eBjVu62gq-IYTvPoBOfwnurza77thIRfguPzaNbMiT5P_uCp5QfdWZb0SET9CnGNns6JR3ykIQI_BlTuwyUBCWoTC59BEPRd1dTh.; isg=BAwM2vS4vuyqpamHbF6vgDae3Wo-RbDvmGV3NWbNcbda8a37jlCWf6BLkfFJuehH; uc1=cookie14=UoTUMti0ug9oqw%3D%3D'
        }
        r=requests.get(url,timeout=30,headers=headers)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ''

#获取商品的名称和价格
def parsePage(ilt,html):
    try:
        #加转义符为了表示转义符后面字符原本的意思字符
        plt=re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)
        tlt=re.findall(r'\"raw_title\"\:\".*?\"',html)
        for i in range(len(plt)):
            price=eval(plt[i].split(':')[1])
            title=eval(tlt[i].split(':')[1])
            ilt.append([price,title])
    except:
        print("")

def printGoodsList(ilt):
    tplt="{:4}\t{:8}\t{:16}"
    print(tplt.format("序号","价格","商品名称"))
    count=0
    for g in ilt:
        count=count+1
        print(tplt.format(count,g[0],g[1]))#商品价格和商品名称

if __name__ == '__main__':
    goods="书包"
    depth=2
    start_url="https://s.taobao.com/search?q="+goods
    infoList=[]
    for i in range(depth):
        try:
            url=start_url+'&s='+str(44*i)#url
            html=getHTMLText(url)#获得网页
            #处理每个页面的解析过程
            parsePage(infoList,html)
        except:
            continue
    printGoodsList(infoList)

结果：

序号  	价格      	商品名称            
   1	138.00  	电脑包大书包大学生女生背包大双肩包大容量
   2	29.90   	双肩包男士大容量旅行包电脑背包2020年新款初中学生书包女小学生
   3	134.00  	鳄鱼男士双肩包商务休闲电脑帆布背包旅游旅行包时尚潮流学生书包
   4	46.00   	YOHOO!/原创设计ins酷帅简约纯色百搭斜挎包帆布单肩学生书包男女
   5	39.90   	YOHOO！/个性褶皱包 ins日韩简约百搭斜挎包帆布单肩学生书包男女
   6	35.00   	工装帆布包2020新款斜挎包女ins单肩学生书包潮流韩版原宿ulzzang
   7	409.00  	李宁双肩包男包女包2020新款训练系列背包学生书包电脑包运动包
   8	229.00  	NIKE耐克双肩包男新款男包女包大容量运动包高中初中学生书包背包
   9	279.00  	Jordan 官方 AIR JORDAN 双肩包 书包背包
 CW7699
  10	408.00  	李宁CF溯系列双肩包敦煌拓男包女包2020新款学生书包运动包
  11	183.00  	Adidas阿迪达斯双肩包男女包2020春季新款学生书包旅行背包FL3716
  12	238.00  	JanSport杰斯伯旗舰店双肩背包男高中背包书包休闲运动包4QUT77R
  13	239.00  	真皮双肩包女2020年新款书包女潮百搭大容量头层牛皮女士软皮背包
  14	899.00  	Fion/菲安妮大牌双肩包女 2020新款印花背包旅行书包
  15	269.00  	真皮双肩包女2020年新款潮书包女百搭大容量头层牛皮女士软皮背包
  16	188.00  	卓梵 阿玛尼正品男士双肩包男包背包15寸商务休闲电脑包书包简约
  17	960.00  	Gaston Luga瑞典潮牌背包男双肩包女大容量旅行包休闲书包电脑包
  18	998.00  	Fion/菲安妮休闲双肩包潮流学生书包 2020新款女包尼龙黑色旅行包
  19	1139.00 	HR赫莲娜女士包包2020新款休闲撞色双肩包老花印花迷你书包背包潮
  20	288.00  	JanSport旗舰店官网女双肩背包学生书包电脑包男背包 3P6X008
  21	139.00  	花花公子男士背包2020年新款商务电脑双肩包高中学生大容量书包
  22	119.00  	安踏背包休闲包 2020新款潮流休闲运动背包学生书包电脑包旅行包
  23	398.00  	安踏中国对背包男潮牌2020春季新款大容量书包学生旅行运动双肩包
  24	219.00  	Adidas阿迪达斯书包女2020新款粉色运动背包初高中学生双肩包女包
  25	189.00  	阿迪达斯双肩包男女2020新款初中生高中学生书包大容量背包DT8638
  26	369.00  	kipling男女大容量电脑背包2020年新款旅行包书包双肩包|BACKPACK
  27	479.00  	Fjallraven/瑞典北极狐双肩包kanken书包女电脑旅行背包官方23510
  28	189.00  	【直营】Puma彪马女包双肩包运动包学生书包休闲包背包076944-02
  29	669.00  	kipling女士帆布背包2020年新款时尚简约休闲潮流书包双肩包|ROSE
  30	319.00  	NIKE耐克双肩包男包女包大容量运动包学生书包休闲包背包BA6170
  31	378.00  	卓梵 阿玛尼男包双肩包男士背包潮帆布尼龙布配真皮牛皮青年书包
  32	180.00  	PUMA彪马背包2020新款女包双肩包拎包休闲小包PU小书包076960-02
  33	309.00  	【直营】Nike耐克双肩包男女背包HERITAGE RKSK学生书包BA6150
  34	69.00   	大脸兔牛津布双肩包女2020新款韩版尼龙百搭旅行防水超轻背包书包
  35	160.20  	书包ins韩版原宿ulzzang初中高中大学生百搭森系背包网红双肩包女
  36	139.00  	uek小学生书包男孩女生一三五 六年级护脊双肩6-12岁轻便减压儿童
  37	199.00  	Hype双肩包女迷你小包百搭逛街用mini小背包ins风潮牌大学生书包
  38	68.00   	牛津布双肩包女2020新款潮韩版时尚百搭大学生书包旅行帆布小背包
  39	209.00  	【直营】Adidas阿迪达斯男女双肩包休闲包学生书包旅行背包FL3716
  40	355.00  	阿迪达斯双肩包男包女包学生书包20新款旅行包休闲简约背包DQ1066
  41	628.00  	Herschel Retreat经典色时尚潮流男女双肩包书包背包潮牌10066
  42	798.00  	Samsonite/新秀丽儿童书包小学生男孩女孩儿童轻便双肩背包  HB5
  43	378.00  	tigerfamily儿童书包小学生一年级1-3 女男6岁耐磨减负护脊双肩包
  44	178.00  	迪士尼小学生书包女童1-3-4一三年级冰雪奇缘女孩减负儿童双肩包6
  45	95.00   	唐狮2020新款情侣双肩包女大学生背包男书包初中韩版高中时尚潮流
  46	339.00  	耐克男包女包2020夏季新款运动包旅行包学生书包双肩包背包CK2668
  47	379.00  	NIKE耐克双肩包男包女包2020新款运动包学生书包旅行包背包BA6164
  48	188.00  	优仅ALLJOINT儿童书包可爱幼儿园双肩甜甜圈彩虹幼儿背包女童包包
  49	379.00  	NIKE耐克双肩包男包女包2020新款运动包学生书包旅行包背包BA6164
  50	188.00  	优仅ALLJOINT儿童书包可爱幼儿园双肩甜甜圈彩虹幼儿背包女童包包
  51	115.00  	kk树书包小学生女孩6-12岁儿童一二三到六年级女童双肩包护脊减负
  52	268.00  	BOPAI博牌电脑背包男户外旅行休闲双肩包商务书包出差多功能男包
  53	189.00  	瑞士军士刀双肩包男大容量休闲商务旅行电脑背包男士初中学生书包
  54	859.00  	[2020新款]挪威Beckmann小学生书包女男儿童护脊减压背包1-3年级
  55	188.00  	迪士尼拉杆书包小学生女童3-6年级公主3轮爬楼女孩两用儿童双肩包
  56	768.00  	Herschel Little America 春夏新色双肩包男背包书包潮流10014
  57	399.00  	FILA斐乐童装旗舰店儿童双肩包小学生书包男童女童低年级背包新款
  58	238.00  	JanSport杰斯伯旗舰店双肩包女电脑包男书包学生休闲包47LW79M
  59	229.00  	NIKE耐克双肩包男2020新款高中大学生书包大容量运动包背包电脑包
  60	169.00  	【直营】adidas阿迪达斯大童 蓝色DW4281 K CL IN 双肩儿童书包
  61	890.00  	kiplingxPACMAN吃豆人合作联名时尚潮流书包双肩包|DELIA COMPACT
  62	238.00  	【新品】JanSport杰斯伯双肩包女学生书包男背包运动休闲背包4QUT
  63	698.00  	kipling女大容量背包春夏新品时尚简约潮流休闲书包双肩包|MATTA
  64	159.00  	【直营】Adidas阿迪达斯双肩包男女包运动包健身旅游包书包DT4825
  65	255.00  	卓梵 阿玛尼双肩包男休闲时尚背包大容量书包布15寸电脑包旅行包
  66	449.00  	Samsonite/新秀丽双肩包包2020新款 书包女ins风背包旅行包TQ4
  67	1588.00 	英国Anything Studio小学生智能书包儿童进口超轻减压护脊GPS定位
  68	149.00  	阿迪达斯双肩包男女2020新款初中生高中学生书包大容量背包DT4825
  69	398.00  	Herschel City中号限量款双肩包女2019新款背包男书包时尚10486
  70	119.00  	瑞士军士刀双肩包男大容量瑞士军刀旅行电脑背包男士初中学生书包
  71	129.00  	小米双肩包书包男女笔记本电脑包时尚潮流旅行背包
  72	238.00  	真皮双肩包女2020年新款书包女百搭大容量头层牛皮女士软皮背包潮
  73	169.50  	不莱玫迪士尼合作款书包女韩版高中百搭ins双肩包时尚可爱小背包
  74	299.00  	CHARLES＆KEITH女包CK2-80840173-1粗链条翻盖单肩情书包婚包
  75	115.00  	KK剑桥树书包小学生男孩一二三到六年级儿童6-12岁男童双肩包减负
  76	958.00  	Herschel Little America经典色旅游双肩包男女士背包书包10020
  77	1288.00 	英国Anything Studio小学生书包儿童英伦日本风进口超轻护脊HIPPO
  78	65.00   	中学生书包高中生双肩包女韩版初中生小学生大学生原宿ulzzang
  79	39.80   	书包韩版原宿ulzzang女背包高中学生初中生百搭ins风男情侣双肩包
  80	269.00  	Viney双肩包女2020年新款韩版百搭大容量软皮背包时尚简约书包女
  81	699.00  	北极狐laptop笔记本电脑包13/15/17英寸男女手提双肩背包学生书包
  82	59.00   	木村耀司书包中学生初中生女韩版高中双肩背包大学生ins风大容量
  83	195.02  	国家地理背包女运动户外时尚双肩包男牛津布旅行防水学生情侣书包
  84	193.50  	aza轻软双肩包2019新款女包大学生书包韩版简约迷你少女小背包女
  85	196.20  	大学生日系简约书包ins潮休闲百搭小背包迷你女包韩版旅行双肩包
  86	98.00   	迪士尼小学生书包女童1-3-4三四年级冰雪奇缘女孩儿童减负双肩包6
  87	149.00  	华为旗下荣耀亲选双肩包书包背包男女学生商务大学生大容量防水
  88	616.00  	FILA斐乐童装双肩包小学生书包初中儿童背包3D护脊书包带反光条
  89	58.80   	儿童书包小学生男女一二三到六年级韩版减负护脊贵族书包轻便防水
  90	189.00  	【直营】Puma彪马女包双肩包运动包学生书包休闲包背包076944-02
  91	829.00  	挪威官方正品Beckmann小学生书包女男儿童护脊减压背包1-3年级
  92	599.00  	Fion/菲安妮时尚潮流双肩包女 小怪兽可爱学生书包简约女士小背包

Process finished with exit code 0

其中headers中’User-Agent’和’Cookie’参数是在“我的淘宝”网页中，检查（Ctrl+shfit+I）页面,选择network如下图。