全新requests_html库—淘宝商品爬虫实战

首先，祝大家元旦快乐！给大家带来一个超级方便好用的爬虫新库requests_html，支持解析js，非常非常的方便快捷。接下来小编用一篇实战爬取淘宝商品的列子来给大家展示这个库的用法。

效果图展示:

真夜猫.JPG

用解析html网页的方法去解析js网页元素，是不是很爽呢，来我们切入正文！

所需导入的库：

from requests_html import HTMLSession
from fake_useragent import UserAgent
import time

爬虫主体部分

(访问并解析网页，小遍在这里采用了xpath的解析方式):

session = HTMLSession()
ua = UserAgent(use_cache_server=False)
def spider(name,i):
        ua = UserAgent()
        print("第"+str(i)+"页爬取")
        url = "https://uland.taobao.com/sem/tbsearch?spm=a2e15.8261149.07626516003.3.49d229b4uPgwxV&refpid=mm_2663225" \
              "8_3504122_32538762&keyword="+str(name)+"&upsid=963bba87a8e47c95862de2c497f0ca45&page=" + str(i) + "&_input_charset=utf-8"

        try:
            response=session.get(url,headers={'user-agent': ua.random,})
            print(response.status_code)
        except:
            try:
                if response.status_code !=200:
                    response=session.get(url,headers={'user-agent': ua.random,})
                    print(response.status_code)
            except:
                pass

        try:
            response.html.render() #js解析器
        except:
            try:
                time.sleep(3.5)
                response.html.render()
            except:
                print('错误')
                pass

        print('ks')
        try:
            divs=response.html.xpath('//*[@class="item"]')
            print(len(divs))
            for div in divs:
                data={
                    'title':div.xpath('.//span[@class="title"]/@title')[0],
                    'price':div.xpath('.//span[@class="pricedetail"]/strong/text()')[0],
                    'shop_name':div.xpath('.//p[@class="shopName"]/span/text()')[0],
                    'payNum':div.xpath('.//p[@class="shopName"]/span[2]/text()')[0],
                    'score':div.xpath('.//span[@class="dsr-info-num"]/text()')[0],
                     'link':div.xpath('.//a[@target="_blank"]/@href')[0]
                    }
                print(data)
        except:
            pass

文中的response.html.render()是小编创建的js解析器，有了他我们就可以直接去用xpath、css、bs4或正则去解析js网页元素了。真的是非常的方便。

主函数内容

(控制spider函数的启动、参数的传递)：

def main():
    try:
        name=input("商品名字：")
        num = int(input("请输入要爬取的页数："))
        for i in range(1,num+1):
            spider(name,i)
    except:
        pass
if __name__ == '__main__':
    main()

程序到这里就完毕了，还等什么，赶快去试试吧！···