python之Selenium+pyquery爬取有大量反爬虫的天眼查

天眼查：一个还有大量公司的信息的网站。
所以反爬程度是相当高的，首先直接用requests.get(url)来获取页面源代码，你会发现，明明显示在页面上的公司的一些数据都不在，他是利用其它的js的方法表达出来的，因为这个网站有专门的反爬虫人员，可以在一些招聘网上看到工资还可以15k-30k
所以说用这些方法根本就不爬到什么
那么只有使出我们的杀手锏，selenium，他的好处在于可以模拟浏览器操作，非常方便获取属性也很方便。
首先这个网站不登录的话，你会发现，怎么源代码上面的是和页面表示出来的不一样啊，明明是****公司**，在源代码上却是 @#￥····，连公司的基本信息，比如邮箱什么的，都是*****[email protected]什么的，不能看到全部的信息，这是因为不登录的话，天眼查对于大部分的公司的信息，进行了一些保护，登录了才可以页面的源代码才会正确。
所以首先我们注册注册一个天眼查的账号：

接下来我们知道selenium驱动的浏览器是一个非常纯净的，没有任何cookies，及一些信息的保存，目前来说是这样，所以每一次访问这个网站，都是全新的，没有任何的登录信息在上面，所以我们怎么实现selenium模拟登录呢，这就要用到phantomjs，因为这个网站上面的登录注册时用js代码生成的，源代码上是没有这些东西的，如果我们用phantomjs的话，可以直接解析出来所有js包含的html代码。
下面一步一步来解析代码：
这是拼接完整的代码，keyword就是关键字，等会在main函数里自行输入，在search函数里加入phantomjs解析，这个要先安装好phantomjs。

browser = webdriver.Chrome()
browser.maximize_window()#将浏览器最大化
wait = WebDriverWait(browser,10)

def search(keyword):
    url_keyword = urllib.parse.quote(keyword)  # 中文转码为url格式
    url = 'http://www.tianyancha.com/search/' + url_keyword + '?checkFrom=searchBox'
    driver = webdriver.PhantomJS(
        executable_path='D:\\Program Files\\phantomjs-2.1.1-windows\\bin\\phantomjs')  # phantomjs的绝对路径
    time.sleep(2)
    driver.get(url)
    browser.get(url)
    return url
def main():
    keyword = '阿里巴巴'
    url = search(keyword)
if __name__ == '__main__':
    main()

当我们运行代码后发现：怎么回事啊，为什么和我不加phantomjs代码不一样啊，现在直接出现一个登陆的界面，需要登陆之后才能进入，这就是为什么要注册一个账号的原因之一：

现在我们就需要利用selenuim模拟登录了，首先要做到的就是获取输入框，在刚刚这个界面按F12审查元素，再点击选择元素的小箭头，之后点击输入手机号码那里，就可以在下面看到输入框在源代码中的位置，找到那个位置，右键，copy，selector,就可以得到他的这个元素的选择器，因为我们用的是selenuim中一个查找元素为位置的元素，具体看我的代码，之后用send_keys()输入你的账户密码，然后同样的找到登录的那个位置的css_selector,再点击就进入了。

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException

def login():
    try:
        userInput = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#web-content > div > div > div > div.position-rel.container.company_container > div > div.in-block.vertical-top.float-right.right_content.mt50.mr5.mb5 > div.module.module1.module2.loginmodule.collapse.in > div.modulein.modulein1.mobile_box.pl30.pr30.f14.collapse.in > div.pb30.position-rel > input')))
        passwordInput = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#web-content > div > div > div > div.position-rel.container.company_container > div > div.in-block.vertical-top.float-right.right_content.mt50.mr5.mb5 > div.module.module1.module2.loginmodule.collapse.in > div.modulein.modulein1.mobile_box.pl30.pr30.f14.collapse.in > div.pb40.position-rel > input')))
        userInput.send_keys('*************')#账号
        passwordInput.send_keys('**********')#密码
        changeLoginWay = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#web-content > div > div > div > div.position-rel.container.company_container > div > div.in-block.vertical-top.float-right.right_content.mt50.mr5.mb5 > div.module.module1.module2.loginmodule.collapse.in > div.modulein.modulein1.mobile_box.pl30.pr30.f14.collapse.in > div.c-white.b-c9.pt8.f18.text-center.login_btn')))
        changeLoginWay.click()
    except TimeoutException:
        login()

我们可以看到每个公司的class为search-result-single，

直接看代码：
这里就要用到pyquery了，用它来解析公司的每一个信息：具体pyquery使用方法就不详谈了，具体可以看我上一篇文章。

def get_company_info():
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.search-block .result-list .search-result-single')))
    html = browser.page_source#获取此时页面源代码
    doc = pq(html)
    items = doc('.search-block .result-list .search-result-single').items()#解析到每一个公司的位置
    for item  in items:
        company = {
            'urlInfo':item.find('.name ').attr('href'),#公司链接
            'name' : item.find('.name').text(),#名字
            'LegalRepresentative':item.find('.info .title a').text(),#法人
            'registerMoney':item.find('.info .title span').eq(0).text(),#注册资金
            'registerTime':item.find('.info .title span').eq(1).text(),#注册时间
            'tel':item.find('.contact .link-hover-click').eq(0).text(),#电话
            'email':item.find('.contact .link-hover-click').eq(1).text(),#邮箱
            'LegalPersonInfo':item.find('.content .match span').eq(1).text()#商标信息
        }

现在到了最关键的一步，就是翻页，因为有很多页，目前不是vip只有5页可以查找
下面是selenuim关于翻页的操作：这里面有很多坑，当时也折腾我了好久，
下面我来一一分析，当他在第一页的时候，下面有个企业认证的广告，刚好把翻页的按钮挡住了，当时这个bug我调了好久才找到，我们就用刚刚介绍的元素选择器把它关掉就行了，把它关掉才可以点击下一页那个按钮，
第二个坑出现了，居然第一页的下一步的按钮和第二页第三页的selector不一样，这里也调了很久，代码里可以看到我写了判断，最后再**执行get_company_info（）**获取信息就行了。main里面的那个循环就是用来翻页的，从1到5页。
move_to_bottom是用来翻到网页最下面的。

def move_to_bottom():
    js = "var q=document.documentElement.scrollTop=100000"
    browser.execute_script(js)

def next_page(page_number):
    print('------------------------------------正在爬取',page_number,'页-----------------------------------------------------------------')
    try:
        if page_number == 2:
            closeAdvertisement = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#tyc_banner_close')))
            closeAdvertisement.click()
        move_to_bottom()
        if page_number == 2:
            nextPageButton = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#web-content > div > div.container-left > div.search-block > div.result-footer > div:nth-child(1) > ul > li:nth-child(12) > a')))
            nextPageButton.click()
        if page_number > 2:
            nextPageButton = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#web-content > div > div.container-left > div.search-block > div.result-footer > div:nth-child(1) > ul > li:nth-child(13) > a')))
            nextPageButton.click()
        get_company_info()
        time.sleep(3)
    except TimeoutException:
        next_page(page_number)
def main():
    keyword = '阿里巴巴'
    url = search(keyword)
    login()
    for page in range(2,6):
        next_page(page)
    browser.close()

最后存储到mongodb：
在get_company_info()方法里调用就行了。

import pymongo

mongoclient = pymongo.MongoClient("localhost",port=27017,connect = False)
db = mongoclient .AugEleventh
classname = db.alibaba
def save_to_mongo(result):
    if classname.insert(result):
        print('存储到mongoDB成功',result)
    else:
        print('存储到mongoDb失败')

这里告诉大家基本以及爬完了，你想爬什么公司的在keyword中输入就可以了，但是不是vip只有最多5页的内容。这个不用vip获取更多公司信息就说了，毕竟人家要靠这个赚钱，就放过他吧（其实是我完全不知道！！）
下面贴出完整代码：

from selenium import webdriver
import urllib
from pyquery import PyQuery as pq
import json
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException
import time
import pymongo

mongoclient = pymongo.MongoClient("localhost",port=27017,connect = False)
db = mongoclient .AugEleventh
classname = db.alibaba

browser = webdriver.Chrome()
browser.maximize_window()#将浏览器最大化
wait = WebDriverWait(browser,10)

def move_to_bottom():
    js = "var q=document.documentElement.scrollTop=100000"
    browser.execute_script(js)

def search(keyword):
    url_keyword = urllib.parse.quote(keyword)  # 中文转码为url格式
    url = 'http://www.tianyancha.com/search/' + url_keyword + '?checkFrom=searchBox'
    driver = webdriver.PhantomJS(
        executable_path='D:\\Program Files\\phantomjs-2.1.1-windows\\bin\\phantomjs')  # phantomjs的绝对路径
    time.sleep(2)
    driver.get(url)
    browser.get(url)
    return url



def get_total_page(url):
    total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#web-content > div > div.container-left > div.search-block > div.result-footer > div:nth-child(1) > ul > li:nth-child(11) > a')))
    get_company_info()
    return total.text

def login():
    try:
        userInput = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#web-content > div > div > div > div.position-rel.container.company_container > div > div.in-block.vertical-top.float-right.right_content.mt50.mr5.mb5 > div.module.module1.module2.loginmodule.collapse.in > div.modulein.modulein1.mobile_box.pl30.pr30.f14.collapse.in > div.pb30.position-rel > input')))
        passwordInput = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#web-content > div > div > div > div.position-rel.container.company_container > div > div.in-block.vertical-top.float-right.right_content.mt50.mr5.mb5 > div.module.module1.module2.loginmodule.collapse.in > div.modulein.modulein1.mobile_box.pl30.pr30.f14.collapse.in > div.pb40.position-rel > input')))
        userInput.send_keys('15995028879')
        passwordInput.send_keys('19981027lcy')
        changeLoginWay = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#web-content > div > div > div > div.position-rel.container.company_container > div > div.in-block.vertical-top.float-right.right_content.mt50.mr5.mb5 > div.module.module1.module2.loginmodule.collapse.in > div.modulein.modulein1.mobile_box.pl30.pr30.f14.collapse.in > div.c-white.b-c9.pt8.f18.text-center.login_btn')))
        changeLoginWay.click()
    except TimeoutException:
        login()

def get_company_info():
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.search-block .result-list .search-result-single')))
    html = browser.page_source
    doc = pq(html)
    items = doc('.search-block .result-list .search-result-single').items()
    for item  in items:
        company = {
            'urlInfo':item.find('.name ').attr('href'),
            'name' : item.find('.name').text(),
            'LegalRepresentative':item.find('.info .title a').text(),
            'registerMoney':item.find('.info .title span').eq(0).text(),
            'registerTime':item.find('.info .title span').eq(1).text(),
            'tel':item.find('.contact .link-hover-click').eq(0).text(),
            'email':item.find('.contact .link-hover-click').eq(1).text(),
            'LegalPersonInfo':item.find('.content .match span').eq(1).text()
        }
        save_to_mongo(company)

def next_page(page_number):
    print('------------------------------------正在爬取',page_number,'页-----------------------------------------------------------------')
    try:
        if page_number == 2:
            closeAdvertisement = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#tyc_banner_close')))
            closeAdvertisement.click()
        move_to_bottom()
        if page_number == 2:
            nextPageButton = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#web-content > div > div.container-left > div.search-block > div.result-footer > div:nth-child(1) > ul > li:nth-child(12) > a')))
            nextPageButton.click()
        if page_number > 2:
            nextPageButton = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#web-content > div > div.container-left > div.search-block > div.result-footer > div:nth-child(1) > ul > li:nth-child(13) > a')))
            nextPageButton.click()
        get_company_info()
        time.sleep(3)
    except TimeoutException:
        next_page(page_number)

def save_to_mongo(result):
    if classname.insert(result):
        print('存储到mongoDB成功',result)
    else:
        print('存储到mongoDb失败')

def main():
    keyword = '阿里巴巴'
    url = search(keyword)
    login()
    total_pages = int(get_total_page(url)[-3:])#获取下他的总页数，但是没用，因为不是vip只能爬5页，本来我不是想吧下面那个6换成total_pages 的
    for page in range(2,6):
        next_page(page)
    browser.close()

if __name__ == '__main__':
    main()

目前的我的模拟登录不是最好的，还有种是直接利用登录后的cookies信息，用selenuim登录后直接就是已经登陆的状态，目前我还不怎么清楚怎么做，希望有大神在评论区说说。