初探selenium+phantomjs

初衷

• 项目背景是，从某网站抓取的公司企业信息去天眼查核实这个公司真实存在，最初想法是用scrapy框架搞一下，但是发现会被封，于是经过研究发现还有m站，所以取巧就从m站抓取判断状态；
• 项目完结后心血来潮想用selenium模拟浏览器重新实现一遍，于是就有了selenium一天的体验；

开搞

一、搞好环境

• 我用的是chrome + selenium ，所以要先安装chromedriver，注意，要保证chrome 和chromedriver的版本相对应才可以，这里附上一个对应关系(也是mark别人的)
  http://blog.csdn.net/huilan_same/article/details/51896672
  chromedriver下载地址:
  http://npm.taobao.org/mirrors/chromedriver/
  解压到指定目录：
  例如：d:\Program Files (x86)\python2.7.9\Scripts
  这样就齐活了 ，可以开始撸了。
  可以先简单测试一下环境是否ok，上用例：

    from selenium import webdriver
    from selenium.webdriver.common.keys import Keys
    from selenium.webdriver.support.ui import Select #表单填充
    from selenium.webdriver import ActionChains#元素拖拽
    brower = webdriver.Chrome()
  
    brower.get('http://www.baidu.com/')
    element = brower.find_element_by_class_name("s_ipt")
    element = brower.find_element_by_name("wd")
    element = brower.find_element_by_id("kw")
    element = brower.find_element_by_tag_name("input")
    element = brower.find_element_by_xpath("//input[@id='kw']")
  
    element.send_keys(u"爸爸去哪儿", Keys.ENTER)
  

• 贴上代码，如果环境没有问题，那么就见证奇迹吧。是不是so easy

二、从天眼查核实公司名称是否真实存在

• 我这边是公司名字已经存在mongo库里了，直接取就可以，这里暂且先用一个公司名字。
• 1、先做一些初始化的东西

company_name = u"烟台嘉德氟碳科技有限公司"
class MCompany():
   def __init__(self, browser_type='chrome'):
       self.logger = logging.getLogger('MCompany')
       self.init_mongo() ## 初始化mongo
       self.init_browser(browser_type) ## 指定浏览器类型

   def __del__(self):
       self.browser_quit() ## 退出

   def init_mongo(self):
       ‘初始化语句’

   def init_browser(self, browser_type):
       # self.browser = webdriver.PhantomJS() ## 后台运行，无界面显示
       self.browser = webdriver.Chrome() ## 有界面显示，人为能看到
       self.browser.maximize_window() ## 最大化
       self.pid = self.browser.service.process.pid
       self.wait = ui.WebDriverWait(self.browser, 20)

   def browser_quit(self):
       try:
           if self.browser:
               self.browser.quit()
               os.kill(self.pid, 9)
       except Exception, e:
           self.logger.warning("browser quit error:%s" % (str(e)))
       finally:
           self.browser = None

初始化的东西做好后，接下来我们来分析下这个网站吧

• 在浏览器中输入https://m.tianyancha.com/，就是天眼查的m站，然后随便输入一个公司名字，例如我例子中的名字，则会跳转到如下：
  
  

  image.png
• 然后我们再来分析下这个页面的url：https://m.tianyancha.com/search?key=烟台嘉德氟碳科技有限公司&checkFrom=searchBox不难发现规律，把url中公司名字去掉后，就是搜索页面如下：
  
  

  image.png
  
  我们就用这个页面来做起始页面吧。接下来就是模拟人输入公司名字，然后利用xpath进行匹配第一个出现的名字和库里的名字是否一样了。

def parse(self, company_name):

        self.browser.get('https://m.tianyancha.com/search?key=&checkFrom=searchBox')
        ele = self.browser.find_element_by_xpath("//input[@id='live-search']") ## 找到输入框
        ele.clear()  ##清除
        ele.send_keys(company_name, Keys.ENTER) ## 回车发送
        name = self.browser.find_element_by_xpath(
            "//div[@class='new-border-bottom pt5 pb5 ml15 mr15'][1]//a[@class='query_name in-block']/span/em")  ##匹配第一行的公司名字
        if name.text:    ## text是取xpath下面的文本
            if name.text == company_name:
                check = u"已核实"
            else:
                check = u"没找到"
        else:
            check = u"没找到"

        return check

• 到这里一个简单的模拟浏览器的行为就实现了。之后加上代理就可以愉快的跑了，跑出的结果当然也是更新到mongo库里。

三、模拟登陆

• 其实，这个天眼查是碰巧被我研究 还有m站，避免了模拟登陆这个过程，接下来，有时间我会再写一版从www域模拟登陆这个过程重新抓一次（纯属蛋疼）。

四、总结

• 上面好像没有说到phantomjs这个东东，其实，在我理解，如果把webdriver换成phantomjs则就没有了界面，否则是有界面的，界面的意思是:自动化过程吧。
• 附上 https://selenium-python.readthedocs.io/locating-elements.html 相关api用法
• 还有很多我还没有研究明白，有时间会继续搞一下
• 码了一个多小时，凑合着吧（不知道过段时间再看会不会忘记）