Python3 + Selenium + Headless Chrome采集

1.requests受挫

之前用requests中间搞了一个的爬虫，启动两个py进程，一个爬url，一个读内容，用了一阵子，挺嗨的。

今天有个同事想让我帮他爬一下58同城某频道的电话号码，用于营销，看了一下58，感觉用跟那个很像，就打算基于现有的微调一下。

然后发现问题了，频繁请求之后会有js的滑动验证码，尝试模拟各种header，也没成功。

image.png

但奇怪的是如果用浏览器手动刷新，出现验证码的几率就小很多（也会出现，不过比直接requests好不少），暴力无脑F5，很小几率出现一次。

2.考虑使用selenium+headless chrome

所以考虑用selenium+phantomjs模拟一下：
1、模拟真实的浏览器环境，可以很少出现验证码
2、如果出现验证码，应该可以模拟滑动关掉它

网上找了demo源码搞起来一看，居然提示phantomjs已经deprecated了，查了一下果然，现在大家都开始抛弃phantomjs用headless了，有chrome和firefox两个版本，chrome的js引擎还是很给力的，所以用chrome。

3.安装

下载安装chromedriver，支持windows/linux/mac：
https://sites.google.com/a/chromium.org/chromedriver/downloads

安装python、selenium这些就不说了。

4.coding

然后就开始coding了——以下只是部分简单代码

from selenium import  webdriver

chromedriverpath = 'C:/Users/hx/AppData/Local/Google/Chrome/Application/chromedriver.exe'
driver = webdriver.Chrome(chromedriverpath)

#打开目标网页
driver.get("http://bj.58.com/jiajiao/pn1")

#获取网页标题
title = driver.title

#获取html
html = driver.page_source

#其他api请自行百度
#...

driver.close()

跟beatifulsoap类似，driver也有各种可以操作dom的方法，而且比beatifulsoap还要强大，不过我并不想把之前的代码用driver重新写一遍，所以直接通过driver.page_source获取了html源代码，然后交给beatifulsoap去处理了。

#用beatifulsoap格式化
soap = BeautifulSoup(html)

#用class获取链接dom
links = soap.find_all(class_="t ac_linkurl")

#循环获取链接地址和标题
for i,link in enumerate(links):
    target_url = link.get("href")
    title = link.text

    #mysql部分略

5.效果

写完之后测试了一下，启动的时候会稍微卡顿一下，因为要启动浏览器，然后就快了。
不间歇的访问，差不多访问50次左右会出现一下验证码，加个2秒延迟，跑了几轮，都没有再看到验证码出现了，相当于偷懒绕过了验证码。

6.后续

以后如果有必要的话，再研究怎么处理验证码。有兴趣的可以一起探讨。

老胡的公众号，关注一波吧