selenium+phantomjs和headlesschrome

selenium概念

selenium是什么？

是一个浏览器的自动化测试工具，那么什么又是自动化呢？就是可以通过代码来操作浏览器，让浏览器做一些功能

安装selenium

pip install selenium

selenium操作谷歌浏览器，其实并不是直接操作的谷歌浏览器，而是操作的谷歌浏览器的驱动，然后由驱动再去操作谷歌浏览器

谷歌驱动下载地址

http://chromedriver.storage.googleapis.com/index.html

http://npm.taobao.org/mirrors/chromedriver/

谷歌驱动和谷歌浏览器关系映射表

http://blog.csdn.net/huilan_same/article/details/51896672

 pip install pyvirtualdisplay

chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

path = r'/usr/bin/chromedriver'
driver = webdriver.Chrome(executable_path=path, chrome_options=chrome_options)

display = Display(visible=0, size=(800, 800))
display.start()
chrome_options = Options()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

find_eselenium_by_link_text:根据链接的内容查找，注意只需要将网页中链接的标题直接复制过来即可使用selenium必须使用等待时间，因为后面的查找节点操作依赖前面的相应内容

(1)强制等待

time.sleep(10)

不管网页有没有过来，必须等待10s，代码才接着往下走

(2)隐式等待

driver.implicily_wait(10)

最多等待10s

eg: selenium

from selenium import webdriver
import time

# 谷歌驱动的地址
path = r'C:\Users\ZBLi\Desktop\1809\day06\ziliao\chromedriver.exe'
# 创建一个谷歌浏览器对象
driver = webdriver.Chrome(executable_path=path)

# 操作谷歌浏览器，其实就是调用这个对象的方法而已
url = 'http://www.baidu.com/'
driver.get(url)
# time.sleep(20)
driver.implicitly_wait(20)

# 通过driver查找的到input输入框
myinput = driver.find_element_by_id('kw')
# 往框里面写内容
myinput.send_keys('气质美女')
time.sleep(3)

# 点击百度一下
mybutton = driver.find_element_by_id('su')
mybutton.click()
time.sleep(4)

# 找到指定美女点击
# image = driver.find_element_by_xpath('//div[@id="1"]/div[1]/a[1]')
# image.click()
# time.sleep(3)

# 点击美女图片的链接
oa = driver.find_element_by_link_text('气质美女_海量精选高清图片_百度图片')
oa.click()

time.sleep(5)

# 关闭浏览器
driver.quit()

phantomJS

phantomjs是什么？

是一款浏览器，是一款没有界面的浏览器，所以他的功能不是为了显示数据的。就有浏览器的功能，可以将html、css、js转化为图文并茂的形式。就可以执行js代码

在爬取数据的时候，服务端为了反爬，经常采用动态html这种方案，DOM，你对应的方案如何解决呢？

1）捕获接口

一般都是ajax请求获得的，一般都是json数据，然后解析json即可
ajax接口，返回是html格式字符串，通过bs、xpath、正则解析即可
还有的数据，不是通过接口，而是直接放在了js文件中，解析js文件，正则提取

（2）放大招

selenium+phantomjs 这种方法效率太低，需要长时间的等待，所以性能太低，一般不用他，如果实在没有其他方法了，那就放大招
这个技能怎么如此厉害呢？phantomjs是浏览器，和真正的浏览器一模一样，所以可以解决所有问题

模拟滚动条到底部

js='document.body.scrollTop='0000'

jdriver.execute_script(js)

得到执行js之后的html数据

driver.page_source

phantomjs已经不再维护了，所以现在基本上都不使用了

eg:

from selenium import webdriver
import time
path = r'C:\Users\ZBLi\Desktop\1809\day06\ziliao\phantomjs-2.1.1-windows\bin\phantomjs.exe'

# 创建浏览器对象
driver = webdriver.PhantomJS(executable_path=path)
url = 'http://www.baidu.com/'

driver.get(url)
driver.implicitly_wait(10)
# 拍照片的方式
driver.save_screenshot('./png/baidu1.png')

driver.find_element_by_id('kw').send_keys('美女')
# driver.implicitly_wait(5)
time.sleep(5)
# driver.find_element_by_id('su').click()

# driver.implicitly_wait(10)
driver.find_element_by_id('su').click()
driver.implicitly_wait(10)
driver.save_screenshot('./png/baidu2.png')

driver.quit()

代码（抓取豆瓣）

from selenium import webdriver
import time

path = r'C:\Users\ZBLi\Desktop\1809\day06\ziliao\phantomjs-2.1.1-windows\bin\phantomjs.exe'

# 创建浏览器对象
driver = webdriver.PhantomJS(executable_path=path)

url = 'https://movie.douban.com/typerank?type_name=%E7%88%B1%E6%83%85&type=13&interval_id=100:90&action='

driver.get(url)
# driver.implicitly_wait(10)
time.sleep(5)
driver.save_screenshot('./png/douban1.png')

# 模拟滚动条滚到底部  10000随便写的，但是肯定要大于你的网页的高度
# document.body   document.documentElement
# 还有一种，是滑动到底部的时候，点击加载更多。通过find方法找到他，然后点击即可
js = 'document.body.scrollTop=10000'
driver.execute_script(js)
time.sleep(5)
driver.save_screenshot('./png/douban2.png')

# 如何得到执行完js的代码
# with open('douban.html', 'w', encoding='utf8') as fp:
#   fp.write(driver.page_source)
content = driver.page_source

driver.quit()


# 通过bs、或者xpath来解析content即可

headlesschrome

最开始无界面浏览器领域只有phantomjs一家
后来谷歌和火狐也做了，再后来phantomjs就不做了

下载火狐驱动

https://github.com/mozilla/geckodriver/releases

驱动和版本映射关系

https://blog.csdn.net/yinshuilan/article/details/79730239

导入

from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

####添加代理
chome_options.add_argument(('--proxy-server=http://' + ip))

代码

from selenium import webdriver
import time
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

path = r'C:\Users\ZBLi\Desktop\1809\day06\ziliao\chromedriver.exe'
driver = webdriver.Chrome(executable_path=path, chrome_options=chrome_options)

url = 'http://www.baidu.com/'
driver.get(url)
time.sleep(3)
driver.save_screenshot('./png/lala.png')

driver.quit()

导入火狐

firefox_options = webdriver.FirefoxOptions()
firefox_options.set_headless()
firefox_options.add_argument('--disable-gpu')

代码

from selenium import webdriver
import time

# 以无界面模式启动火狐浏览器
firefox_options = webdriver.FirefoxOptions()
firefox_options.set_headless()
firefox_options.add_argument('--disable-gpu')

path = r'C:\Users\ZBLi\Desktop\1809\day06\ziliao\geckodriver.exe'
driver = webdriver.Firefox(executable_path=path, firefox_options=firefox_options)

url = 'http://www.baidu.com/'
driver.get(url)
time.sleep(3)
driver.save_screenshot('./png/huohu.png')

driver.quit()