用Python+Selenium+Phantomjs登录Tumblr

Tumblr上面有很多的好东西，这是大家都知道的。现在需要用爬虫把它趴下下来，但是有些网页需要登录才能看到，因为它们有"Sensitive Information"。如果直接访问的话，页面会直接跳转到Safe Mode，所以需要注册一个账户，登录之后再爬。

平台

Ubuntu 16.04
Linux类的系统其实都行，本方法没有什么特别平台依赖

软件包

Python3

sudo pip3 install selenium
sudo pip3 install phantomjs

注意：

Ubuntu16.04 用apt装的phantomjs有bug，所以要pip来安装。

代码及解释

# 导入需要的模块
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 导入系统相关的模块
import logging
import time
import sys
# 设置logging
logging.basicConfig(stream=sys.stdout, level=logging.INFO)
logger = logging.getLogger(__name__)
# 设置代理参数
# 如果您不在大陆地区则可以省略这个参数
service_args = [
        '--proxy=127.0.0.1:1080', #您的梯子的地址
        '--proxy-type=socks5',    #梯子的类型
    ]

def login():
    # 网络地址
    url = "http://www.tumblr.com/login"
    # 用浏览器的类型，这里是PhantomJS
    driver = webdriver.PhantomJS(service_args=service_args) 
    # driver = webdriver.Firefox()
    # 设置浏览器窗口大小
    driver.set_window_size(1920, 1080)
    # 获取页面内容
    driver.get(url)
    body    = driver.page_source
    # 找到填写email地址的文本框
    e_email = driver.find_element_by_xpath("//input[@id='signup_determine_email']")
    e_email.clear()
    e_email.send_keys("[email protected]") # 你登录用的email地址
    # 找到Next按钮
    e_next  = driver.find_element_by_xpath("//span[@class=\"signup_determine_btn active\"]")
    e_next.click()
    logger.info("click next");
    # 设置等待对象
    wait = WebDriverWait(driver, 20)
    # 等输入密码的文本框加载出来
    # 这里用来判断的是出现Sign In的按钮
    e_login = wait.until(lambda driver: driver.find_element_by_xpath("//span[@class=\"signup_login_btn active\"]"))
    # 找到密码文本框
    e_pwd = driver.find_element_by_xpath("//input[@id='signup_password']")
    e_pwd.clear()
    e_pwd.send_keys("password") #您的密码
    # 点一下Sign In按钮
    e_login.click()
    logger.info("click login");

    # 等等出现一个导航条，就算加载完成
    wait.until(lambda driver: driver.find_element_by_xpath("//nav[@id=\"post_buttons\"]"))
    # time.sleep(5)
    logger.info("login ok, redirect to %s" % driver.current_url);
    # 获得cookie
    # cookies = driver.get_cookies()

    # 受保护的地址
    url = "https://xxxxx.tumblr.com/"
    driver.get(url)
    # 看看页面还会不会被跳转到Safe Mode
    logger.info("link to %s, redirect to %s" % (url, driver.current_url));
    # 保存页面为一个图片
    driver.save_screenshot('screen.png')