selenium 实现模拟登录
selenium模拟登录：爬虫在爬取某些必须登录才能可见数据的网站是，可以使用selenium模拟浏览器登录请求，以下为模拟登录微博的源码：
from selenium import webdriver
from scrapy.selector import Selector
browser = webdriver.Chrome(executable_path="C:\Mycode\爬虫资源\chromedriver.exe") #配置chromedriver.exe的路径
browser.get("https://weibo.com/") #获取登录页面
import time
time.sleep(10) #防止加载过慢
browser.find_element_by_css_selector("#loginname").send_keys("username") #填写账号，username修改为可用的账号
browser.find_element_by_css_selector(".info_list.password input[node-type='password']").send_keys("password") #填写密码，password修改为可用的密码
browser.find_element_by_css_selector(".info_list.login_btn a[node-type='submitBtn'").click() #模拟点击“登录”
#模拟鼠标下拉
for i in range(3): #设置下拉次数
browser.execute_script("window.scrollTo(0,document.body.scrollHeight); var lenOfPage=document.body.scrollHeight;return lenOfPage;")
time.sleep(3) #设置下拉后暂停时间，用以等待加载
不加载图片：在某些情况下，禁止图片加载来加快网页加载速度，也可以用selenium来实现：
#设置chromedriver不加载图片
chrome_opt = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images":2}
chrome_opt.add_experimental_option("prefs",prefs)
browser = webdriver.Chrome(executable_path="C:\Mycode\爬虫资源\chromedriver.exe",chrome_options=chrome_opt)
browser.get("https://www.taobao.com")cookie调用：爬虫爬取每个人url时，不可能要selenium每次都要登录，因此就需要selenimu获取cookie，将cookie放到Request中请求网站：
import time
time.sleep(10) #登录结束后，延迟10s用以加载页面
Cookies = browser.get_cookies() #获取cookie
print(Cookies)
cookie_dict = {}
import pickle
for cookie in Cookies: #将cookie保存到本地
#写入文件
f = open('C:\Mycode\ArticleSpider\cookies\weibo' + cookie['name'] + '.weibo','wb')
pickle.dump(cookie,f)
cookie_dict[cookie['name']] = cookie['value']
browser.close()
return [scrapy.Request(url=self.start_urls[0], dont_filter=True,headers=self.headers,cookies=cookie_dict)] #将cookie随Request一起向网页发送请求selenium集成到scrapy中：在中间件中定义一个selenium的请求类：
from scrapy.http import HtmlResponse
class JSPageMiddleware(object):
# 通过chorme请求动态网页
def process_request(self,request,spider):
if spider.name == "weibo": #spider的name
spider.browser.get(request.url)
import time
time.sleep(3)
print("访问{0}".format(request.url))
return HtmlResponse(url=spider.browser.current_url, body=spider.browser.page_source, encoding="utf-8",
request=request)
为了使中间件的类生效，必须将这个类设置到setting中：
DOWNLOADER_MIDDLEWARES = {
'ArticleSpider.middlewares.JSPageMiddleware': 1,
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
}为了避免每次请求都要重新启动一个chrome，需要在spider中定义一个关闭chrome的类：
def __init__(self):
self.browser = webdriver.Chrome(executable_path="C:\Mycode\爬虫资源\chromedriver.exe")
super(JobboleSpider,self).__init__()
dispatcher.connect(self.spider_closed,signals.spider_closed)
def spider_closed(self,spider):
#爬虫退出的时候关闭chorme
print("spider closed")
self.browser.quit()