Python+Selenium实现微博自动化爬虫

目的：

  利用python和selenium实现自动化爬虫

所需工具：

  1、python2.7

  2、selenium库（pip install selenium或者easy_install selenium进行安装）

  3、火狐浏览器

  安装好上述工具之后就可以开始微博爬虫啦！

  首先，打开你的python编辑器（本人使用的是sublime3），设置一下编码格式如下:

# -*- coding:utf-8 -*-

  然后导入所需要的库： 

from  selenium  import  webdriver
from  selenium.webdriver.common.keys  import  Keys
from  selenium.webdriver.common.action_chains  import  ActionChains
import  time

  利用如下代码，自动打开你的火狐浏览器并跳转到微博登录首页：

driver  =  webdriver.Firefox()
time.sleep( 3 )
driver.get( "http://weibo.com" )

  其中的time.sleep是让程序等候3秒后再接着运行，为了避免因为网速的影响而导致页面信息抓取错误。运行这段代码之后，就会发现你的浏览器已经跳转到微博登录首页了，这个时候需要让浏览器实现自动点击账号登录并输入账号和密码。代码如下：

left  =  driver.find_element_by_xpath(  ".//*[@id='pl_login_form']/div[2]/div[1]/div/a[2]" )
ActionChains(driver).double_click(left).perform()
time.sleep( 3 )
# 在账号输入框输入内容
driver.find_element_by_id( "loginname" ).send_keys( "***" )   # 在*处输入账号信息
# 在密码输入框输入密码
driver.find_element_by_name( "password" ).send_keys( "***" )  # 在*处输入密码信息
# 向密码框发送命令，按下回车键
driver.find_element_by_name( "password" ).send_keys(Keys.ENTER)

  运行上述代码之后，就会发现你已经自动登录微博了，然后需要跳转到你所要爬取微博内容所在的页面：

# 跳转url到指定页面
driver.get( "http://weibo.com/btvertaishidai?is_search=0&visible=0&is_all=1&is_tag=0&profile_ftype=1&page=2#feedtop" )

  然后就可以开始爬取你想要的信息啦，本人所要爬取的内容有微博的粉丝数量、每条微博的内容（包括点赞数、转发数、回复数）。因为这个页面需要拖动滑动条到网页最下面才能完全显示所有信息，所以在爬取内容之前应该先将滑动条拖到最下方，代码如下：

js  =  "var q=document.documentElement.scrollTop=30000"
for  i  in  range ( 3 ):
    driver.execute_script(js)
    time.sleep( 1 )

  运行上面的所有代码之后，就可以开始爬取内容了。

# 获取粉丝量
L_1  =  driver.find_element_by_xpath( ".//*[@id='Pl_Core_T8CustomTriColumn__3']/div/div/div/table/tbody/tr/td[2]/strong" ).text
data_text  =  []  # 保存微博内容
data_time  =  []  # 保存发布微博的时间
data_relay  =  []  # 转发量
data_comment  =  []  # 评论量
data_support  =  []  # 支持量
for  i  in  range ( 2 ,  50 ):
    try :
        text  =  driver.find_element_by_xpath(
            "//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[1]/div[3]/div[3]"  %  i).text
        Time  =  driver.find_element_by_xpath(
            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[1]/div[3]/div[2]/a[1]"  %  i).text
        relay  =  driver.find_element_by_xpath(
            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[2]/div/ul/li[2]/a/span/span/span/em[2]"  %  i).text
        comment  =  driver.find_element_by_xpath(
            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[2]/div/ul/li[3]/a/span/span/span/em[2]"  %  i).text
        support  =  driver.find_element_by_xpath(
            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[2]/div/ul/li[4]/a/span/span/span/em"  %  i).text
        if  text:
            data_text.append(text)
            data_time.append(Time)
            data_relay.append(relay)
            data_comment.append(comment)
            data_support.append(support)
        else :
            pass
    except  :
        break

  上面的代码中，对于要爬取的信息并没有采用正则去匹配，而是采用Xpath（比Xpath更为精准定位的是css定位），对于Xpath不懂的可以百度一下。

  运行完上面所有代码之后，这一页所要爬的内容就以及全部爬下来并分别保存在L_1(粉丝数量)、data_text(微博内容)、data_time(微博发布的时间)、data_relay(微博内容转发数量)、data_comment(微博内容评论数量)、data_support(微博内容点赞数量)，最后你就可以利用pandas将这些数据保存在csv中。

  上面的代码只是爬取了一个页面的所需内容，要是想爬取多个页面，稍微修改一下代码就可以了。如果有什么不明白的，可以给文章后面的邮箱发邮件。

  全部代码如下：

from  selenium  import  webdriver
from  selenium.webdriver.common.keys  import  Keys
from  selenium.webdriver.common.action_chains  import  ActionChains
import  time

driver  =  webdriver.Firefox()
time.sleep( 3 )
driver.get( "http://weibo.com" )
time.sleep( 5 )
left  =  driver.find_element_by_xpath(
    ".//*[@id='pl_login_form']/div[2]/div[1]/div/a[2]" )
ActionChains(driver).double_click(left).perform()
time.sleep( 3 )
# 在账号输入框输入内容
driver.find_element_by_id( "loginname" ).send_keys( "***" )
# 在密码输入框输入密码
driver.find_element_by_name( "password" ).send_keys( "***" )
# 向密码框发送命令，按下回车键
driver.find_element_by_name( "password" ).send_keys(Keys.ENTER)
time.sleep( 3 )
# 跳转url到指定页面
driver.get( "http://weibo.com/btvertaishidai?is_search=0&visible=0&is_all=1&is_tag=0&profile_ftype=1&page=2#feedtop" )
time.sleep( 3 )
# 获取粉丝量
L_1  =  driver.find_element_by_xpath( ".//*[@id='Pl_Core_T8CustomTriColumn__3']/div/div/div/table/tbody/tr/td[2]/strong" ).text
data_text  =  []  # 保存微博内容
data_time  =  []  # 保存发布微博的时间
data_relay  =  []  # 转发量
data_comment  =  []  # 评论量
data_support  =  []  # 支持量
# 拖动滚动条到最下方
js  =  "var q=document.documentElement.scrollTop=30000"
for  i  in  range ( 3 ):
    driver.execute_script(js)
    time.sleep( 1 )
# 开始爬取该页面所有微博内容以及相关信息
for  i  in  range ( 2 ,  50 ):
    try :
        text  =  driver.find_element_by_xpath(
            "//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[1]/div[3]/div[3]"  %  i).text
        Time  =  driver.find_element_by_xpath(
            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[1]/div[3]/div[2]/a[1]"  %  i).text
        relay  =  driver.find_element_by_xpath(
            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[2]/div/ul/li[2]/a/span/span/span/em[2]"  %  i).text
        comment  =  driver.find_element_by_xpath(
            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[2]/div/ul/li[3]/a/span/span/span/em[2]"  %  i).text
        support  =  driver.find_element_by_xpath(
            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[2]/div/ul/li[4]/a/span/span/span/em"  %  i).text
        if  text:
            data_text.append(text)
            data_time.append(Time)
            data_relay.append(relay)
            data_comment.append(comment)
            data_support.append(support)
        else :
            pass
    except  :
        break