抓取某一用户微博

任务目标

1. 选取任意用户的微博(首页)
2. 抓取信息，包括: 用户名称、用户简介、前10条微博信息，有图片的，包含图片地址

目标地址

http://weibo.com/pinganbeijing

模拟登陆方式

1. 登录模拟表单登录 (验证码识别)
2. Cookie登录

抓取用户名称和用户简介

需要抓取的信息

用户名称

用户简介

安装Selenium

pip install Selenium

安装phantomjs

http://phantomjs.org/download.html

将安装后的EXE文件放到C:\Python27\Scripts文件夹下。

使用XPath

XPath的简单调用方法

from lxml import etree
selector=etree.HTML(源码)  #将源码转化为能被XPath匹配的格式
selector.xpath(表达式)  #返回为一列表

XPath的简单调用方法

1) // 双斜杠 定位根节点，会对全文进行扫描，在文档中选取所有符合条件的内容，以列表的形式返回。 
2) / 单斜杠 寻找当前标签路径的下一层路径标签或者对当前路标签内容进行操作 
3) /text() 获取当前路径下的文本内容 
4) /@xxxx 提取当前路径下标签的属性值 
5) | 可选符 使用|可选取若干个路径 如//p | //div 即在当前路径下选取所有符合条件的p标签和div标签。 
6) . 点 用来选取当前节点 
7) .. 双点 选取当前节点的父节点 

固定coolie登陆

获取User-Agent和Cookie

# -*- coding: utf-8 -*-
from lxml import etree
from selenium import webdriver

class ZirconSinaSpider:

    driver = webdriver.PhantomJS()  # 使用webdriver.PhantomJS

    def get_url_content(self, url):
        self.init_phantom_driver(url)

    def init_phantom_driver(self, url):
        cap = webdriver.DesiredCapabilities.PHANTOMJS
        cap["phantomjs.page.settings.resourceTimeout"] = 1000

        user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3100.0 Safari/537.36'
        cookie = 'your_cookie'
        headers = {
            'User-Agent': user_agent,
            'Cookie': cookie
        }

        for key, value in headers.iteritems():
            cap['phantomjs.page.customHeaders.{}'.format(key)] = value
            cap['phantomjs.page.customHeaders.User-Agent'] = user_agent
            self.driver = webdriver.PhantomJS(desired_capabilities=cap)

        self.driver.get(url)
        doctree = self.get_dom_tree()
        self.get_content_username(doctree)
        self.get_content_user_sim_info(doctree)
        self.get_content_top10_info(doctree)

    def get_dom_tree(self):
        # 执行js得到整个dom
        html = self.driver.execute_script("return document.documentElement.outerHTML")
        doctree = etree.HTML(html)
        print type(doctree)
        return doctree

    def get_content_username(self,doctree):
        username = doctree.xpath('//*[@id="Pl_Official_Headerv6__1"]/div/div/div[2]/div[2]/h1/text()')  # 获取用户名称, 这里使用id属性来定位哪个div被匹配 使用text()获取文本内容
        print username[0]

    def get_content_user_sim_info(self,doctree):
        user_sim_info = doctree.xpath('//*[@id="Pl_Official_Headerv6__1"]/div/div/div[2]/div[3]/@title')  # 获取用户简介, 使用“@标签属性”获取div便签的title属性值
        print user_sim_info[0]

    def get_content_top10_info(self,doctree):
        user_top10_info = doctree.xpath('//div[@class="WB_detail"]/div[@class="WB_text W_f14"]')  # 获取用户前10条微博
        i = 1
        for each in user_top10_info:
            print i
            i = i + 1
            print each.xpath('string(.)').strip()

url = "http://weibo.com/pinganbeijing"
spider = ZirconSinaSpider()
spider.get_url_content(url)