爬虫笔记（2）入门

1.爬虫结构

从爬虫的结构上来看，追简单的爬虫包括任务队列、页面下载和页面解析三个部分。

import Queue
init_url = 'xxxx' #初始化页面
queue = Queue.Queue() #任务队列
fetch_urls = set() #已访问页面集合
queue.put(init_url)
fetch_urls.add(init_url)
while True:
  if queue.size()>0:
    url = queue.get()
    html = download(url)
    data = parse(html)
    urls = data['urls']
    for url in urls:
      if url not in fetch_urls:
        fetch_urls.add(url)
        queue.put(url)
  else:
    break

上面代码实现了一个简单的爬虫，虽然是伪代码，但稍作修改就可以运行。

2.糗事百科

（1）页面分析

每一个爬虫都需要先分析一下页面结构，这样才能使用程序正确的获取相关的内容。

糗事百科首页（图1）

首页中在“热门”标签下，每页列出了20个内容，在页面底部有分页区域。

页面内容分析（图2）

F12打开开发者工具，每个内容由一个div包括。查找class属性为"article block untagged mb15"，就可以获取当前页面所有的内容标签。对每一个内容，继续查找用户名以及用户链接，文本内容，还有点赞数量和评论数量。

分页部分分析（图3）

上图是分页部分的代码，从中可以提取到相关的url地址。

（2）页面分析代码

• 查找所有的article

soup = BeautifulSoup(html,'html5lib')
articles = soup.find_all("div",attrs={"class":"article block untagged mb15"})

• 获取单个article中的用户信息

for article in articles:
    #获取用户信息
    author = article.find('div',attrs={'class':'author'})
    author_as = article.find_all('a')
    #这里我们会找到两个a标签，第一个标签是头像照片，第二个标签是用户名和用户链接，这里需要的是后者。
    user = author_as[1]
    userlink = user['href']
    username = user['title']
    #这里再展示一下别的方法，我们可以观察到每个article中只有一个h2标签
    #h2的父标签就是上面的author_as[1]
    h2 = article.find('h2')
    h2p = h2.parent#这样就可以参照上面的代码查找用户名和用户链接

• 获取内容文本

    content = article.find('div',attrs={'class':'content'}).find('span').text
    #这里用了一句代码就获取了内容文本，实际上它执行了三条语句
    #第一步就是获取class属性为‘content’的div标签，第二步是找到
    #它下属的span标签，获取文本采用的是text方法。这里要注意获取文本内容也可以使用string方法，
    #但是如果文本中有其它html标签就会获取失败。

• 获取点赞信息

    #点赞信息和评论量在class='stats'的div标签下
    #如果直接从上到下查找未免显得过于繁琐，可以直接查找i标签
    #在查到标签的过程中要尽量采用最简便的方法
    i_list = article.find('i')
    votenum = i_list[0].string
    commentnum = i_list[1].string

• 查找url
  url的查找是一个非常重要的内容，否则爬虫就没法继续运行下去了。在页面中出现的链接往往都是相对链接，这时候要拼装成绝对链接。还有对一些链接进行过滤，这里又涉及到正则表达式的内容。正则表达式在分析文本中非常重要，以后也会介绍相关的内容。

#这里只需要查找所有的a标签
alist = soup.find('a')
for a in alist:
    href = 'http://www.qiushibaike/'+a['href']

这个例子的目的是查找所有的段子，实际上很多段子很长需要点到详细页才能看全，但是我们只需要截取一部分即可。还有就是，我们也不需要抓取用户页面信息。那么就需要过滤掉这些页面，这里采用正则表达式。

import re#这句应该放在最前面
pattern = re.compile(r'^/')
article_pattern = re.compile(r'^/(article|user)')
#这里有两个模式（pattern），第一个我们只想爬取以"/"开头的链接，
#这个链接代表相对于网站根目录的地址。
#第二个模式，就是要排除以"/article"和"/user"开头的地址
urls = []
for a in alist:
  url = a['href']
  if pattern.match(url) and not article_pattern.match(url) :
    urls.append('http://www.qiushibaike.com'+url)

上面的代码组装一下就是parse函数的代码，返回的数据包括糗事的信息以及要继续爬取的url。

（3）页面下载

页面下载是很简单的，是用requests是最方便的。当然也有用urllib2，一开始我也用这个，但是这个有些复杂而且有时候也不稳定。这里要注意的就是requests编码问题。

def download(url):
    response =  requests.get(url)
    return response.text

上面的代码很简单，这里没有考虑到出错问题，在实际使用中肯定要考虑这个。