爬取维基百科词条

python爬取维基百科词条，获得某词汇页面中释义段落的加粗词汇、链接词汇以及所爬词汇对应的分类，为自动构建同义词汇树准备数据。
以下代码可能为一次性代码，因为解析html靠的是标签的相对位置，维基百科的html标签修改后，可能会对爬虫有影响，所以先给出学习爬虫的资料，页面改动后代码对应改动即可。
requests库使用教程
BeautifulSoup使用教程
这个爬虫是爬取我指定文件中包含的词汇，并不是在维基百科随便爬取，你可以在一个文件中指定要爬取的词汇，也可以看这篇文章获得指定文件。

# -*- coding: utf-8 -*-

import requests
from bs4 import BeautifulSoup


def get_word(folder_name, file_name):
    
    fp = open(folder_name + '/' + file_name, 'r')
    for line in fp:
        yield line.split('\t')[0]
    
    fp.close()
    


def download_html(url, word):
    response = requests.get(url + word)
    return response.text

    


def parse_html(html, word):
    '''
    维基百科3类不正常页面：
    1. 消歧页
    2. 重定向页
    3. 长度过短文章 (不必处理)
    '''
    
    def write2file(fp, arr):
        for item in arr:
            fp.write(item.encode('utf-8') + '#')
        fp.write('|||')
    
    soup = BeautifulSoup(html, 'html.parser')
    content = soup.find(id='mw-content-text')

    
    redirect = soup.find(attrs={'class' : 'mw-redirectedfrom'})
    title = ''
    if redirect != None:
        title = soup.find(id='firstHeading').text
        print '重定向到', title
    
    
    ambiguity = content.find_all(id='disambigbox')
    if len(ambiguity) != 0:
        '''
        对歧义词分文件存储
        '''
        print '是消岐页'
        
        fp_ambiguity = open('ambiguity.txt', 'a')
        fp_ambiguity.write(word + '|||' + title.encode('utf-8') + '|||')
        
        # 加粗的词汇
        paragraphs = content.find_all('b')
        for b in paragraphs:
            fp_ambiguity.write(b.text.strip().encode('utf-8') + '#')
        fp_ambiguity.write('|||')
        # 消歧页的歧义列表 取出链接指向关系
        lis = content.find_all('li')
        for li in lis:
            fp_ambiguity.write(li.a.text.strip().encode('utf-8') + '#')
        fp_ambiguity.write('|||')
        fp_ambiguity.write('\n')
        fp_ambiguity.close()
        return
    
    
    
    # 取出词汇的分类
    catlinks_arr = []
    catlinks = soup.find(id='mw-normal-catlinks').find_all('li')
    for catlink in catlinks:
        catlinks_arr.append(catlink.a.text)
    
    
    arr_para = []
    arr_b = []
    arr_a = []    
    for children in content.children:
        if children.name == 'p':
            if children.text == '':
                break
            # 取出整段的释义
            arr_para.append(children.text.strip())
            # 取出加粗词汇
            bs = children.find_all('b')
            if len(bs) != 0:
                for b in bs:
                    arr_b.append(b.text.strip())
            # 取出链接词汇
            ass = children.find_all('a')
            if len(ass) != 0:
                for a in ass:
                    arr_a.append(a.text.strip())
    
    fp = open('result.txt', 'a')
    fp.write(word + '|||' + title.encode('utf-8') + '|||')
    write2file(fp, catlinks_arr)
    write2file(fp, arr_b)
    write2file(fp, arr_a)
    write2file(fp, arr_para)
    fp.write('\n')
    fp.close()
    
    


def main():
    root_url = 'https://zh.wikipedia.org/wiki/'
        
    for word in get_word('../zh_labels', 'labels_result.txt'):
        print '爬取', word
        try:
            html = download_html(root_url, word)
            parse_html(html, word)
        except:
            print word, '爬取失败'
            fp = open('error_log.txt', 'a')
            fp.write(word + '\n')
            fp.close()
            continue
    
    
    print 'done'
    pass




if __name__ == '__main__':
    
    main()
    
    pass

注意修改代码中关于文件的路径
get_word(folder_name, file_name)函数从指定文件中取出待爬取的词汇。
download_html(url, word)函数下载对应url的html源码，并交给parse_html(html, word)函数解析。

维基百科的词条页面有4种情况：

1. 正常页面
2. 重定向，即用某个词汇访问url，会被带到另一个词汇页面。如访问https://zh.wikipedia.org/wiki/狗，会被维基百科带到了https://zh.wikipedia.org/wiki/犬页面。
3. 歧义，即访问的词汇有多种含义，对于这种页面，我取出加粗词汇和歧义词汇（链接词汇）。如访问https://zh.wikipedia.org/wiki/金毛狗，会出现这样的页面：
   
4. 未收录词汇，如访问https://zh.wikipedia.org/wiki/性质，会出现这种情况：
   
   

数据存储：

分三个文件存储：

1. 正常词汇的维基百科数据，按如下格式存储：
   被爬取词汇|||重定向词汇|||分类1#分类2#|||加粗词汇1#加粗词汇2#|||链接词汇1#链接词汇2#|||释义段落1#释义段落2#|||\n
   \n代表换行
2. 歧义词汇的维基百科数据，按如下格式存储：
   被爬取词汇|||重定向词汇|||加粗词汇1#加粗词汇2#|||链接词汇1#链接词汇2#|||\n
3. 未收录词汇和爬取出错的词汇，全部写入error_log.txt文件中。