糗事百科信息爬取

本文主要爬取糗事百科页面首页的内容，涉及到的内容包括：作者，性别，年龄，段子内容，好笑数，评论数。并将读取的内容写入到CSV文件中。

一、网页分析

网址分析1

网址分析2

通过对网址分析，发现糗事百科的网页比较简单，网页的信息均是出现在网址中，为get获取方式，因此此处采用get方式进行请求。

二、主要内容分析

网页内容

从网页内容来看，每条信息间并列分布，因此采用遍历的方式对每一条信息的相关内容进行爬取。

三、代码

import requests
from bs4 import BeautifulSoup
import re

url =  'http://www.qiushibaike.com/text/'
headers = {
        'Cookie': '_qqq_uuid_="2|1',
        'Upgrade-Insecure-Requests': '1', 
        'Accept-Encoding': 'gzip, deflate, sdch, br', 
        'Accept-Language': 'zh-CN,zh;q=0.8', 
        'Cache-Control': 'max-age=0', 
        'ccept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 
        'Host': 'www.qiushibaike.com', 
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36', 
        'Referer': 'https', 
        'If-None-Match': '"091c1ffec42275e428d6a951055a2c5266c52a17"', 
        'Connection': 'keep-alive'
           }
html = requests.get(url, headers).content
soup = BeautifulSoup(html,'lxml')
f = open('C:\\Users\Administrator\\Desktop\\练习杂物\\糗事百科爬虫练习.csv', 'w', encoding = 'utf-8')
f.seek(0)
div_list = soup.find_all(name = 'div', class_ = 'article block untagged mb15')
for i in div_list:
    name = i.find('h2').text
    genders = i.find(name = 'div', class_ = re.compile('articleGender .*'))
     
    if genders == None:
        gender = 'None'
        age = 'None'
    else:
        gender = genders.attrs['class'][1][:-4]  #attrs['class']为一字典，字符串为元素
        age =genders.text
    content = i.find('span').text
    laugh = i.find(name = 'span', class_ = 'stats-vote').find('i').text
    comment = i.find(name = 'span', class_ = 'stats-comments').find('i').text
    f.writelines(['姓名： '+name,'  性别： '+gender,'  年龄： '+age,'  好笑数： '+laugh,'  评论数： '+comment])
    f.writelines('\n')
    f.writelines(content+'\n')
f.close()
print('finished!')   

爬取结果

爬取结果展示