爬虫三步走

爬虫三步走

1. 获取数据 所需要的库: requests、ullib

2. 解析数据 所需要的库：Xpath、beautifulsoup4

3. 保存数据 保存本地、保存数据库

1.1 获取网页内容数据 使用ullib库

# 导入库
import urllib.request
# 获取网页数据
response = urllib.request.urlopen("https://www.baidu.com")
# 打印网页数据
print(response.read())
# 处理编码问题
print(response.read().decode('utf-8'))

1.2 获取网页内容数据 使用requests库

# 导入库
import requests
# 获取网页数据
r = requests.get("http://www.baidu.com")
# 请求状态获取
print(r)
# http请求的返回状态
print(r.status_code)
# 输出对象的文本内容
print(r.text)
# 输出对象的二进制形式
print(r.content)
# 分析返回对象的编码方式
print(r.encoding)
# 响应内容编码方式（备选编码方式)
print(r.apparent_encoding)
# 编码处理
r.encoding ='utf-8'
# 输出编码处理之后的网页数据内容
print(r.text)
print(r.headers)
print(r.raise_for_status)
print(r.headers['Server'])

r.enconding和r.apparent_enconding有什么区别

r.encoding:从HTTP header中猜测的响应内容编码方式。

如果header中存在charset字段，说明我们访问的服务器对它资源的编码方式是有要求的。可以使用r.encoding 来获取。

如果header中不存在charset字段，则认为默认编码为ISO-8859-1,但是这个编码不能解析中文。r.apparent_encoding：根据网页内容分析出的编码方式。

所以可得出r.apparent_encoding 的编码比r.encoding 中的编码更加准确。当使用r.encoding 不能正确解码返回的内容的时候，我们可以使用apparent_encoding 来解码。

2.1 使用beautifulsoup4解析网页，获取内容并输出

# 获取评论
import requests
from bs4 import BeautifulSoup as bs
r = requests.get("https://book.douban.com/subject/30230525/comments/").text
soup = BeautifulSoup(r,'lxml')
pattern = soup.find_all('span', 'short')
for item in pattern:
    print(item.string)
    # print(item.text)
# 获取ID
r = requests.get("https://book.douban.com/subject/30230525/comments/").text
soup = bs(r, features='lxml')
# print(soup)
pattern = soup.find_all('span', 'comment-info')
# print(pattern)
i = 1
for item in pattern:
    id_names = item.find_all('a')
    for id_name in id_names:
        print(i, end='、')
        print(id_name.string,":", id_name['href'])  # id.get('href')
        i += 1

2.2 使用xpath解析网页，获取内容并输出

import requests
from lxml import etree
url = "https://book.douban.com/subject/1084336/comments/"
r = requests.get(url).text
s = etree.HTML(r)
ls = s.xpath('//*[@id="comments"]/ul[1]/li/div[2]/p/span/text()') #浏览器的复制然后加上text()
# 以列表的形式打印出来
for i in ls:
    print(i)

3.1 保存数据到txt文件中

import requests
from lxml import etree
url = 'https://book.douban.com/subject/1084336/comments/'
r = requests.get(url).text
s = etree.HTML(r)
file = s.xpath('//div[@class="comment"]/p/span/text()')
# print(file)
# 将解析到的评论写入到txt文件
with open('short_comment.txt', 'w+', encoding='utf-8') as f:  # 使用with open()新建对象f
    for i in file:
        print(i)
        f.write(i)

3.2 使用pandas库保存数据到Excel或者CSV中

# 获取豆瓣《小王子》前8页的评论数据
import requests
from lxml import etree
import pandas as pd
# 通过观察的url翻页的规律，使用for循环得到5个链接，保存到urls列表中
urls=['https://book.douban.com/subject/1084336/comments/hot?p={}'.format(str(i)) for i in range(1, 8, 1)]
# 初始化用于保存短评的列表
comments = []
# 使用for循环分别获取每个页面的数据，保存到comments列表
for url in urls:
    r = requests.get(url).text
    s = etree.HTML(r)
    file = s.xpath('//div[@class="comment"]/p/span/text()')
    comments = comments + file
# 把comments列表转换为pandas DataFrame
df = pd.DataFrame(comments)
# 使用pandas把数据保存到excel表格
df.to_excel('comments.xlsx')
#   使用pandas把数据保存到csv中
df.to_csv('comments.csv')