爬虫笔记（一）——爬取静态网页

一、Requests库

中文文档页面:https://requests.kennethreitz.org/zh_CN/latest/

1.requests.get() 方法

import requests

res=requests.get('www.baidu.com')

print(res)

输出：

requests.get()，参数为字符串，返回值为Response对象。

2.Response对象

常用属性

status_code     http状态

text                  内容的字符串形式（HTML文本，一般用于文字）

content            内容的二进制形式（一般用于图片）

encoding         内容的编码

3.requests.post()方法

post方法用于向服务器提交信息，如登录，评论等。

import requests

data = {

    'data' = '...',

    #post提交的参数

}

res = requests.post('http://...', data=data)

print(res)

输出：

data的参数可以通过F12中的post请求下的Form Data查看：

上述流程不能保存登录信息，每次请求信息都要重新登录，为简化程序，可以用cookies传递登录信息，上述代码的cookies为res.cookies，可以在下一次的post请求中加入参数 cookies=res.cookies 。

4.会话对象Session

会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie 。

import requests

headers = {

    'user-agent': ''

}

data = {

    #数据

}

s = requests.Session()

s.headers.updata(headers)

res = s.post('http://...', data=data)

print(res)

进行多个post请求时也会保存cookie。

二、BeautifulSoup库

import requests

from bs4 import BeautifulSoup 

headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/76.0.3809.132Safari/537.36'}

res = requests.get('https://book.douban.com/top250', headers = headers)

soup = BeautifulSoup(res.text, 'html.parser')

创建BeautifulSoup对象需要两个字符串参数，HTML文本和HTML解析器。html.parser是Python内置的解析器。

print(res.text)和print(soup)内容一样，区别在于类型，前者是str，后者是bs4.BeautifulSoup。

1.BeautifulSoup对象

find()            返回符合条件的首个数据

find_all()        返回符合条件的所有数据

find()/find_all()方法的属性可以是标签、属性，可以使用多个参数。

例：soup.find_all('div', id='...', class_='...'), class为区别于Python中的类用 class_ 代替。

返回值为Tag对象和由Tag对象组成的列表。

tag.text                获取标签内容

tag['属性名']        获取标签属性值

tag对象也可以使用find()方法嵌套查询。

items = soup.find_all('div',class_= 'item')

for i in items:

    tag=i.find('a')

    name=tag.text  

    link = tag['href']

    print(name,link)

2.CSS选择器

在 CSS 选择器中，# 代表 id，. 代表 class。比如：#login 表示 id='login' 的所有元素，.item 表示 class='item' 的所有元素。

我们也可以直接通过标签名选择对应的元素，比如：a 表示所有的 a 元素，p 表示所有的 p 元素。

它们也可以组合在一起，选择同时符合条件的元素，比如：a#login 表示所有 id='login' 的 a 元素，p.item 表示所有 class='item' 的 p 元素，#login.item 表示所有 id='login' 且 class='item' 的元素，.item.book 表示所有 class 同时为 item 和 book 的元素。

需要注意的是，选择同时符合条件的元素，选择器之间不能有空格，如果写成 .item .book 就是另一个意思了。这是新的知识点——子元素选择。

当两个选择器之间加了空格，表示子元素选择。还是以 .item .book 为例，它表示选择所有 class='item' 的元素里面 class='book' 的元素，即嵌套在 class='item' 的元素里面 class='book' 的元素。

这个嵌套可以是任意层级的，只要在里面就行，不要求直接嵌套在第一层。如果只需要直接嵌套在第一层符合条件的元素，可以用 > 分隔。比如：.item > .book。

items = soup.select('div.item a')

for i in items:

    name = i.text 

    link = i['href']

    print(name, link)

三、静态网页爬虫技巧

1.批量生成网址

url = 'https://book.douban.com/top250?start={}'

# num 从 0 开始因此不用再 -1

urls = [url.format(num*25) for num in range(10)]

print(urls)

# 输出：

# [

# 'https://book.douban.com/top250?start=0',

# 'https://book.douban.com/top250?start=25',

# 'https://book.douban.com/top250?start=50',

# 'https://book.douban.com/top250?start=75',

# 'https://book.douban.com/top250?start=100',

# 'https://book.douban.com/top250?start=125',

# 'https://book.douban.com/top250?start=150',

# 'https://book.douban.com/top250?start=175',

# 'https://book.douban.com/top250?start=200',

# 'https://book.douban.com/top250?start=225'

# ]

2.反爬虫

 · 修改请求头

为防止网站识别出爬虫拒绝提供信息，需要修改请求头(request headers)。下图是request headers中的部分字段，user-agent表示用户代理，修改该字段可以把爬虫模拟成浏览器访问。

import requests

# 从浏览器中复制粘贴的请求头

headers = {'user-agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'}

res = requests.get('https://book.douban.com/top250', headers=headers)

print(res.text)

为防止访问过快背封ip，可以用 time.sleep() 降低访问速度。

 · 使用代理

import requests

proxies = {

    "http" : "http://......",

    "https" : "https://......"

}

request.get("www.baidu.com", proxies = proxies)

练习

import requests

import time

from bs4import BeautifulSoup

headers = {'user-agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) \

            AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 \

            Safari/537.36 Edg/83.0.478.45"}

url ='https://movie.douban.com/top250?start={}&filter='

urls = [url.format(i*25) for i in range(10)]

for url in urls:

    res = requests.get(url, headers=headers)

    soup = BeautifulSoup(res.text, 'html.parser')

    items = soup.find_all('div', class_='item')

    for item in items:

        no_ = item.find('em').text

        name = item.find('div', class_='hd').find('span').text

        with open('..\\file\\movie.txt', 'a')as f:

            f.write(no_ +' ' + name +'\n')

    time.sleep(0.1)