python爬虫概述及简单实践：获取豆瓣电影排行榜

目录

前言

Python爬虫概述

简单实践 - 获取豆瓣电影排行榜

1. 分析目标网页

2. 获取页面内容

3. 解析页面

4. 数据存储

5. 使用代理IP

总结

---

前言

Python爬虫是指通过程序自动化地对互联网上的信息进行抓取和分析的一种技术。Python作为一门易于学习且强大的编程语言，因其拥有丰富的第三方库和强大的数据处理能力，使得它成为了爬虫开发中的最佳选择。本文将简单介绍Python爬虫的概述，并提供一个简单的实践案例，同时会使用代理IP来提高爬虫的效率。

Python爬虫概述

Python爬虫由三个部分组成：网页下载、网页解析、数据存储。

• 网页下载：从互联网上获取需要的数据，通常使用requests库或urllib库来实现
• 网页解析：将下载下来的网页进行处理，提取出需要的信息，常见的解析库有BeautifulSoup和xpath等
• 数据存储：将获取到的数据存储到文件、数据库等中，通常使用sqlite、MySQL等数据库或者csv、json等文件格式

简单实践 - 获取豆瓣电影排行榜

下面将通过一个简单的实践来讲解Python爬虫的应用。

1. 分析目标网页

首先打开浏览器，访问[豆瓣电影排行榜](https://movie.douban.com/chart)，观察页面，我们会发现电影排行榜的信息都在HTML的table标签中，并且每个电影信息都是一个tr标签。每个电影信息包括电影名称、评分、导演、演员、链接等等。因此，我们需要使用Python程序来获取这些电影的信息。

2. 获取页面内容

网页下载是爬虫的第一步，我们使用Python的requests库来获取目标网页的HTML代码。代码如下：

import requests

url = 'https://movie.douban.com/chart'
user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
headers = {'User-Agent': user_agent}

r = requests.get(url, headers=headers)
if r.status_code == 200:
    html = r.text

这里我们设置了请求头，模拟浏览器的请求，以免被目标网站认为是爬虫而禁止访问。

3. 解析页面

我们使用Python的BeautifulSoup库来解析页面。该库提供了一种非常方便的方式来操作HTML和XML文档，能够方便地获取特定元素、属性和文本等信息。我们首先使用lxml解析器将HTML代码转换成BeautifulSoup对象，然后根据标签和属性的CSS选择器来遍历HTML文档并提取需要的内容。代码如下：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, features="lxml")
table = soup.find("table", {"class": "ranking-list"})
tbody = table.find("tbody")
trs = tbody.findAll("tr")

movies = []
for tr in trs:
    td_name = tr.find("td", {"class": "titleColumn"})
    name = td_name.find("a").text
    rating = tr.find("span", {"class": "rating_num"}).text
    director = td_name.find("div", {"class": "bd"}).find_all("p")[0].text
    actors = td_name.find("div", {"class": "bd"}).find_all("p")[1].text
    link = td_name.find("a")["href"]
    movie = {"name": name, "rating": rating, "director": director, "actors": actors, "link": link}
    movies.append(movie)

for movie in movies:
    print(movie)

这里我们使用find()方法来查找特定的标签和属性，并使用text属性来获取标签中的文本。需要注意的是，如果标签不存在或者不存在某个属性，那么会返回None，因此需要进行一定的判断和处理。

4. 数据存储

最后，我们将获取到的电影信息保存到CSV文件中。代码如下：

import csv

filename = 'movies.csv'
with open(filename, 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['电影名', '评分', '导演', '演员', '链接'])
    for movie in movies:
        writer.writerow([movie['name'], movie['rating'], movie['director'], movie['actors'], movie['link']])

使用csv库的writerow()方法将电影信息逐行写入CSV文件中。

5. 使用代理IP

有些网站会对爬虫程序进行限制，例如设置访问频率限制、封禁IP等操作。因此，我们需要使用代理IP来解决这一问题。代理IP可以让我们通过代理服务器来访问目标网站，从而提高访问速度和安全性。

我们可以通过一些免费的代理IP网站来获取代理IP，例如站大爷代理ip、开心代理等。代码如下：

import requests

url = 'https://movie.douban.com/chart'
user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
headers = {'User-Agent': user_agent}

proxy_url = 'https://www.zdaye.com//'
proxy_headers = {'User-Agent': user_agent}

proxies = []
r = requests.get(proxy_url, headers=proxy_headers)
if r.status_code == 200:
    soup = BeautifulSoup(r.text, features="lxml")
    table = soup.find("table", {"id": "ip_list"})
    tbody = table.find("tbody")
    trs = tbody.findAll("tr")
    for tr in trs:
        tds = tr.find_all('td')
        if len(tds) > 6 and tds[5].text == 'HTTP':
            ip = tds[1].text + ':' + tds[2].text
            proxies.append(ip)

for proxy in proxies:
    try:
        print('Using proxy:', proxy)
        proxy_dict = {'http': 'http://' + proxy, 'https': 'https://' + proxy}
        r = requests.get(url, headers=headers, proxies=proxy_dict, timeout=5)
        if r.status_code == 200:
            html = r.text
            break
    except:
        continue

这里我们定义一个proxies列表来保存获取到的代理IP，然后遍历该列表中的每个代理IP进行访问。如果某个代理IP无法访问，则使用下一个代理IP进行访问，直到访问到目标网页为止。需要注意的是，如果代理IP无法使用或者响应时间过长，需要考虑使用其他IP或者增加超时时间。

总结

Python爬虫是一种非常有用的技术，通过Python程序自动化地获取互联网上的数据，为我们带来了许多便利。在实践中，我们需要注意遵守法律法规和爬虫道德规范，以避免产生不良后果。