Python爬取豆瓣高分电影Top250

前言

记录个人的第一个爬虫练习，爬取豆瓣电影评分Top250的数据，并分别生成Excel文件和数据库文件。

---

 

一、爬虫

爬虫(spider)，又称网络蜘蛛，是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

二、步骤

1.引入库

代码如下（示例）：

import sqlite3 # 进行sql数据库操作
import re   # 正则匹配
from bs4 import BeautifulSoup   # 网页解析，获取网页数据
import urllib.request,urllib.error  # 制定URL，获取网页数据
import xlwt     #进行excel操作

2.代码实现

源代码

import sqlite3 # 进行sql数据库操作
import re   # 正则匹配
from bs4 import BeautifulSoup   # 网页解析，获取网页数据
import urllib.request,urllib.error  # 制定URL，获取网页数据
import xlwt     #进行excel操作


def main():
    baseurl = "https://movie.douban.com/top250?start="
    datalist = getData(baseurl)
    savepath = ".\\豆瓣电影Top250.xls"
    saveData(datalist,savepath)
    dbpath = "movie.db"
    saveData2DB(datalist,dbpath)

# 影片地址
findlink = re.compile(r'')     # 创建正则表达式，制定规则
# 影片图片
findImgSrc = re.compile(r'(.*)')
# 影片评分
findmark = re.compile(r'(.*)')
# 影片评价人数
findpeople = re.compile(r'(\d+)人评价')
# 影片概况
findinq = re.compile(r'(.*)')
# 找到影片的相关内容
findinfo = re.compile(r'
(.*?)
',re.S)

# 1.抓取数据
def getData(baseurl):

    datalist = []
    for i in range(0,10):
        url = baseurl + str(i*25)
        html = askURL(url)  #保存获取到的网页源码

        # 2.逐一解析数据
        soup = BeautifulSoup(html,"html.parser")
        for item in soup.find_all('div',class_="item"):     #查找符合要求的字符串，形成列表
            # print(item)

            data = []   #保存电影的所有信息
            item = str(item)

            # 获取影片的详情链接
            link = re.findall(findlink,item)[0]
            data.append(link)
            # print(link)
            # 获取图片链接
            imgsrc = re.findall(findImgSrc,item)[0]
            data.append(imgsrc)
            # 获取影片名称
            moviename = re.findall(findname,item)

            if len(moviename) != 1:
                data.append(moviename[0])

                name = moviename[1].replace('/','')
                data.append(name.strip())
            else:
                data.append(moviename)
                data.append(" ")

            # 获取评分
            moviemark = re.findall(findmark,item)
            data.append(moviemark[0])
            # 评价人数
            people = re.findall(findpeople,item)
            data.append(people[0])
            # 影片概况
            movieinq = re.findall(findinq,item)
            if len(movieinq) != 0:
                data.append(movieinq[0].replace('。',''))
            else:
                data.append(' ')
            # 影片相关内容
            movieinfo = re.findall(findinfo,item)[0]

            movieinfo = re.sub('(\s+)?',' ',movieinfo)
            movieinfo = re.sub('/',' ',movieinfo)
            movieinfo = movieinfo.strip()       # 去掉前后的空格
            # print(movieinfo)
            data.append(movieinfo)
            # print(data)

            datalist.append(data)   #把处理好的一部电影信息存入datalist

    return datalist

# 得到一个指定URL网页内容
def askURL(url):
    head = {    # 模拟浏览器头部信息，向豆瓣发送消息
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36"
    }
    # 用户代理，表示告诉豆瓣服务器，我们是什么机器、浏览器（本质是告诉浏览器，我们可以接受什么水平的文件）
    request = urllib.request.Request(url,headers=head)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
        # print(html)
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)
    return html

def saveData(datalist,savepath):
    # 3.保存数据
    book = xlwt.Workbook(encoding='utf-8',style_compression=0)
    sheet = book.add_sheet('豆瓣高分电影top250',cell_overwrite_ok=True)
    col = ('电影链接','海报链接','中文名','外文名','评分','评价人数','概况','主演信息')
    for i in range(0,8):
        sheet.write(0,i,col[i])
    for i in range(0,250):
        print('第%d条'%(i+1))
        data = datalist[i]
        for j in range(0,8):
            sheet.write(i+1, j,data[j])
    book.save(savepath)
    print('爬取完毕！')

def saveData2DB(datalist,dbpath):
     init_db(dbpath)
     conn = sqlite3.connect(dbpath)
     cur = conn.cursor()

     for data in datalist:
         for index in range(len(data)):
             # if index == 4 or index == 5:
             #     data[index] = data[index][0]
             if index == 4 or index == 5:
                 continue
             data[index] = '"' + str(data[index]) + '"'
             # else:
             #    data[index] = '"' + str(data[index]) + '"'
         sql = '''
                insert into movie250 (
                link,imgsrc,moviename,ename,moviemark,people,movieinq,movieinfo)
                values(%s)'''%",".join(data)
         # print(sql)
         cur.execute(sql)
         conn.commit()
     cur.close()
     conn.close()

def init_db(dbpath):
    sql = '''
        create table movie250
        (
        id integer primary key autoincrement,
        link text,
        imgsrc text,
        moviename varchar,
        ename varchar,
        moviemark numeric,
        people numeric,
        movieinq text,
        movieinfo text
        )
    '''     #创建数据表
    conn = sqlite3.connect(dbpath)
    cursor = conn.cursor()
    cursor.execute(sql)
    conn.commit()
    conn.close()


if __name__ == "__main__":  #当程序执行时
    # 调用函数
    main()

三、实现效果

 1、生成Excel表格

2、生成数据库文件

---

总结

这个案例主要使用了正则表达式获取网页源码地址，通过bs4库解析网址，再分别通过xlwt模块生成Excel文件，利用sqlite3模块生成简单的数据库文件，涉及的模块和知识点较多，是一个很好的爬虫练习案例。