第一个爬虫-豆瓣Top250电影

第一个爬虫-豆瓣Top250电影

from bs4 import BeautifulSoup
import re
import urllib.request


def resp(baseurl):
    for i in range(10):
        url = baseurl + str(i * 25)
        request = urllib.request.Request(url, headers=head)
        response = urllib.request.urlopen(request)
        html = response.read().decode('utf8')
        soup = BeautifulSoup(html, 'html.parser')  # 先是获取到了源码,在具体解析

        for items in soup.find_all('div', class_="item"):
            item = str(items)
            title = re.findall(r'(.*)', item)[0]  # 电影名
            score = re.findall(r'(.*)', item)[0]  # 评分
            theme = re.findall(r'(.*)', item)  # 主旨
            count = re.findall(r'(\d*)人评价', item)[0]  # 评价数
            link = re.findall(r'', item)[0]  # 链接
            jieshao = re.findall(r'
(.*?)
', item, re.S)[0]  # 相关介绍
            if len(theme) != 0:
                theme = theme[0].replace('。', '')
            else:
                theme = ''
            print(title + ' ' + score + '分' + ' ' + count + '人评价' + ' ' + theme + ' ' + link)


if __name__ == '__main__':
    baseurl = 'https://movie.douban.com/top250?start='
    head = {
     
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"
    }
    resp(baseurl)

下面就简单说两句

# 这里是用的urllib,很容易获取到了源码,再通过bs4解析
# 这里以第一个电影为例,使用正则很容易获取到想要的数据
# 最后拼接字符串就可以得到想要的结果
<div class="item">
<div class="pic">
<em class="">1</em>
<a href="https://movie.douban.com/subject/1292052/">
<img alt="肖申克的救赎" class="" src="https://img2.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg" width="100"/>
</a>
</div>
<div class="info">
<div class="hd">
<a class="" href="https://movie.douban.com/subject/1292052/">
<span class="title">肖申克的救赎</span>
<span class="title"> / The Shawshank Redemption</span>
<span class="other"> / 月黑高飞(港)  /  刺激1995(台)</span>
</a>
<span class="playable">[可播放]</span>
</div>
<div class="bd">
<p class="">
                            导演: 弗兰克·德拉邦特 Frank Darabont   主演: 蒂姆·罗宾斯 Tim Robbins /...<br/>
                            1994 / 美国 / 犯罪 剧情
                        </p>
<div class="star">
<span class="rating5-t"></span>
<span class="rating_num" property="v:average">9.7</span>
<span content="10.0" property="v:best"></span>
<span>2240495人评价</span>
</div>
<p class="quote">
<span class="inq">希望让人自由。</span>
</p>
</div>
</div>
</div>

这里大家要注意一下

# 不是每个电影都有inq内容的,所以这里做了个判断
<p class="quote">
<span class="inq">希望让人自由。</span>
</p>

大佬勿喷啊,手下留情!!!
也是第一次爬成功,哪里可以优化的地方,望大佬们指点指点.
谢谢了