python爬虫-利用requests库爬取猫眼电影top100

利用requests 库来抓取猫眼电影 TOPl100 的相关内容。

目标站点:https://maoyan.com/board/4

1.抓取首页

定义get_one_page方法,并给他传入url参数
注意:猫眼电影网站有反爬虫措施,设置headers后可以爬取


import requests
headers = {
    'Content-Type': 'text/plain; charset=UTF-8',
    'Origin': 'https://maoyan.com',
    'Referer': 'https://maoyan.com/board/4',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}


def get_one_page(url, headers):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestsException:
        return None
def main():
	 url = "https://maoyan.com/board/4"
	 html = get_one_page(url, headers)
	 print(html)

if __name__ == '__main__':
      main()

运行发现成功得到源代码
python爬虫-利用requests库爬取猫眼电影top100_第1张图片

2.正则提取

在这里我们定义def parse_one_page方法

import requests
import re
from requests.exceptions import RequestException
headers = {
    'Content-Type': 'text/plain; charset=UTF-8',
    'Origin': 'https://maoyan.com',
    'Referer': 'https://maoyan.com/board/4',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}


def get_one_page(url, headers):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestsException:
        return None

def parse_one_page(html):
   pattern = re.compile('
.*?board-index.*?>(\d+).*?data-src="(.*?)".*?name"> + '.*?>(.*?).*?star">(.*?)

.*?releasetime">(.*?)

.*?integer">(.*?).*?fraction">(.*?).*?
'
, re.S) items = re.findall(pattern, html) for item in items: yield { 'index': item[0], 'image': item[1], 'title': item[2], 'actor': item[3].strip()[3:], 'time': item[4].strip()[5:], 'score': item[5] + item[6] } def main(): url = "https://maoyan.com/board/4" html = get_one_page(url, headers) for item in parse_one_page(html): print(item) if __name__ == '__main__': main()

运行结果
python爬虫-利用requests库爬取猫眼电影top100_第2张图片

3.写入文件

我们将提取的结果写入文件,这里直接写入到一个文本文件中。

import requests
import re
import json
from requests.exceptions import RequestException
headers = {
    'Content-Type': 'text/plain; charset=UTF-8',
    'Origin': 'https://maoyan.com',
    'Referer': 'https://maoyan.com/board/4',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}


def get_one_page(url, headers):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestsException:
        return None

def parse_one_page(html):
   pattern = re.compile('
.*?board-index.*?>(\d+).*?data-src="(.*?)".*?name"> + '.*?>(.*?).*?star">(.*?)

.*?releasetime">(.*?)

.*?integer">(.*?).*?fraction">(.*?).*?
'
, re.S) items = re.findall(pattern, html) for item in items: yield { 'index': item[0], 'image': item[1], 'title': item[2], 'actor': item[3].strip()[3:], 'time': item[4].strip()[5:], 'score': item[5] + item[6] } def write_to_file(content): with open('result.txt', 'a', encoding='utf-8') as f: f.write(json.dumps(content, ensure_ascii=False) + '\n') f.close() def main(): url = "https://maoyan.com/board/4" html = get_one_page(url, headers) for item in parse_one_page(html): print(item) write_to_file(item) if __name__ == '__main__': main()

发现成功写入文件中
python爬虫-利用requests库爬取猫眼电影top100_第3张图片

6.分页爬取

上述步骤我们发现以及成功爬取了第一页的电影排名情况,因为我们需要抓取的是 TOP100 的电影,我们还需要实现其他 90 部电影的爬取。

通过对站点的分析,观察页面的 URL 和内容发生 了怎样的变化
python爬虫-利用requests库爬取猫眼电影top100_第4张图片
python爬虫-利用requests库爬取猫眼电影top100_第5张图片
**可以发现页面的 URL 变成 https://maoyan.corn/board/4?offset=10,比之前的 URL 多了一个参数,那 就是 offset=10,而目前显示的结果是排行 11~20 名的电影,初步推断这是一个偏移量的参数。 再点 击下一页,发现页面的 URL 变成了 http://maoyan.com/board/4 ? offset=20,参数 offset 变成了 20,而 显示的结果是排行 21-30 的电影。 由此可以总结出规律,offset 代表偏移量值,如果偏移量为 n,则显示的电影序号就是 n+l 到 n+10, 每页显示 10 个。

这里需要将 main()方法修改一下,接收一个 offset 值作为偏移量,然后构造 URL 进行爬取。 代码如下

import requests
import re
import json
from requests.exceptions import RequestException

headers = {
    'Content-Type': 'text/plain; charset=UTF-8',
    'Origin': 'https://maoyan.com',
    'Referer': 'https://maoyan.com/board/4',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
}

# 爬取网页源代码
def get_one_page(url, headers):
   try:
      response = requests.get(url, headers=headers)
      if response.status_code == 200:
         return response.text
      return None
   except RequestsException:
      return None

def parse_one_page(html):
   pattern = re.compile('
.*?board-index.*?>(\d+).*?data-src="(.*?)".*?name"> + '.*?>(.*?).*?star">(.*?)

.*?releasetime">(.*?)

.*?integer">(.*?).*?fraction">(.*?).*?
'
, re.S) items = re.findall(pattern, html) for item in items: yield { 'index': item[0], 'image': item[1], 'title': item[2], 'actor': item[3].strip()[3:], 'time': item[4].strip()[5:], 'score': item[5] + item[6] } def write_to_file(content): with open('result.txt', 'a', encoding='utf-8') as f: f.write(json.dumps(content, ensure_ascii=False) + '\n') f.close() #传入offest参数 def main(offset): url = "https://maoyan.com/board/4?offset="+str(offset) html = get_one_page(url, headers) for item in parse_one_page(html): print(item) write_to_file(item) if __name__ == '__main__': for i in range(10): main(i*10)

至此我们便完成了对猫眼电影top100的爬取,电影信息也已全部保存到了文本文件中了。
python爬虫-利用requests库爬取猫眼电影top100_第6张图片

  • 参考:python3网络爬虫开发实战(崔庆华著)

你可能感兴趣的:(python爬虫)