Python爬取猫眼电影Top100

import requests
import re
import time
import json
from requests import RequestException

def get_one_page(url):
    try:
        headers={'User - Agent': 'Mozilla / 5.0(WindowsNT10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 72.0.3626.121Safari / 537.36'}
        response=requests.get(url,headers=headers)
        if response.status_code==200: #状态码200 ，表示请求成功
            return response.text  #返回的是相应后的 html代码
        return  None
    except RequestException:
        return None

def parse_one_page(html):#   解析网页的代码，分析出想要得到的关键词
    #解析的规则
    pattern = re.compile('
.*?board-index.*?>(\d+).*?data-src="(.*?)".*?name">(.*?).*?star">(.*?)
.*?releasetime">(.*?)
'
                        + '.*?integer">(.*?).*?fraction">(.*?).*?
', re.S)
    items=re.findall(pattern,html)
    # print(items)  是列表形式，太乱了
    for item in items:
        yield {   #换成字典类型的
            'index':item[0],
            'image':item[1], #图片的地址
            'title':item[2],#标题
            'actor':item[3].strip()[3:],#作者
            'time': item[4].strip()[5:],#上映的时间
            'score': item[5]+item[6], #评分
        }
def write_to_file(content): #把解析出来的数据写入本地文本中
    with open('top100.txt','a',encoding='utf-8') as f:
        # json.dumps()是实现字典的序列化 ,就是把 字典 变成 字符串 类型
        # print(type(json.dumps(content)))  ---->
        f.write(json.dumps(content,ensure_ascii=False) + '\n')

def main(offset):
    url='http://maoyan.com/board/4?offset=' +str(offset)
    html=get_one_page(url)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

if __name__ == '__main__':
    for i in range(10):
        main(offset=i*10)
        time.sleep(1)