使用Requests+正则表达式爬取猫眼电影TOP100

1 代码

编程思想：首先获取单一的网页内容，然后使用正则表达式获取页面中我们所需要的内容，接下来把他们保存下来，最后循环获取每页中的内容

1.1 获取单一的网页内容

def get_one_page(url):
    headers={
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 ' +
                      '(KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'
    }
    response=requests.get(url,headers=headers)
    if response.status_code==200:
        return response.text
    return None

向网页发送请求时要带上header头部信息伪装成浏览器，否者网页能够识别出使用的是爬虫，会返回错误。

1.2 获取所需的内容

def parse_one_page(html):
    pattern=re.compile('
.*?board-index.*?>(.*?).*?.*?title="(.*?)"'
                       +'.*?
.*?"star">(.*?)
.*?releasetime">(.*?)
.*?'
                        'integer">(.*?).*?fraction">(.*?).*?
',re.S)
    items=re.findall(pattern,html)
    for item in items:
        yield {
            'index': item[0],
            'image': item[1],
            'title': item[2],
            'actor': item[3].strip()[3:],
            'time': item[4].strip()[5:],
            'score': item[5] + item[6]
        }

使用yield函数构造一个生成器，能够避免使用for循环产生的占用内存的问题，只在需要的时候生成需要的字典。

1.3 写入文件

def write_to_json(content):
    with open('MRLX.txt','a') as f:
        print(type(json.dumps(content)))
        f.write(json.dumps(content,ensure_ascii=False)+'\n')

在写入文件的时候，需要吧dict类型，使用json.dumps( )函数转换成str格式，才能避免写入的错误。

1.4 main主体

def main(offset):
    url='https://maoyan.com/board/4?offset='+str(offset)
    html=get_one_page(url)
    for item in parse_one_page(html):
        write_to_json(item)

1.5 使用循环获取每页的内容

if __name__ == '__main__':
    for i in range(10):
        main(offset=i*10)

多线程同时开工

2 json包里面dumps、loads、dump、load的区别

2.1 json.dumps()

json.dumps()用于将dict类型的数据转成str，因为如果直接将dict类型的数据写入json文件中会发生报错，因此在将数据写入时需要用到该函数。

2.2 json.loads()

json.loads()用于将str类型的数据转成dict。

2.3 json.dump()

json.dump()用于将dict类型的数据转成str，并写入到json文件中。下面两种方法都可以将数据写入json文件

2.4 json.load()

json.load()用于从json文件中读取数据。