猫眼电影 Top案例 实战 Python 抓取

写在前面

• 最近公司开始流行分享技术，之前在公司也做过这件事，后来工作比较忙搁置了，现在不是那么忙，业余时间自己瞎研究，都说Python是未来的大方向，你我都是同龄人，岂能落于他人后！ 人生苦短我用Python主要是快拿来主义，不需要什么都明白，会用就好。今天也是同样的道理，我会尽量用简单、易懂的方式阐述一下我的这个实战案例！

直奔干货

• 网络爬虫的步骤
  1.分析站点
  2.找到真实的数据源
  3.建立请求获取想要的数据
  4.分析下一页地址，找出规律，实现多页请求

开发环境

• 系统 ：macOS
• 工具： PyCharm
• Python3.6
• 存储库：MongoDB

首页我们看一下完成的结果

2.png

3.png

流程

• 第一步 分析第一页的网页 url = http://maoyan.com/board/4?offset=0
  

  1.png
  
  
  

  网页源代码.png
  
  结果：很开心在网页源代码中我们看到了我们想要的数据

• 第二步数据就是我们每一个dd标签中的信息，在这里我们就采集img_url，title，actor，time 这四个数据

• 第三步开始编辑代码

import requests,re
import pymongo
from multiprocessing import Pool
from requests import RequestException

client = pymongo.MongoClient()
db = client.test

#获取页面文本
def get_index_page(offset):
    '''
    多行注释
    :return:
    '''
    url = 'http://maoyan.com/board/4?offset=%s'%offset
    print("开始请求 %s" % url)

    try:

        response = requests.get(url,headers={})
        if response.status_code == 200:
            print(response)
            html = response.text

            reg = r'(.*?)
.*?主演：(.*?)\n.*?上映时间：(.*?)
'
            infos = re.findall(reg,html,re.S)
            return infos
    except RequestException as err:
        print("请求报错 %s" % err)
        get_index_page(offset)

    else:
        print("请求失败 %s %s" % (url,url))

def save_info(infos):
    for img_url,title,actor,time in infos:
        print(title)
        dic = {
            'img_url':img_url,
            'title':title,
            'actor':actor,
            'time':time
        }
        print("正在保存 %s" % dic)
        db.movietab.insert(dic)
        save_img(img_url,title)

def save_img(url,title):
    print("下载图片 %s %s " %(title,url))

    response = requests.get(url)
    if response.status_code == 200:
        data = response.content
        with open('imgs/%s.jpg' % title,'wb') as f:
            f.write(data)


def main(page):
    print('当前页数 %s' % page)
    infos = get_index_page(page)
    save_info(infos)

if __name__ == "__main__":

    pool = Pool(4)
    pages = [x*10 for x in range(0,10)]
    for page in pages:
        print(pages)
        pool.apply_async(main(page))

• 正则表达式 reg = r'?data-val=".?">(.?)
  .?主演：(.?)\n.?上映时间：(.?)
  '
  这里的 .*? 代表匹配任何字符 ,加()的意思是选中 ，re.S代表跨行匹配
• url
  第一页 ：http://maoyan.com/board/4?offset=0
  第二页：http://maoyan.com/board/4?offset=10
  第三页：http://maoyan.com/board/4?offset=20
  变化的是offset 递增10
  pages = [x*10 for x in range(0,10)] 迭代生成数组

注意：

• 获取文本使用的是response.text,
• 获取图片是response.content
• client = pymongo.MongoClient()，因为我这是本机装的MongoDB 所以不用host 端口 默认就是

总结

从代码的角度来看，确实没有什么难度，主要是思想，使用其他的语言一样可以实现，看完之后不知道你是不是也觉得很简单呢，想上手试试，建议多练！

爱生活，爱分享！