分布式爬虫——爬取bilibili视频信息资源

 

废话不多说,直接上代码:https://github.com/hilqiqi0/crawler/tree/master/simple/bilibili%20-%20redis

一、项目介绍:

爬取bilibili网站上的全部视频信息(不包含直播;广告和放映厅栏);信息量为千万级,爬取任务较为重,所以采取分布式爬虫。

二、说明:

a、设备说明:

       1、mysql和redis部署在同一台linux(也可以分开部署);
        2、爬虫部署在其他机器上;
        3、另外所有机器均处于同一个局域网中;
        4、采用私密ip代理

b、使用说明:

爬虫设备:
        cd ..../bilibili - redis
        ./bl-redis.sh 1    # 1.修改权限:chmod 777 bl-redis.sh; 2、 此命令后面的数字表示要开启的爬虫个数,可以同时开启多个;若是想要启动5个爬虫,就是./bl-redis.sh 5
redis设备:
        $ redis-cli -h 192.168.1.111 -p 6379
        >> lpush BlblSpider:start_urls http://www.bilibili.com   

三、安装

1、安装redis

        1、查看系统是否安装redis(centos系统)
        rpm -qa | grep "redis"
        2、安装redis
        yum install redis
        3、版本查看
        redis-server -v
        4、测试连接:
        本地:redis-cli -h 127.0.0.1 -p 6379
        远程:redis-cli -h 192.168.1.111 -p 6379
        5、redis命令
        删除全部:Flushall
        查看所有key:keys *
        添加key:set kk 123
        查看key:get kk
        爬虫入口url:lpush BlblSpider:start_urls http://www.bilibili.com

2、安装 scrapy-redis

        注:代码为python2.7
        pip2 install scrapy-redis

三、代码

1、redis设置

DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"  # 去重机制
SCHEDULER = "scrapy_redis.scheduler.Scheduler"              # redis调度机制
SCHEDULER_PERSIST = False          # 爬虫关闭时,是否清除redis去重
SCHEDULER_FLUSH_ON_START = True    # 爬虫启动时候,是否清除redis中的keys
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"  # request队列机制
REDIS_HOST = '192.168.1.111'        # redis 的ip地址
REDIS_PORT = 6379                   # redis 的连接端口

2、关闭爬虫

采取扩展接口,调用extensions.py 中的函数,避免爬虫长期空跑

MYEXT_ENABLED = True      # 开启扩展
IDLE_NUMBER = 720           # 配置空闲持续时间单位为 360个 ,一个时间单位为5s。   360个:半小时

# 在 EXTENSIONS 配置,激活扩展
EXTENSIONS = {
            'bilibili.extensions.RedisSpiderSmartIdleClosedExensions': 500,
        }

3、ip代理

说明:这里采用的时 快代理 的api接口,代码中的接口已经失效

DOWNLOADER_MIDDLEWARES = {
    # 'bilibili.middlewares.BilibiliDownloaderMiddleware': 543,
    # 'bilibili.middlewares.ChangeProxy': 543,     # 取消此处的注释,就可以在访问时进行ip切换
}

另外关于ip代理需要思考的几个问题:
1、什么时候需要切换ip
        本身的ip本ban,被拉黑了,无法继续使用该ip请求目标网站
2、切换ip是否需要支出
        (一般需要购买)免费的ip不需要花钱,不免费的ip需要花钱;但是,大部分绝大部分很大一部分的免费ip是不能用的
3、如何更优秀的切换ip
        a、代理ip给我们的api,是有请求限制的,例如有的限制3s,有的限制5s,等等
        b、可能我们的一个代理ip获取后,很快就会失效了;所以,一般情况下,代理ip都是先验证,后使用
        c、很有可能一个代理ip,我们可以访问网页多次,才会被ban

        完善代理ip切换功能需要考虑的几个问题:
        1)ip是否可以
        2)ip用多少次清除掉
        3)每次获取多少ip

 

 

 

你可能感兴趣的:(总结,crawler)