免费代理------gitee

下载地址

        proxy_pool: dddddddddddddd (gitee.com)

    -1 使用爬虫技术，爬取网上免费的代理
    -2 爬完回来做验证，如果能用，存到redis中
    # 启动调度程序，爬代理，验证，存到redis中
    python proxyPool.py schedule

    -3 使用flask启动服务，对外开放了几个接口，向某个接口发请求，就能随机获取一个代理
    # 启动webApi服务
    python proxyPool.py server

#搭建步骤:
     1 从git拉去开源代码
        git clone https://github.com/jhao104/proxy_pool.git
    2 使用pycharm打开，创建虚拟环境
        mkvirtualenv -p python3 pool
    3 配置项目使用虚拟环境
    4 修改项目配置文件
        DB_CONN = 'redis://127.0.0.1:6379/2'
        HTTP_URL = "http://www.baidu.com"
        HTTPS_URL = "https://www.baidu.com"
        
    5 启动调度程序---》爬取网站，验证，存到redis
        python proxyPool.py schedule
        
    6 启动web程序（flask写的）
        python proxyPool.py server
        
    7 向http://192.168.1.252:5010/get/?type=http 地址发送请求就可以随机获取代理ip