Python-Scrapy 个人兴趣教程(二）：没错，从代理IP开始

http://blog.csdn.net/mingz_free/article/details/45967725

想要在Scrapy领域无限制畅游，做好伪装是第一步，于是乎，抓取代理IP成了很多教程的开始部分。

我十分同意这个观点，既有实际用处，又能作为一个教学，当然，对于初次使用scrapy的我，很多东西也只是在摸索阶段，所以以下内容算不上教学，只能说是练手。

完成代理IP抓取，总共分三个步骤：

• 抓取网络上的代理IP和端口
• 验证已经抓取的内容
• 网络上的免费代理IP基本都有时效性，所以需要重复抓取和重复验证

这里需要用到的解决方案是：scrapy+mongo+supervisor，scrapy负责抓取，mongo是数据存储的解决方案，supervisor负责监控一个daemon，重复验证已经获得的代理IP。

scrapy教程推荐看官方的版本：scrapy官方文档，即使是翻译过的也可以，要掌握看文档的技能。

scrapy的具体使用这里不一步一步说明了，列出几个我认为叫重要的点：

• 生成一个新的scrapy项目：

   scrapy startproject GoProxy

  
  
• scrapy.cfg是一个ini格式的配置文件，配置相关的参数可以都放在这里。
• spiders目录下放spider的代码，执行抓取的命令跟spider类名有关。例如，我的spider叫 class ProxySpider(CrawlSpider)，那么我的执行命令为：

   scrapy crawl Proxy

• items是一个收集抓取内容的容器，没有研究深入，在这个例子里作为传递给mongodb的过程变量使用。
• pipelines是跟外部数据接口的部分，抓取的IP内容装入items后再pipelines被存入mongodb。

关于抓取规则，这是抓取类算法的核心，足够研究很久，在这里，够用足以。

代理IP抓取没有精确性的要求，10个数据漏掉5个都没关系，所以我这里使用了宽泛的正则表达式直接过滤出IP+PORT的字符串内容。代理IP网站来源于baidu和google搜索的前6页。

这种方法个人学习够用了，要想用在其他方面，这种算法抓取到的IP数量级远远不够...0 0...（一次抓取只能过滤出2000多个IP，验证后只有大概400个有效IP）

这里贴上scapy的部分源码：proxy_spider.c

 # Spider for http proxy
 # -*- coding: utf-8 -*-

 import scrapy
 from scrapy.contrib.spiders import CrawlSpider, Rule
 from scrapy.contrib.linkextractors import LinkExtractor
 from bs4 import BeautifulSoup
 from GoProxy.items import GoproxyItem

 import re

 REG_IP = re.compile(r'((?:(?:25[0-5]|2[0-4]\d|((1\d{2})|([1-9]?\d)))\.){3}(?:25[0-5]|2[0-4]\d|((1\d{2})|([1-9]?\d))))[^\d]*((\d){1,5})', re.M)

 class ProxySpider(CrawlSpider):
     name = "Proxy"
     #allowed_domains = ['xici.net.co', 'youdaili.net']
     start_urls = [
             r"http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=ip%20proxy",
             r"http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=ip%20proxy&pn=10",
             r"http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=ip%20proxy&pn=20",
             r"http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=ip%20proxy&pn=30",
             r"http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=ip%20proxy&pn=40",
             r"http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=ip%20proxy&pn=50",
             r"http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=ip%20proxy&pn=60",
             r"http://www.gfsoso.net/?q=ip+proxy&t=1",
             r"http://www.gfsoso.net/?q=ip+proxy&pn=10",
             r"http://www.gfsoso.net/?q=ip+proxy&pn=20",
             r"http://www.gfsoso.net/?q=ip+proxy&pn=30",
             r"http://www.gfsoso.net/?q=ip+proxy&pn=40",
             r"http://www.gfsoso.net/?q=ip+proxy&pn=50",
             r"http://www.gfsoso.net/?q=ip+proxy&pn=60",
     ]

     rules = (
             Rule(LinkExtractor(allow=(r'',)), callback='parse_item'),
     )

     def parse_item(self, response):
         soup = BeautifulSoup(response.body)
         str_list = [ tag.string or '' for tag in soup.find_all(True) ]
         body_str = ' '.join(str_list)
         items = [ GoproxyItem(ip=group[0], port=group[7], protocol='HTTP') for group in re.findall(REG_IP, body_str) ]
         return items

pipelines.c：

 # -*- coding: utf-8 -*-

 # Define your item pipelines here
 #
 # Don't forget to add your pipeline to the ITEM_PIPELINES setting
 # See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html

 import pymongo
 import time
 from scrapy.conf import settings

 class GoproxyPipeline(object):
     def __init__(self):
         connection = pymongo.MongoClient(settings['MONGODB_SERVER'], settings['MONGODB_PORT'])
         db = connection[settings['MONGODB_DB']]
         self.collection = db[settings['MONGODB_COLLECTION']]

     def process_item(self, item, spider):
         new_proxy = {
             "ip":item['ip'],
             "port":item['port'],
             "protocol":item['protocol'],
         }
         if self.collection.find_one(new_proxy) is None:
             self.collection.insert(new_proxy)

         return item

在调试完成后，用crontab把这个抓取定制为每半小时执行一次，= =保证数据库里的都是新鲜的IP~~~~。

 0,30 * * * *  cd /root/work/repos/GoProxy/&&/usr/local/bin/scrapy crawl Proxy

这样，抓取代理IP的初步工作就完成了，下一篇会简单介绍一下代理IP的验证，我使用的是daemon的形式，只要mongodb的对应collection里面有数据，就将数据去除验证，如果验证成功，则放入另一个collection，对于这个存放有效数据的collection也同样有：取出->验证->放回，的过程。至于为什么不用一个collection搞定，纯属喜好问题:)