python检测代理IP可否翻越GFW

　　那堵墙着实可恨！身处IT这个圈子，经常需要用gg查资料（你也可以用来访问1024，^_^...）。当然，你也可以用百度。其实也不是我不爱用百度，是有缘由的，且听我细细道来。有一次闲得蛋疼，想看看会不会有人抄袭我的博客（尽管博客学得不咋地），于是百度了一下，结果是惊人的。我发现我自己写的博客，即使是拿整个标题去搜索，往往搜不到，搜到的是一堆爬虫爬去的结果。具体是哪些，这里就不说了，各自可以拿自己的博客试一下。以前总是手工收集几个IP用一段时间，失效了以后再重新收集几个，如此反复，烦！于是，想着写个爬虫抓取代理IP，然后每次直接数据库里面找几个出来用就行了。然而，爬虫爬过来的IP有很多已经失效了。这时又沦落为手工测试，这不是为自己增添更多的烦恼吗？于是写个检测代理IP是否可用的程序，让程序帮我检测好了。这样每次我就可以拿到可用的代理IP了。由于爬虫是用scrapy写的，为了方便维护，IP检测就作为scrapy爬虫里面的一部分好了。于是有了下面这段检测的程序：

　　1、创建文件：checkproxy.py

#coding=utf-8
 
import urllib2
import urllib
import time
import socket

ip_check_url = 'http://www.google.com.hk/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0'
socket_timeout = 30
 
# Check proxy
def check_proxy(protocol, pip): 
    try:
        proxy_handler = urllib2.ProxyHandler({protocol:pip})
        opener = urllib2.build_opener(proxy_handler)
        # opener.addheaders = [('User-agent', user_agent)] #这句加上以后无法正常检测，不知道是什么原因。
        urllib2.install_opener(opener)

        req = urllib2.Request(ip_check_url)
        time_start = time.time()
        conn = urllib2.urlopen(req)
        # conn = urllib2.urlopen(ip_check_url)
        time_end = time.time()
        detected_pip = conn.read()
        
        proxy_detected = True
 
    except urllib2.HTTPError, e:
        print "ERROR: Code ", e.code
        return False 
    except Exception, detail:
        print "ERROR: ", detail
        return False
 
    return proxy_detected

def main():
    socket.setdefaulttimeout(socket_timeout)
 
    print
    
    protocol = "http"
    current_proxy = "212.82.126.32:80" 
    proxy_detected = check_proxy(protocol, current_proxy)
    if proxy_detected:
        print ("  WORKING: " + current_proxy)
    else:
        print "  FAILED: %s " % ( current_proxy, )

if __name__ == '__main__':
    main()

　　2、测试：

[root@bogon proxyipspider]# python checkproxy.py 

  WORKING: 212.82.126.32:80

　　当然，这只是程序的一个原型，真正检测的程序还需要结合数据库或文件操作来完成。代理IP检测出来了，那么剩下的就是设置了。设置好以后，尽情地gg吧。1024你想看多久就看多久，不过还是不要看多为好，你懂的。如果你想上脸谱、油土鳖和推特，这些就靠你自己了，这里只是gg而已。

　　程序猿嘛，总是想通过自己的双手来解决点问题。那颗change the world的心没有变，就像博客园的口号那样“代码改变世界”。看到哪个东西不爽，自己造一个吧。IT界这样的例子太多了，天天用的Vi、github等等。好了，就到这，1024去，走起。。。

　　那道墙着实可恨！