不会爬虫的数据分析师是不合格的码农。
批量获取IP地址的地理位置
# !/usr/bin/env python
# -*- coding:utf8 -*-
# create on 16/4/1
__author__ = 'syp'
from pyquery import PyQuery as pq
import urllib2
import re
import sys
reload(sys)
sys.setdefaultencoding("utf8")
def paser(ip):
''' IP位置接口 :param ip: 输入IP地址 :return: 返回IP地理位置、公司信息或运营商信息 '''
url = "http://www.ip138.com/ips1388.asp?ip=%s&action=2" % ip
page = urllib2.urlopen(url)
text = unicode(page.read(), "gb2312") # 根据网址原始的编码,对内容进行重新编码
content = pq(text)
lines = content('''ul[class="ul1"]''')
reg = ur"^本站主数据:(.*) 参考数据.*$"
reg_q = re.compile(reg)
for ele in lines:
line = pq(ele).text()
res = reg_q.findall(line)
if res:
return res[0]
if __name__ == '__main__':
ip = "121.10.104.107"
print ip, paser(ip)
121.10.104.107 广东省湛江市 电信