【Python】DAY04-05,爬取某网站的用户名和IP地址,根据IP归属地绘制地图

需求分析

从某网站上,抓取若干用户名和IP地址,并根据地址的归属地和出现频率生成一张地图。

流程步骤

(1)抓取数据

(2)数据存入Excel表格

(3)数据去重,过滤重复IP

(4)读取Excel表格里的IP,依次向IP查询工具网站请求查询结果

(5)将查询结果存入Excel表格

(6)统计出查询结果中各城市的出现频率,从大到小排序

(7)用[城市-出现频率]生成地图。

工具环境

(1)Python版本:3.7.3

(2)pyecharts版本:0.1.9.4

(3)查询IP的工具网站:http://ip.taobao.com

具体实现

(01)def getData():

爬取某网站数据,获取用户名和IP地址,分别存入两个列表:name 和 ip。

(02)def createTable():

创建表格,设置样式,写入的表头格式如下:

image.png

(03)def addName():

将抓取到的用户名列表name存入Excel表格中的[用户名]列。

(04)def addIp():
将抓取到的IP地址列表ip存入Excel表格中的[IP地址]列。

(05)def dropDuplicates():
IP地址去重。由于该网站用户名可以重复,并且存在有在不同的网页中,抓取到同一位用户的情况。所以进行IP地址去重,根据IP地址判断是否为同一用户,如果是,则过滤掉。

(06)def readIp():
从Excel中读取去重后的IP地址,存为列表ipList。

(07)def getArea():
依次从IP地址列表ipList中取值,向IP查询的工具网站[http://ip.taobao.com]请求结果,获取结果中的城市名称[city],存入列表city;如果没有获取到城市名称,则写入[未知]。

(08)def addArea():
将获取到的城市名称列表city中的数据,存入Excel表格中的[归属地]列。

(09)def readArea():
读取Excel表格中的[归属地]列,存为areaList。(话说这里我为什么不直接用上面抓取到的city列表得了......鱼的记忆啊......)

(10)def dataCount():
做数据统计。首先是归属地去重,去重后的归属地存为areaSet;再从areaSet中依次取值,统计每个城市在城市名称列表areaList里出现过多少次,将次数存入timesCount列表;将areaSet和timesCount以键值对的方式存入字典timesDic,按值[values]从大到小排序。将排序后的键值对依次存入Excel表格的[地名]和[频率]两列。

image.png

(11)def drawArea():
利用pyecharts模块中的Map,Geo绘制中国地图(省、直辖市边界线)。

image.png

废话连篇:

从网站爬数据的时候,我的参数就好像一个军队方阵,我是指挥官。然后我喊“开枪!”,所有人依次举起枪朝面前开枪,BoomBoomBoom,后面的士兵就把前面的士兵干掉了。我和最后面的一排兵面面相觑,我的兵呢。(有张动图找不到了)

其实做了不少无用功,比如重复定义同样的变量,明明直接拿来用就好了。

Python3.5以后的版本中,字典的键值对是按照初始化时的排列顺序输出的,但是经过sorted()排序后,print()输出的是排序后的数值,写入Excel表格中却是未经排序的,print()输出的逻辑和write()的不同吗?这点还没搞明白。

总而言之还是有很多的收获,比如Excel文件的读写,Python中的列表、字典,数据的统计、排序,以及明白了IP很珍贵的这个道理,所以不要在写爬虫的时候,有事没事调试运行一下,会被网站判定为访问异常的。不过睡一觉醒来就好了,换个IP也行。

程序要一截一截地运行,爬到满意的数据以后就不要再反复爬了,担心被覆写/被打乱的话可以备份一下,IP珍贵,不要反复爬。

最后,感慨我的美术修养实在不行,地图的配色都是从网上嫖来的。

参考资料:

python xlwt 设置单元格样式
如何使用drop_duplicates进行简单去重(入门篇)
python批量跑IP地址归属地的排坑之路
python最全画地图,可视化数据

感谢各位老哥的技术分享!

源代码:

# 环境:Python 3.7.3
#      pyecharts 0.1.9.4

import random
import re
import requests
import xlwt
import xlrd
import time
from xlutils.copy import copy
import pandas as pd
from pyecharts import Map, Geo

# 设置起始时间
start = time.time()

# 常用的请求头部
userAgentList = [
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
    'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
    'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
    'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
    'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)',
    'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)',
    'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
    'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
    'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)',
    'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0',
    'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
]
# 随机选择一个
userAgent = random.choice(userAgentList)
# 传递给header
headers = {'User-Agent': userAgent}

# 初始化表格存放地址和命名
xlPath = 'IpMap.xlsx'

# 从网站上获取数据并存入列表
def getData():
   ......略......


# 创建表格并设置表格样式
def createTable():
    # 新建一个表格
    wb = xlwt.Workbook()
    # 给表格新建一个sheet
    sheet = wb.add_sheet('sheet1', cell_overwrite_ok=True)
    # 创建一个样式对象并初始化样式
    style = xlwt.XFStyle()
    # 创建一个对齐方式的对象
    al = xlwt.Alignment()
    # 设置水平居中
    al.horz = 0X02
    # 设置垂直居中
    al.vert = 0X01
    style.alignment = al

    # 写表头
    sheet.write(0, 0, '用户名', style)
    sheet.write(0, 1, 'IP地址', style)
    sheet.write(0, 2, '归属地', style)
    sheet.write(0, 3, '地名', style)
    sheet.write(0, 4, '频率', style)
    # 保存数据
    wb.save(xlPath)


# 追加写入用户名
def addName():
    # 打开表格
    wb = xlrd.open_workbook(xlPath)
    # 获取所有sheet
    sheets = wb.sheet_names()
    # 获取第一个sheet
    sheet = wb.sheet_by_name(sheets[0])
    # 获取所有存在数据的行数
    oldRows = sheet.nrows
    # 将xlrd对象copy转化为xlwt对象
    newWb = copy(wb)
    # 获取转换后的第一个sheet
    newSheet = newWb.get_sheet(0)

    # 追加写入数据
    for i in range(0, len(name)):
        newSheet.write(i + oldRows, 0, name[i])
        # 保存表格
        newWb.save(xlPath)


# 追加写入用户IP地址
def addIp():
    # 打开表格
    wb = xlrd.open_workbook(xlPath)
    # 将xlrd对象copy转化为xlwt对象
    newWb = copy(wb)
    # 获取转换后的第一个sheet
    newSheet = newWb.get_sheet(0)

    # 追加写入数据
    for i in range(0, len(ip)):
        newSheet.write(i + 1, 1, ip[i])
        # 保存表格
        newWb.save(xlPath)


# IP地址去重
def dropDuplicates():
    frame = pd.read_excel(xlPath)
    data = pd.DataFrame(frame)
    # subset:需要去重的列名集合;
    # keep:first保留首项(默认),last保留尾项,False全部删除;
    # inplace:布尔值,默认为False,是否直接在原数据上删除重复项或删除重复项后返回副本。
    data.drop_duplicates(subset=['IP地址'], keep='first', inplace=True)
    data.to_excel(xlPath)


# 读取表格里的Ip信息,存入列表
def readIp():
    # 初始化ipList列表
    global ipList
    ipList = []
    # 打开表格
    wb = xlrd.open_workbook(xlPath)
    # 获取所有sheet
    sheets = wb.sheet_names()
    # 获取第一个sheet
    sheet = wb.sheet_by_name(sheets[0])
    # 获取整列的值
    ipList = sheet.col_values(2)
    # 使用del按索引删除列表中指定位置的元素
    del ipList[0]


# 获取IP的归属地信息
def getArea():
    # 初始化area列表
    global area
    area = []
    # 循环查询IP地址
    for i in ipList:
        url = 'http://ip.taobao.com/outGetIpInfo?ip=' + i + '&accessKey=alibaba-inc'
        response = requests.get(url, headers=headers)
        if response.json()['code'] == 0:
            DetailedAddress = response.json()['data']
            city = DetailedAddress['city']
            area.append(city)
        else:
            area.append('未知')


# 追加写入IP归属地
def addArea():
    # 打开表格
    wb = xlrd.open_workbook(xlPath)
    # 将xlrd对象copy转化为xlwt对象
    newWb = copy(wb)
    # 获取转换后的第一个sheet
    newSheet = newWb.get_sheet(0)

    # 追加写入数据
    for i in range(0, len(area)):
        newSheet.write(i + 1, 3, area[i])
        # 保存表格
        newWb.save(xlPath)


# 从表格中读取归属地,存入列表
def readArea():
    # 初始化全局变量
    global areaList
    areaList = []
    # 打开表格
    wb = xlrd.open_workbook(xlPath)
    # 获取所有sheet
    sheets = wb.sheet_names()
    # 获取第一个sheet
    sheet = wb.sheet_by_name(sheets[0])
    # 获取整列的值
    areaList = sheet.col_values(3)
    # 使用del按索引删除列表中指定位置的元素
    del areaList[0]


# 数据统计
def dataCount():
    # 初始化去重后的归属地列表
    global areaSet
    areaSet = []
    # 去重归属地
    areaSet = list(set(areaList))
    # 初始化频率列表
    global timesCount
    timesCount = []
    # 循环统计频率次数存入列表
    for i in areaSet:
        timesCount.append(areaList.count(i))

    # 创建字典
    timesDic = dict(zip(areaSet, timesCount))
    # 按timesCount对字典进行排序
    timesDic = sorted(timesDic.items(), key=lambda item: item[1], reverse=True)

    # 打开表格
    wb = xlrd.open_workbook(xlPath)
    # 将xlrd对象copy转化为xlwt对象
    newWb = copy(wb)
    # 获取转换后的第一个sheet
    newSheet = newWb.get_sheet(0)

    # 草,有没有谁能告诉我为什么直接输出字典键值对到Excel的顺序是乱的
    # 在2.7-3.5的python版本中,字典的键值对是按照哈希表的存储顺序排列输出的,而在3.6及以上版本中,
    # 字典的键值对是按照初始化时的排列顺序输出的。
    # 那为什么print()打印出来又是有序的啊?
    # print()内部调用的方法不同的吗?

    # 声明两个列表用来存放字典中的keys,values
    kList = []
    vList = []
    for k, v in timesDic:
        kList.append(k)
        vList.append(v)
    # 循环将数据写入excel
    for i in range(0, len(kList)):
        newSheet.write(i + 1, 4, kList[i])
        newSheet.write(i + 1, 5, vList[i])
        newWb.save(xlPath)
    # 终于排好序输出了,命都差点去掉半条


# 画图部分
def drawArea():
    geo = Geo("IP归属地统计图", title_color="#303843", width=1100, height=600, background_color='#404A59')
    geo.add("IP归属地频率", areaSet, timesCount, type='heatmap', is_random=True, visual_range=[0, 15],
            visual_text_color="#fff", symbol_size=15, is_visualmap=True, is_roam=False)
    geo.show_config()
    geo.render(path="IP归属地统计图.html")


# 请一截一截地运行,备份数据,请勿短时间内多次调试运行,IP很珍贵的

#第一截:爬取数据,写入Excel并进行去重处理

# 爬取数据
getData()
# 创建表格
createTable()
# 写入用户名
addName()
# 写入IP地址
addIp()
# 去重
dropDuplicates()

# 第二截:获取IP归属地,并存入Excel

# 读取IP列表
readIp()
# 获取位置信息
getArea()
# 写入位置信息
addArea()

# 第三截:对Excel中的数据做统计处理,并绘制地图

# 读取位置列表
readArea()
# 数据统计
dataCount()
# 画图
drawArea()

# 设置终止时间
end = time.time()
print("总共用时:" + str(end - start))

你可能感兴趣的:(【Python】DAY04-05,爬取某网站的用户名和IP地址,根据IP归属地绘制地图)