“我是如何收集校友的”之数据去重

按照上文讲到,我们已经抓取到了所有与“伯明翰大学”相关的数据,我们接下来要做的就是做数据清洗工作。

“我是如何收集校友的”之数据去重_第1张图片

我们当前进度:2

  1. 爬虫程序——抓取全百度百科与“伯明翰大学”相关的数据
  2. 数据去重——用pandas去掉抓取相同的URL或相同的名称
  3. 提取人名——利用HMM-Viterbi进行人名筛选与提取
  4. 下载器——下载所有数据库中数据清洗过的URL,并存入数据库
  5. 人物Ranking——按照一定的排名方式,对人物进行知名度排名
  6. 人物梗概——利用NLP相关库,对提取的人物进行自动化梗概

为什么要进行去重?还不是因为爬虫爬下来的结果有大量的重复的信息,在后期的人名筛选甚至下载来说,我们提前先搞定这个重复的问题,节省工作量。有人提出可以在人名过滤后再去重,我想未尝不是一个好点子,但是HMM-Viterbi算法的复杂度高,这样可能降低后期的效率,提前去重未尝不可。

如图下所示,有很多重复切无用的信息。

“我是如何收集校友的”之数据去重_第2张图片

关于去重,很多人第一时间想到了布隆过滤器,但是试问,在仅有不到1000的数据量的数据需要用到吗?本文用pandas自带的去重函数drop_duplictad()去重。如果想了解布隆过滤器,我自己也练手写了一个简单的范例。

首先,将SQL数据库中所有数据作为DataFrame输入到pandas,

然后,对相同名字的内容进行去重,

然后,对相同URL的内容进行去重,

随后,重新建立索引,

最后,将内容输出到新的数据表first_filter上,完成今天的工作。

# coding=utf-8
# python version:2.7

from jpype import *
import pandas as pd
from sqlalchemy import create_engine
import pymysql

reload(sys)
sys.setdefaultencoding('utf-8')


class Filter(object):
    def __init__(self):
        self.engine = create_engine('mysql+pymysql://root:@localhost:3306/uob?charset=utf8')
        
    def distinct(self):
        sql = "SELECT * FROM list;"
        allData = pd.read_sql(sql, con=self.engine)  # 从抓取过来的数据库读入
        allData.drop_duplicates('name', 'first', inplace=True)  # 去除重复name
        allData.drop_duplicates('url', 'first', inplace=True) # 去除重复url
        allData.reset_index(drop=True, inplace=True) # index重新计数
        print allData.tail()
        allData.to_sql('first_filter', self.engine, if_exists='replace', index=True, index_label='fid')  # 输出到新的数据库表first_filter
        return allData

if __name__ == "__main__":
    obj_filter = Filter()
    obj_filter.distinct()

跑完后我们到数据库中看看

“我是如何收集校友的”之数据去重_第3张图片

不错,数据量已经下降到了708个,去重工作完成,其实在这期间遇到了很多坑,很多问题,不一一阐述,均为python环境问题。

下集预告:“我是如何收集校友的”之利用基于HMM-Viterbi的HanLP进行人名提取

你可能感兴趣的:(“我是如何收集校友的”之数据去重)