Task 1 论文数据统计

任务1：论文数据统计

1.1 任务说明

任务主题：论文数量统计，即统计2019年全年计算机各个方向论文数量；

任务内容：赛题的理解、使用 Pandas 读取数据并进行统计；

任务成果：学习 Pandas 的基础操作；

可参考的学习资料：开源组织Datawhale joyful-pandas项目

1.2 数据集介绍

数据集来源：数据集链接；

数据集的格式如下：

id：arXiv ID，可用于访问论文；

submitter：论文提交者；

authors：论文作者；

title：论文标题；

comments：论文页数和图表等其他信息；

journal-ref：论文发表的期刊的信息；

doi：数字对象标识符，https://www.doi.org；

report-no：报告编号；

categories：论文在 arXiv 系统的所属类别或标签；

license：文章的许可证；

abstract：论文摘要；

versions：论文版本；

authors_parsed：作者的信息。

1.3 arxiv论文类别介绍

我们从arxiv官网，查询到论文的类别名称以及其解释如下。

链接：https://arxiv.org/help/api/user-manual 的 5.3 小节的 Subject Classifications 的部分，或 https://arxiv.org/category_taxonomy， 具体的153种paper的类别部分如下：

'astro-ph': 'Astrophysics',

'astro-ph.CO': 'Cosmology and Nongalactic Astrophysics',

'astro-ph.EP': 'Earth and Planetary Astrophysics',

'astro-ph.GA': 'Astrophysics of Galaxies',

'cs.AI': 'Artificial Intelligence',

'cs.AR': 'Hardware Architecture',

'cs.CC': 'Computational Complexity',

'cs.CE': 'Computational Engineering, Finance, and Science',

'cs.CV': 'Computer Vision and Pattern Recognition',

'cs.CY': 'Computers and Society',

'cs.DB': 'Databases',

'cs.DC': 'Distributed, Parallel, and Cluster Computing',

'cs.DL': 'Digital Libraries',

'cs.NA': 'Numerical Analysis',

'cs.NE': 'Neural and Evolutionary Computing',

'cs.NI': 'Networking and Internet Architecture',

'cs.OH': 'Other Computer Science',

'cs.OS': 'Operating Systems',

1.4 具体代码实现以及讲解

1.4.1 导入package并读取原始数据

# 导入所需的packageimportseabornassns#用于画图frombs4importBeautifulSoup#用于爬取arxiv的数据importre#用于正则表达式，匹配字符串的模式importrequests#用于网络连接，发送网络请求，使用域名获取对应信息importjson#读取数据，我们的数据为json格式的importpandasaspd#数据处理，数据分析importmatplotlib.pyplotasplt#画图工具

这里使用的package的版本如下（python 3.7.4）：

seaborn：0.9.0

BeautifulSoup：4.8.0

requests：2.22.0

json：0.8.5

pandas：0.25.1

matplotlib：3.1.1

# 读入数据data=[]#初始化#使用with语句优势：1.自动关闭文件句柄；2.自动显示（处理）文件读取数据异常withopen("arxiv-metadata-oai-snapshot.json",'r')asf:forlineinf:data.append(json.loads(line))data=pd.DataFrame(data)#将list变为dataframe格式，方便使用pandas进行分析data.shape#显示数据大小

Output: (1778381,14)

其中的1778381表示数据总量，14表示特征数，对应我们1.2节说明的论文的14种信息。

data.head()#显示数据的前五行

1.4.2 数据预处理

首先我们先来粗略统计论文的种类信息：

'''count：一列数据的元素个数；unique：一列数据中元素的种类；top：一列数据中出现频率最高的元素；freq：一列数据中出现频率最高的元素的个数；'''data["categories"].describe()

count1778381unique61371topastro-phfreq86914Name:categories,dtype:object

以上的结果表明：共有1338381个数据，有61371个子类（因为有论文的类别是多个，例如一篇paper的类别是CS.AI & CS.MM和一篇paper的类别是CS.AI & CS.OS属于不同的子类别，这里仅仅是粗略统计），其中最多的种类是astro-ph，即Astrophysics（天体物理学），共出现了86914次。

由于部分论文的类别不止一种，所以下面我们判断在本数据集中共出现了多少种独立的数据集。

# 所有的种类(独立的)unique_categories=set([iforlin[x.split(' ')forxindata["categories"]]foriinl])len(unique_categories)unique_categories

这里使用了 split 函数将多类别使用 “ ”（空格）分开，组成list，并使用 for 循环将独立出现的类别找出来，并使用 set 类别，将重复项去除得到最终所有的独立paper种类。

176{'acc-phys','adap-org','alg-geom','ao-sci','astro-ph','astro-ph.CO','astro-ph.EP','astro-ph.GA','astro-ph.HE','astro-ph.IM','astro-ph.SR','atom-ph','bayes-an','chao-dyn','chem-ph','cmp-lg','comp-gas','cond-mat','cond-mat.dis-nn','cond-mat.mes-hall','cond-mat.mtrl-sci','cond-mat.other','cond-mat.quant-gas','cond-mat.soft','cond-mat.stat-mech','cond-mat.str-el','cond-mat.supr-con','cs.AI','cs.AR','cs.CC','cs.CE','cs.CG','cs.CL','cs.CR','cs.CV','cs.CY','cs.DB','cs.DC','cs.DL','cs.DM','cs.DS','cs.ET','cs.FL','cs.GL','cs.GR','cs.GT','cs.HC','cs.IR','cs.IT','cs.LG','cs.LO','cs.MA','cs.MM','cs.MS','cs.NA','cs.NE','cs.NI','cs.OH','cs.OS','cs.PF','cs.PL','cs.RO','cs.SC','cs.SD','cs.SE','cs.SI','cs.SY','dg-ga','econ.EM','econ.GN','econ.TH','eess.AS','eess.IV','eess.SP','eess.SY','funct-an','gr-qc','hep-ex','hep-lat','hep-ph','hep-th','math-ph','math.AC','math.AG','math.AP','math.AT','math.CA','math.CO','math.CT','math.CV','math.DG','math.DS','math.FA','math.GM','math.GN','math.GR','math.GT','math.HO','math.IT','math.KT','math.LO','math.MG','math.MP','math.NA','math.NT','math.OA','math.OC','math.PR','math.QA','math.RA','math.RT','math.SG','math.SP','math.ST','mtrl-th','nlin.AO','nlin.CD','nlin.CG','nlin.PS','nlin.SI','nucl-ex','nucl-th','patt-sol','physics.acc-ph','physics.ao-ph','physics.app-ph','physics.atm-clus','physics.atom-ph','physics.bio-ph','physics.chem-ph','physics.class-ph','physics.comp-ph','physics.data-an','physics.ed-ph','physics.flu-dyn','physics.gen-ph','physics.geo-ph','physics.hist-ph','physics.ins-det','physics.med-ph','physics.optics','physics.plasm-ph','physics.pop-ph','physics.soc-ph','physics.space-ph','plasm-ph','q-alg','q-bio','q-bio.BM','q-bio.CB','q-bio.GN','q-bio.MN','q-bio.NC','q-bio.OT','q-bio.PE','q-bio.QM','q-bio.SC','q-bio.TO','q-fin.CP','q-fin.EC','q-fin.GN','q-fin.MF','q-fin.PM','q-fin.PR','q-fin.RM','q-fin.ST','q-fin.TR','quant-ph','solv-int','stat.AP','stat.CO','stat.ME','stat.ML','stat.OT','stat.TH','supr-con'}

从以上结果发现，共有176种论文种类，比我们直接从 https://arxiv.org/help/api/user-manual 的 5.3 小节的 Subject Classifications 的部分或 https://arxiv.org/category_taxonomy中的到的类别少，这说明存在一些官网上没有的类别，这是一个小细节。不过对于我们的计算机方向的论文没有影响，依然是以下的40个类别，我们从原数据中提取的和从官网的到的种类是可以一一对应的。

'cs.AI':'Artificial Intelligence','cs.AR': 'HardwareArchitecture','cs.CC': 'ComputationalComplexity','cs.CE': 'ComputationalEngineering,Finance,andScience','cs.CG':'Computational Geometry','cs.CL': 'ComputationandLanguage','cs.CR': 'CryptographyandSecurity','cs.CV':'Computer Vision and Pattern Recognition','cs.CY': 'ComputersandSociety','cs.DB': 'Databases','cs.DC':'Distributed, Parallel, and Cluster Computing','cs.DL': 'DigitalLibraries','cs.DM': 'DiscreteMathematics','cs.DS': 'DataStructuresandAlgorithms','cs.ET': 'EmergingTechnologies','cs.FL':'Formal Languages and Automata Theory','cs.GL': 'GeneralLiterature','cs.GR': 'Graphics','cs.GT': 'ComputerScienceandGameTheory','cs.HC': 'Human-ComputerInteraction','cs.IR': 'InformationRetrieval','cs.IT': 'InformationTheory','cs.LG': 'MachineLearning','cs.LO': 'LogicinComputerScience','cs.MA': 'MultiagentSystems','cs.MM':'Multimedia','cs.MS': 'MathematicalSoftware','cs.NA': 'NumericalAnalysis','cs.NE': 'NeuralandEvolutionaryComputing','cs.NI': 'NetworkingandInternetArchitecture','cs.OH':'Other Computer Science','cs.OS': 'OperatingSystems','cs.PF': 'Performance','cs.PL': 'ProgrammingLanguages','cs.RO': 'Robotics','cs.SC': 'SymbolicComputation','cs.SD': 'Sound','cs.SE': 'SoftwareEngineering','cs.SI': 'SocialandInformationNetworks','cs.SY': 'SystemsandControl',

我们的任务要求对于2019年以后的paper进行分析，所以首先对于时间特征进行预处理，从而得到2019年以后的所有种类的论文：

data["year"]=pd.to_datetime(data["update_date"]).dt.year#将update_date从例如2019-02-20的str变为datetime格式，并提取处yeardeldata["update_date"]#删除 update_date特征，其使命已完成data=data[data["year"]>=2019]#找出 year 中2019年以后的数据，并将其他数据删除# data.groupby(['categories','year']) #以 categories 进行排序，如果同一个categories 相同则使用 year 特征进行排序data.reset_index(drop=True,inplace=True)#重新编号data#查看结果

这里我们就已经得到了所有2019年以后的论文，下面我们挑选出计算机领域内的所有文章：

#爬取所有的类别website_url=requests.get('https://arxiv.org/category_taxonomy').text#获取网页的文本数据soup=BeautifulSoup(website_url,'lxml')#爬取数据，这里使用lxml的解析器，加速root=soup.find('div',{'id':'category_taxonomy_list'})#找出 BeautifulSoup 对应的标签入口tags=root.find_all(["h2","h3","h4","p"],recursive=True)#读取 tags#初始化 str 和 list 变量level_1_name=""level_2_name=""level_2_code=""level_1_names=[]level_2_codes=[]level_2_names=[]level_3_codes=[]level_3_names=[]level_3_notes=[]#进行fortintags:ift.name=="h2":level_1_name=t.textlevel_2_code=t.textlevel_2_name=t.textelift.name=="h3":raw=t.textlevel_2_code=re.sub(r"(.*)\((.*)\)",r"\2",raw)#正则表达式：模式字符串：(.*)\((.*)\)；被替换字符串"\2"；被处理字符串：rawlevel_2_name=re.sub(r"(.*)\((.*)\)",r"\1",raw)elift.name=="h4":raw=t.textlevel_3_code=re.sub(r"(.*) \((.*)\)",r"\1",raw)level_3_name=re.sub(r"(.*) \((.*)\)",r"\2",raw)elift.name=="p":notes=t.textlevel_1_names.append(level_1_name)level_2_names.append(level_2_name)level_2_codes.append(level_2_code)level_3_names.append(level_3_name)level_3_codes.append(level_3_code)level_3_notes.append(notes)#根据以上信息生成dataframe格式的数据df_taxonomy=pd.DataFrame({'group_name':level_1_names,'archive_name':level_2_names,'archive_id':level_2_codes,'category_name':level_3_names,'categories':level_3_codes,'category_description':level_3_notes})#按照 "group_name" 进行分组，在组内使用 "archive_name" 进行排序df_taxonomy.groupby(["group_name","archive_name"])df_taxonomy

由于这几天个人时间不足，以及确实是纯小白，搭建环境之后并没有完成代码的实现，接下来计划继续学习理解。