2019-07-14

Python----->Pubmed文献摘要下载和整理 PART2

目的：下载检索词返回的文献摘要，现在仅针对NCBI pubmed 数据库，下载格式为xml。从xml文本中提取需要的字段，整理成标准模式，此外还需要增加发表期刊的影响因子，以及统计摘要中出现的基因词频，为后续的工作准备。
不建议爬取NCBI容易被封，而且NCBI有开放的API接口，允许自由下载。只研究了pubmed 中下载的方法，如果是其他数据库需要自己看文档，附上使用文档链接：https://www.ncbi.nlm.nih.gov/books/NBK25497/

---

思路：

(1) 获得文献Pubmed id
(2)下载xml 摘要
-->以上部分详见 https://www.jianshu.com/p/2f73cf0be1e1

---

(3)XML格式解析
根据目的提取字段，这边只做一部分示例。例如，文章名称，摘要，作者，期刊，pmid，发表时间......
可以参考：
https://www.runoob.com/python/python-xml.html
https://www.cnblogs.com/xiaobingqianrui/p/8405813.html

(4)关联影响因子
提前需要整理好期刊和影响因子表，附上已经整理好的对应表：https://github.com/jianglidu/pubmed/blob/master 2018国际期刊全称和简称对应表.txt
将期刊-影响因子对应表构建成字典，key=期刊名称，value=影响因子（IF），当需要查找期刊时，调用diction.get(key, '.')，返回IF。

def influenceFactor(path):
    #参数说明：path：‘国际期刊全称和简称对应表’文件的路径
    
    diction = defaultdict()
    
    with open(path) as file:   #影响因子
        for line in file:
            a = line.strip().split('\t')
            journalN, abbN = [a[0].lower(), a[1].lower()]
            if len(a) > 1:  #过滤空行
                if a[2] in ['Not Available', '-']:
                    pass
                else:
                    jourIF = a[2]
                    if journalN not in diction.keys():
                        diction[journalN] = jourIF
                    if abbN not in diction.keys():
                        diction[abbN] = jourIF
    return diction 

(5)统计基因词频
人类基因列表，2万+
判断思路，一般基因名称在文章中是大写，搜索摘要中大写的单词，将单词判断是否是一个基因名称。将所有认为是基因名称的单词，构成一个列表。统计每个基因出现的次数，最简单方法：Counter(list)

from collections import Counter
genelist=['EGFR', 'ALK', 'ALK', 'KRAS', 'EGFR'']   #这是一个基因列表的示例
infomation=Counter(genelist).items()
for key, count in infomation:
    print(key, count)
    
#返回结果：
#EGFR 2
#ALK 2
#KRAS 1

随后会更新一个文本处理词频统计，词云图。