【自然语言处理入门笔记】—— 新手上路

此章节介绍了自然语言处理的相关知识,以及自然语言处理与人工智能、机器学习、语言学和计算机科学之间的关系,此外还介绍了自然语言处理这一学科的发展时间线,从规则系统到统计模型再到深度学习。

【自然语言处理入门笔记】—— 新手上路_第1张图片

pyhanlp 接口的调用:

from pyhanlp import HanLP

print(HanLP.segment('你好,欢迎在Python中调用HanLP的API'))

for term in HanLP.segment('下雨天地面积水'):
    print('{}\t{}'.format(term.word, term.nature))  # 获取单词与词性

testCase = ["商品和服务",
            "结婚的和尚未结婚的确实在干扰分词啊",
            "买水果然后来世博园最后去世博会",
            "中国的首都是北京",
            "欢迎新老师生前来就餐",
            "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作",
            "随着页游兴起到现在的页游繁盛,依赖于存档进行逻辑判断的设计减少了,但这块也不能完全忽略掉。"]

for sentence in testCase:
    print(HanLP.segment(sentence))

# 关键词提取
document = "水利部水资源司司长陈明忠9月29日在国务院新闻办举行的新闻发布会上透露," \
           "根据刚刚完成了水资源管理制度的考核,有部分省接近了红线的指标," \
           "有部分省超过红线的指标。对一些超过红线的地方,陈明忠表示,对一些取用水项目进行区域的限批," \
           "严格地进行水资源论证和取水许可的批准。"

print(HanLP.extractKeyword(document, 2))
# 自动摘要
print(HanLP.extractSummary(document, 3))
# 依存句法分析
print(HanLP.parseDependency("徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标"))

运行结果:

[你好/vl,/w, 欢迎/v,/p, Python/nx,/f, 调用/v, HanLP/nx,/ude1, API/nx]
下雨天	n
地面	n
积水	n
[商品/n,/cc, 服务/vn]
[结婚/vi,/ude1,/cc, 尚未/d, 结婚/vi,/ude1, 确实/ad,/p, 干扰/vn, 分词/n,/y]
[/v, 水果/n, 然后/c,/vf, 世博园/n, 最后/f,/vf, 世博会/n]
[中国/ns,/ude1, 首都/n,/vshi, 北京/ns]
[欢迎/v,/a,/a, 师生/n, 前来/vi, 就餐/vi]
[工信处/n, 女干事/n, 每月/t, 经过/p, 下属/v, 科室/n,/d,/v, 亲口/d, 交代/v, 24/m,/n, 交换机/n,/udeng, 技术性/n, 器件/n,/ude1, 安装/v, 工作/vn]
[随着/p, 页游/nz, 兴起/v,/v, 现在/t,/ude1, 页游/nz, 繁盛/a,/w, 依赖于/v, 存档/vi, 进行/vn, 逻辑/n, 判断/v,/ude1, 设计/vn, 减少/v,/ule,/w,/c,/rzv,/q,/d, 不能/v, 完全/ad, 忽略/v,/v,/w]
[水资源, 陈明忠]
[严格地进行水资源论证和取水许可的批准, 水利部水资源司司长陈明忠929日在国务院新闻办举行的新闻发布会上透露, 有部分省超过红线的指标]
1	徐先生	徐先生	nh	nr	_	4	主谓关系	_	_
2	还	还	d	d	_	4	状中结构	_	_
3	具体	具体	a	ad	_	4	状中结构	_	_
4	帮助	帮助	v	v	_	0	核心关系	_	_
5	他	他	r	r	_	4	兼语	_	_
6	确定	确定	v	v	_	4	动宾关系	_	_
7	了	了	u	u	_	6	右附加关系	_	_
8	把	把	p	p	_	15	状中结构	_	_
9	画	画	v	v	_	8	介宾关系	_	_
10	雄鹰	雄鹰	n	n	_	9	动宾关系	_	_
11	、	、	wp	w	_	12	标点符号	_	_
12	松鼠	松鼠	n	n	_	10	并列关系	_	_
13	和	和	c	c	_	14	左附加关系	_	_
14	麻雀	麻雀	n	n	_	10	并列关系	_	_
15	作为	作为	v	v	_	6	动宾关系	_	_
16	主攻	主攻	v	vn	_	17	定中关系	_	_
17	目标	目标	n	n	_	15	动宾关系	_	_

你可能感兴趣的:(【NLP】,人工智能,机器学习,深度学习,自然语言处理,python)