中文的NLP

https://www.toutiao.com/a6671611871121900043/

 

 

NLP（Natural Language Processing，自然语言处理）是研究实现人与计算机之间用自然语言进行有效通信的各种理论和方法，也是AI领域中一个最重要、最艰难的方向。近些年,NLP在中文分词、词性标注、词汇语义、句法解析方面均获得了很大的突破。大量的技术都应用于商业实践,并在商业领域获得了良好的市场和经济效益。文本方面主要有:基于自然语言理解的智能搜索引擎和智能检索、智能机器翻译、自动摘要与文本综合、文本分类与文件整理、自动阅卷系统、信息过滤与垃圾邮件处理、文学研究与古文研究、语法校对、文本数据挖掘与智能决策、基于自然语言的计算机程序设计等。语音方面主要有:机器同声传译、智能客户服务、聊天机器人、语音挖掘与多媒体挖掘、多媒体信息提取与文本转化、对残疾人智能帮助系统等。

大部分自然语言处理内容都是英文为基础，大多数人先是学好了英语的处理，回头来再处理中文，却发现有很大的不同，这样不仅让中文自然语言处理学习者走了弯路，也浪费了大量时间和精力。中文的处理比英文复杂的多，网上中文相关资料少之又少，国内纯中文自然语言处理书籍只有理论方面的，却在实战方面比较空缺，这让中文自然语言处理的学习者感到举步维艰，很难下笔。

 

总体来说，NLP的主要任务已经跨越对词的研究，发展道了对句子研究即句法、句义及句子生成的研究，已经能够解决句子层面的问题，但还未达到完全解决篇章层面的问题。在语法解释层面，大规模高精度的中文分词、词性标注系统基本已经达到商用要求，再句法解析方面还存在精度问题；而在语义解析（尤其是中文），命名实体识别、语义快都已经获得了较高的精度。AI形成了一整套的知识库的架构和推理体系，实现句子道知识库的主要方法是语义角色标注系统，但在整句的理解层面，语义角色标注系统的精度严重依赖于句法解析系统，这使系统商用化还有一段距离，产生的距离才是我们在这个领域研究突破的方向。