python自然语言处理快速入门1NLP是什么？

自然语言处理(NLP Natural Language Processing) 实际上是机器学习和软件工程应用于文本和语言问题。

应用场景

能够完美解决的问题：

垃圾邮件检测： Gmail甚至还有一些算法可以将数据拆分为不同的标签，例如社交媒体相关帖子的“社交”标签，以及营销电子邮件的“促销”标签。

词性(POS Parts of speech ）标记：我们想知道句子中的哪些词是副词，形容词，名词，代词，动词等。我们非常善于对这些进行分类。比如在线工具http://parts-of-speech.info/

命名实体识别（NER Named entity recognition ）：比如“Jim在2006年购买了300股Apple。”我们希望能够认识到“Jim”是一个人，“Apple”是一个组织，而“2006”是一个日期。

image

处理得还可以的问题：

情绪分析：这是我们将在本课程中介绍的内容。假设您正在查看网络上的酒店评论，而您想知道总体而言人们认为这家酒店的好坏。那么你可以通过自己阅读评论来做到这一点 - 但如果我们希望机器分配正面或负面评分，那就不那么简单了。一个问题是机器不能轻易检测到讽刺。

机器翻译

image

信息提取：这是iOS能够通过阅读您的电子邮件和短信自动向日历添加事件。

尝试解决的问题：

机器对话

摘要：假装你为一家新闻公司工作，每天都有人为你的网站写新文章。你想在你的主页上放置能够呈现出漂亮的图片和一些代表文章的文字的广告，如何将文章正确地概括为几句话？

有趣的新进展：

word2vec是神经网络在学习单词矢量表示中的应用。它表现得非常好，可以了解关系：“女人”+“国王” - “男人”=“女王”。这就是他们在Google上所做的工作 - 创建“思想向量”，其中实际的想法可以在向量空间中表示。

参考资料

讨论qq群144081101 591302926 567351477

本文最新版本地址

本文涉及的python测试开发库谢谢点赞！

本文相关海量书籍下载

Natural Language Processing in Python - 2016.pdf

为什么NLP很难？

因为语言含糊不清！

比如：“我用望远镜在山上看到了一个男人。有多种解释：山上有个男人，我正用望远镜观察他；我在山上，用望远镜看到一个男人。

而且网上还有很多口语和缩写等。

image