时间不紧不慢的,从2019年6月中旬有三AI公众号开始发布自然语言处理(NLP)相关的文章以来,已是半年有余。
回头看看,NLP系列文章基本维持在了一周一到两篇的更新频率,基本上覆盖了NLP所需要聊到的内容:从分词、命名实体识别等基本的NLP任务到聊天机器人、知识图谱等复杂的NLP任务;从RNN、LSTM等深度学习中最基本概念到Transformer、TransformerXL等最新的NLP概念;从词向量、attention基础的NLP模型到最新的BERT,GPT,XLNET等最新的NLP模型,总结文章链接如下:
【完结】 12篇文章带你完全进入NLP领域,掌握核心技术
年底了,咱们聊聊过去的一年以及即将到来的2020年。
NLP这一年
NLP这一年不乏热闹,18年10月底BERT出来之后,影响颇大,余波自然到了2019年,XLNET,ALBERT,tiny-BERT这些一时风光的模型都基于它在做改进。GPT2.0展示的自然语言生成能力,被媒体描述成“可能会造成社会假新闻泛滥”以至于GPT没敢全面公布他们的模型。总的来说,NLP的这一年是属于预训练语言模型的一年,越来越大的模型,越来越多的语料,让这条路看起来还能再走一段时间。
跟学术界的热闹相比,产业界相对就要“安静”太多。迄今为止,依然没有出现一个基于NLP技术的,令广大人民群众惊艳的爆款出现。今年开始,各大互联网公司都开始推出自己的智能音箱,天猫精灵,小度,小艾同学等等,这或许算是NLP领域还算拿得出手的产品了,但熟悉这一领域的同学或许都清楚,这些产品,离智能,还有多远的路要走。我们知道,在这些盒子的内部,其实是一个或者多个chatbot,看过我们chatbot相关文章的同学都知道,目前的chatbot技术处于一个怎样的水平和发展状况。
然而,笔者认为,这也是NLP真正开始被产业界接受的一年。BERT的出现,特别是其在信息抽取领域的出色表现,让很多文本挖掘的任务变得现实和低成本。知识图谱的大规模流行,也证明各公司承认了发展属于自己的NLP技术与系统的价值。
常常有人说AI寒冬将至,笔者认为是产业界变得更理性和实际而已。基于现有的技术,也能够满足很多行业相当一部分的智能化需求,接下来,应该会有越来越多行业开始+NLP。
我们这一年
在2019年,有三AI在NLP领域主要做了下面的事情。
1.系统的输出了NLP相关的文章,基本上涵盖了进入NLP领域所需要包含的知识,包括NLP预训练模型,基本的机器学习模型与深度学习模型,聊天机器人以及知识图谱等。
【NLP-词向量】词向量的由来及本质
【NLP-词向量】从模型结构到损失函数详解word2vec
【NLP-NER】什么是命名实体识别?
【NLP-NER】命名实体识别中最常用的两种深度学习模型
【NLP-NER】如何使用BERT来做命名实体识别
【NLP-ChatBot】我们熟悉的聊天机器人都有哪几类?
【NLP-ChatBot】搜索引擎的最终形态之问答系统(FAQ)详述
【NLP-ChatBot】能干活的聊天机器人-对话系统概述
【知识图谱】人工智能技术最重要基础设施之一,知识图谱你该学习的东西
【知识图谱】知识表示:知识图谱如何表示结构化的知识?
【知识图谱】如何构建知识体系:知识图谱搭建的第一步
【知识图谱】获取到知识后,如何进行存储和便捷的检索?
【知识图谱】知识抽取是什么,怎么做?
【知识图谱】知识推理,知识图谱里最“人工智能”的一段
2.分享了数个NLP实践项目,通过这些项目,基本能够掌握如何处理NLP的基本问题。
【NLP实战】tensorflow词向量训练实战
【NLP实战系列】朴素贝叶斯文本分类实战
【NLP实战系列】Tensorflow命名实体识别实战
【NLP实战】如何基于Tensorflow搭建一个聊天机器人
【NLP实战】基于ALBERT的文本相似度计算
3.开办了有三AI NLP知识星球,涵盖了NLP的大部分内容。目前,知识星球已经有了200+的同学加入,笔者最近打算改版,这个后面再说。
当然,笔者个人能力和精力都有限,很多问题我们都还没有进行细致的讨论,推荐系统这个大板块我们也还没有开始做。
这个是我们后续需要改进和做的,对提升自己并分享给大家感兴趣的同学,可以联系我或者有三,有三AI可以支持大家写作并获得一定的收益。
未来这一年
回望初心,未来这一年我们还是希望能够给大家系统的分享一些有用的知识,未来这一年,有三AI在NLP方面计划做下面的事情:
1.介绍NLP领域的新成果和更细致地介绍NLP中基础的技术。
2.基于NLP领域的推荐系统,是目前NLP技术应用的另外一个方向,计划在合适的节点推出推荐系统相关的文章。
3.推出“从深度学习入门自然语言处理”系统课程,后续会详细的介绍,敬请关注。
4.知识星球改版,基于知识星球APP的特点,借鉴有三AI CV的知识星球,推出“NLP1000问”,“NLP面试必备”等新的栏目。
这是变革的年代,即将到来的2020年,或许会是一个里程碑式的节点。5G会在这一年正式迎来商业化和爆发,AI和5G的融合,势必会对各行各业在各个方面带来极大的影响。各位AI领域的从业者,这是最坏的时代,也是最好的时代,所有的一切,都取决于你的付出和选择。
转载文章请后台联系
侵权必究
往期精选
【杂谈】有三AI专栏作者邀请,在这里写文章能获得什么,有什么不同?
【通知】2019年言有三最后一月一对一师徒指导季划报名,送书+知识星球+“神秘礼物”
【每周NLP论文推荐】从预训练模型掌握NLP的基本发展脉络
【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究
【每周NLP论文推荐】 介绍语义匹配中的经典文章
【每周NLP论文推荐】 对话管理中的标志性论文介绍
【每周NLP论文推荐】 开发聊天机器人必读的重要论文
【每周NLP论文推荐】 掌握实体关系抽取必读的文章
【每周NLP论文推荐】 生成式聊天机器人论文介绍
【每周NLP论文推荐】 知识图谱重要论文介绍