北大AI公开课第八课--自然语言对话的现状与未来by今日头条李航

最近坚持学英语,感觉还是挺不错的,推荐大家一个新的比较好玩的应用:喜马拉雅,上面有很多免费的资源,可以用来学习消遣都行,和得到差不多,但是比起得到,免费的内容更多,而且确实也挺方便的。我现在最爱的就是用它来订阅一些日常英语的节目,每天学习半个小时英语,可以在路上听、睡觉前听,挺享受的,也把碎片时间利用了一下,当然要提醒大家的是,也不能指望这个APP能帮你得道升天,毕竟一些专业的知识、硬技能,我们还是要静下心,做好规划,然后花一整块的时间进行学习在,这种碎片化的时间,就本着一个心态,能学多少就学多少,开开眼界就好!

所以,我发现自己总是会被各种各样的事打断,但是一看到,事情已经做了一半,所以无论如何也没有中途放弃的道理,如此还是要接着整理接下来的课程,现在轮到的是第八课 ,由李航老师带来的自然语言处理的趋势分享。如果一直处于人工智能浪潮里,你会发现,自然语言处理占有很重要的地位,无论是图像还是视频的处理,最终还是需要回归到底层的自然语言,因为说到底,所有信息的沟通和交流还是以自然语言为主导。

一、课堂回顾

学者风范——李航老师

李航老师,毕业于日本京都大学电气工程系,日本东京大学计算机科学博士学位,北京大学、南京大学的兼职教授,曾任日本NEC公司中央研究所研究员、微软亚洲研究院高级研究员与主任研究员、华为技术有限公司诺亚方舟实验室主任,现任职于今日头条人工智能实验室,主要从事自然语言处理的研究。其实每一个同学进入人工智能的大门,应该都会看过《统计学习方法》。这也是李航老师的经典著作,拜读过的同学应该心里都是十分敬佩的,快来听听大神要给我们分享一些什么吧!

分享内容

一点点前话:自然语言是一个很宽泛的概念,所以在有限的分享时间里,李航老师选择了以自然对话系统构建的现状、发展及挑战为主展开分享。其框架如下:

北大AI公开课第八课--自然语言对话的现状与未来by今日头条李航_第1张图片


1、合理行动的智能机器

在这里李航老师首先推荐了一本书,人工智能的经典教材《Artificial Intelligence》,这本书提出了四个概念,指出一个智能机器,应当遵从以下标准:

(1)thinking humanly  (2)acting humanly  (3)thinking rationally   (4)acting rationally

但显然,今天很多的机器无法达到合理思考的能力,更不要说像人一样地思考了,一定程度上也是因为自然语言的处理能力没有跟上,所以当下的机器更多地是符合了合理行动,它们有以下五个共同的特点:

(1)智能系统   (2)明确目标  (3)评价标准   (4)环境互动  (5)功能

但是这些机器的行为其实都是比较机械和单一的,通用性不强,也没有很好的适用性,可能只是单一的某一个方面后者某一个点超越了人类。换言之,机器的智能其实很大程度上取决于决策大脑的智能程度,今天我们处于弱人工智能的发展阶段,自然机器的智能也只能是递进式发展,慢慢达到理想的智能状态。

2、自然语言的理解

自然语言的理解可以有两种不同的方式:

第一种:基于表示,我们在接收别人的自然语言之后,如果可以在自己的脑海中生成一些对应的概念,说明我们理解了,同样地,如果机器对于人类的指令,生成了对应的内部表示,我们就说机器理解了自然语言;

第二种:基于行为,人类接收到外部的自然语言,判定理解与否的直观表现就是看对方是否发起正确的行为,同样地,如果机器可以按照人类的指令,顺利达成相应的任务,比如人类发出拿茶的命令,机器顺利完成,我们也认为机器理解了自然语言。

3、自然语言理解的过程及涉及的基本技术原理

自然语言处理的过程中,主要的步骤包括:词汇处理、句法处理、语义处理、语用处理,这些环节综合起来就形成了系统化的自然语言处理,达到自然语言理解的目的,并帮助机器合理地行动。

(1)词汇处理:词汇的处理基于字典,需要了解词意和用法。这也是自然语言处理的基础,通常要达成对一种语言的理解,我们需要积累大量的词汇,并且能在不同的语言环境下正确判断该词的用法和意思,才能保障接下类的后续理解和操作的正确性。现在自然语言处理中文的语料构建、分词处理效果已经相对还可以。

(2)句法处理:句法的处理就要依据既定的句法规则进行处理,但句法本身是个相对复杂的东西,因为句法既有规律也有例外,没有通用的、固定的标准,而且通常是处于动态发展中的,也没有办法由某一个人决定,需要很多人共同参与制定;

(3)语义处理:语义处理是把语言符号映射到内部的表示上,需要对应到一些已知的概念,并且结合已有的对于世界的先验认知,达成句子的最后理解,语义理解需要考虑的因素比较多,容易出现歧义,而且往往表述在不同的环境下表达的意思也有所出入,所以具有一定的难度。

(4)语用处理:不同的句子有不同的语用,而同样的句子也有可能有不同的语用,比如我饿了,很有可能只是单纯地陈述,但也有可能言外之意是希望听话者给说话者买东西吃,所以语用一定是基于一定的对胡情景和上下文做出的最合理的判断,这个也是很灵活的。

所以可见,当前我们在处理自然语言的时候,除去既定的词表、语法规则之外,更多的是一些语义、语用的处理,是相当灵活的额,而这恰恰是当前智能机器或系统的弱势。

除了这些基本的处理过程,李航老师还结合人类真是的大脑结构及管理,对自然语言的处理作出了新的分析。

  • 语言处理是整个大脑共同参与的复杂活动:Broca区负责句法,而wernicke负责词汇。语言理解是对大脑表层联想的模拟和描述,它会和每个人的经历有关,因为人处于不同的成长环境,对于语言的理解其实是有很大出入的,但是也会存在很多的共性,因为人和人之间是不断地沟通的,所以需要基于一定的共性。
  • 最核心的挑战在于语言的多样性和多义性:因为自然环境的复杂性,语言的表达可以千变万化,人类总是可以灵活地应对,但是机器要想有效地克服这种灵活性,其实需要面临的挑战还很多,为如何更好地处理语言的多样性和歧义就是首要。
  • 对话:对话是当前语言类应用的重要构成,分为单轮对话和多轮对话。首先,对话都是有目的的,存在一定的动机或者是情感交流的需求,而且目标可能是会动态变化的。其次,在单轮对话中,一种是基于语义表示,把对话的内容生成内部的语句,一种是基于检索,比如聊天机器人、问答系统等,还有一种是基于生成式,比如分析器及答案生成器。目前单轮对话的应用已经相对普遍,效果也还可以接受。但是多轮对话可能就会比较困难,主要应用状态机和马尔科夫链等技术,但是并没有获得很好的发展和进步。

4、NLP的进步

(1)机器翻译:深度学习、深度强化学习等方法逐渐用于多轮对话处理中,可以提高多轮对话的准确性和对语义环境的判断,已经逐步地成为自然语言处理的主流技术。

(2)具体的几个例子:

第一,google提出的 Neural Symbolic Machines以及华为诺亚方舟提出的Neural Responding Machine,基于分析的原理,结合符号处理和神经处理,对自然语言进行更精准的处理;

第二,微软提出的Hierarchical Deep Reinforcement Learning,利用层次化的深度强化学习原理,将对话目标进行分层次处理,比如可以把对话的目标进行分层,之后展开,最后进行复述,将有限的状态机层次化,这样学习的目标就可以被拆解,然后利用层次化的神经结构来进行强化的迭代学习,或许是解决多轮对话困境的一个有效方法。

5、趋势及结论

(1)自然语言处理的趋势

在李航老师看来,自然语言处理接下来的主要技术研究方向在于:

semantic grounding 自然语义映射到语言的内部进行表示,不涉及外部的一些表示,主要用于解决语言的多样性及歧义问题,

neural symbolic processing :结合符号学和神经学的优势,协同完成自然语言的处理和理解;

deep reinforcement learning :深度学习+强化学习,结合更大语料库,提高自然语言理解的准确率;

modular and hierarchical processing :模块化、分层次地进行学习,将语言目标分解,层次化地完成学习和训练;

meta learning :基元学习,无论是对于图像还是自然语言,最本质的学习往往也可能是最高效的,所以也是无数学者愿意一直坚持下去的。

(2)结论:

立足于制作合理思考和行动的智能机器,当前已经有了一些可用的产品,尤其是一些基于单轮对话的。但是要处理的主要的挑战在于,自然语言的多样性和多义性,人类语言的灵活度也未被机器真正习得。但是深度学习已经强度学习、层次学习等一些新的概念的到来,为人类自然语言的处理带来了新的可能,所以或许,这些问题会有新的解决思路。

后话:

李航老师的分享是比较学术和技术的,可能一些内容在理解上有困难,但是不管是做技术还是做产品,我们都应当明确,要想真正地懂得一些知识的内核,并且能够基于这个知识圈有一些自己的思考和设计,必要的、深入地学习、理解技术还是很有必要的,也会帮助我们在设计的过程中降低犯错的风险,加油!

你可能感兴趣的:(北大AI公开课)