对话人工智能专家-吴恩达等人 重要总结

问题一 现在深度学习如此火热,深度学习的技术现状,未来发展是否会成为通用技术基础?

 徐伟:深度学习会是人工智能的一个重要部分,而且被广泛使用。
吴恩达:我相信深度学习在未来几年会创造更大的价值,而且这方面很缺人才。目前的人工智能仍然距离 人的智能 很远,而且还不清楚如何达到人的水平。我认为 我们要清楚 需要 用深度学习 做什么,什么不应该做,这是很重要的。

问题二 在比较充分的数据和运算能力下,深度学习是否可以超越所有经典的数据挖掘算法?

徐:对于大多数监督学习问题,是可以的这么说。对于一些非监督学习问题,似乎还不能确定。
吴:我同意徐的说法,在大量标记数据下(mapping A-B),而且有足够的神经网络,那么 可以证明深度学习算法对于目标识别问题是可以达到很高的识别率。

问题三 那对于半监督问题呢?

徐:目前为止一个比较成功的非监督例子是 Word Embedding.虽然很多人并不认为word Embedding是深度学习问题.它和传统的的非监督学习也不完全一样,实际上运用了上下文作文监督.
我认为非监督学习要取得成功,实际上更会趋向于这样的弱监督学习。

吴: Embedding在数学上表示一个maping, f: X -> Y, 也就是一个function,其中该函数是injective(就是我们所说的单射函数,每个Y只有唯一的X对应,反之亦然).对于A--B mapping 其中的B可以不是 0/1 ,也可以不是一个整形,完全可以是一个句子。这是深度学习算法的一个突破。对于监督学习,深度学习在翻译和语音识别上已经很成功了。其中一个案例就是百度的语音识别。神经网络学习 一个 A-B mapping(A是 Audio clip;B是text transcript).我相信这个是世界上最好的普通话语音识别系统。

问题四 前段时间去百度的美国研究院,即时在非常大的噪音下,人基本上听不清里面的人在说什么,不过语音识别却识别正确了。Andrew,介绍下全球在语音识别方面的最新进展。

徐:目前的语音识别系统还没有像人那样能够很好的利用上下文信息。

吴:我认为语音识别朝着end-to-end learning(端对端意味着不训练单个的小任务,直接在原始数据上进行学习特征)发展。数据集越大,效果越好,而且有些模型效果更好。我们的工作受 CTC 的Alex Grave的工作影响很大。现在面临的两个挑战是:第一个,对于长的语句,包括很多上下文的,识别率仍然低于人的水平.
第二个挑战则是理解文字中语境,而不是直接的翻译它。

问题五 图片识别,视频内容识别这方面,全球的进展如何?微软最近的一个图像识别的进展,用了100层的深度神经网络,得到了一个不错的效果,是否超神的神经网络,也是一个发展方向?

徐伟:对于ImageNet这样的问题上,目前的 deep residue net 的结果已经很好了,目前,我们也看到很深的模型NLP也有很深的效果。对于视频,运算能力仍然是一个大的瓶颈。对于ImageNet只有百万级的数据,训练就要数天。
那在自然语言对话领域呢?

徐伟:深度学习还不能很好的利用已有的知识库,推理是一个难点。

问题六 聊下实用的领域,比如现在百度大力发展的无人驾驶,这块的挑战和机遇是什么,对于无人驾驶,在5年内,我们能够在大街上乘坐商用的无人驾驶汽车吗?

吴:自己很有幸帮助百度让这个想法在不久的未来成为现实。每年在中国,一天有500个人死于车祸,如果无人驾驶成为现实,那么他们都会免于灾难,这将是AI的一个伟大的应用。首先,深度学习算法这个项目已经运用的很好了,而且百度也引进了大量的人才,相信不久这个梦就会成为现实。另外,我们也在 发展不同于 普通 道路的 专门 轨道,又名为:铁轨战略。我们计划早2018年实现商用的自动驾驶服务,在2020年广泛推广和覆盖。

铁轨战略:
1.在小地方先试点,然后推广。
2.自主驾驶汽车不能做的,要给与人权利进行完成,例如理解交通警察的手势。
3.自主驾驶汽车要能容易辨别。
4.保证自主驾驶汽车的行为准确率。
5.自主驾驶汽车要理解自己应该做些什么。

问题七 机器人真的离我们还非常遥远吗?能否在近5年内有巨大的商业机会?

徐:专用功能的机器人应该会得到很快的发展,但像人那样的机器人,应该还很遥远。
吴:机器人在一些垂直细分的领域有很多令人振奋的应用.
除了无人驾驶,还有精准农业,电站自动检查,电子商务自动取件
安全机器人等等。真正的通用机器人离我们仍然有很长的距离。

问题八 你怎么看待Amazon Echo,它在美国非常流行。

吴:我认为这是一个基于语音的家庭自动化很好的开始,但这一新的产业现在仍然处于最早期。
我认为现在讨论这个设计仍然为时尚早。
不过,在将来,我们可以在家里面和所有的设备对话,
让他们理解我们并回应我们。

问题九 对于AI从业的人士,Andrew有什么职业发展建议?

吴:人工智能发展得如此迅猛,从事这一行业的我们应该不断的的学习.
我们需要做到只有持之以恒。学习是一件几乎没有短期回报,
但是长期回报巨大的事情。

Other

1.End to End的方法,对数据的依赖有多高?机器学习如何提高对数据的学习和处理能力,而不是所有的而数据必须人工标签后才能使用,如果不能解决这个问题,AI如何真正的进化?

徐:所以需要Agent在环境中能主动获取数据,像人那样。

2.深度学习应用在自然语言处理还不是很理想?比如,将深度学习应用到贴吧的帖子或者电商网站上的评论数据,效果不如人为的规则+传统的模型上,你们怎么看。

 徐:人类对话还设计了大量的知识的运用,目前深度学习还缺乏这一点
 在较少依赖语言的一些NLP问题上,比如机器翻译
 我们的实验显示深度学习目前已经可以超越传统模型了。

3.在传统的机器学习任务上,模型选择一直是个问题。现在深度学习给人的感觉是要比传统的svm,决策树,boosting等都要好,但是实际应用中真的是这样吗?像搜索排序,推荐等问题业界已经成熟运用深度学习了吗?

吴:深度学习是业界在很多重要的任务上都是效果最好的算法
包括检索、推荐。一般是这样的,如果你的训练集很小
那么最终的性能更多取决于你的设计特征的能力
深度学习同svm,boosting,决策树等传统的方法没有大的优势
但是在大数据领域,也就是你可以获得庞大的带标记的训练集
那么有监督的深度学习往往更合适。

4.请问两位老师:第一个问题,怎么用深度学习来做点击率预测CTR?其中一个难点在于输入特征维度高而且sparse,深度学习针对这类问题怎么解决?

徐:其实这是深度学习的一个优势,把高位稀疏直接作为输入
他学习到的类似Embedding一样的东西
所以,我的问题是能否将一些NLP上的方法应用到生物学问题上
在NLP中应用最广的的模型就是递归模型
他已经在解决生物学问题上有所应用了。

5.您知道有什么方面AI实际上能帮助拓展或者训练人类的智能吗?例如google的AlhpaGo,专业的棋手可以通过学习他的推理能力来自我提升。

吴:我认为在线教育是一个很好的开始,例如网易公开课
我希望随着时间的推移,在线教育将来更加灵活,更能适应需求
可能成为大家的私人导师。

6.对于医学影像处理,收集大量规模、准确的带标记的数据是非常困难的,请问我们如何提高性能?

吴:如果你并没有大的训练数据,那么短期来看
当然,迁移学习,半监督学习以及无监督学习--以及其他一些我们现在无法想象的方法
能帮助我们在小训练集上取得很好的性能。
徐:人类拥有小规模样本的学习的能力
一部分依赖于人类的建模能力,一部分依赖于人类像其他人学习
深度学习目前还缺少这些能力。

7.深度学习能进化到能够进行逻辑思考吗?或是说逻辑思考于深度学习方法在本质上是否相差甚远,所以我们需要其他的方法弥补深度学习?

徐:能否让深度学习网络具有逻辑思辨能力取决于设计者的新的模型
目前还没有好的方法去进化一个大型的深度学习模型,但在小规模的进化上有些研究。
但是我认为深度学习很有可能实现这一点。

转自机器学习研究会

你可能感兴趣的:(Deep,learning,Pattern,Recognition,人工智能,深度学习,吴恩达,模式识别)