2017搜狗AI技术开放日
一、人工智能60年回顾
概述性的报告。知识学习，知识是对问题的定义。
二、①AlphaGo Zero 从0开始学习，不依赖于人工设计特征，不依靠人类棋谱。——完全摆脱人类知识，从零学习。
②深度学习存在的问题：
大数据Vs小样本 黑箱Vs可解释 一次性学习VS增量学习 固执己见VS知错能改 猜测VS理解
三、机器翻译
①历史进程：
基于规则的机器翻译---》基于实例的MT---》统计MT-----》神经网络MT
人工定制规则 在数据中寻找相似实例 在data中学习规则 直接进行翻译
②神经网络机器翻译：
本质是编码解码过程
③搜狗的使命：让表达和获取信息更简单
搜狗AI战略：自然交互+知识计算
搜狗机器翻译架构：以编码器—解码器为基本架构
基本技术：①多层编码——解码器
②聚合 ③实体标签转换④模型平均⑤GRU。。。。
④特定场景翻译：
诗词、成语翻译——》难以获得对应的双语数据进行模型训练
解决方案：使用存在的中文释义进行翻译（就是解释一下的中文），使用释义后结果提升86%
菜单翻译：中文菜单：烹制方法、主料、配料、汤汁 构造机器翻译规则
英文菜单：不同国家菜品不同、不同餐馆命名方式不同
基本组成方式：名字+配料（配料相对更关键）
挖掘配料单词及其翻译，根据配料词及其翻译生成翻译规则
四、语音
基于深度学习的频谱映射（CNN，RNN，LSTM）
展示了一些语音降噪等效果（非特定目标人的单通道语音分离-PIT）
搜狗语音深度学习平台：
应用层面：语音识别/合成
算法：DNN、CNN、LSTM、GRU、seq2seq
分布式系统：并行训练、自动伸缩、资源隔离...
基础设施：GPU、CPU、FPGA
五
（1）搜狗从搜索走向问答
智能时代的信息获取：
机器计算+人工整理 --------------------------》机器计算（更精准、更便捷）
（2）搜狗立知 产品目标：为搜索用户提供精准答案
分为三大类：事实类：例如，我国最大的淡水湖是？
非事实类（分析类）：例如，怎么修改微信密码？
观点类：例如，喝啤酒上火吗？
技术路线：
基于知识图谱：
知识挖掘
结构化和半结构化数据
实体识别/链接/关系抽取
知识存储表示
实体《属性、值》
知识图谱三元组《S、R、O》
知识应用
查询语义分析
知识库检索
基于搜索
知识挖掘：全网（包括无结构化）数据
问答抽取/质量判别
知识存储表示：
QA pair ，实体库
在线实时计算
知识应用
查询意图分析
检索排序、语义表示
LAT/实体识别
答案抽取和生成
（3）搜狗知识图谱
实体数量：亿级 人物类、地理类、机构类、影视作品类
关系数量：数十亿
事实类问答关键步骤： 首先理解问题，理解用户查询意图
相关文档检索，利用搜狗网页搜索，检索若干相关性较高的候选网页
答案抽取：结合问题理解，对相关网页进行候选答案抽取和精细计算，得到最终答案。
非事实类：QA数据挖掘
问答意图识别：难点是自然语言描述多样性、隐式意图缺乏疑问词
基于线性模型/pattern的判别：N-gram特征+LR模型
种子疑问词扩展查询+WOrd2Pharse抽取
基于深度神经网络意图判别：
利用点击行为构造正负例
疑问词/强pattern 过滤例
亿级训练集+LSTM
非事实类问答：答案质量判断
目标：判断文本是否能够作为问题的答案
方法：基于深度神经网络，判断候选答案对问题的满足程序（其实就是找一个损失函数）
数据：人工标注、CQA网站数据（？什么网站）
深度学习模型架构： 将问题+答案通过嵌入层分别连接到LSTM神经cell ——》match layer（对两股数据融合）———》LSTM layer————》全连接层——》最终输出
观点类问答： 数据来源：优质问答站点数据
互斥问题识别：类型有好不好，能否，真假
相似性问题聚合：句法和语义分析-》主干抽取
短文本相似度+聚类
情感倾向分类：特征提取：pattern ，统计，上下文，深度学习分类模型
答案聚合排序：答案相关性、丰富度、用户行为特征
观点类问题难点：观点隐含表达
Q：中国男篮能进奥运前四吗？
A：有点悬，除非超常发挥。 （负）
Q：孕妇可以吃臭豆腐吗？
A:我吃了好几次了 （正）
任务：识别答案观点类型，正向、负向、其他
方法：基于深度神经网络 输入是：问题及其对应的回答 输出是答案观点类型
数据：人工标注大规模训练数据，规则自动抽取标注
深度神经网络模型架构：图片。
六、人工智能历史沉浮
1。模型框架演变
人工特征+分类器 ———》深度特征+分类器 ————》端到端学习
详细说明：①传统框架是针对问题选择或者设计特征；可以学习的通用分类器；需要大量的经验积累。
传统机器学习专家——》老中医。根据问题不同设计特征和分类器的组合。问题是：选择特征有限，而且耗时太长。严重依赖经验。。。。
②过度阶段使用深度神经网络学习特征代替人工设计特征；更加快速有效的处理新问题；机器视角代替人工视角，学习到的特征更加适合机器。
③后深度学习时代：特征学习和分类器学习置于统一的框架联合优化；强调从图像或者视频输入到最终的目标输出之间端到端的可学习；多输入，多输出，多任务之间的自动协调；从两步贪心策略到一步全局最优。
当前的端到端可学习，使用训练好的模型方便快捷，深度特征远优于人工设计的特征。
分步优化——》整体优化。
七 搜狗——》理解用户查询
1。动机：满足用户查询意图
2。方法：聚类、主题模型、语义分类（semantic classification）
3。使用案例：双11用户查询意图 思考：这些数据是怎么得到的？通过搜狗输入法！
八 搜狗图片搜索中的机器学习技术
1。相关性特征：查询词--图像相关性特征
查询词--站点相关性特征
结合图像的关键词提取
九 核心term 识别
case1：深圳鼻子整容多少钱？ 深圳/
鼻子/
整容/多少钱 。