西湖大学自然语言处理（一）—— 课程简介及大纲

自然语言处理概述

Natural Language Processing （NLP）

• A sub field of Al（人工智能子领域）
• On automatic understanding and generation of human languages（人类语言的自动理解和生成）
• Has evolved since the early days of computer science（从计算机科学的早期发展至今）
• Fast advances with recent development of deep learning technologies（随着深度学习技术的近期发展而快速发展）
• Machine learning driven（机器学习驱动）
• Growing industry use（日益增长的工业应用）
  

课程特点

• Deep: Teach the machine learning theory behind NLP（教授NLP背后的机器学习理论 ）
• Broad: Cover all the major models and algorithms（涵盖所有主要的模型和算法 ）
• Gentle: Details given to reduce difficulty in learning（提供细节以减少学习难度 ）
• Chronological: Follow the development of the field （紧跟该领域的发展 ）
• Unified: Strong connections between different methods（不同方法之间的紧密联系 ）
• Flexible: Different students can select different lessions（不同的学生可以选择不同的课程 ）
  

课程内容概述

基础

• Overview（整体框架）
  • 什么是自然语言处理
  • 自然语言处理的任务
  • 为什么要从机器学习角度来看自然语言处理
• Counting frequencies（统计频率）
• Feature vectors（特征向量）
• Unified linear models（统一到泛化的感知机模型下）
• Information theory in NLP（信息论）
• Hidden variables（隐变量）

结构

• Generative sequence labeling
• Discriminative sequence labeling
• Sequence segmentation
• Tree structure prediction
• Transition-based methods
• Bayesian learning

神经网络

• From one layer to stacked layers
• Representation learning
• Neural strauctured prediction
• Sequence to sequence learning
• Pre-training and transfer learning
• Deep latent variable models