深度学习集训营中

• 预习阶段 从DL基础起步，掌握三大核心模型

  在线视频：DNN与CNN，及NN框架

  • 1-DNN与混合网络：google Wide&Deep
  • 2-实战项目：数据非线性切分+google wide&deep 模型实现分类
  • 3-CNN:从AlexNet到ResNet
  • 4-实战项目：搭建CNN完成图像分类示例
  • 5-NN框架：caffe, tensorflow与pytorch
  • 6-实战项目：用几大框架完成DNN与CNN网络搭建与分类

  在线视频 ：RNN、LSTM、与条件生成、attention

  • 1-RNN/LSTM/Grid LSTM
  • 2-实战项目：RNN文本分类
  • 3-RNN条件生成与attention
  • 4-实战项目：google神经网络翻译系统

• 第一阶段 从数据科学比赛里看深度学习应用

  在线直播：业务场景下机器学习/深度学习数据处理与特征工程

  • 1-业务场景下的特征处理与挖掘套路
  • 2-如何用tensorflow进行常见的数据特征工程
  • 3-tensorflow搭建baseline模型解决分类问题

  在线直播：tensorflow搭建混合网络

  • 1-wide network搭建与优缺点
  • 2-deep neural Network搭建与优缺点
  • 3-混合网络搭建套路
  • 4-用混合网络解决分类问题

  线下实战：从DNN/Wide/Wide&Deep解决房价预测问题

  • 1-机器学习vs深度学习，工业界的利弊权衡
  • 2-神经网络基本原理和训练要点
  • 3-如何针对不同的应用场景选择模型结构
  • 4-从wide&deep到混合网络的搭建与应用
  • 5-以kaggle比赛为例讲解神经网络解决方案

• 第二阶段 深度学习在计算机视觉中的应用

  在线直播：深度卷积神经网络原理与实践

  • 1-卷积操作的数学定义和物理意义
  • 2-卷积神经网络结构的两大原理—局部连接和权值共享
  • 3-卷积神经网络的主体结构和变种
  • 4-3小时内用百行代码登顶Kaggle图像分类比赛的Top-5%

  在线直播：海量图像与tensorflow处理

  • 1-Tensorflow输入数据——TFRecord与Dataset
  • 2-Tensorflow图像预处理
  • 3-Parameter Server原理
  • 4-Tensorflow的分布式训练的实现

  线下实战：图像分类与图像检索实战

  • 1-灵活选取卷积神经网络结构作为图像分类的Backbone
  • 2-迁移学习在深度学习中的应用——“微调”（Fine-tune）技术
  • 3-图像搜索的前世（Bag-of-Visual-Words）和今生（Deep Learning）

• 第三阶段 深度学习在自然语言处理中的应用

  在线直播：文本预处理，词袋模型，word2vec，语言模型

  • 1-NLP基本知识：词袋、tf-idf、朴素贝叶斯
  • 2-DL中的NLP基础：word2vec、doc2vec、embedding、N-gram LM
  • 3-用深度学习一步步完成情感分析任务

  在线直播：CNN/LSTM 文本分类

  • 1-文本分类问题处理流程
  • 2-传统模型在文本分类上的表现
  • 3-从RNN到LSTM
  • 4-CNN/LSTM 在文本分类上的应用

  线下实战：文本语义相似度匹配模型以及Seq2Seq模型构建

  • 1-深度学习在自然语言处理中的基础工具：word2vec、Embedding
  • 2-文本检索与匹配通用模型方法：DSSM，CDSSM，DRMM，ARC-I
  • 3-Seq2Seq模型搭建详解与应用案例
  • 4-(短)文本语义相似度匹配模型构建及其实践应用

  线下实战：图像生成文本(Image2text)

  • 1-Image2text基本模型
  • 2-基于Attention的Image2Text
  • 3-反问题：Text2Image

• 第四阶段 高级深度学习应用场景

  上午线下：基于深度学习的聊天机器人，看图说话与VQA

  • 1-基于深度学习匹配的聊天机器人
  • 2-基于序列到序列模型的聊天机器人
  • 3-结合CNN与RNN的看图说话与VQA看图问答机器人

  下午线下：大规模车辆图片搜索（Re-ID）算法原理及实践

  • 1-多任务（Multi-task）深度学习模型搭建与训练
  • 2-深度排序(Deep Ranking, Triplet Loss)原理与训练技巧
  • 3-使用多任务和深度排序模型，构建一个工业界和学术界最前沿的大规模车辆图片搜索算法(可用于智慧城市、视频监控等安防场景)，在业界最大的车辆搜索开源数据集上取得State-of-the-Art效果

• 第五阶段 深度学习模型优化及实践技巧

  上午线下：NLP与CV数据科学比赛案例详解与实践

  • 1-NLP AI比赛：文本主题与标签预测(通用模型结构、textCNN与textRNN、texRCNN与其他网络)
  • 2-图像比赛基本套路
  • 3-图像分类与图像分割比赛解决方案介绍

  下午线下：深度学习模型优化前瞻技术 以及实践技巧

  • 1-深度卷积神经网络的历史变革和设计理念——从AlexNet到DenseNet
  • 2-解析各类轻量级深度网络的设计理念——深度可分离网络
  • 3-深度学习模型训练时应注意的问题即实践技巧