2017-2018 学习总结

2017.09-2018.02

初步了解自然语言处理：

1.学习周志华的《机器学习》西瓜书和宗成庆的《统计自然语言处理》

2.了解机器学习理论知识，由于概率统计等知识点都不太理解，耗费一部分时间补充概率论的相关知识

3.了解CNN,RNN及其一些变体的相关原理，以及一些反向传播的数学公式推导。

4.部分实践《python 自然语言处理》书中的代码

5.学习李宏毅的机器学习视频，部分实现代码包括CNN等(基于 keras框架)

6.学习矩阵理论，泛函分析，最优化等课程

2018.02-2018.07

1. 关于自然语言处理的案情匹配方法研究，基于此完成文档，该文档描述包括：问题分析，文档结构化，文档分类，文本匹配的具体算法，以及信息抽取，信息检索模型等具体方案。

文档分类算法：支持向量机，贝叶斯分类模型，K-最近邻模型，最大熵模型等机器学习分类算法。

信息检索模型：布尔模型，向量空间模型，概率模型，概念模型，神经网络模型等等。

文本匹配：传统文本匹配学习模型，基于深度学习的文本匹配模型（基于单语义文档表达的深度学习模型、基于多语义文档表达的深度学习模型和直接建模匹配模式的深度学习模型）

以及问答系统实现的构思（后期又给导师搁置了……）。

2. 律师匹配方法研究，并基于此完成文档，主要包括问题预处理阶段（中文分词、命名实体识别、词性标注、停用词过滤、特征提取、文本向量化等），信息采集阶段，以及律师匹配（文本匹配模型）。

该文档着重描述推荐算法：协同过滤算法，基于内容的推荐算法，基于图结构的推荐算法，混合推荐算法。

3．具体了解问答系统，并查看CNN与RNN在文本分类以及问答系统上应用的相关论文，了解CNN与RNN的主要区别，以及在训练实现上的一些技巧（dropout，正则化，激活函数选取等等）

4. 了解word2vec背后的理论模型（skip-gram模型与CBOW模型），使用结巴分词实现中文分词等功能。

5．部分了解知识图谱，主要是知识图谱在问答系统中的应用，主要针对智言科技公众号上的一些推文进行学习，KB-QA等等

6. 学习李航《统计学习方法》中的传统机器学习方法的数学推导，基本掌握，书看了很多遍。

7.（前边看的大多都是传统机器学习的方法和CNN，RNN,LSTM,GRU，注意力机制等）开始初步了解对抗生成网络，SeqGAN第一篇关于使用对抗式学习思想的文本生成方法，并在自己的电脑上跑了该代码，然后就一直查看关于对抗式文本生成的论文。

SeqGAN包括强化学习方法，Monte Carlo采样，HighwayNetwork方法等研究，WGAN学习等等

    8. 学习数值代数（了解Krylov子空间投影方法等），凸分析（了解次微分，次梯度等等），图论，神经网络导论等课程。

2018.07-2018.09

1. 暑期学校：

（1）主要学习了对抗生成网络，关于隐变量的深度学习模型，流模型，自回归模型等；

（2）信号处理的图像压缩方法，地震勘测信号处理方法等（与现在研究内容几乎无关）

（3）Michael Jordan院士介绍Bandits算法

（4）Stephane Mallat介绍一些优化算法：梯度用于优化的一些算法，强凸，Heavy-Ball，共轭梯度，次梯度，次微分等等

    2. 学习Python，跟着电子书学完一本书（暑假似乎有点荒废）

2018.09-2018.12

1. 回顾暑期学习内容，尤其是关于图模型以及隐变量的模型研究，学习模式识别与机器学习英文教材图模型章节

2. 基于暑期关于隐变量的学习，学习变分自编码器相关的论文，包括ALI，AAE, AVB等模型

3. 持续关注文本生成模型的论文包括RankGAN, MaliGAN, TextGAN, Mask GAN 并尝试实现 LeakGAN

4. 尝试推导变分自编码器的变体，将KL散度转换成JS散度（发现不太行，推导不出来，呜呜）

5. 查看关于GAN的那些论文的各种代码，试运行，学习tensorflow，目前基本能看懂代码，自己写的话只会简单的神经网络实现

    6. 导师的甩的某些锅，就不细细总结了！

（这学期似乎有点不务正业....）