(待整理)从RNN到LSTM到GRU---crf---bilstm+crf如何命名实体识别的流程

RNN&LSTM 简介

https://blog.csdn.net/mzpmzk/article/details/80548927
交叉熵
一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉
https://blog.csdn.net/tsyccnh/article/details/79163834
交叉熵是谁最早提出和应用的？
http://blog.sciencenet.cn/blog-2056-1101769.html
交叉熵wikipedia介绍：
https://en.wikipedia.org/wiki/Cross_entropy

sigmoid
机器学习之sigmoid函数
https://www.jianshu.com/p/506595ec4b58

均方误差　　（Mean Squared Error）均方误差
http://blog.sina.com.cn/s/blog_57a1cae80101bh65.html
one-hot encoding
https://blog.csdn.net/u010916338/article/details/81116817
n-hot(many hot)
https://stackoverflow.com/questions/50599988/implement-n-hot-encoding-in-tf-slim

https://stackoverflow.com/questions/51462420/many-hot-n-hot-encoding-quick-pandas-approach

可参考复旦大学邱锡鹏的讲义
https://github.com/nndl/nndl.github.io/blob/master/chap-循环神经网络.pdf

RNN梯度消失和爆炸的原因
https://zhuanlan.zhihu.com/p/28687529
LSTM如何解决梯度消失问题
https://zhuanlan.zhihu.com/p/28749444

diag()函数功能
https://blog.csdn.net/porly/article/details/7872313
BPTT算法推导
http://www.cnblogs.com/wacc/p/5341670.html
https://www.cnblogs.com/zhbzz2007/p/6339346.html
https://www.jianshu.com/p/2aca6e8ac7c8

零基础入门深度学习（课程）
https://www.zybuluo.com/hanbingtao/note/433855

论文解读：Gated Recurrent Unit门控循环单元
https://www.jianshu.com/p/75e7ce720ec0
https://blog.csdn.net/nxcxl88/article/details/52590500

干货——LSTM详解，关于LSTM的前生今世https://blog.csdn.net/qsczse943062710/article/details/78815972
链接: https://pan.baidu.com/s/1bXH2lK 密码: kpik

LSTM解析
https://blog.csdn.net/ZHANG2012LIANG/article/details/78956483

LSTM原理讲解 GRU原理讲解
https://blog.csdn.net/Amy_mm/article/details/81013548
关于lstm和gru的一些简单资料，讲得比较容易理解
https://blog.csdn.net/u011954647/article/details/52382074
图解LSTM神经网络架构及其11种变体（附论文）https://blog.csdn.net/omnispace/article/details/78039619
知乎–LSTM（挺全的）
https://blog.csdn.net/vbskj/article/details/71713204
LSTM简介以及数学推导(FULL BPTT)
https://blog.csdn.net/a635661820/article/details/45390671
RNN以及LSTM的介绍和公式梳理
https://blog.csdn.net/Dark_Scope/article/details/47056361
LSTM原理及实现
https://blog.csdn.net/gzj_1101/article/details/79376798#t1
LSTM算法原理简介及Tutorial
https://blog.csdn.net/xuanyuansen/article/details/61913886
详解 LSTM
https://www.jianshu.com/p/dcec3f07d3b5
如何简单的理解LSTM——其实没有那么复杂
https://www.jianshu.com/p/4b4701beba92
GIF动画解析RNN，LSTM，GRU
http://sh.qihoo.com/pc/9e39c9c2bd331e33d?cota=3&refer_scene=so_1&sign=360_e39369d1
LSTM 360百科
https://baike.so.com/doc/25552069-26594434.html

Christopher Olah 的博文
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
[译] 理解 LSTM(Long Short-Term Memory, LSTM) 网络
本文译自 Christopher Olah 的博文
https://www.cnblogs.com/wangduo/p/6773601.html
[译] 理解 LSTM 网络
本文译自 Christopher Olah 的博文
https://www.jianshu.com/p/9dc9f41f0b29

Long Short-Term Memory
https://www.mitpressjournals.org/doi/10.1162/neco.1997.9.8.1735（下载论文要钱）

bilstm+crf如何命名实体识别的流程

中文电子病例命名实体识别项目
https://blog.csdn.net/lhy2014/article/details/84582145
BILSTM-CRF命名实体识别—keras版代码详解
https://blog.csdn.net/qq_38358305/article/details/85226519
基于keras的BiLstm与CRF实现命名实体标注
https://www.cnblogs.com/vipyoumay/p/ner-chinese-keras.html
命名实体识别（NER）全解析
https://blog.csdn.net/qq_41853758/article/details/82933080#commentBox
命名实体识别方法汇总
https://blog.csdn.net/BlowfishKing/article/details/78298006
BiLSTM-CRF模型做基于字的中文命名实体识别
https://blog.csdn.net/weixin_39128119/article/details/83046127
BiLSTM+crf的一些理解
https://blog.csdn.net/bobobe/article/details/80489303
命名实体识别（biLSTM+crf）
https://blog.csdn.net/xxzhix/article/details/81514040

小白给小白详解维特比算法（一)
https://blog.csdn.net/athemeroy/article/details/79339546
如何通俗地讲解 viterbi 算法？
https://www.zhihu.com/question/20136144
HMM模型和Viterbi算法
https://www.cnblogs.com/Denise-hzf/p/6612212.html

干货|带你愉快的理解CRF
https://blog.csdn.net/QFire/article/details/81566337
CRF（条件随机场，Conditional Random Field）
朴素贝叶斯中的朴素一词的来源就是假设各特征之间相互独立。这一假设使得朴素贝叶斯算法变得简单，但有时会牺牲一定的分类准确率。

单字SBME四种标注
其中S为Single独立字符，单字或符号成词；B为beginning，标注词的开始；M为middle，标注词中间的字；E为endding，标注词的结束。
https://blog.csdn.net/qq_36534601/article/details/82736756

tensorflow中自带的CRF函数
https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/crf

线性链条件随机场-tutorial（一）
https://zhuanlan.zhihu.com/p/28465510
条件随机场介绍（译）Introduction to Conditional Random Fields
https://zhuanlan.zhihu.com/p/25558273
三个横线是，恒等号
下降损失, 上升收益, 文中说的是概率当然要上升啊.
本博客跳过了条件随机场的图模型框架，因为我不觉这些会对CRF的初次理解有什么帮助。但如果你想了解更多，Daphne Koller有从一月开始的免费的线上图模型教程。https://www.coursera.org/learn/probabilistic-graphical-models
或者，你对CRF在NLP上的许多应用(类似词性标注、命名实体抽取)更感兴趣，Manning和Jurafsky正在提供这样的NLP课程。
我还对CRF:HMM与Logistic Regression:Naive Bayes之间做了一些对比https://arxiv.org/pdf/1011.4088v1.pdf。下图（来自于 Sutton 和 McCallum的 introduction to conditional random fields）就是对此的总结，同时也展示了CRF的图模型特性：

:HMM与Logistic Regression:Naive Bayes之间做了一些对比
https://arxiv.org/pdf/1011.4088v1.pdf

概率图模型HMM,MEMM,CRF
http://www.360doc.com/content/18/0717/16/17027296_771184073.shtml

f’(zk)可能是为了好和后面的相乘
f’(zk)是$T\ast 1$的向量 UT是 $n\ast T$的矩阵
所以对角化成T*n

矩阵求导、几种重要的矩阵及常用的矩阵求导公式
https://blog.csdn.net/daaikuaichuan/article/details/80620518
https://blog.csdn.net/mounty_fsc/article/details/51588794
https://zhuanlan.zhihu.com/p/24863977

深度学习中 的 Attention机制
https://blog.csdn.net/guohao_zhang/article/details/79540014
深度学习中的注意力机制
https://blog.csdn.net/songbinxu/article/details/80739447

一文读懂命名实体识别
https://mp.weixin.qq.com/s/LrrqGCNBncDr3ZacoIHHBg