tw1 model修改record
原BiLSTM-CRF模型
epoch 20/150: training loss = 0.9868; training accuracy = 0.7893; validation loss = 2.2454; validation accuracy = 0.5985 time = 0:06:31.032106
优化器 Adam ；LR 0.001
feature layer加cnn补充特征
知识补充
1. nn.linear() 是设置全连接层，输入输出需要是二维tensor [batch_size,size]，也即：
in_feature是输入[batch_size,size]中的size
输出的tensor形状为[batch_size,out_feature]
卷积层输入输出是四维tensor？
2. torch.cat() ，torch.cat((A,B),dim)，dim=0竖着拼接，dim=1横着拼接
3. 计算保留小数点：
format(float(a)/float(b),'.2f')record
1. cnn拼接进去部分代码，均在run_all.py
设置两层conv，两层全连接
具体forward如下，其中部分hidden计算借用lstm的，并未做修改
lstm和cnn分别获取特征后，竖向拼接tensor
2. 初运行没问题，但acc计算出现错误，没有值
以下是修改过程：
hiddens拼接出错，竖着拼改了tensor维度
采用计算对应tensor的加权平均值，生成最终的tensor，维度与lstm_feats以及intercnn_feats相同
但trues还是0...接着查，然后修改了trues的计算方式，可以成功计算出trues并计算acc，val_trues处做同样修改
人家原本的没毛病，又改回来了
跑了50个epochs，又忘记截图了.........提升不大，在增加F1计算，后面重新跑一次吧。
改BiLSTM到transformer
知识补充
record
修改embedding
知识补充
record
原model的embedding是由train.txt先过预处理，之后split，再生成一个pkl文件，pkl里是按位置生成的word对应向量，unk的为0。
修改
先加个elmo的word-level embedding
两个embedding出的tensor拼接方式还没确定
# 0331
elmo模型加载太慢，太拉跨embedding速度了。
但只用character-level特征，token embedding使用原bi的pkl对应，在后embedding 与bert方法的pos embedding相加，整体训练速度变化不大，epoch1测试的train acc 0.5568：）
在使用原bi 的pkl到bert 的token embedding时，会报index溢出错误，原pkl的标码是len+1的，所以就拆到一边去单独生成pos embedding再拼接了。