山东大学nlp实验--CRF环境配置
前言
按照实验指导中的方式配出来的环境，是跑不通代码的！！！
python-3.6 + tensorflow=1.14 + keras=2.2.5亲测有效！！！
缺点是可能不能启动gpu，即使下载的是tesorflow-gpu=1.14，因为和硬件可能不匹配
因为本次实验只是体验CRF，如果需要长时间训练，还是建议下载与CUDA匹配的版本，然后再改代码的语法，来利用GPU训练。检查GPU是否能使用的代码
import tensorflow as tf
tf.test.is_gpu_available() #返回 True 则代表可用
按实验指导执行一遍
pip install keras-preprocessing==1.0.9。这个版本的貌似找不到了，直接pip install keras-preprocessing就好了。unzip work/keras-contrib-master.zip。这个work/是工作目录下的意思，直接cd word进入存储文件的目录解压即可python keras-contrib-master/setup.py install。这个就是你刚刚解压的zip生成的文件夹keras-contrib-master，直接执行命令即可unzip work/bi-lstm-crf-master.zippython bi-lstm-crf-master/setup.py install。这两步和刚刚的两步是一个道理。
额外步骤
更换 keras 版本
- 运行
python keras-contrib-master/setup.py install会安装上最新版本的keras==2.8.0 - 没有安装
tensorflow，如果安装上keras==2.8.0对应版本的tensorflow是无法跑通代码的 - 于是用了比较常用的
tesorflow==1.14 + keras==2.2.5，可以跑通。
dl_segmenter找不到的问题
path1和path2需要改成自己相应文件的对应路径，比如我的是path1 = "/home/nsy/nlp/exp3/CRF/bi-lstm-crf-master"。这样才能够导入dl_segmenter，因为它在bi-lstm-crf-master里面，是自定义的模块。
上述用法的原因可参考 sys.path用法介绍
模型加载
可能出现的问题，有同学和我版本，代码都一致，但并没有出现这个问题
在使用get_or_create加在模型时，总会报错no weights found,create a new model。这在训练和测试时都会出现
但是，路径和环境都是没有问题的，于是去找源码，看看get_or_create函数是怎么定义的。
真正不能加载模型要在测试时看，因为训练的时候，读模型权重的路径少了一个-，（应该是故意的），想要训练一个新的模型。如果直接读取预训练模型接着训练的话，loss一会就变成负的了。
- 在
CRF/bi-lstm-crf-master/dl_segmenter/core.py中找到相关内容
我们发现错误是从这里来的，try没有成功，但是我们现在想看看try为什么不成功，而且在测试时，我们是一定要加载预训练模型的。于是改成
再次运行测试代码test.py，发现报错
Traceback (most recent call last):
File "/home/nsy/nlp/exp3/CRF/bi-lstm-crf-master/dl_segmenter/core.py", line 188, in get_or_create
DLSegmenter.__singleton = DLSegmenter(**config)
File "/home/nsy/nlp/exp3/CRF/bi-lstm-crf-master/dl_segmenter/core.py", line 55, in __init__
self.model.load_weights(weights_path)
File "/home/nsy/anaconda3/envs/nlp/lib/python3.6/site-packages/keras/engine/saving.py", line 458, in load_wrapper
return load_function(*args, **kwargs)
File "/home/nsy/anaconda3/envs/nlp/lib/python3.6/site-packages/keras/engine/network.py", line 1217, in load_weights
f, self.layers, reshape=reshape)
File "/home/nsy/anaconda3/envs/nlp/lib/python3.6/site-packages/keras/engine/saving.py", line 1145, in load_weights_from_hdf5_group
original_keras_version = f.attrs['keras_version'].decode('utf8')
AttributeError: 'str' object has no attribute 'decode'
我们定位到错误位置keras/engine/saving.py
这是Python2和Python3字符编码上的区别
Python3的str默认不是bytes，所以不能decode，只能先encode转为bytes，再decode
python2的str默认是bytes，所以能decode
因此，我们将原代码改为
再次运行测试文件test.py，发现运行成功，不再报错。至此，我们解决了不能加载模型的问题。