按照实验指导中的方式配出来的环境,是跑不通代码的!!!
python-3.6 + tensorflow=1.14 + keras=2.2.5
亲测有效!!!
缺点是可能不能启动gpu
,即使下载的是tesorflow-gpu=1.14
,因为和硬件可能不匹配
因为本次实验只是体验CRF
,如果需要长时间训练,还是建议下载与CUDA
匹配的版本,然后再改代码的语法,来利用GPU
训练。检查GPU
是否能使用的代码
import tensorflow as tf
tf.test.is_gpu_available() #返回 True 则代表可用
pip install keras-preprocessing==1.0.9
。这个版本的貌似找不到了,直接pip install keras-preprocessing
就好了。unzip work/keras-contrib-master.zip
。这个work/
是工作目录下的意思,直接cd word
进入存储文件的目录解压即可python keras-contrib-master/setup.py install
。这个就是你刚刚解压的zip
生成的文件夹keras-contrib-master
,直接执行命令即可unzip work/bi-lstm-crf-master.zip
python bi-lstm-crf-master/setup.py install
。这两步和刚刚的两步是一个道理。python keras-contrib-master/setup.py install
会安装上最新版本的keras==2.8.0
tensorflow
,如果安装上keras==2.8.0
对应版本的tensorflow
是无法跑通代码的tesorflow==1.14 + keras==2.2.5
,可以跑通。path1和path2
需要改成自己相应文件的对应路径,比如我的是path1 = "/home/nsy/nlp/exp3/CRF/bi-lstm-crf-master"
。这样才能够导入dl_segmenter
,因为它在bi-lstm-crf-master
里面,是自定义的模块。
上述用法的原因可参考 sys.path用法介绍
可能出现的问题,有同学和我版本,代码都一致,但并没有出现这个问题
在使用get_or_create
加在模型时,总会报错no weights found,create a new model
。这在训练和测试时都会出现
但是,路径和环境都是没有问题的,于是去找源码,看看get_or_create
函数是怎么定义的。
真正不能加载模型要在测试时看,因为训练的时候,读模型权重的路径少了一个-
,(应该是故意的),想要训练一个新的模型。如果直接读取预训练模型接着训练的话,loss
一会就变成负的了。
CRF/bi-lstm-crf-master/dl_segmenter/core.py
中找到相关内容我们发现错误是从这里来的,try
没有成功,但是我们现在想看看try
为什么不成功,而且在测试时,我们是一定要加载预训练模型的。于是改成
再次运行测试代码test.py
,发现报错
Traceback (most recent call last):
File "/home/nsy/nlp/exp3/CRF/bi-lstm-crf-master/dl_segmenter/core.py", line 188, in get_or_create
DLSegmenter.__singleton = DLSegmenter(**config)
File "/home/nsy/nlp/exp3/CRF/bi-lstm-crf-master/dl_segmenter/core.py", line 55, in __init__
self.model.load_weights(weights_path)
File "/home/nsy/anaconda3/envs/nlp/lib/python3.6/site-packages/keras/engine/saving.py", line 458, in load_wrapper
return load_function(*args, **kwargs)
File "/home/nsy/anaconda3/envs/nlp/lib/python3.6/site-packages/keras/engine/network.py", line 1217, in load_weights
f, self.layers, reshape=reshape)
File "/home/nsy/anaconda3/envs/nlp/lib/python3.6/site-packages/keras/engine/saving.py", line 1145, in load_weights_from_hdf5_group
original_keras_version = f.attrs['keras_version'].decode('utf8')
AttributeError: 'str' object has no attribute 'decode'
我们定位到错误位置keras/engine/saving.py
这是Python2和Python3字符编码上的区别
Python3
的str
默认不是bytes
,所以不能decode
,只能先encode
转为bytes
,再decode
python2
的str
默认是bytes
,所以能decode
因此,我们将原代码改为
再次运行测试文件test.py
,发现运行成功,不再报错。至此,我们解决了不能加载模型的问题。