基于bert进行命名实体识别

背景

参照博客：https://blog.csdn.net/macanv/article/details/85684284
参照代码：https://github.com/macanv/BERT-BiLSTM-CRF-NER

环境安装

上述博客已经详细说明了安装方法，此处记录自己安装环境中遇到的一些问题及解决方法：

1.执行安装命令pip install bert-base==0.0.7 -i https://pypi.python.org/simple时，一直失败，报连不上pypi.python.org，看了下机器是可以ping通该域名的。
后来就百度了一下，换了一个源：http://pypi.douban.com/simple
具体操作如下：新建~/pip/pip.conf文件，写入

[global] 
index-url = http://pypi.douban.com/simple 
trusted-host = pypi.douban.com 
disable-pip-version-check = true
timeout = 120

然后执行命令pip install bert-base==0.0.7 -i http://pypi.douban.com/simple即可安装成功

2.安装tensorflow，总是报错pip._vendor.requests.packages.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='pypi.tuna.tsinghua.edu.cn', port=443): Read timed out.，主要是网络问题，解决方案无他，多试试就好了（或者也可以下载好后，直接安装）

3.遇到cuda版本与tensorflow版本不一致问题，后来经过查询，tensorflow1.12.0 可以安装在 cuda 9上面附查询cuda版本命令：cat /usr/local/cuda/version.txt

4.安装的tensorflow-gpu版本，运行出错
4.1failed to create cublas handle: CUBLAS_STATUS_NOT_INITIALIZED]问题，经查发现是因为显存不够，后来过了一段时间，再试了一下，就运行起来了（大家共享的机器）;
4.2.OP_REQUIRES failed at assign_op.h:117 : Resource exhausted: OOM when allocating tensor with shape[3072,768] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc
参考 引用2，将batch_size调小

5.在出现gpu版本的问题后，尝试了tensorflow cpu版本，运行没有问题，但是太慢

引用

1.https://www.cnblogs.com/cuzz/p/8192663.html
2.https://blog.csdn.net/Will_Ye/article/details/89878588