Paper:Convolutional 2D Knowledge Graph Embeddings
GitHub地址,打开如下,下拉按照说明来复现模型
克隆项目到本地
git clone [email protected]:TimDettmers/ConvE.git
参照我的两篇博文:
1. WIN 11 安装 Ubuntu 20.04 (双系统)(2022.02.28)
2. Ubuntu 20.04 系统下(子系统)深度学习环境配置(Pytorch + GPU)
对于anaconda的安装,可以参考如下博文中安装anaconda3和环境变量部分的内容,其他不要多看,因为我的环境是双系统下的Ubuntu系统,而不是在虚拟机中进行的:
VMware 中 Ubuntu 20.04 安装 和 Pytorch 1.10.2 环境配置(2022.02.10)
执行以下命令:
cd ConvE
pip install -r requirements.txt
pip install --upgrade pip
pip install PyHamcrest
pip install --upgrade pip
再转头来执行命令:pip install -r requirements.txt
,显示安装成功,图太长,截最后一部分:
python -m spacy download en_core_web_sm
首先,手动下载需要的语言模型:点击进入,如下图所示,点击 tag
使用 next 翻页找到 en_core_web_sm-3.2.0 这个包,点进去:
选择 en_core_web_sm-3.2.0.tar.gz 下载:
下载后,执行命令:pip install en_core_web_sm-3.2.0.tar.gz
,如下图所示
然后,对应下载合适的 spacy 版本, 我安装的是3.2.0版本,在自己的 conda 虚拟环境中执行命令(我默认的清华源安装,其他的应该也可以):
pip install spacy==3.2.0
执行以下命令:
cd ConvE
sh preprocess.sh
执行以下命令:
CUDA_VISIBLE_DEVICES=0 python main.py --model conve --data FB15k-237 \
--input-drop 0.2 --hidden-drop 0.3 --feat-drop 0.2 \
--lr 0.003 --preprocess
从 Spacy V3.0
开始,该导入模块的方式已被弃用,因此要使用 spacy
模型,需要更改代码
解决:
import spacy
替换为 from spacy.lang.en import English
nlp=spacy.load('en')
替换为 nlp = English()
CUDA_VISIBLE_DEVICES=0 python main.py --model conve --data FB15k-237 \
--input-drop 0.2 --hidden-drop 0.3 --feat-drop 0.2 \
--lr 0.003 --preprocess
中间部分过程,截图如下:
历经最少 12 小时吧,结果如下:
CUDA_VISIBLE_DEVICES=0 python main.py --model conve --data FB15k-237 \
--input-drop 0.2 --hidden-drop 0.3 --feat-drop 0.2 \
--lr 0.003 --preprocess
改变 --data
后的 FB15k-237 为下列数据集的任何一个:
WN18RR
YAGO3-10
umls
kinship
nations
改变 --model
后的 convE 为下列数据集的任何一个:
distmult
complex
关于知识图谱的链接预测任务,在训练时的可选参数及含义:
-h, --help show this help message and exit
--batch-size BATCH_SIZE
input batch size for training (default: 128)
--test-batch-size TEST_BATCH_SIZE
input batch size for testing/validation (default: 128)
--epochs EPOCHS number of epochs to train (default: 1000)
--lr LR learning rate (default: 0.003)
--seed S random seed (default: 17)
--log-interval LOG_INTERVAL
how many batches to wait before logging training
status
--data DATA Dataset to use: {FB15k-237, YAGO3-10, WN18RR, umls,
nations, kinship}, default: FB15k-237
--l2 L2 Weight decay value to use in the optimizer. Default:
0.0
--model MODEL Choose from: {conve, distmult, complex}
--embedding-dim EMBEDDING_DIM
The embedding dimension (1D). Default: 200
--embedding-shape1 EMBEDDING_SHAPE1
The first dimension of the reshaped 2D embedding. The
second dimension is infered. Default: 20
--hidden-drop HIDDEN_DROP
Dropout for the hidden layer. Default: 0.3.
--input-drop INPUT_DROP
Dropout for the input embeddings. Default: 0.2.
--feat-drop FEAT_DROP
Dropout for the convolutional features. Default: 0.2.
--lr-decay LR_DECAY Decay the learning rate by this factor every epoch.
Default: 0.995
--loader-threads LOADER_THREADS
How many loader threads to use for the batch loaders.
Default: 4
--preprocess Preprocess the dataset. Needs to be executed only
once. Default: 4
--resume Resume a model.
--use-bias Use a bias in the convolutional layer. Default: True
--label-smoothing LABEL_SMOOTHING
Label smoothing value to use. Default: 0.1
--hidden-size HIDDEN_SIZE
The side of the hidden layer. The required size
changes with the size of the embeddings. Default: 9728
(embedding size 200).
注意事项:--preprocess
只执行一次就可以了。例如,第二步的命令执行时,已经带上了这个参数,以后的训练就不必再添加这个参数了:
--preprocess Preprocess the dataset. Needs to be executed only
once. Default: 4
执行下列命令,选择数据集替换 DATASET_NAME
,其余使用默认值,可还原论文:
CUDA_VISIBLE_DEVICES=0 python main.py --data DATASET_NAME
原因:sklearn 和 scikit-learn 不一样,这个报错的 sklearn 是机器学习库 scikit-learn 缩写,安装 sklearn 没用:
解决办法:执行以下命令
pip install scikit-learn
把 ConvE-master/src/bashmagic 下的 bashmagic 拷贝到 ConvE-master 目录下
把 ConvE-master/src/spodernet下的 spodernet 拷贝到 ConvE-master 目录下:
缺失这个包的话,安装 future,而不是 past
pip install future
其余的缺什么包,pip直接安装即可
本文展示了 自己在复现 ConvE 模型可能遇到的问题及解决办法,如有疑问,请参考 ConvE 文件夹下的readme.md
文件或访问文首的 Github 地址,欢迎评论区交流指正
出现原因: 在
pip install -r requirements.txt
中出现问题
我重新去复现了下模型,也遇到同样的错误:
按以下方法, 问题成功解决:
① 解决 9418 端口上未经身份验证的 git 协议错误,执行如下命令,9418错误消失:
git config --global url."https://".insteadOf git://
然后再执行 pip install -r requirements.txt
,可能依旧无法访问:
② 更换 pip 源:
在 pip.conf 中添加:
[global]
timeout = 6000
index-url = https://pypi.doubanio.com/simple
trusted-host = pypi.doubanio.com
更新:
sudo apt-get update
由于工作需要再次用到 convE 模型,中间这段时间没有改变和配置环境,但今天再次运行时却报错:
RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED
解决方案可参考博文:
《玄学错误:RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED 解决方案——cuDNN 卸载并重装》