deepdive安装笔记全纪录
引言
DeepDive是一种新型的数据管理系统，可让它在单个系统中解决提取，集成和预测问题，从而使用户能够快速构建复杂的端到端数据管道，例如暗数据BI（商业智能）系统。通过允许用户端到端构建系统，DeepDive允许用户将精力集中在系统中最直接改善应用程序质量的部分。相比之下，以前的基于管道的系统要求开发人员构建提取器，集成代码和其他组件，而对它们的更改如何提高其数据产品的质量没有清晰的想法。这种简单的见解是DeepDive系统如何在更短的时间内生成高质量数据的关键。基于DeepDive的系统被没有机器学习专业知识的用户使用，涉及从古生物学到基因组学再到人口贩运等多个领域。
安装环境
- jdk 1.8
- python 3.7.3
- postgresql 96
其实yum预装了python 2.7应该就够了，只不过我是在这之前用的anaconda，另外jdk是由于内部有elasticsearch以及nodejs等等，所以需要Java环境。postgresql就是数据库了，下面会介绍jdk与sql的安装，因为python已经预装就不做过多介绍。
jdk安装
虽然这个很简单，但因为之前笔记里我没有提过，所以这里提一嘴。首先检查之前是否安装过jdk，还有文件夹的创建：
// 如果以前安装过，请清除干净后重新安装1.8
rpm -qa | grep -i jdk
// 创建文件夹
mkdir -p /usr/local/jdk
这里存在一个技巧，直接去请求Oracle的Java版本是非常慢的，除非是有梯子，不然可能一个安装包能下一个下午是可能的。所以这里还是很建议用阿里的源：
// Oracle官方源
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
// aliyun的1.8版本的包
wget https://code.aliyun.com/kar/oracle-jdk/raw/3c932f02aa11e79dc39e4a68f5b0483ec1d32abe/jdk-8u251-linux-x64.tar.gz
然后就是安装：
tar -zxvf jdk-8u251-linux-x64.tar.gz
// 为了更好加环境变量
mv jdk1.8.0_251/ jdk1.8
再加入环境变量：
// An highlighted block
vim /etc/profile
#java
export JAVA_HOME=/usr/local/src/jdk/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
然后就能输入java -version看到当前是否安装成功。
postgresql安装
这个东西bug就比较多了，另外其中很多东西我也还没弄懂，刚开始用，下面就是我的过程以及bug笔记。
| PostgreSQL Version | 64 Bit Platforms | 32 Bit Platforms |
|---|---|---|
| 10 | RHEL / CentOS / OEL 7.x & 6.x | RHEL / CentOS / OEL 6.x |
| 9.6 | RHEL / CentOS / OEL 7.x & 6.x | RHEL / CentOS / OEL 6.x |
| 9.5 | RHEL / CentOS / OEL 7.x & 6.x | RHEL / CentOS / OEL 6.x |
postgresql的安装跟mysql类似，但它的源会出现一些问题，另外，如果去找deepdive的搭建笔记，看到的基本都是用 bash <(curl -fsSL git.io/getdeepdive) postgres 这个命令以Git的方式拉取与之对应的deepdive，但我尝试后会报错，具体原因未知，甚至把ca证书弄没了。。下面是图：
然后尝试rpm安装：
# Install the repository RPM:
yum install https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
# Install PostgreSQL:
yum install postgresql96-server
上面rpm链接，网上的大部分都有问题，不太清楚是不是云服务器的问题还是rpm失效了，在我进入postgresql.org网站找源依然没有找到，而如果用其它的源导致后面失败的，这里有几个bug记录一下：
repodata/repomd.xml: [Errno 14] HTTPS Error 404 – Not Found
failure: repodata/repomd.xml from pgdg11: [Errno 256] No more mirrors to try.
https://download.postgresql.org/pub/repos/yum/11/redhat/rhel-$releasever-x86_64/repodata/repomd.xml: [Errno 14] HTTPS Error 404 – Not Found
这个东西就需要去/etc/yum.repos.d找到报错的repo，将其中的$releaserver改成当前centos版本的数字，比如centos 7 那就是全部改成7.
data directory “/var/lib/pgsql/9.6/data” has group or world access
这个错就主要是没有权限，所以需要赋权：
cd /var/lib/pgsql/9.6
chown -R postgres:postgres data
chmod -R 0700 data
另外还有一些报错，但我忘记记录了，所以主要两个就是如上。另外如果还需要sql的其它服务，还可以看下面的表然后根据情况安装：
| postgresql-client | 客户端 |
|---|---|
| postgresql-server | 服务端 |
| postgresql-contrib | 第三方扩展 |
| postgresql-devel | C语言开发Header头文件和库 |
| pgadmin4 | 图形管理实用程序 |
启动方式：
/usr/pgsql-9.6/bin/postgresql96-setup initdb
systemctl enable postgresql-9.6
systemctl start postgresql-9.6
sudo -u postgres psql
passwd postgres
deepdive安装
这个安装同样有命令：bash <(curl -fsSL git.io/getdeepdive)，但同样，我还是没有安装成功，和上面的错误一样。所以考虑本地安装：
https://github.com/HazyResearch/deepdive
https://pan.baidu.com/s/1slLpYVz
去官网找到0.8的安装包，或者去下面的百度云盘下载中文版的deepdive，它里面带有0.8的安装包，不过速度就更慢了。有安装包后，这里我开始遇到一个问题，就是tar命令缺少-z的指令，会报错Error is not recoverable: exiting now，所以需要安装bzip，为：
yum -y install zip gzip # （--安装压缩工具）
tar -zxvf deepdive-v0.8-STABLE-Linux.tar.gz
然后将路径加入profile中：
export PATH="/home/test/bin:$PATH"
然后就可以启动deepdive了：
另外它内部还包括了elasticsearch也能启动了：
