Linkis简单版安装教程

遇到问题,可参看我的另一篇博客“linkis和scripts使用中遇到问题解决办法”

Linkis安装教程:

软件准备:

① wedatasphere-linkis-0.9.0-dist-spark2.1.tar.gz
https://pan.baidu.com/s/1fJEMJ46YKKRokm-dLyc4rQ
② jdk-8u201-linux-x64.tar.gz
https://pan.baidu.com/s/11jfGiqcdzw9r5BtbRa5ejw
③ Python-3.7.0.tar.xz
https://pan.baidu.com/s/1eTtE_bFDNyVmTENUMCMYDg
④ mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar(可以不要)
https://pan.baidu.com/s/1CPovPt0Mkwl6PCDTORyL3A

1. 准备一个centos7,设置好root密码并牢记

2. 查看IP方便使用xshell链接:

a) vi /etc/sysconfig/network-scripts/ifcfg-ens33
改最后ONBOOT=yes
b) service network restart
c) ip addr
d) 使用xshell连接

3. 配置JDK,上传jdk-8u201-linux-x64.tar.gz

解压并配置环境变量:在vi .bashrc添加:
#java environment
export JAVA_HOME=/usr/java/jdk1.8.0_144
export CLASSPATH=.: J A V A H O M E / j r e / l i b / r t . j a r : {JAVA_HOME}/jre/lib/rt.jar: JAVAHOME/jre/lib/rt.jar:{JAVA_HOME}/lib/dt.jar: J A V A H O M E / l i b / t o o l s . j a r e x p o r t P A T H = {JAVA_HOME}/lib/tools.jar export PATH= JAVAHOME/lib/tools.jarexportPATH=PATH:${JAVA_HOME}/bin
完成后:
source .bashrc
java –version检查安装效果

4. 安装python,上传Python-3.7.0.tar.xz

a).安装编译相关工具
yum -y groupinstall “Development tools”
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
yum install libffi-devel -y
b).安装包解压
cd #回到用户上传目录
tar -xvf Python-3.7.0.tar.xz
c).编译安装
mkdir /usr/local/python3 #创建编译安装目录
cd Python-3.7.0
./configure --prefix=/usr/local/python3
make && make install
d).创建软连接
ln -s /usr/local/python3/bin/python3 /usr/local/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3
e).验证是否成功
python3 -V
pip3 –V
参见:https://www.cnblogs.com/anxminise/p/9650206.html

5. 安装MySQL:在这里我们使用docker中的MySQL免于复杂的安装和配置,也可下载上文工具中的MySQL在本地安装。

a) 安装docker:
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo yum makecache fast
sudo yum -y install docker-ce
sudo systemctl start docker
b) 安装MySQL:docker
docker pull mysql:5.6
c) 运行docker
docker run -p 3306:3306 --name mymysql -v $PWD/conf:/etc/mysql/conf.d -v $PWD/logs:/logs -v $PWD/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.6

6. 上传解压wedatasphere-linkis-0.9.0-dist-spark2.1.tar.gz

(1)修改基础配置
vim conf/config.sh
deployUser=root #指定部署用户
LINKIS_INSTALL_HOME=/root/Linkis # 指定安装目录
WORKSPACE_USER_ROOT_PATH=file:///tmp/root # 指定用户根目录,一般用于存储用户的脚本文件和日志文件等,是用户的工作空间。
RESULT_SET_ROOT_PATH=file:///tmp/linkis # 结果集文件路径,用于存储Job的结果集文件
(2)修改数据库配置
vim conf/db.sh
# 设置数据库的连接信息
# 包括IP地址、数据库名称、用户名、端口
# 主要用于存储用户的自定义变量、配置参数、UDF和小函数,以及提供JobHistory的底层存储
MYSQL_HOST=your_ip
MYSQL_PORT=3306
MYSQL_DB=linkis
MYSQL_USER=root
MYSQL_PASSWORD=123456

7. MySQL操作:

连接进入MySQL,新建一个数据库:create database linkis;
将刚刚解压目录下的:db/linkis_ddl.sql和db/linkis_dml.sql拿出来use linkis后先执行linkis_ddl.sql再执行linkis_dml.sql。

8. 现在可以开始安装

执行sh bin/install.sh
选择1 (简单模式)
再选择1(跳过执行MySQL输入数据的步骤,因为我们第7步已经将数据输入)
如果提示你需要一直输入ssh@localhost的密码,那么你应当推出安装,执行以下操作:
a) cd 回根目录下
b) ssh-keygen -t rsa一直enter键
c) ssh-copy-id localhost根据提示输入密码
执行完以上三步后重新安装sh bin/install.sh
如果还是一直提示你输入ssh@localhost的密码,那么你需要注意.ssh的子目录和.ssh的父目录的权限问题:首选.ssh目录权限是700, 两个dsa 和 rsa的 私钥权限是600,其余文件权限是644。.ssh文件夹绝对路径是/root/.ssh,所以/root目录的权限应该是755。

9. 开启防火墙端口:

firewall-cmd --permanent --add-port=20303/tcp
firewall-cmd –reload

10. 启动服务sh bin/start-all.sh

http://your_ip:20303即可访问服务

备注:MySQL那写那些操作(5步和7步)可以有另一种操作方式,不使用docker就直接在本机上搭建MySQL数据库,那样的话第5步和第7步就可以不用,改为在本地搭建数据库,而且也不用在数据库中单独执行linkis_ddl.sql和linkis_dml.sql,而是在安装的时候第二个选择时选择2,即可导入数据。这是因为如果MySQL数据库不在本机在执行安装过程的时候会报错,总之综合利用网路资源即可解决很多问题。

你可能感兴趣的:(linkis,大数据,安装,MySQL_docker)