服务器版BI对接-beh

查看磁盘，有一个sdb 500G的磁盘，没有使用，将这个盘作为安装目录的挂载点

image.png

在根目录下新建一个/bi目录，

mkdir /bi

然后进行磁盘分区并格式化fdisk /dev/sdb，

image.png

输入fdisk /dev/sdb 对该磁盘进行分区，输入m并回车

输入n并回车，n是“new”新建分区的意思

输入p并回车

输入数字1并回车

采用默认值一直回车会将整个300G都分给/dev/sdb

输入w  "write"并回车，意思是对刚才的结果进行保存

再次使用lsblk查看分区的结果

image.png

然后进行格式化，并挂载(要设置永久挂载)

mkfs.xfs /dev/sdb
mount /dev/sdb /bi/
#设置永久挂载
vi /etc/fstab
添加 /dev/sdb /bi xfs defaults 0 0

安装java1.8的环境https://www.cnblogs.com/xuliangxing/p/7066913.html

1. 拉取镜像包

拉取镜像包（登录ftp服务器140.210.90.87）
ftp://140.210.90.87

用户	账号	密码
数据科学	datascience	ds@ftp123

以下登录数据科学拉
/4.6.3new/frontend_20201030463.tar.gz /bi
/4.6.3new/backend_ds-20201102463.tar.gz /bi
/4.6.1/data_sync.tar.gz /bi

用户	账号	密码
BI	bicustomer	bi@ftp#4*

以下BI拉
/4.3.0/bi-full-071718.tgz /bi

进行安装前需要先给beh人员以下文件

hadoop客户端
core-site.xml,hdfs-site.xml,yarn-site.xml，krb5.conf,keytab
/etc/hosts 域名解析

以下一会执行脚本时要用

HADOOP用户名 [默认: hadoop]:science
YARN任务提交队列名 [默认: default]:root.science.dev
HDFS存储路径前缀 [默认: /]:/dscloud

#hadoop客户端放在下面这个目录下
/bi/configs/datascience/ceph/beh
#core-site.xml,hdfs-site.xml,yarn-site.xml，krb5.conf,keytab 配置文件放在下面这个目录下
/bi/configs/datascience/ceph/kerberos
#/etc/hosts     域名解析放在下面这个目录下
/bi/configs/datascience/config/myhosts

核实beh集群下/opt/beh/core有没有以下包

jdk和py包

准备好之后开始进行安装

cd /bi
#解压
tar -xf bi-full-071718.tgz
#执行脚本
sh install.sh
#红框内是需要收敲的

image.png

image.png

安装完成开始加载镜像

docker load -i frontend_20201030463.tar.gz   (前端)
docker load -i backend_bi-20201104.tar.gz （后端）

image.png

#####修改前后端配置信息
#down掉容器修改
docker-compose down
#修改后端配置信息
cd /configs/datascience/config/
vi application-test.properties       #（以下为原有配置文件下的新增配置）

# 4.6.1 版本新增配置
#HIVE构建，关联HDFS底层逻辑（李静、增广浩、李亮）
web.service.thrift-server-host=10.1.0.40   # (本机内网ip)
# 4.6.1 版本新增配置

#4.6.0 版本新增配置
#探索资源不足时，提示内容 配置项，有默认值，不配置会以默认值为准
resource.not.enough.tip=系统资源不足，稍后重试
#4.6.0 版本新增配置

# 4.5.0 版本新增配置
#显示名称取字段注释false取字段编码
table.column.comment.enable=true
#数据库密码加密
spring.datasource.password.isEnypted=false
#数据集构建 是否开启 调用etl方法构建
web.service.use-file-upload=true
#数据连接信息存放公共目录
web.service.hdfs-source-prefix=/
#vbap数据量大于此配置时，不构建，
web.service.vbap-upload-jdbc-max-length=5000000
#修改数据集状态，启动时将进行中的改成失败
sys.update.dataset.status=true
# 4.5.0 版本新增配置

# 4.4.2 版本新增配置
#单用户任务上限
explore.step.single.task=5
#全部任务上限
explore.step.total.task=20
#探索单个任务执行超时时间，单位：ms
explore.step.runtime.out=15000
# 4.4.2 版本新增配置

# 4.4.1 版本新增配置
dashboard.query.cache.enable=true
# 4.4.1 版本新增配置

# 4.4.0 版本新增配置
dssnotebook.gpuType=nvidia.com/gpu
# 4.4.0 版本新增配置

# 4.3.1 版本新增配置
# 画布右侧算子展示成树结构
operatorTree=on
# 无kebers认证配置
yarn.resourcemanager.principal=science     #认证需要修改
# 登出后可能释放资源
logout.stop.task=0
# 剥离redis服务
redis.enable=true
# 4.3.1 版本新增配置

修改前端配置信息

cd /bi/configs/frontend
#创建 baseConfig.json
touch baseConfig.json
vi baseConfig.json

{
    "HOST": "0.0.0.0",
    "PORT": "3500",
    "APP_VERSION": "4.6.3",                                        #版本号需要修改
    "PRODUCTION_NAME": "图灵引擎",
    "COMPANY_NAME": "东方国信",
    "BASE_ROUTER_URL": "",
    "LOCATION_URL": "http://140.210.92.84",              #修改为本机外网访问地址
    "SERVER_NAME": "datasience",
    "LOGOUT_WATCH": "LOGOUT_WATCH_ON",
    "LOGOUT_URL": "DEFAULT_LOGOUT_URL",
    "OUT_HTTP_URL": "http://140.210.92.84",                  #修改为本机外网访问地址
    "OUT_WS_URL": "ws://140.210.92.84",                        #修改为本机外网访问地址
    "INNER_HTTP_URL": "http://datascience:8080",            #需要修改
    "INNER_WS_URL": "ws://datascience:8080",                 #需要修改
    "CURRENT_VERSION": "DC_BI_EASY_VERSION",
    "TWO_STATE": "TWO_STATE_OFF",
    "DEPLOY_VERSION": "FUJIAN_VERSION",
    "CURRENT_STATE": "TARIN_STATE",
    "TURING_SWITCH": "TURING_SWITCH_OFF",
    "TURING_ENV": "tu",
    "TURING_DOMAIN": ".turingtopia.com",
    "TURING_INDEX_URL": "https://www.turingtopia.com/",
    "TURING_RENEW_URL": "https://www.turingtopia.com/engine/buy",
    "BONCLOUD_ENV": "boncloud",
    "BONCLOUD_SWITCH": "BONCLOUD_SWITCH_OFF",
    "BONCLOUD_INDEX_URL": "https://www.boncloud.com/",
    "IS_OPEN_WEB_WATCH": "IS_OPEN_WEB_WATCH_OFF"
}

修改docker-compose.yml

image.png

thriftserver客户端启动

需要本地有java环境，版本1.8

#解压安装包
cd /bi
#解压
tar -zxvf data_sync.tar.gz
# 修改配置
2.cd data_sync
 # 删掉之前的脚本 写入如下信息 根据实际情况调整内存大小 1g 5g 均可    free -h可以先进行查看以下内存
vi datasync.sh
#!/bin/bash
cd `dirname $0`
CRTDIR=$(pwd)
if [ ! -d "${CRTDIR}/tmp" ]; then
mkdir ${CRTDIR}/tmp
fi
export DATA_SYNC_CONF_DIR=${CRTDIR}/conf
nohup java -Xms4096m -Xmx4096m -XX:+UseG1GC -cp data-sync-server.jar [cn.com](http://cn.com/).bonc.service.server.DataSyncServer >> logs_datasync.log 2>&1 &

vi  conf/data-sync-site.xml 修改以下配置，把/tmp之前的路径替换为当前路径或者其他合适路径


data.sync.server.job.tmp.root.dir
/bi/data_sync/tmp


3.检查端口是否冲突

netstat -tunlp| grep 10008 无占用，启动服务

sh datasync.sh 启动服务

vim logs_datasync.log 查看日志

最后把容器启动起来

docker-compose up -d