查看磁盘,有一个sdb 500G的磁盘,没有使用,将这个盘作为安装目录的挂载点
image.png
在根目录下新建一个/bi目录,
mkdir /bi
然后进行磁盘分区并格式化fdisk /dev/sdb,
image.png
输入fdisk /dev/sdb 对该磁盘进行分区,输入m并回车
输入n并回车,n是“new”新建分区的意思
输入p并回车
输入数字1并回车
采用默认值一直回车会将整个300G都分给/dev/sdb
输入w "write"并回车,意思是对刚才的结果进行保存
再次使用lsblk查看分区的结果
image.png
然后进行格式化,并挂载(要设置永久挂载)
mkfs.xfs /dev/sdb
mount /dev/sdb /bi/
#设置永久挂载
vi /etc/fstab
添加 /dev/sdb /bi xfs defaults 0 0
安装java1.8的环境https://www.cnblogs.com/xuliangxing/p/7066913.html
- 拉取镜像包
拉取镜像包(登录ftp服务器140.210.90.87)
ftp://140.210.90.87
用户 | 账号 | 密码 |
---|---|---|
数据科学 | datascience | ds@ftp123 |
以下登录数据科学拉
/4.6.3new/frontend_20201030463.tar.gz /bi
/4.6.3new/backend_ds-20201102463.tar.gz /bi
/4.6.1/data_sync.tar.gz /bi
用户 | 账号 | 密码 |
---|---|---|
BI | bicustomer | bi@ftp#4* |
以下BI拉
/4.3.0/bi-full-071718.tgz /bi
进行安装前需要先给beh人员以下文件
hadoop客户端
core-site.xml,hdfs-site.xml,yarn-site.xml,krb5.conf,keytab
/etc/hosts 域名解析
以下一会执行脚本时要用
HADOOP用户名 [默认: hadoop]:science
YARN任务提交队列名 [默认: default]:root.science.dev
HDFS存储路径前缀 [默认: /]:/dscloud
#hadoop客户端放在下面这个目录下
/bi/configs/datascience/ceph/beh
#core-site.xml,hdfs-site.xml,yarn-site.xml,krb5.conf,keytab 配置文件放在下面这个目录下
/bi/configs/datascience/ceph/kerberos
#/etc/hosts 域名解析放在下面这个目录下
/bi/configs/datascience/config/myhosts
核实beh集群下/opt/beh/core有没有以下包
jdk和py包
准备好之后开始进行安装
cd /bi
#解压
tar -xf bi-full-071718.tgz
#执行脚本
sh install.sh
#红框内是需要收敲的
image.png
image.png
安装完成开始加载镜像
docker load -i frontend_20201030463.tar.gz (前端)
docker load -i backend_bi-20201104.tar.gz (后端)
image.png
#####修改前后端配置信息
#down掉容器修改
docker-compose down
#修改后端配置信息
cd /configs/datascience/config/
vi application-test.properties #(以下为原有配置文件下的新增配置)
# 4.6.1 版本新增配置
#HIVE构建,关联HDFS底层逻辑(李静、增广浩、李亮)
web.service.thrift-server-host=10.1.0.40 # (本机内网ip)
# 4.6.1 版本新增配置
#4.6.0 版本新增配置
#探索资源不足时,提示内容 配置项,有默认值,不配置会以默认值为准
resource.not.enough.tip=系统资源不足,稍后重试
#4.6.0 版本新增配置
# 4.5.0 版本新增配置
#显示名称取字段注释false取字段编码
table.column.comment.enable=true
#数据库密码加密
spring.datasource.password.isEnypted=false
#数据集构建 是否开启 调用etl方法构建
web.service.use-file-upload=true
#数据连接信息存放公共目录
web.service.hdfs-source-prefix=/
#vbap数据量大于此配置时,不构建,
web.service.vbap-upload-jdbc-max-length=5000000
#修改数据集状态,启动时将进行中的改成失败
sys.update.dataset.status=true
# 4.5.0 版本新增配置
# 4.4.2 版本新增配置
#单用户任务上限
explore.step.single.task=5
#全部任务上限
explore.step.total.task=20
#探索单个任务执行超时时间,单位:ms
explore.step.runtime.out=15000
# 4.4.2 版本新增配置
# 4.4.1 版本新增配置
dashboard.query.cache.enable=true
# 4.4.1 版本新增配置
# 4.4.0 版本新增配置
dssnotebook.gpuType=nvidia.com/gpu
# 4.4.0 版本新增配置
# 4.3.1 版本新增配置
# 画布右侧算子展示成树结构
operatorTree=on
# 无kebers认证配置
yarn.resourcemanager.principal=science #认证需要修改
# 登出后可能释放资源
logout.stop.task=0
# 剥离redis服务
redis.enable=true
# 4.3.1 版本新增配置
修改前端配置信息
cd /bi/configs/frontend
#创建 baseConfig.json
touch baseConfig.json
vi baseConfig.json
{
"HOST": "0.0.0.0",
"PORT": "3500",
"APP_VERSION": "4.6.3", #版本号需要修改
"PRODUCTION_NAME": "图灵引擎",
"COMPANY_NAME": "东方国信",
"BASE_ROUTER_URL": "",
"LOCATION_URL": "http://140.210.92.84", #修改为本机外网访问地址
"SERVER_NAME": "datasience",
"LOGOUT_WATCH": "LOGOUT_WATCH_ON",
"LOGOUT_URL": "DEFAULT_LOGOUT_URL",
"OUT_HTTP_URL": "http://140.210.92.84", #修改为本机外网访问地址
"OUT_WS_URL": "ws://140.210.92.84", #修改为本机外网访问地址
"INNER_HTTP_URL": "http://datascience:8080", #需要修改
"INNER_WS_URL": "ws://datascience:8080", #需要修改
"CURRENT_VERSION": "DC_BI_EASY_VERSION",
"TWO_STATE": "TWO_STATE_OFF",
"DEPLOY_VERSION": "FUJIAN_VERSION",
"CURRENT_STATE": "TARIN_STATE",
"TURING_SWITCH": "TURING_SWITCH_OFF",
"TURING_ENV": "tu",
"TURING_DOMAIN": ".turingtopia.com",
"TURING_INDEX_URL": "https://www.turingtopia.com/",
"TURING_RENEW_URL": "https://www.turingtopia.com/engine/buy",
"BONCLOUD_ENV": "boncloud",
"BONCLOUD_SWITCH": "BONCLOUD_SWITCH_OFF",
"BONCLOUD_INDEX_URL": "https://www.boncloud.com/",
"IS_OPEN_WEB_WATCH": "IS_OPEN_WEB_WATCH_OFF"
}
修改docker-compose.yml
image.png
thriftserver客户端启动
需要本地有java环境,版本1.8
#解压安装包
cd /bi
#解压
tar -zxvf data_sync.tar.gz
# 修改配置
2.cd data_sync
# 删掉之前的脚本 写入如下信息 根据实际情况调整内存大小 1g 5g 均可 free -h可以先进行查看以下内存
vi datasync.sh
#!/bin/bash
cd `dirname $0`
CRTDIR=$(pwd)
if [ ! -d "${CRTDIR}/tmp" ]; then
mkdir ${CRTDIR}/tmp
fi
export DATA_SYNC_CONF_DIR=${CRTDIR}/conf
nohup java -Xms4096m -Xmx4096m -XX:+UseG1GC -cp data-sync-server.jar [cn.com](http://cn.com/).bonc.service.server.DataSyncServer >> logs_datasync.log 2>&1 &
vi conf/data-sync-site.xml 修改以下配置,把/tmp之前的路径替换为当前路径或者其他合适路径
data.sync.server.job.tmp.root.dir
/bi/data_sync/tmp
3.检查端口是否冲突
netstat -tunlp| grep 10008 无占用,启动服务
sh datasync.sh 启动服务
vim logs_datasync.log 查看日志
最后把容器启动起来
docker-compose up -d