datasophon组件安装时踩坑记录
grant all privileges on *.* to 'root'@'%' identified by 'xxxx';
1. 安装hdfs后有一个namenode进程未启动
解决：在那个未启动的节点上执行 hdfs namenode -bootstrapStandby 之后在web页面重启hdfs
2. hive on spark 编译
hive on spark编译
https://blog.csdn.net/qq_39035267/article/details/126608808之后替换datasophon节点上的hive的jar包。只替换红框中的和hive-spark-client-3.1.3等包
集成hive on spark集成hudi需要注意的点：
下载spark-without-hadoop的包。删除lib目录下 parquet相关的jar包。上传至hdfs
set spark.yarn.jars = hdfs://nameservice1/sparkjars/* ;
set hive.execution.engine =spark;
同时替换hive的lib目录的parquet-hadoop-bundle-xx.jar
spark.yarn.jars
hdfs://nameservice1/sparkjars/*
hive.execution.engine
spark
hive.spark.client.connect.timeout
100000
3. doris版本替换
下载这三个包 按照1.1.5内的格式命名
在be和fe的bin目录加上status_be.sh或者status_fe.sh 修改service_ddl.json 然后重启
需要把udf那个jar包放在be的lib目录 重新压缩
4. hive版本修改(spark版本一样，spark直接下载二进制包就行。hive没测试用的3.1.3)
修改/opt/datasophon-manager-1.1.1/conf/meta/DDP-1.0.0/HIVE/service_ddl.json里面的hive版本
重启命令：bin/datasophon-api.sh restart api
需要修改/opt/datasophon/datasophon-worker/script/datasophon-env.sh的hive版本(重启)
重启命令：service datasophon-worker restart
修改/etc/profile.d/datasophon-env.sh的hive版本 然后source
5.安装kerberos以后的组件问题。
5.1 yarn重启后出现NodeManager进程没法启动的问题。原因缺少libcrypto.so.1.1这个包。
解决：
wget https://www.openssl.org/source/openssl-1.1.1g.tar.gz
tar xzf openssl-1.1.1g.tar.gz
cd openssl-1.1.1g
./config
make
sudo make install
之后编译后的文件创建软链接到 /usr/lib64目录下
ln -s /export/software/openssl-1.1.1g/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.15.2 hive on spark 没法启动
解决：
在spark-default.conf中
spark.kerberos.principal hive/(metastore那台节点的host)@HADOOP.COM
spark.kerberos.keytab /etc/security/keytab/hive.service.keytab
也要修改hive-site.xml中的keytab为metastore的
这两个参数的value设为空 然后分发到其他节点 重启yarn
yarn.resourcemanager.scheduler.class
org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
yarn.scheduler.fair.allocation.file
${INSTALL_PATH}/hadoop-3.3.3/etc/hadoop/fair-scheduler.xml
原因：hive on spark的原理是通过hivemestore解析后的job通过spark提交给yarn
其他节点的hiveserver2 也要配置为hive/(metastore那台节点的host)@HADOOP.COM
后期发现在dbeaver无法执行hive on spark 原因是：hiveserver2服务是hive用户启动的，改用root用户启用即可。
nohup hiveserver2 >> /opt/datasophon/hive-3.1.3/logs/hiveserver2.log 2>&1 &6.安装dolphinscheduler 时注意事项：
参数： yarn.application.status.address 和yarn.job.history.status.address记得修改