Centos7配置java+hadoop+mysql+hive+zookeeper+kafka+hbase+kylin+scala+spark+superset+sqoop及报错解决

使用版本

磁盘需要有足够的空间。
Centos7（可自行搜索下载） https://www.centos.org/download/
java1.8.0
hadoop2.7.6
mysql5.7.26
hive2.3.2
hbase1.4.9
kylin2.6.3
scala2.12.2
spark2.1.1
superset通过pip安装
sqoop1.4.7

安装

Centos7

https://blog.csdn.net/qq_28356739/article/details/88569175

虚拟机配置静态ip地址
https://blog.csdn.net/yu0_zhang0/article/details/78756160

• 配置hadoop时出现错误
  vi /etc/hadoop
bash: bin/hadoop: Permission denied
  原因为权限不够，chmod u+x /etc/hadoop 后可以解决。

• 在替换{system:java.io.tmpdir}为自己创建的目录：/root/hive/tmp和 {system:user.name}改为用户：root时，替换没有完全替换干净，符号没有替换，导致出错，将$删除，重新启动hive

• Datanode无法启动导致kylin无法启动
  在/hadoop/logs/hadoop-root-datanode-hadoop.log里找到namenode clusterID，复制它的值。在hdfs/data/下编辑current/VERSION，将clusterID的值替换为之前复制的值。

• Namenode无法启动
  更改为如下配置

vi etc/hadoop/hdfs-site.xml:
		<configuration>
			<property>
				<name>dfs.replication</name>
				<value>1</value>
			</property>
			<property>
				<name>dfs.permissions.enabled</name>
				<value>false</value>
			</property>
		</configuration>


bin/hdfs namenode -format

• 启动kylin时报错：
  Check hive's usability failed, please check the status of your cluster [5]- 退出 1 nohup hive --service metastore >> ~/metastore.log 2>&1
  重启一次虚拟机好了。

• zookeeper启动失败：
  删除/hadoop/zookeeper/dataDir文件夹除了myid之外的内容
  在 bin 目录下的 zkCli.sh 就是ZooKeeper客户端
  bin/zkCli.sh -timeout 5000 -server　　客户端与ZooKeeper建立链接
  连接上去后，删除两个表
  deleteall /kylin/kylin_metadata
deleteall /hbase/table/kylin_metadata
  然后重启kylin，解决kylin启动时报错Failed to find metadata store by url: kylin_metadata。

• HMaster启动后自动关闭，重新查看hadoop配置发现有错误（？
  重新配置hadoop

安装superset
https://blog.csdn.net/finejade1027/article/details/93132046
https://blog.csdn.net/wangshuminjava/article/details/81739517
https://blog.csdn.net/lsq129/article/details/84105776

mkdir /var/lib/accumulo
echo "export ACCUMULO_HOME=/var/lib/accumulo" >>/etc/profile
source /etc/profile

启动

hadoop

/hadoop/sbin/start-all.sh
mr-jobhistory-daemon.sh start historyserver

http://192.168.133.129:8088
http://192.168.133.129:50070/

mysql

mysql -u root -p
重启MySQL数据库： service mysqld restart

hive

nohup hive --service metastore >> ~/metastore.log 2>&1 &         
nohup  hive --service hiveserver2 >> ~/hiveserver2.log 2>&1 &    

zookeeper

/hadoop/zookeeper/bin/zkServer.sh start

kafka

nohup bin/kafka-server-start.sh config/server.properties&

hbase

/hadoop/hbase/bin/hbase-daemon.sh start zookeeper
/hadoop/hbase/bin/hbase-daemon.sh start master
/hadoop/hbase/bin/hbase-daemon.sh start regionserver

/hadoop/hbase/bin/start-hbase.sh 

http://192.168.133.129:16030/rs-status

kylin

hdfs dfsadmin -safemode leave
/hadoop/kylin/bin/kylin.sh start 

http://192.168.133.129:7070/kylin/login
初始密码：ADMIN/KYLIN

superset

source /usr/superset-py3/bin/activate
superset db upgrade
superset load_examples
superset init
superset runserver -d -p 8388    #指定端口号  默认8088

http://192.168.133.129:8388