大数据运维文档
大数据运维文档
一 hadoop相关运维
1 系统环境
由于机器安装时，硬盘挂在不同，所以hadoop安装路径可能不同。默认hadoop相关集群项目路径在/app目录下。
使用以下所有命令请切换到hadoop用户之下，请使用
su - hadoop
请不要使用hadoop用户之外的用户进行操作。
3 常用操作指令
3.1 启动zookeeper集群
zookeeper默认安装目录为/app/zookeeper，zookeeper默认安装为集群模式，需要按照namenode与datanode的编号顺序进行查找，保证所有机器的zookeeper都启动，启动命令为：
/app/zookeeper/bin/zkServer.sh start
/app/zookeeper/bin/zkServer.sh status
3.2 hadoop启动命令
hadoop的命令分为两种，一种为bin命令，一种为sbin命令，bin命令一般是维护hadoop集群内部文件系统的相关指令，而sbin命令是维护hadoop本身的指令。
hadoop命令在hadoop安装目录下的bin和sbin目录中，即
%HADOOP_HOME%/bin
%HADOOP_HOME%/sbin
此命令可以启动hadoop集群中的所有节点，建议在namenode节点中执行，HA的集群启动之前需要确认zookeeper是否启动，如未启动需要优先启动zookeeper
%HADOOP_HOME%/sbin/start-all.sh
%HADOOP_HOME%/sbin/stop-all.sh
启动hadoop中datanode与nodemanager
# 启动所有datanode
%HADOOP_HOME%/sbin/hadoop-daemons.sh start datanode
# 启动所在机器的datanode
%HADOOP_HOME%/sbin/hadoop-daemon.sh start datanode
# 启动所有nodemanager
%HADOOP_HOME%/sbin/yarn-daemons.sh start nodemanager
# 启动当前节点的nodemanager
%HADOOP_HOME%/sbin/yarn-daemon.sh start nodemanager
# 停止所有datanode
%HADOOP_HOME%/sbin/hadoop-daemons.sh stop datanode
# 停止所在机器的datanode
%HADOOP_HOME%/sbin/hadoop-daemon.sh stop datanode
# 停止所有nodemanager
%HADOOP_HOME%/sbin/yarn-daemons.sh stop nodemanager
# 停止当前节点的nodemanager
%HADOOP_HOME%/sbin/yarn-daemon.sh stop nodemanager
启动hadoop中的namenode
%HADOOP_HOME%/sbin/hadoop-daemon.sh start namenode
启动jobhistory,zhege ji
%HADOOP_HOME%/sbin/mr-jobhistory-daemon.sh start historyserver
关闭安全模式,当集群出现问题时，hadoop可能开启安全模式，此时集群只读，关闭可以使用以下指令
hdfs dfsadmin -safemode leave
启动hadoop数据平衡
%HADOOP_HOME%/sbin/start-balancer.sh
启动journalnode，在HA架构中journalnode进程负责同步主备之间的namenode元数据
# 启动所有的journalnode进程
hadoop-daemons.sh start journalnode
# 启动所有的journalnode进程
hadoop-daemons.sh start journalnode
# 启动当前节点的journalnode进程
hadoop-daemon.sh start journalnode
检查集群状态
hdfs fsck /
3.3 启动hive
以下命令启动hvie的jdbc的命令
nohup hive --service hiveserver2 &
我编写了一个重启hive的脚本
#!/bin/bash --login
ps -ef | grep HiveServer2| awk '{print $2}' |xargs kill -9
su - hadoop << EOF
kill -9 $hivepid
nohup hive --service hiveserver2 &
EOF
默认路径在/home/hadoop/script下
3.4 启动spark指令
spark默认安装路径放于/app下，启动spark的jdbc需要增加参数，这些参数直接影响了启动后的查询效果
以下是启动指令
%SPAKR_HOME%/sbin/start-thriftserver.sh --master yarn --driver-memory 10G --executor-memory 12288m --driver-cores 4 --executor-cores 4 --conf spark.sql.hive.verifyPartitionPath=true --conf spark.executor.memoryOverhead=2048m --conf spark.dynamicAllocation.enabled=true --conf spark.shuffle.service.enabled=true --conf spark.dynamicAllocation.executorIdleTimeout=60 --conf spark.dynamicAllocation.cachedExecutorIdleTimeout=18000 --conf spark.dynamicAllocation.initialExecutors=8 --conf spark.dynamicAllocation.maxExecutors=10 --conf spark.dynamicAllocation.minExecutors=8 --conf spark.dynamicAllocation.schedulerBacklogTimeout=1000 --conf spark.eventLog.enabled=true --conf spark.sql.broadcastTimeout=20000 --conf spark.sql.hive.verifyPartitionPath=true --conf spark.sql.parquet.cacheMetadata=false --conf spark.default.parallelism=600 --conf spark.sql.auto.repartition=true --conf spark.sql.shuffle.partitions=400 --conf spark.shuffle.service.enabled=true --conf spark.scheduler.mode=FAIR --conf spark.rdd.compress=true