我的小锦囊之Hadoop集群的启动命令以及经常遇到的小问题
每天启动Hadoop集群时都会打开这份txt文档，现在看来觉得这份文档才是精髓，看一眼，就能理一遍思路。
如下的命令中，有启动Hadoop集群的，zookeeper集群的，hbase的，启动spark的，当然还有像Pig、Hive这些，直接输入就能进入。
总之，如果没有下面这个文档，每天遇到一些问题可能会毛手毛脚，甚至可能因为睡得懵懵的而忘了启动路径....
1.启动hadoop集群
cd /usr/local/hadoop-2.6.4/sbin/./start-all.sh
--------------------------------------------------------------
2.启动zookeeper集群
cd /home
zk start(已经配置好了可以直接启动)
--------------------------------------------------------------
3.cd /home
start-hbase.sh
--------------------------------------------------------------
4.hbase shell 进入终端
--------------------------------------------------------------
5. 启动Spark
进入目录：启动spark
cd /usr/local/spark-1.4.1-bin-hadoop2.6/sbin
./start-all.sh
--------------------------------------------------------------
6.进入spark-shell
cd /usr/local/spark-1.4.1-bin-hadoop2.6/bin/
./spark-shell
--------------------------------------------------------------
6*.只启动yarn的方式
cd /usr/local/spark-1.4.1-bin-hadoop2.6/bin/
./spark-shell --master yarn --executor-memory 400m --num-executors 6 --driver-memory 1g
补充：
启动hive apach服务端口：
nohup hive --service hiveserver2 &
查看hive apach服务端口10000是否开启：
netstat -ntpl | grep 10000
------------------------------------------------------------------------------------------------------------------------------
7.进入Oozie（先看mysql启动了没 ）
首要要查看数据库状态：
/etc/init.d/mysqld status
若未启动则启动：/etc/init.d/mysqld start
再查看数据库状态：
/etc/init.d/mysqld status
启动Oozie：
cd /usr/local/oozie-4.2.0
bin/oozied.sh start
oozie job -config /opt/job.properties -run
查oozie的错时老师的操作：（虽然不太明白怎么用）
tail -f ./logs/catalina.out
tail -n400 ./logs/catalina.out
netstat -ntpl |grep 11000
ifconfig
--------------------------------------------------------------------------------------------------------------------------------------------------
下面是我平时遇到的一些小问题
总结如下：
一些经常用到的网址：
HDFS网址：http://master:50070/dfshealth.jsp
Ooize网址：http://1master:11000/oozie/
Application Manager应用管理界面http://master:8088/cluster
spark网址：http://master:8080
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
如果http://master:8088/cluster打不开：
cd /usr/local/hadoop-2.6.4/sbin
./mr-jobhistory-daemon.sh start history
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
当你打不开网页，而其他配置又没错误时，往往都是防火墙或者所有节点时间不同步的问题。屡试不爽，但需对主节点和所有子节点执行
永久关闭防火墙 service iptables stop & chkconfig iptables off
时间同步 service ntpd stop & ntpdate master & service ntpd start
Linux安装unzip：
mount /dev/dvd/ /media/
yum install unzip（其他安装也类似）
--------------------------------------------------------------------------------------
master节点jps后没有namenode怎么办？
对主节点：
[root@master bin]# cd /data/hadoop/hdfs
[root@master hdfs]# ls
name
[root@master hdfs]# rm -rf name
对三个子节点：
[root@slave1 ~]# cd /data/hadoop/hdfs
[root@slave1 hdfs]# ls
data
[root@slave1 hdfs]# rm -rf data
然后进行格式化：
cd /usr/local/hadoop-2.6.4hdfs namenode -format
刚开始觉得这个操作特别复杂，但是现在觉得是一件很平常又简单的事情，如果遇到jps后主节点没有namenode问题，轻松对待即可~
但是正常情况下，你的虚拟机不会经常出现这个问题，个人觉得虚拟机在正常开关机的情况下，每天的使用状态是很平稳的，不会无端出状况。
请善待你的虚拟机，正常开关机，觉得麻烦可以直接挂起虚拟机，当然关机的速度比挂起要快的多呢~
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
这个Main是启动啥出现的？（存疑）
[root@master sbin]# jps4689 NameNode
6133 JobHistoryServer
6164 Jps
4981 ResourceManager
2433 HMaster
2635 Main
4837 SecondaryNameNode
第一个RunJar是启动Pig后显示的
第二个RunJar是启动Hive后显示的Master是启动spark后显示的
HMaster是启动HBase后显示的
SparkSubmit是只启动yarn的方式启动spark后显示的
Bootstrap是启动Oozie后显示的
[root@master ~]# jps
1989 ResourceManager
1696 NameNode
1845 SecondaryNameNode
3892 SparkSubmit
2983 Master
2635 HMaster
4257 Bootstrap
3105 RunJar
3566 RunJar
4109 Jps
清理内存：
hdfs dfs -du /
hdfs dfs -rm -r /文件名
hdfs dfs -rm -r /* 删除所有
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
执行交互式scala时：若报错内容为：
Caused by: java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[192.168.128.132:50010, 192.168.128.131:50010], original=[192.168.128.132:50010, 192.168.128.131:50010]). The current failed datanode replacement policy is DEFAULT, and a client may configure this via 'dfs.client.block.write.replace-datanode-on-failure.policy' in its configuration.
执行以下操作：
cd /usr/local/hadoop-2.6.4/etc/hadoop/
vim hdfs-site.xml
在尾部添加：
ps.改完好像没什么作用