安装hadoop的步骤

1.到apache官网，下载hadoop，选择bin类型，tar.gz，大约300M

2.copy到/opt文件下，tar开，tar -zxvf hadoop-3.0.3.tar.gz

3.设置符号链接  ln -s hadoop-3.0.3 hadoop

4.设置环境变量 在/etc/profile下，添加：

       export HADOOP_HOME=/opt/hadoop
       export PATH=$PATH:/opt/hadoop/bin:/opt/hadoop/sbin

5.source /etc/profile ,来立即生效。

6.验证  hadoop version

注意：和hadoop的相关文件目录权限更改为755  chmod 755 hadoop

1)三种模式中的独立模式，目前已经安装完毕。

2)伪分布模式需要配置下面四个文件：

fs.defaultFS
hdfs://localhost/

dfs.replication
1

  dfs.http.address
  0.0.0.0:50070

mapreduce.framework.name
yarn

yarn.resourcemanager.hostname
localhost


yarn.nodemanager.aux-services
mapreduce_shuffle

更改完毕后，需要配置ssh

查看目前是否安装ssh的命令：

ubuntu：apt list --installed|grep ssh

centos: yum list installed|grep ssh

确认安装openssh-server、openssh-client、openssh后，

执行

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

最后尝试 ssh localhost，如果可以登录说明伪分布式也ok了。（如果不行，可能需要修改authorized_keys的权限，比如chmod 755 authorized_keys）

最后格式化  执行 hadoop/bin 目录下的 hadoop namenode -format（会在tmp目录下创建namenode目录，里面包括将会和datanode交互的配置信息）

开启 start-all.sh,如果找不到JAVA_HOME的变量，需要手动配置hadoop/etc下的hadoop-env.sh文件,

export JAVA_HOME=/opt/jdk

最后执行完start-all.sh（推荐使用分开的start-dfs.sh和start-yarn.sh）,则用jps可以看到新启的五个进程（namenode\datanode\secendarynamenode\namemanager\datamanager）

注意：如果发现某个进程没有启动，可能是/tmp/hadoopXXX/dfs/name/current/VERSION和/tmp/hadoopXXX/dfs/data/current/VERSION中clusterID不匹配，把data更改为何name一致即可。

可以为hadoop创建文件  hadoop dfs -mkdir -p /usr/wangcong/hadoop

用netstat -ano|grep  50070